JP5070376B2 - 混雑状況検出装置、方法、およびプログラム - Google Patents

Description

本発明は、混雑状況検出装置、方法、およびプログラムに関し、特に監視目的などで設置されているカメラが撮像した撮像画像を用いて、移動者と滞在者とを区別して抽出し、カメラが撮像する範囲の混雑状況を検出する混雑状況検出装置、方法、およびプログラムに関する。

従来から盗難や窃盗を防止するために、もしくは混雑状況などを把握するために様々な場所に監視カメラが設置されている。

しかし、カメラに映し出された映像から読み取ることができる情報は、モニタを直接見ることによって、もしくはその映像が録画されたものを後から見ることによってしか把握できなかった。

そこで、遠隔からも混雑状況を確認することができるように、カメラによって撮像された画像から混雑状況などの情報を作成し、端末からの要求に応じて、混雑状況などの観光地情報を提供する観光地情報提供システムが提案されている（たとえば、特許文献１参照）。

特開２００５−２７６０３６号公報

しかし、上記特許文献１記載の発明においても、監視端末のオペレータが撮像された画像を常に監視をし、その画像から混雑状況などの情報を把握して混雑情報としてデータベースに格納する作業を手動でしなければならず、依然として最終判断である混雑状況の判断は人間によって判断しなければならないという問題がある。

つまり、短時間で複数箇所のリアルタイムの混雑状況を把握し、伝達することができないという問題がある。

また、短時間で複数箇所のリアルタイムの混雑状況を把握し、伝達したいときには多大な人件費がかかるという問題があった。

さらに、混雑状況を人間が判断するときには、その判断するオペレータの主観に影響されることがあるという問題があった。

本発明はこのような点に鑑みてなされたものであり、カメラが撮像した画像から自動で検出することにより、客観的に混雑状況を把握することができる混雑状況検出装置を提供することを目的とする。

本発明では上記問題を解決するために、監視目的などで設置されているカメラが撮像した撮像画像を用いて、移動者と滞在者とを区別して抽出し、カメラが撮像する範囲の混雑状況を検出する混雑状況検出装置において、前記移動者がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段と、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段と、前記撮像画像と前記背景画像との差分から前景画像を生成する前景抽出手段と、前記撮像画像と前記短背景画像との差分から前記移動者を抽出した移動者抽出画像を生成する移動者抽出手段と、前記背景画像と前記短背景画像との差分から前記滞在者を抽出した滞在者抽出画像を生成する滞在者抽出手段と、前記前景抽出手段、前記移動者抽出手段、および前記滞在者抽出手段からそれぞれ入力される前記前景画像、前記移動者抽出画像、および前記滞在者抽出画像に基づいて前記カメラが撮像する範囲の混雑状況を検出する混雑状況検出手段とを備えることを特徴とする混雑状況検出装置が提供される。

これにより、短背景生成手段が、前記移動者がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成し、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する。また、前景抽出手段が、前記撮像画像と前記背景画像との差分から前景画像を生成し、移動者抽出手段が、前記撮像画像と前記短背景画像との差分から前記移動者を抽出した移動者抽出画像を生成し、滞在者抽出手段が、前記背景画像と前記短背景画像との差分から前記滞在者を抽出した滞在者抽出画像を生成する。そして、混雑状況検出手段が、前記前景抽出手段、前記移動者抽出手段、および前記滞在者抽出手段からそれぞれ入力される前記前景画像、前記移動者抽出画像、および前記滞在者抽出画像に基づいて前記カメラが撮像する範囲の混雑状況を検出する。

また、本発明では、監視目的などで設置されているカメラが撮像した撮像画像を用いて、移動者と滞在者とを区別して抽出し、カメラが撮像する範囲の混雑状況を検出する混雑状況検出方法において、短背景生成手段が、前記移動者がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成するステップと、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成するステップと、前景抽出手段が、前記撮像画像と前記背景画像との差分から前景画像を生成するステップと、移動者抽出手段が、前記撮像画像と前記短背景画像との差分から前記移動者を抽出した移動者抽出画像を生成するステップと、滞在者抽出手段が、前記背景画像と前記短背景画像との差分から前記滞在者を抽出した滞在者抽出画像を生成するステップと、混雑状況検出手段が、前記前景抽出手段、前記移動者抽出手段、および前記滞在者抽出手段からそれぞれ入力される前記前景画像、前記移動者抽出画像、および前記滞在者抽出画像に基づいて前記カメラが撮像する範囲の混雑状況を検出するステップとを含むことを特徴とする混雑状況検出方法が提供される。

これにより、短背景生成手段が、前記移動者がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成し、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する。また、前景抽出手段が、前記撮像画像と前記背景画像との差分から前景画像を生成し、移動者抽出手段が、前記撮像画像と前記短背景画像との差分から前記移動者を抽出した移動者抽出画像を生成し、滞在者抽出手段が、前記背景画像と前記短背景画像との差分から前記滞在者を抽出した滞在者抽出画像を生成する。そして、混雑状況検出手段が、前記前景抽出手段、前記移動者抽出手段、および前記滞在者抽出手段からそれぞれ入力される前記前景画像、前記移動者抽出画像、および前記滞在者抽出画像に基づいて前記カメラが撮像する範囲の混雑状況を検出する。

また、本発明では、監視目的などで設置されているカメラが撮像した撮像画像を用いて、移動者と滞在者とを区別して抽出し、カメラが撮像する範囲の混雑状況を検出する混雑状況検出プログラムにおいて、コンピュータを、前記移動者がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段、前記撮像画像と前記背景画像との差分から前景画像を生成する前景抽出手段、前記撮像画像と前記短背景画像との差分から前記移動者を抽出した移動者抽出画像を生成する移動者抽出手段、前記背景画像と前記短背景画像との差分から前記滞在者を抽出した滞在者抽出画像を生成する滞在者抽出手段、前記前景抽出手段、前記移動者抽出手段、および前記滞在者抽出手段からそれぞれ入力される前記前景画像、前記移動者抽出画像、および前記滞在者抽出画像に基づいて前記カメラが撮像する範囲の混雑状況を検出する混雑状況検出手段として機能させることを特徴とする混雑状況検出プログラムが提供される。

これにより、短背景生成手段が、前記移動者がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成し、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する。また、前景抽出手段が、前記撮像画像と前記背景画像との差分から前景画像を生成し、移動者抽出手段が、前記撮像画像と前記短背景画像との差分から前記移動者を抽出した移動者抽出画像を生成し、滞在者抽出手段が、前記背景画像と前記短背景画像との差分から前記滞在者を抽出した滞在者抽出画像を生成する。そして、混雑状況検出手段が、前記前景抽出手段、前記移動者抽出手段、および前記滞在者抽出手段からそれぞれ入力される前記前景画像、前記移動者抽出画像、および前記滞在者抽出画像に基づいて前記カメラが撮像する範囲の混雑状況を検出する。

本発明の混雑状況検出装置、方法、およびプログラムによれば、背景生成手段と短背景生成手段とによって生成された背景画像と短背景画像、および入力される撮像画像の３種類の画像から、撮像画像に滞在者および移動者が写っているか、もしくは写っているのは滞在者か移動者かまたはその両方かが判別可能であり、その判別内容に応じた混雑状況を自動で検出することができる。

本実施の形態に適用される発明の概念図である。 本実施の形態に係るシステム構成例を示す図である。 本実施の形態の混雑状況検出装置のブロック図である。 背景生成部の処理内容を示すブロック図である。 移動者および滞在者のシルエットの生成方法を示す図である。 前景画像を用いて混雑度と専有面積との相関関係を示す図である。 前景画像を用いて混雑度と専有面積との相関関係を示す図である。 店舗のレジにエリアを設定して各エリアの混雑状況検出する様子を示す図である。 混雑状況検出装置によるレジ混雑判定・発報処理の手順を示すフローチャートである。 混雑状況検出装置による店員在・不在判定処理の手順を示すフローチャートである。 混雑状況検出装置によるレジ待ち判定処理の手順を示すフローチャートである。 混雑状況検出装置によるレジ混雑状態判定処理の手順を示すフローチャートである。 混雑状況検出装置によるアラーム判定処理の手順を示すフローチャートである。 映し出されたカメラ映像に基づいてエリアを設定するときの表示例を示す図である。 設定したエリアに人が写っている場合の表示例を示す図である。 設定したエリアのレジが混雑している場合の表示例を示す図である。 複数の混雑状況検出装置をネットワークを介してコンピュータに接続するときの構成例を示す図である。 サブシステムの構成例を示す図である。 混雑度に応じて設定されるレベルを表した図である。 展開補正を行うためのエリア分割を示す図である。 エリアを分割して混雑度を判定する様子を表した図である。 混雑状況検出装置による通路混雑判定処理の手順を示すフローチャートである。 混雑状況検出装置による反応面積計算処理の手順を示すフローチャートである。 混雑状況検出装置による移動者混雑度判定処理の手順を示すフローチャートである。 混雑状況検出装置による滞在者混雑度判定処理の手順を示すフローチャートである。 複数の通路が写るカメラに混雑状況検出装置を適用したときの表示例を示す図である。 滞在者として認識されていた人物が移動したときの表示例を示す図である。 滞在者として認識されていた人物が移動したときの表示例を示す図である。 滞在者として認識されていた人物が移動したときの表示例を示す図である。 カメラの設置パターンとそれに伴うエリアの分割を示す図である。 カメラの設置パターンとそれに伴うエリアの分割を示す図である。 カメラの設置パターンとそれに伴うエリアの分割を示す図である。

以下、本発明の実施の形態を図面を参照して詳細に説明する。

〔第１の実施の形態〕

図１は、本実施の形態に適用される発明の概念図である。

図１に示すように、混雑状況検出装置１００は、短背景生成手段１０１、背景生成手段１０２、移動者抽出手段１０３、前景抽出手段１０４、滞在者抽出手段１０５、および混雑状況検出手段１０６を備えている。

短背景生成手段１０１は、カメラが撮像した撮像画像のうち一定数間引きした撮像画像から短背景画像を生成する。具体的には、撮像画像の前後フレーム間で、移動者がその画像における同一位置にいない程度に間引きして一定フレームごとに抜き出した撮像画像を用いて短背景画像を生成する。

このような間引きを行うことにより、一定フレームごとに抜き出した撮像画像の差分をとって適宜加算して短背景画像を生成すると、一定フレーム間の撮像画像にはほとんど同じ位置には移動者が写っていないことから、共通部分としては抽出されず、背景と滞在者のみが抽出されることになる。このような間引きは、たとえば、１〜４フレームごとに撮像画像を抽出し、短背景画像を生成する。

背景生成手段１０２は、短背景画像を用いて背景画像を生成する。背景は日光等の影響や撮像範囲内の物が移動したときなど一定ではないため背景画像も更新をする必要がある。たとえば６４〜２５６フレームごとに抜き出した短背景画像を用いて背景画像を生成することにより、背景画像内に移動者や滞在者を含まないようにすることが可能となる。

移動者抽出手段１０３は、短背景画像と撮像画像の差分から移動者抽出画像を生成する。具体的には、短背景画像には、滞在者と背景が映し出されていることから、撮像画像との差分をとることにより移動者を抽出することができる。

前景抽出手段１０４は、撮像画像と背景画像の差分から前景抽出画像を生成する。

滞在者抽出手段１０５は、短背景画像と背景画像の差分から滞在者抽出画像を生成する。

混雑状況検出手段１０６は、移動者抽出画像、前景画像、および滞在者抽出画像から混雑状況を検出する。
このように移動者抽出画像、滞在者抽出画像、および前景抽出画像をそれぞれ分離抽出することができるので、滞在者の情報のみが必要なとき（待っている人がどのくらいいるのかを知りたいときなど）、移動者の情報のみが必要なとき（通過人数がどれくらいいるのかを知りたいときなど）、もしくは移動者と滞在者の両方の情報が必要なとき（混雑度合いを知りたいときなど）など必要に応じて必要な情報を組み合わせて結果を出力することが可能となる。

図２は、本実施の形態に係るシステム構成例を示す図である。

図２に示すように、複数台のカメラ２００は、映像分配器２１０を介して混雑状況検出装置１００および監視映像用ＤＶＲ（digital video recorder）２２０に接続されている。また、混雑状況検出装置１００が処理を行った画像を監視映像用ＤＶＲ２２０送ることが出来るように接続されている。

これにより、カメラ２００で撮像された映像が混雑状況検出装置１００に送られ、画像処理および混雑状況検出処理が行われる。また、カメラ２００で撮像された映像および混雑状況検出装置１００が処理を行った画像が監視映像用ＤＶＲ２２０に送られ、録画されるように構成されている。

混雑状況検出装置１００の処理内容等に関する設定などは、たとえばコンピュータ２３０を接続して行う。また、混雑状況検出装置１００の処理内容を確認するためにモニタ２４０を接続することも可能である。監視映像用ＤＶＲ２２０にも同様にモニタ２５０を接続することができる。さらに、混雑状況検出装置１００が混雑していると判断したときにその結果を知らせるために、バイブレーション装置や音声や光を発する装置などの発報装置２６０を接続してもよい。

図３は、本実施の形態の混雑状況検出装置のブロック図である。

図３に示すように、カメラ２００で撮像された映像信号が、映像入力１１０を介して混雑状況検出装置１００に入力される。入力された映像信号のうち１〜４フレームの間で設定された間引き間隔で間引かれた入力画像によって生成された背景差分画像が短背景画像として短背景生成部１２１に格納される。このような間引きを行うことによって、移動者は共通部分として抽出されず、滞在者と背景のみが抽出される。
またさらに、入力画像、もしくは入力画像から生成された短背景画像を、６４〜２５６フレームの間で設定された間引き間隔で間引くことによって生成された背景差分画像が背景画像として背景生成部１２２に格納される。このような間引きを行うことによって、移動者はもちろんのこと滞在者も共通部分として抽出されず、背景のみが抽出される。

移動者検出部１３１が、映像入力１１０から入力される入力画像と短背景生成部１２１に格納されている短背景画像の差分をとって二値化し、加算器１４１とブロックメモリ１５１に出力する。上述の通り、短背景抽出画像には移動者は抽出されておらず、滞在者と背景のみが抽出されていることから、入力画像と短背景画像の差分をとることによって移動者のみが抽出され、これを入力画像と加算することにより現在映し出されている映像に二値化された移動者のシルエットを重ねて表示することが可能となる。表示例については後述する。

また、滞在者検出部１３２が、短背景生成部１２１に格納されている短背景画像と背景生成部１２２に格納されている背景画像の差分をとって二値化し、加算器１４２とブロックメモリ１５２に出力する。上述の通り、短背景抽出画像には移動者は抽出されておらず、滞在者と背景のみが抽出されており、背景抽出画像には移動者および滞在者は抽出されておらず、背景のみが抽出されていることから、短背景画像と背景画像の差分をとることによって滞在者のみが抽出され、これを短背景画像と加算することにより現在映し出されている映像に二値化された滞在者のシルエットを重ねて表示することが可能となる。表示例については後述する。

上述のブロックメモリ１５１，１５２に格納されている画像情報は表示処理部１６０が表示要求信号に応じて適宜読み出し、たとえばモニタ２４０に出力する。

この一連の機能はＬＡＮ（Local Area
Network）を介して接続されているコンピュータや、混雑状況検出装置１００に設けられたフロントパネルＩＦ（interface）などを介して要求され、ＣＰＵ（Central
Processing Unit）などによる統合制御処理部によって発せられる処理要求信号などに基づいて実現される。

図４は、背景生成部の処理内容を示すブロック図である。

図４に示すように、背景生成部１２２は、背景メモリ部１７０と更新速度制御部１８０を備えている。

背景メモリ部１７０は、乗算器１７１，１７２、加算器１７３、フレームメモリ１７４、および整数化部１７５を備え、更新速度制御部１８０は、フレームカウンタ１８１、コンパレータ１８２、および更新周期レジスタ１８３を備えている。

フレームカウンタ１８１は、入力される垂直同期信号をカウントアップし、フレームカウンタ１８１の値が更新周期レジスタ１８３に格納されている間引き数になると、コンパレータ１８２からフレームメモリ１７４に対して画像を保存するようにイネーブル信号を出力する。

一方、背景メモリ部１７０には、映像入力１１０から入力される入力画像に対して乗算器１７１で乗算した画像データと、フレームメモリ１７４に保存されている画像データに対して乗算器１７２で乗算した画像データとを、加算器１７３で加算してフレームメモリ１７４に格納する。そして、整数化部１７５で整数化して背景画像として出力する。

乗算器１７１で乗算される値をαとしたとき、乗算器１７２で乗算される値を１−αとする。このαの値を調整することにより何フレーム程度で背景画像がリフレッシュされるかを設定することができる。この図において背景生成部１２２の構成を説明したが、短背景生成部１２１も同様の構成である。

図５は、移動者および滞在者のシルエットの生成方法を示す図であり、図５（Ａ）は、移動者と滞在者を分離して抽出した様子を示す図であり、図５（Ｂ）は、移動者と滞在者を前景として抽出した様子を示す図であり、図５（Ｃ）は、フレーム差分をとったときの変動部分を示す図であり、図５（Ｄ）は、変動部分と前景部分を併用したときを示す図である。

図５（Ａ）に示すように、本実施の形態の混雑状況検出装置１００においては、移動者と滞在者を分離して抽出することができる。以下、説明の便宜上、分離抽出したときの移動者を右上がりの斜線で示し、滞在者を右下がりの斜線で示す。

図５（Ｂ）に示すように、前景を抽出すると移動者と滞在者の差がわからず、入力画像の一枚をもって移動者がたまたま写っただけなのか、滞在者が写っているのかの判別をすることができない。つまり、滞在者がいることによって混雑しているのか、それとも移動者がたまたま写っているだけで混雑していないのかの判別をすることができない。

このとき、フレーム差分をとることによって前後フレームとの差で写っているのが滞在者なのか、移動者なのかを判別する方法も考えられるが、図５（Ｃ）に示すように、単純にフレーム差分をとると、滞在者は背景と一体化して差分として現れず消えてしまう。一方、移動者は差分をとると輪郭のみが差分として抽出されることになる。

そこで、図５（Ｂ）で示した前景画像と、図５（Ｃ）で示した変動部分を抽出した画像とを加算することによりシルエットを形成することができるが、これによってシルエットを形成することができても、やはり移動者と滞在者を区別することはできない。

図６，７は、前景画像を用いて混雑度と専有面積との相関関係を示す図である。

図６，７（Ａ）〜（Ｃ）は、ある一定区間を上部からカメラで撮像した画像が左上に表示され、背景画像が左下に表示され、撮像した画像と背景画像の差分が右下に表示され、全面積中の背景差分部分の専有面積を表すグラフで右上に表示されている。

図６（Ａ）〜（Ｃ）では、一定時間ごとに、カメラで撮像している区画に３人ずつ入り、そのときの全面積中の、背景差分として抽出される人間の部分の面積の相関関係がどうなるかを実験したものである。

また、図７（Ａ）〜（Ｃ）では、一定時間ごとに、カメラで撮像している区画から３人ずつ出ていき、そのときの全面積中の、背景差分として抽出される人間の部分の面積の相関関係がどうなるかを実験したものである。

図６（Ａ）〜（Ｃ）の各右上のグラフが示すように、一定人数ずつ撮像区画に人が増えると、その増えた人数とほぼ比例して専有面積が増える。また、図７（Ａ）〜（Ｃ）の各右上のグラフが示すように、一定人数ずつ撮像区画に人が減ると、その減った人数とほぼ比例して専有面積が増える。

これは撮像区画に入る人の体格に多少差があっても同様の結果となる。すなわち、一定の区画に何人の人がいるのかを知るためには、その区画における人の専有面積を計算すればおおよその人数を把握できるということがわかる。この考え方を用いるために移動者や滞在者のシルエットを生成することに大いに意味がある。

図８は、店舗のレジにエリアを設定して各エリアの混雑状況検出する様子を示す図である。

図８（Ａ）においては、レジカウンタ３１１，３１２前の精算客が並ぶ部分に監視エリア３２１，３２２を設定してカウンタ３１１，３１２内にレジ打ち店員がいるかいないかを監視する。そして、レジ打ち店員がいないときに監視エリア３２１，３２２内に滞在者が検出されたときに発報する。

なお図８（Ａ）におけるカウンタ３１１内に示した破線の人型は、レジ打ち店員がいないことを表している。このとき監視エリア３２１内に右下がりの斜線で表した滞在者３３１がいるので、このときに混雑状況検出装置１００はレジ待ちをしている客がいると判断して発報する。

一方で、図８（Ｂ）に示すように、監視エリア３２１内に人が検出されても、その人を移動者３３２であると判断したときには、検出された人はレジ待ちをしているわけではないと判断して、カウンタ３１１内にレジ打ち店員がいなくても発報を行わない。

また、カウンタ３１１内にレジ打ち店員がいたとしても、監視エリア３２１内に滞在者が一定数以上おり、かつ隣のレジカウンタ３１２内にレジ打ち店員がいないときには発報を行うことも考えられる。

監視エリア３２１内に４人以上のレジ待ちの人がいるときに発報を行うように設定しているときには、図８（Ｃ）に示すように、カウンタ３１２内にレジ打ち店員がいないので発報を行う。

一方で、監視エリア３２１内に４人の人が検出され、かつカウンタ３１２内にレジ打ち店員がいないときでも、この４人のうち１人が移動者と判断されたときは発報を行わない。

以上のように、滞在者と移動者とを分けることができるので、より正確に発報をすることができる。

図９は、混雑状況検出装置によるレジ混雑判定・発報処理の手順を示すフローチャートである。以下、図９に示す処理をステップ番号に沿って説明する。

〔ステップＳ１１〕ブロックメモリ１５１に記憶されている移動者抽出二値化画像を取得する。

〔ステップＳ１２〕ブロックメモリ１５２に記憶されている滞在者抽出二値化画像を取得する。

〔ステップＳ１３〕レジごとにカウンタ内にレジ打ち店員がいるかいないかを取得した画像から判定する、店員在・不在判定処理を行う。

〔ステップＳ１４〕レジごとにカウンタの外の精算客が並ぶ位置である監視エリアに客がいるか否かを判定するレジ待ち判定処理を行う。

〔ステップＳ１５〕レジごとの混雑状況を判定するレジ混雑状態判定処理を行う。

〔ステップＳ１６〕上記レジ混雑状態判定処理の判定結果に応じてアラームなどの発報を行うか否かを判定するアラーム判定処理を行う。

以上のような処理を行うことによってレジ混雑判定・発報処理が行われる。以下、レジ混雑判定・発報処理内の１つ１つの処理について詳細に説明する。

図１０は、混雑状況検出装置による店員在・不在判定処理の手順を示すフローチャートである。以下、図１０に示す処理をステップ番号に沿って説明する。

〔ステップＳ２１〕監視対象のレジのレジ打ち店員がいるべき立ち位置に設定された各レジ打ち店員エリアの番号を表すレジ番号カウンタの値をリセットする。

〔ステップＳ２２〕レジ番号カウンタの値に１加算する。

〔ステップＳ２３〕レジ番号カウンタの値が示す番号が設定されたレジ打ち店員エリアにおける移動者および滞在者の反応面積を算出する。ここで、滞在者の反応面積のみならず移動者の反応面積も含めるのは、レジ打ち店員は位置をある程度移動しながら作業を行うので、滞在者の反応面積のみ算出するとレジ打ち店員がいるにもかかわらずいないと誤判定をする可能性があるからである。

〔ステップＳ２４〕反応面積がしきい値以上のときは、そのエリアにはレジ打ち店員がいると判断して処理をステップＳ２５へ進め、しきい値未満のときは、そのエリアにレジ打ち店員がいないと判断して処理をステップＳ２６へ進める。

〔ステップＳ２５〕反応面積がしきい値以上か否かを判断したレジ打ち店員エリアの番号に関連づけて店員がいることを登録する。具体的には店員滞在フラグをセットする。

〔ステップＳ２６〕反応面積がしきい値以上か否かを判断したレジ打ち店員エリアの番号に関連づけて店員がいないことを登録する。具体的には店員不在フラグをセットする。

〔ステップＳ２７〕あらかじめ設定されているレジの台数、つまりレジ打ち店員エリアの番号の最大値より、反応面積がしきい値以上か否かを判断したレジ打ち店員エリアの番号、つまり現在のレジ番号カウンタの値が小さいか否かを判断する。小さいときは処理をステップＳ２２に戻し、小さくないときは処理を終了する。

以上の店員在・不在判定処理を行うことによって、各レジに店員がいるか否かを、各レジ打ち店員エリアの番号に関連づけられた店員滞在フラグもしくは店員不在フラグを読み出すことによって判断することができる。

図１１は、混雑状況検出装置によるレジ待ち判定処理の手順を示すフローチャートである。以下、図１１に示す処理をステップ番号に沿って説明する。

〔ステップＳ３１〕監視対象のレジのレジ待ちもしくはレジ精算中の客がいるべき立ち位置に設定された各精算客エリアの番号を表す精算客カウンタの値をリセットする。

〔ステップＳ３２〕精算客カウンタの値に１加算する。

〔ステップＳ３３〕精算客カウンタの値が示す番号が設定された精算客エリアにおける滞在者のみの反応面積を算出する。これは、たとえば精算客エリアに設定されている空間を通り過ぎただけのレジでの精算のためにこのエリアにいたわけではない客を検出したことによって発報をしてしまうという誤報を避けるためである。

〔ステップＳ３４〕精算客エリアにおける滞在者のみの反応面積が、１人が滞在していると判断される１人滞在面積しきい値以上のときは、そのエリアには精算客がいると判断して処理をステップＳ３５へ進め、１人滞在面積しきい値未満のときは、そのエリアに精算客がいないと判断して処理をステップＳ３６へ進める。

〔ステップＳ３５〕精算客エリアにおける滞在者のみの反応面積が、レジが混雑していると判断される混雑面積しきい値以上のときは、そのエリアのレジが混雑していると判断して処理をステップＳ３７へ進め、混雑面積しきい値未満のときは、そのエリアに精算客はいるが混雑はしていないと判断して処理をステップＳ３８へ進める。

〔ステップＳ３６〕反応面積が１人滞在しきい値以上か否かを判断した精算客エリアの番号に関連づけて精算客がいないことを登録する。具体的には精算客なしフラグをセットする。

〔ステップＳ３７〕反応面積が混雑面積しきい値以上か否かを判断した精算客エリアの番号に関連づけてレジが混雑していることを登録する。具体的にはレジ混雑フラグをセットする。

〔ステップＳ３８〕反応面積が混雑面積しきい値以上か否かを判断した精算客エリアの番号に関連づけてレジに精算客はいるが混雑はしていないことを登録する。具体的には精算客滞在フラグをセットする。

〔ステップＳ３９〕あらかじめ設定されているレジの台数、つまり精算客エリアの番号の最大値より、反応面積がしきい値以上か否かを判断した精算客エリアの番号、つまり現在の精算客カウンタの値が小さいか否かを判断する。小さいときは処理をステップＳ３２に戻し、小さくないときは処理を終了する。

以上のレジ待ち判定処理を行うことによって、各レジに精算客がいるか否か、および精算客がいる場合に混雑しているといえるか否かを、各精算客エリアの番号に関連づけられた精算客なしフラグ、精算客滞在フラグもしくはレジ混雑フラグを読み出すことによって判断することができる。

図１２は、混雑状況検出装置によるレジ混雑状態判定処理の手順を示すフローチャートである。以下、図１２に示す処理をステップ番号に沿って説明する。

〔ステップＳ４１〕レジ打ち店員が不足しているか否かを判断するためのレジ不足フラグをクリアする。なお、このときにレジ店員待ちフラグはクリアしないが、混雑状況検出装置の始動時にレジ店員待ちフラグをクリアする。

〔ステップＳ４２〕複数台のレジにふられたレジ番号の値を表すレジ番号カウンタをクリアする。

〔ステップＳ４３〕レジ番号カウンタの値を１加算する。

〔ステップＳ４４〕レジ番号カウンタの値が示すレジ番号がふられたレジにレジ打ち店員がいるか否かを判断する。具体的には、上述の店員在・不在判定処理によって設定された店員滞在フラグもしくは店員不在フラグを読み出すことによって判断する。店員がいると判断したときは処理をステップＳ４５へ進め、店員がいないと判断したときは処理をステップＳ４９へ進める。

〔ステップＳ４５〕レジ番号カウンタの値が示すレジ番号がふられたレジが混雑しているか否かを判断する。具体的には、上述のレジ待ち判定処理によってレジ混雑フラグが設定されているか否かを読み出すことによって判断する。レジが混雑していると判断したときは処理をステップＳ４６へ進め、レジが混雑していないと判断したときは処理をステップＳ５０へ進める。

〔ステップＳ４６〕レジ番号カウンタの値が示すレジ番号以外の番号がふられたレジのうち、レジ打ち店員がいないレジが存在するか否かを判断する。具体的には、上述の店員在・不在判定処理によって他のレジに店員不在フラグが設定されているか否かを読み出すことによって判断する。レジ打ち店員がいないレジが存在するときには処理をステップＳ４７へ進め、レジ打ち店員がいないレジが存在しないときには処理をステップＳ５０へ進める。

〔ステップＳ４７〕混雑しているレジがあるときに、レジ打ち店員がいないレジが存在するので、レジ不足フラグを設定し、レジ番号カウンタの値が示すレジ番号に関連づけてレジ店員待ちフラグが設定されているときはそのフラグをクリアする。

〔ステップＳ４８〕あらかじめ設定されているレジの台数、つまりレジ番号の最大値より、現在のレジ番号カウンタの値が小さいか否かを判断する。小さいときは処理をステップＳ４３に戻し、小さくないときは処理を終了する。

〔ステップＳ４９〕レジ番号カウンタの値が示すレジ番号がふられたレジに精算客が０人か否かを判断する。０人、つまり精算客がいないときは処理をステップＳ５０へ進め、精算客が０人でない、つまり精算客がいるときは処理をステップＳ５１へ進める。

〔ステップＳ５０〕レジ番号カウンタの値が示すレジ番号に関連づけてレジ店員待ちフラグが設定されているときは、そのフラグをクリアする。

〔ステップＳ５１〕レジ番号カウンタの値が示すレジ番号に関連づけてレジ店員待ちフラグを設定する。

以上のレジ混雑状態判定処理を行うことによって、混雑しているレジがあって、かつ他のレジにレジ打ち店員がいないときにはレジ不足フラグを設定してレジ不足を表すことができる。

図１３は、混雑状況検出装置によるアラーム判定処理の手順を示すフローチャートである。以下、図１３に示す処理をステップ番号に沿って説明する。

〔ステップＳ６１〕レジ不足フラグが設定されているか否かを判断する。設定されているときは処理をステップＳ６７へ進め、設定されていないときは処理をステップＳ６２へ進める。

〔ステップＳ６２〕レジ番号カウンタの値をクリアする。

〔ステップＳ６３〕レジ番号カウンタの値を１加算する。

〔ステップＳ６４〕レジ番号カウンタの値が示すレジに関連づけられたレジ店員待ちフラグが設定されているか否かを判断する。設定されているときは処理をステップＳ６７へ進め、設定されていないときは処理をステップＳ６５へ進める。

〔ステップＳ６５〕あらかじめ設定されているレジの台数、つまりレジ番号カウンタの値として設定されている最大値より、現在のレジ番号カウンタの値が小さいか否かを判断する。小さいときは処理をステップＳ６３に戻し、小さくないときは処理をステップＳ６６へ進める。

〔ステップＳ６６〕アラームなどの発報がされているときは、そのアラームを停止する。

〔ステップＳ６７〕アラームなどの発報をする。具体的には、パトランプを点灯させたり、店員が携帯しているバイブレータの始動信号を送信したりする。

以上のアラーム判定処理を行うことによって、レジ不足フラグやレジ店員待ちフラグが設定されているときはアラームなどの発報を行うことにより、店員にその旨を知らせ、店員の適切な活動を支援することができる。

図１４は、映し出されたカメラ映像に基づいてエリアを設定するときの表示例を示す図であり、図１４（Ａ）は、入力された現在の映像上のどの位置にエリアが設定されたかを表示する表示例であり、図１４（Ｂ）は、カメラから入力された現在の映像を示している。

図１４（Ａ）に示すように、レジ打ち店員がいるべき場所にレジ打ち店員エリアを設定し、精算客が滞在する場所に精算客エリアを画面上で確認しながら設定することが可能となる。

設定されたエリアに係る情報は混雑状況検出装置１００に格納される。たとえば、当該エリアがレジ打ち店員エリアなのか、精算客エリアなのか、そのエリアの座標がどこからどこまでかなどがその情報となる。

図１５は、設定したエリアに人が写っている場合の表示例を示す図であり、図１５（Ａ）は、抽出した移動者や滞在者、および設定エリアの表示例であり、図１５（Ｂ）がカメラから入力された現在の映像を示している。

図１５（Ａ）に示すように、レジ打ち店員エリア４１１として設定された範囲内にレジ打ち店員３４１がおり、精算客エリア４２１として設定された範囲内に滞在者３３１が映し出されている。
混雑状況検出装置１００は、設定されたエリアの座標の中で、移動者や滞在者などとして検出した人物のシルエットの面積、つまり反応面積を算出することにより、店員の在・不在や、エリアの混雑度を判定する。

図１６は、設定したエリアのレジが混雑している場合の表示例を示す図である。

図１６（Ｂ）は、カメラ２００から入力された現在の映像を示しており、図１６（Ａ）は、左側のレジの精算客エリア４２１が混雑面積しきい値を超えているが、右側のレジのレジ打ち店員エリア４１２には店員がいないので発報を行っている様子を表している。この表示例ではレジ打ち店員エリア４１２を網掛けで表示することによって視覚的に発報を行っている。この視覚的な発報とともに、上述の通りパトランプやバイブレータなどによる発報を併用してもよい。

〔第２の実施の形態〕

次に、本発明の第２の実施の形態について説明する。本実施の形態の混雑状況検出システムは、複数の混雑状況検出装置がネットワークを介して配置され、混雑情報に関するデータをコンピュータが集計することが異なる以外は、第１の実施の形態で示した構成と同様である。このため、上記第１の実施の形態とほぼ同様の構成部分については同一の符号を付すなどして適宜その説明を省略する。

図１７は、複数の混雑状況検出装置をネットワークを介してコンピュータに接続するときの構成例を示す図である。

図１７に示すように、複数のカメラ２００が接続された混雑状況検出装置１００がネットワークを介してコンピュータ２３０に接続されている。ここでは、複数のカメラ２００とそのカメラ２００が接続された混雑状況検出装置１００を合わせてサブシステム２１００とする。

図１８は、サブシステムの構成例を示す図である。

図１８に示すサブシステム２１００のカメラ２００は、監視対象を斜め上方から撮像するように設置されている。このカメラ２００が混雑状況検出装置１００に接続され、ネットワークを介してコンピュータ２３０に接続されている。

この構成のときは、混雑状況検出装置１００に接続されているモニタ２４０は、カメラ２００の撮像範囲やエリア設定、もしくは混雑状況検出装置１００の機能調整用としてのみ用いて、運用時にはネットワークを介して接続されているコンピュータ２３０に撮像画像や処理結果を転送する。

図１９は、混雑度に応じて設定されるレベルを表した図である。

図１９（Ａ）〜（Ｅ）に示すように、（Ａ）から（Ｅ）にいくにしたがって撮像エリアに映し出される人の数が多くなっている。また、斜め上方からエリアを撮像しているため、混雑度を計算する前に画像の補正をした後に混雑度の計算をする。

具体的には、斜め上方から撮像しているために斜めに映し出されている人がいるエリアの境界線を、まっすぐになるように展開するように引き延ばす補正を行う。

図１９（Ａ）は、展開補正を行った後の人が存在するエリア面積全体に対して、人が映し出された部分が１／５未満であるときを表しており、これをレベル０とする。

図１９（Ｂ）は、展開補正を行った後の人が存在するエリア面積全体に対して、人が映し出された部分が１／５以上であるときを表しており、これをレベル１とする。

図１９（Ｃ）は、展開補正を行った後の人が存在するエリア面積全体に対して、人が映し出された部分が２／５以上であるときを表しており、これをレベル２とする。

図１９（Ｄ）は、展開補正を行った後の人が存在するエリア面積全体に対して、人が映し出された部分が３／５以上であるときを表しており、これをレベル３とする。

図１９（Ｅ）は、展開補正を行った後の人が存在するエリア面積全体に対して、人が映し出された部分が４／５以上であるときを表しており、これをレベル４とする。

図２０は、展開補正を行うためのエリア分割を示す図である。

図２０（Ａ）は、撮像エリアを斜め上方から撮像した状態を示しており、図２０（Ｂ）は、撮像した状態を説明の便宜上縦方向に拡大した拡大図である。

展開補正をすると説明したが、実際には一定間隔でエリアを設定してそのエリアごとに補正係数を乗算することによって、展開補正を実際にしたのと同様になるように疑似補正を行う。

図２０（Ｂ）に示すように、分割したエリアを下から（１）〜（４）まで番号を付すると、たとえば（１）で示すエリアの補正係数は１であり、（２）で示すエリアの補正係数は２であり、（３）で示すエリアの補正係数は４であり、（４）で示すエリアの補正係数は８である。また、（４）より遠方に対しては計測精度が落ちるため、面積計算の対象とはしない。

図２１は、エリアを分割して混雑度を判定する様子を表した図である。

図２１（Ａ）〜（Ｅ）に示すように、（Ａ）から（Ｅ）にいくにしたがって撮像エリアに映し出される人の数が多くなっている。図２１においては、撮像エリアの右側から人が並び始めるような待ち行列を横方向斜め上方から撮影している様子を示している。このとき、分割したエリアのそれぞれを右側からエリア１からエリア４と順番に名前を付けたとする。

図２１（Ａ）は、どのエリアもあらかじめ設定された面積しきい値を越えていない状態を表しており、これをレベル０とする。

図２１（Ｂ）は、エリア１があらかじめ設定された面積しきい値を越えている状態を表しており、これをレベル１とする。

図２１（Ｃ）は、エリア１およびエリア２があらかじめ設定された面積しきい値を越えている状態を表しており、これをレベル２とする。

図２１（Ｄ）は、エリア１〜３までがあらかじめ設定された面積しきい値を越えている状態を表しており、これをレベル３とする。

図２１（Ｅ）は、エリア４までのすべてのエリアがあらかじめ設定された面積しきい値を越えている状態を表しており、これをレベル４とする。

図２２は、混雑状況検出装置による通路混雑判定処理の手順を示すフローチャートである。以下、図２２に示す処理をステップ番号に沿って説明する。

〔ステップＳ７１〕ブロックメモリ１５１に記憶されている移動者抽出二値化画像を取得する。

〔ステップＳ７２〕移動者検出面積補正処理を行う。具体的には、上述の図２０で示したような方法により補正処理を行う。

〔ステップＳ７３〕ブロックメモリ１５２に記憶されている滞在者抽出二値化画像を取得する。

〔ステップＳ７４〕滞在者検出面積補正処理を行う。具体的には、上述の図２０で示したような方法により補正処理を行う。

〔ステップＳ７５〕エリアごとの移動者および滞在者が抽出された反応面積を計算する反応面積計算処理を行う。

〔ステップＳ７６〕算出したエリアごとの移動者が抽出された移動者反応面積を用いて移動者混雑度を判定する移動者混雑度判定処理を行う。

〔ステップＳ７７〕算出したエリアごとの滞在者が抽出された滞在者反応面積を用いて滞在者混雑度を判定する滞在者混雑度判定処理を行う。

〔ステップＳ７８〕エリアごとの混雑度の判定結果を出力する判定結果出力処理を行う。

以上のような処理を行うことによって通路混雑判定処理が行われる。以下、通路混雑判定処理内の１つ１つの処理について詳細に説明する。

図２３は、混雑状況検出装置による反応面積計算処理の手順を示すフローチャートである。以下、図２３に示す処理をステップ番号に沿って説明する。

〔ステップＳ８１〕エリア分けされた監視範囲のエリア番号を表すエリア番号カウンタの値をリセットする。たとえば、通路ごとにエリアを区切って、各通路の混雑状況を判定する。

〔ステップＳ８２〕エリア番号カウンタの値に１加算する。

〔ステップＳ８３〕エリア番号カウンタの値が示す番号が設定された監視エリアにおける移動者の反応面積を算出する。

〔ステップＳ８４〕算出した移動者反応面積を、エリア番号カウンタの値に関連づけて保存する。

〔ステップＳ８５〕エリア番号カウンタの値が示す番号が設定された監視エリアにおける滞在者の反応面積を算出する。

〔ステップＳ８６〕算出した滞在者反応面積を、エリア番号カウンタの値に関連づけて保存する。

〔ステップＳ８７〕あらかじめ設定されている通路の数、つまりエリア番号カウンタの最大値より、現在のエリア番号カウンタの値が小さいか否かを判断する。小さいときは処理をステップＳ８２に戻し、小さくないときは処理を終了する。

以上の通路混雑判定処理を行うことによって、通路ごとの移動者および滞在者の状況を把握することができる。

図２４は、混雑状況検出装置による移動者混雑度判定処理の手順を示すフローチャートである。以下、図２４に示す処理をステップ番号に沿って説明する。

〔ステップＳ９１〕エリア分けされた監視範囲のエリア番号を表すエリア番号カウンタの値をリセットする。

〔ステップＳ９２〕エリア番号カウンタの値に１加算する。

〔ステップＳ９３〕混雑度のレベルを表す混雑レベルカウンタの値に５を設定する。

〔ステップＳ９４〕混雑レベルカウンタの値を１減算する。

〔ステップＳ９５〕エリア番号カウンタの値に対応するエリアの移動者反応面積をそのエリアの面積で除算したものが、混雑レベルカウンタの値を５で除算したものより小さいか否かを判定する。小さいときは処理をステップＳ９６へ進め、小さくないときは処理をステップＳ９８へ進める。

〔ステップＳ９６〕混雑レベルカウンタの値が１より大きいか否かを判断する。１より大きいときは処理をステップＳ９４へ戻し、大きくないときは処理をステップＳ９７へ進める。

〔ステップＳ９７〕エリア番号カウンタの値に対応するエリアの移動者混雑度をレベル０に設定する。

〔ステップＳ９８〕エリア番号カウンタの値に対応するエリアの移動者混雑度のレベルを、混雑レベルカウンタの値に設定する。

〔ステップＳ９９〕あらかじめ設定されているエリアの数、つまりエリア番号の最大値より、現在のエリア番号カウンタの値が小さいか否かを判断する。小さいときは処理をステップＳ９２に戻し、小さくないときは処理を終了する。

以上の移動者混雑度判定処理を行うことによって、各エリアの移動者混雑度のレベルを知ることができる。つまり、エリアを通路ごとに設定したときには通路ごとの移動者が多いか少ないかの度合いを知ることができる。これを店舗の通路に適用すると、店舗のどの通路を顧客が多く通るかを知ることができ、たとえば店舗レイアウトの変更時に有用な情報を得ることができるようになる。

図２５は、混雑状況検出装置による滞在者混雑度判定処理の手順を示すフローチャートである。以下、図２５に示す処理をステップ番号に沿って説明する。

〔ステップＳ１０１〕エリア分けされた監視範囲のエリア番号を表すエリア番号カウンタの値をリセットする。

〔ステップＳ１０２〕エリア番号カウンタの値に１加算する。

〔ステップＳ１０３〕混雑度のレベルを表す混雑レベルカウンタの値に５を設定する。

〔ステップＳ１０４〕混雑レベルカウンタの値を１減算する。

〔ステップＳ１０５〕エリア番号カウンタの値に対応するエリアの滞在者反応面積をそのエリアの面積で除算したものが、混雑レベルカウンタの値を５で除算したものより小さいか否かを判定する。小さいときは処理をステップＳ１０６へ進め、小さくないときは処理をステップＳ１０８へ進める。

〔ステップＳ１０６〕混雑レベルカウンタの値が１より大きいか否かを判断する。１より大きいときは処理をステップＳ１０４へ戻し、大きくないときは処理をステップＳ１０７へ進める。

〔ステップＳ１０７〕エリア番号カウンタの値に対応するエリアの移動者混雑度をレベル０に設定する。

〔ステップＳ１０８〕エリア番号カウンタの値に対応するエリアの移動者混雑度のレベルを、混雑レベルカウンタの値に設定する。

〔ステップＳ１０９〕あらかじめ設定されている通路の数、つまりエリア番号カウンタの最大値より、現在のエリア番号カウンタの値が小さいか否かを判断する。小さいときは処理をステップＳ１０２に戻し、小さくないときは処理を終了する。

以上の滞在者混雑度判定処理を行うことによって、各エリアの滞在者混雑度のレベルを知ることができる。つまり、エリアを通路ごとに設定したときには通路ごとの滞在者が多いか少ないかの度合いを知ることができる。これを店舗の通路に適用すると、その通路にある棚に陳列された商品に目がとまり顧客が立ち止まったことなどが推認できる。

図２６は、複数の通路が写るカメラに混雑状況検出装置を適用したときの表示例を示す図である。

図２６（Ａ）から（Ｃ）にかけて、画面手前側から奥側へ向けて移動者が移動している様子を表している。このとき、移動者のシルエットは右上がりの斜線でハッチングして表現している。

図２７〜２９は、滞在者として認識されていた人物が移動したときの表示例を示す図である。図２７における丸囲みの部分に表された人物のシルエットの一部には右下がりの斜線で囲まれた部分、つまり滞在者と判断された部分が存在し、人物のシルエットは右上がりの斜線で囲まれ、移動者と判断されたことを示している。

この表示例からは移動者と判断された人物が若干移動して、滞在していたところと人物のシルエットがかぶる部分を中心に滞在していたことのなごりが残っているものと推認できる。

図２８の表示例では、移動者と判断された人物が通路の奥側方向にさらに移動しており滞在者部分が図２７に比べて小さくなっていることがわかる。さらに、図２９の表示例では、移動者はさらに右隣の棚方向に移動しており、滞在者部分がより一層小さくなっていることがわかる。

一方、丸囲みの人物いる通路の右隣の通路における一番奥側にいる人物は図２７，２８においては移動者と判断され、右上がりの斜線でシルエットが示されているが、図２９においては手元と頭部が若干移動したものの、動いていない足下部分から肩口にかけてが右下がりの滞在者表示に変化している。

同様に、その人物の手前側にいる人物も図２７，２８においては移動者と判断され、図２９においては奥側に移動しているが、図２７，２８と図２９における当該人物の共通部分である足下の部分が右下がりの滞在者表示に変化していることが示されている。

以上のように、一定時間（一定フレーム分）同じところにいると滞在者表示がされ、その人物が移動するとだんだんと滞在者表示が消えていく。また、別のところからやってきても、しばらく同じところにいると移動者表示から滞在者表示に変化するように表示される。

この情報を集計することにより、棚のどの部分に滞在者が多くいたか、すなわちどの商品が顧客の注意をひいたかなどのマーケティングに応用することが可能となる。

この滞在者表示などは時間と位置関係をいくつかのブロックに分けることによりそのブロックに関連づけて情報を保存することができ、その保存された情報を元に後日顧客傾向などを判断するときの材料としても用いることが可能である。

図３０〜３２は、カメラの設置パターンとそれに伴うエリアの分割を示す図である。

図３０は、対抗する棚の上部にそれぞれ１台のカメラ２００を設置した様子を示している。図３０（Ａ）に示すようなカメラ２００の設置パターンによると、図３０（Ｂ）に示すように、棚に向かった移動者・滞在者を背後から撮影することになる。またこの方向から撮影すると、対抗する棚の商品部分も写すことになる。したがって、商品の増減も含めてデータとして記録しておくことが可能であり、よりマーケティングに応用することが容易になる。一方で、１台のカメラで１つの棚のみを監視することになるので設置コストが増大する。また、狭い範囲しか撮影することができないので、混雑度を判断するときに若干不利な点となる。この撮影方法の場合には、画面中の範囲を左右方向の２分割するようにエリアを分割することができる。

図３１は、天井高が３ｍ以上のときに適用が可能な、通路上部の天井部分にカメラ２００を鉛直下向きに設置した様子を示している。図３１（Ａ）に示すようなカメラ２００の設置パターンによると、図３１（Ｂ）に示すように、カメラ２００が設置された下部にある通路の移動者・滞在者を撮影することが可能となる。一方で、鉛直下向きに撮影しているので、商品棚の商品部分はほとんど写らず、滞在者が商品を購入したか否かの判断をすることはできない点が不利な点となる。この撮影方法の場合には、画面中の範囲を左右方向の３分割し、かつ上下方向に２分割、計６分割するようにエリアを分割することができる。

図３２は、天井高が４ｍ以上のときに適用が可能な、商品棚の上部の天井部分にカメラ２００を鉛直下向きに設置した様子を示している。図３２（Ａ）に示すようなカメラ２００の設置パターンによると、図３２（Ｂ）に示すように、カメラ２００が設置された下部にある２つの通路の移動者・滞在者を撮影することが可能となる。したがって、１台のカメラ２００で棚４台分、通路２つ分を一度に監視することが可能なので、設置コストを低減することができる。一方で、鉛直下向きに撮影しているので、商品棚の商品部分はほとんど写らず、滞在者が商品を購入したか否かの判断をすることはできない点が不利な点となる。この撮影方法の場合には、画面中の範囲を左右方向の４分割し、かつ上下方向に４分割、計１６分割するようにエリアを分割することができる。

なお、上記の処理機能は、コンピュータによっても実現することができる。その場合、混雑状況検出装置が有すべき機能の処理内容を記述した混雑状況検出プログラムが提供される。その混雑状況検出プログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述した混雑状況検出プログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ＨＤＤ、ＦＤ、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital
Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録装置には、ＭＯ（Magneto Optical disk）などがある。

混雑状況検出プログラムを流通させる場合には、たとえば、その混雑状況検出プログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにその混雑状況検出プログラムを転送することもできる。

混雑状況検出プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録された混雑状況検出プログラムもしくはサーバコンピュータから転送された混雑状況検出プログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置から混雑状況検出プログラムを読み取り、混雑状況検出プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接混雑状況検出プログラムを読み取り、その混雑状況検出プログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータから混雑状況検出プログラムが転送される毎に、逐次、受け取った混雑状況検出プログラムに従った処理を実行することもできる。

なお、本発明は、上述の実施の形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加えることができる。

上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。

１００ 混雑状況検出装置
１０１ 短背景生成手段
１０２ 背景生成手段
１０３ 移動者抽出手段
１０４ 前景抽出手段
１０５ 滞在者抽出手段
１０６ 混雑状況検出手段

Claims (15)

1. 監視目的などで設置されているカメラが撮像した撮像画像を用いて、移動者と滞在者とを区別して抽出し、カメラが撮像する範囲の混雑状況を検出する混雑状況検出装置において、
   前記移動者がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段と、
   前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段と、
   前記撮像画像と前記背景画像との差分から前景画像を生成する前景抽出手段と、
   前記撮像画像と前記短背景画像との差分から前記移動者を抽出した移動者抽出画像を生成する移動者抽出手段と、
   前記背景画像と前記短背景画像との差分から前記滞在者を抽出した滞在者抽出画像を生成する滞在者抽出手段と、
   前記前景抽出手段、前記移動者抽出手段、および前記滞在者抽出手段からそれぞれ入力される前記前景画像、前記移動者抽出画像、および前記滞在者抽出画像に基づいて前記カメラが撮像する範囲の混雑状況を検出する混雑状況検出手段と、
   を備えることを特徴とする混雑状況検出装置。
2. 前記混雑状況検出手段が、前記移動者抽出手段が検出した移動者として反応した移動者反応面積と、前記滞在者抽出手段が検出した滞在者として反応した滞在者反応面積の少なくとも一方を用いて、その反応面積に応じて混雑しているか否かを判断することを特徴とする請求項１記載の混雑状況検出装置。
3. 前記混雑状況検出手段が、前記カメラが撮像する範囲のうち一部分にずつについて混雑状況を検出することを特徴とする請求項２記載の混雑状況検出装置。
4. 前記混雑状況検出手段が、前記反応面積に応じて混雑しているか否かを段階的に判断することを特徴とする請求項２記載の混雑状況検出装置。
5. 前記混雑状況検出手段が、前記反応面積に対して補正係数を乗じて補正後反応面積を算出し、前記補正後反応面積に応じて混雑しているか否かを判断することを特徴とする請求項２記載の混雑状況検出装置。
6. さらに、前記混雑状況検出手段が検出した検出結果に基づいて検出結果を報知する報知手段を備えることを特徴とする請求項１記載の混雑状況検出装置。
7. 前記混雑状況検出手段が、
   複数のレジが配置されている店舗の前記レジを操作する店員の立ち位置である店員エリアと、レジでの精算のための精算客の立ち位置である精算客エリアとの前記反応面積を算出し、
   前記精算客エリアの反応面積があらかじめ設定されたしきい値以上のときに、他のレジに対応する店員エリアに店員がいないエリアがあるか否かを判断し、
   店員がいないエリアがあると判断したときに、
   前記報知手段が、
   その旨を報知することを特徴とする請求項６記載の混雑状況検出装置。
8. 前記報知手段が、
   パトランプを点灯させ、または始動信号を発することによりバイブレータを始動することの少なくとも一方を行うことを特徴とする請求項６記載の混雑状況検出装置。
9. 前記報知手段が、
   前記混雑状況検出手段が検出した検出結果を、混雑監視エリアに係る識別子、および時間と関連づけて結果情報として出力することを特徴とする請求項６記載の混雑状況検出装置。
10. さらに、各生成・抽出手段が生成・抽出した画像およびカメラが撮像した入力画像を処理し、表示する画像処理・表示手段を備えることを特徴とする請求項１記載の混雑状況検出装置。
11. 前記画像処理・表示手段が、
    前記混雑状況検出手段が検出した検出結果に基づいて、検出結果を表示することを特徴とする請求項１０記載の混雑状況検出装置。
12. 前記移動者がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数とは、１ないし４フレームであることを特徴とする請求項１記載の混雑状況検出装置。
13. 前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数とは、６４ないし２５６フレームであることを特徴とする請求項１記載の混雑状況検出装置。
14. 監視目的などで設置されているカメラが撮像した撮像画像を用いて、移動者と滞在者とを区別して抽出し、カメラが撮像する範囲の混雑状況を検出する混雑状況検出方法において、
    短背景生成手段が、前記移動者がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成するステップと、
    背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成するステップと、
    前景抽出手段が、前記撮像画像と前記背景画像との差分から前景画像を生成するステップと、
    移動者抽出手段が、前記撮像画像と前記短背景画像との差分から前記移動者を抽出した移動者抽出画像を生成するステップと、
    滞在者抽出手段が、前記背景画像と前記短背景画像との差分から前記滞在者を抽出した滞在者抽出画像を生成するステップと、
    混雑状況検出手段が、前記前景抽出手段、前記移動者抽出手段、および前記滞在者抽出手段からそれぞれ入力される前記前景画像、前記移動者抽出画像、および前記滞在者抽出画像に基づいて前記カメラが撮像する範囲の混雑状況を検出するステップと、
    を含むことを特徴とする混雑状況検出方法。
15. 監視目的などで設置されているカメラが撮像した撮像画像を用いて、移動者と滞在者とを区別して抽出し、カメラが撮像する範囲の混雑状況を検出する混雑状況検出プログラムにおいて、
    コンピュータを、
    前記移動者がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段、
    前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段、
    前記撮像画像と前記背景画像との差分から前景画像を生成する前景抽出手段、
    前記撮像画像と前記短背景画像との差分から前記移動者を抽出した移動者抽出画像を生成する移動者抽出手段、
    前記背景画像と前記短背景画像との差分から前記滞在者を抽出した滞在者抽出画像を生成する滞在者抽出手段、
    前記前景抽出手段、前記移動者抽出手段、および前記滞在者抽出手段からそれぞれ入力される前記前景画像、前記移動者抽出画像、および前記滞在者抽出画像に基づいて前記カメラが撮像する範囲の混雑状況を検出する混雑状況検出手段、
    として機能させることを特徴とする混雑状況検出プログラム。

Images