JP3637360B2

JP3637360B2 - 監視カメラシステム及びこれを用いた情報提供システム

Info

Publication number: JP3637360B2
Application number: JP2001383699A
Authority: JP
Inventors: 秀紀三石
Original assignee: Computer Engineering and Consulting Ltd
Current assignee: Computer Engineering and Consulting Ltd
Priority date: 2001-12-17
Filing date: 2001-12-17
Publication date: 2005-04-13
Anticipated expiration: 2021-12-17
Also published as: JP2003189295A

Description

【０００１】
【発明の属する技術分野】
本発明は監視カメラシステム及びこれを用いた情報提供システムに関し、特に、定点観測する監視カメラの画像をセンタに集めて簡単な処理にて人物位置を検出するとともに、目的に応じてセンタから撮影画像データを配信するシステムに関する。
【０００２】
【従来の技術】
軽飲食を提供するレストランやコーヒーショップ等では顧客の回転率を上げることが売り上げ向上のための重要な課題となっている。従来、店舗の回転率は売上伝票の枚数で来店客数を割り出し、店舗内の席数で除算して求めたりしている。また、チェーン展開を行っている飲食店などでは各店舗に監視員を巡回させ、店舗毎の顧客の入り状態のチェックを行ったりしている。
【０００３】
一方、従来より防犯目的のために店舗内に監視カメラを設け、例えばレジにおいて従業員がカメラ画像をモニタすることが行われているが、これを顧客の回転率の把握にも用いることができる。一般にカメラからの画像はリアルタイムで監視されるか、ビデオテープに録画した画像を２〜３倍速で再生してモニタするようにしている。
【０００４】
さらに、監視カメラから得られる画像を順次処理装置にかけることにより、画像内での人物を自動的に検出することが行われている。この技術では、予め用意した背景画像と今回撮影した画像を比較して画素毎の輝度差分を得ることにより監視領域内の変動画素を検出し、さらにその面積や周囲長などの画像特徴を求めて人体であるか否かの判定を行うようにしている。また、この画像処理において人物画像を水平方向に投影したヒストグラムを作成すると頭部において頭の上から首の付け根までのヒストグラムが山の形になるため、その山の頂点の位置から頭部の中心点を求めて頭部位置を検出する技術も用いられている。
【０００５】
【発明が解決しようとする課題】
しかしながら、売り上げ伝票に表れる来客数から顧客の入り状況を把握する方法では、伝票記載の来客数の総計から判断するため単位時間毎の把握が困難であり、例えば顧客の在席時間が長いために一時的に満席状態となり他の顧客が帰ってしまっているのか、それとも来店する顧客数自体が少ないのかの区別を判断することができない。従って、経営戦略を構築するのに十分なデータの把握が困難という問題がある。
【０００６】
一方、複数の店舗に監視員を巡回させる方法は店内の状況を客観的に捉えることができるが、非常駐の監視員では店舗毎に一定期間づつしかモニタしないため時間帯・日にち・曜日・季節等による顧客の変動を的確に把握することができず、上記と同様に十分なデータ取得ができないという問題を有する。すなわち十分なデータを得るためには店舗毎に常時監視することが望ましいが、例えば監視カメラの画像を監視員に常時モニタさせる方法では監視員の労力が過大になるとともに、監視漏れや作業効率の面で現実的ではない。またビデオテープに録画した画像を倍速でチェックする方法でも人間の能力では３倍速程度が限界であり、店舗の営業時間のすべてをチェックするには未だ長時間のモニタが必要である。
【０００７】
また、すでに店内監視カメラの画像を処理することにより自動的に顧客を検出する技術が存在するが、画面内の人物像を検出するために撮影画像の総ての画素について予め用意した背景画像との輝度差あるいは輝度比を求める差分処理を行う必要があり、比較的膨大な処理を要していた。また、営業データとして用いるためには当該顧客の店舗内における移動経路やその着席位置などの情報が必要であり、画像処理においてこれを検出するにはさらに複雑かつ膨大な作業が必要であった。このためには十分な処理能力を有する大型かつ高性能の装置を用意する必要があり、例えば店舗毎に画像処理装置を設置することを考えると現実的でなかった。
【０００８】
このような問題に鑑み、本発明は、店舗内における顧客位置やその移動経路を簡単な処理により検出することができ、かつ、センタにて集中的に処理を行うことにより店舗毎の設備負担を軽減させる監視カメラシステム及びこれを用いた情報提供システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
この目的を達成すべく、本発明は、固定的に取り付けられた監視カメラと、該カメラから所定間隔で連続的に撮影される画像を処理する画像処理手段とを具え、画像内の人物像を検出してその人物の現実空間における位置を判定する監視カメラシステムにおいて、前記画像処理手段が、前記撮影画像内で人物の頭部を検出する頭部検出部と、前記頭部の画像上での座標（第１の座標）と前記カメラの撮影範囲の現実空間における床部分の座標（第２の座標）とを対応させた変換テーブルと、当該変換テーブルを参照して前記第１の座標から対応する第２の座標を取得する人物位置判定部とを具え、前記変換テーブルは、予め前記カメラの撮影範囲における現実空間の床部分について第２の座標を設定しておき、所定身長の人物の頭部が画像内で前記第１の座標にある場合にその人物の足下が前記第２の座標のどこに位置するかの対応関係が登録されていることを特徴とする。
【００１０】
このように、監視カメラから得られる画像から人物頭部を抽出するようにして、画面上の頭部座標から現実にその人物のいる床部分の座標を得られるようにすれば、複雑膨大な画像処理により人物の全身像を精密に抽出する必要がなくなり、処理の簡略化を図ることができる。また、このような処理により画面内の人物の店舗内での位置を把握するようにすれば、監視カメラの映像を監視員が常時モニタしなくても顧客の入り状況を正確に得ることができる。
【００１１】
この監視カメラシステムにおいて、前記頭部検出部は、前記撮影画像から黒を抽出し、同じく黒を抽出した背景画像における黒い部分に対応する撮影画像の部分を除外して残った部分を前記画像内の人物像として把握し、さらにこの撮影画像のＹ軸方向においてその人物像の頂部を頭部として検出するようにする。このように、背景画像において黒い部分を除外するだけで人物抽出を行うことにより、従来のように撮影画像の総ての画素について輝度差または輝度比を算出し、これを二値化して輝度変動部分を抽出する必要がなくなり、処理負担の軽減を図ることができる。
【００１２】
一方、本願に係る情報提供システムは、固定的に取り付けられた監視カメラと、該カメラから所定間隔で連続的に撮影される画像内の人物像を検出してその人物の現実空間における位置を判定する画像処理手段と、前記撮影した画像データに少なくともその撮影日時および人物位置を含む制御データを関連づけて蓄積する第１の記憶領域と、前記制御データを読み込んで画像内の人物についての人物データを作成する人物データ作成手段と、この人物データを蓄積する第２の記憶領域と、この人物データを適宜の形式で表示しうる表示手段とを具える情報提供システムにおいて、前記画像処理手段が、前記撮影画像内で人物の頭部を検出する頭部検出部と、前記頭部の画像上での座標（第１の座標）と前記カメラの撮影範囲の現実空間における床部分の座標（第２の座標）とを対応させる変換テーブルと、当該変換テーブルを参照して前記第１の座標から対応する第２の座標を取得する人物位置判定部とを具え、前記変換テーブルは、予め前記カメラの撮影範囲における現実空間の床部分について第２の座標を設定しておき、所定身長の人物の頭部が画像内で前記第１の座標にある場合にその人物の足下が前記第２の座標のどこに位置するかの対応関係が登録されていることを特徴とする。
【００１３】
この情報提供システムにおいて、前記頭部検出部は、前記撮影画像から黒を抽出し、同じく黒を抽出した背景画像における黒い部分に対応する撮影画像の部分を除外して残った部分を前記画像内の人物像として把握し、さらにこの撮影画像のＹ軸方向においてその人物像の頂部を頭部として検出することを特徴とする。
【００１４】
このように監視カメラの画像から簡単な処理で人物の有無およびその位置を取得し、人物データとして表示手段に表示してデータ提供できるようにすれば、例えば飲食店の管理者がそれを見て顧客の滞在時間や回転率等を容易に把握することができる。従って、常時駐在の監視員を用意する必要がなくなり労力やコストを低減することができる。
【００１５】
また、この情報提供システムにおいて、前記人物データ作成手段は、前記制御データを連続的に読み込み、画像内での人物の位置情報を連続的に取得することで、画像内の人物の移動履歴を前記人物データとして作成することが望ましい。さらに、当該システムが、前記人物データを読み込んで、画像内の人物の移動経路を軌跡図として前記表示手段に表示する軌跡図作成手段を具えるようにしてもよい。このようにして画面内人物の移動履歴を取得し、さらにそれを軌跡図として表示できるようにすると、例えば店舗の管理者が店舗内での顧客の移動経路を把握することができ、店舗のシート配置やテーブル／カウンター比率の変更等に役立てることができる。
【００１６】
さらに、当該システムが、撮影日時や撮影場所の条件を指定して画像データを要求するためのリクエスト手段と、前記条件に合致する画像データを前記第１の記憶領域から抽出して前記表示手段に表示させる画像抽出手段とを具えることが望ましい。このようにシステムを構成すると必要に応じて実画像を確認することができ、経営方針のより詳細な分析が可能になるとともに、防犯等の目的にも用いることができる。
【００１７】
また、この情報提供システムにおいて、前記監視カメラと、表示手段と、リクエスト手段とが第１の地点に設置されており、前記画像処理手段と、人物データ作成手段と、第１及び第２の記憶領域とが第２の地点に設置されており、前記第１及び第２の地点は通信ネットワークで接続されていてもよい。このようにシステムを構成すれば、複数の店舗の監視カメラの画像を、画像処理手段と人物データ作成手段と記憶領域を具える処理センタに随時送信するようにして、当該処理センタで画像処理を一元的に行うことができる。従って、店舗毎に高性能の処理装置を設置する必要がなくなるとともに、情報の一元管理が可能となる。
【００１８】
さらに、本発明に係る画像処理方法は、固定的に設置された監視カメラから所定間隔で得られる撮影画像から人物の有無を検出するとともに当該人物の現実空間における位置を判定する画像処理方法において、
予め前記カメラの撮影範囲に人物がいない状態で撮影した背景画像と前記撮影画像とを比較することにより画像内に人物の有無を判定するステップと、前記撮影画像において前記人物の頭部の座標を検出するステップと、ここで検出した頭部の座標からその人物が現実空間においてどの位置にいるかを判定するステップと、を含むことを特徴とする。
【００１９】
ここで、前記画像内に人物の有無を判定するステップは、前記撮影画像から黒い部分を抽出するステップと、同じく黒い部分を抽出した背景画像における黒い部分に対応する撮影画像の部分を除外するステップと、その後に撮影画像に有意の黒い部分が残ったら人物有りと判断するステップと、を含むことを特徴とする。
【００２０】
また、前記人物の頭部の座標を検出するステップは、前記撮影画像に残った黒い部分のＹ軸方向における最も上の座標を検出することにより行うことを特徴とする。
【００２１】
また、前記人物の位置を判定するステップは、予め前記監視カメラの撮影範囲の床部分の座標を設定するステップと、前記撮影画像における座標と前記撮影範囲の床部分の座標を関連づけるステップと、所定身長の人物の頭部が前記検出した頭部の座標にある場合のその人物の足下の前記画像における座標を判定するステップと、ここで判定した足下の座標から前記撮影範囲の床部分の座標を導き出すステップと、を含むことを特徴とする。
【００２２】
【発明の実施の形態】
本発明の実施の形態について、添付の図面を参照しながら以下に詳細に説明する。図１は本発明に係る情報提供システムの全体像を示す図である。図１を参照すると、店舗Ａ、Ｂ、Ｃが高速ネットワーク１０を介して処理センタ２０に接続されている。店舗Ａ〜Ｃはいずれも軽飲食を提供するレストランやコーヒーショップであり、例えば店舗Ａは当該店舗内の客席部分に向けられたカメラＡ１及びＡ２と、処理センタ２０へデータ要求を行うリクエスト手段３１と、処理センタ２０から送られるデータを表示する表示手段３２とを具えている。店舗Ｂ及びＣも店舗Ａと同様の設備を有している。以下の説明ではこれら店舗の代表例として店舗Ａのみについて説明するが、店舗Ｂ及びＣも同様の構成であり同じ動作をするものとする。店内カメラＡ１、Ａ２はそれぞれ客席に向けて固定的に取り付けられており、所定期間（例えば２秒）毎に撮像して画像データを順次処理センタ２０に送信する。また、店内カメラの画像は同時に店内の表示装置３２に表示するようにしてもよい。
【００２３】
店舗Ａ〜Ｃと処理センタ２０を接続する高速ネットワーク１０は例えば光ファイバケーブル等を用いる通信ネットワークであり、画像データなど比較的大きなデータの転送に適している。ただし、ネットワーク１０は通信ネットワークであればこの例に限られず、例えばインターネット等の公共のネットワークであると専用ネットワークであるとを問わない。
【００２４】
図２は、処理センタ２０の構成を示すブロック図である。この処理センタ２０は、処理サーバ２１と、大容量のデータストレージ２２とを具える。処理サーバ２１は、店舗Ａ〜Ｃと通信を行う通信手段２３と、処理センタ２０全体の動作を制御するとともに画像データから人物の移動記録や滞在時間等の顧客データを作成したり、顧客データから人物の移動の軌跡図を作成したり、リクエスト手段からの要求に応じて実画像データを配信する処理を行う処理制御手段２４と、店舗Ａ〜Ｃから送られる画像から人物の有無や画像処理手段２５とを具えている。一方、データストレージ２２は、各店舗から送られる画像データを後述する制御データとともに蓄積する画像データ記憶領域２６と、各店舗における顧客の滞在に関するデータを蓄積する顧客データ記録領域２７と、各店舗から送られる画像における座標と実際の店舗における位置座標との相関が登録された画面／空間座標対照テーブル２８とを具えている。
【００２５】
図３は、処理サーバ２１の画像処理手段２５による人物位置検出工程を説明するためのフローチャートである。この工程では画像内に人物がいるか否か、いる場合にはその店舗内での位置を検出することを目的とする。ここで、本願発明者は日本人の頭髪が黒いことに着目し、撮影画像内でこの黒い頭髪部分により人物の有無及びその位置を検出するようにして、処理の簡略化を達成するようにしている。
【００２６】
店舗Ａ〜Ｃから連続的に送信される店内カメラの撮影画像は処理サーバ２１の通信手段２３を介して画像処理手段２５に送られる。図３のフローを参照すると、画像処理手段２５は、１フレーム毎に画像データを読み込んで（ステップＳ１１）、その画像から黒を抽出する（ステップＳ１２）。この処理は撮影画像の画素毎に輝度を測定し、予め設定したしきい値以下の画素のみを抽出することにより行う。ここで、このステップの目的は頭髪部分を検出できれば達成されるので、黒色又はそれに近い色のみを検出できる程度にしきい値を低く設定すれば、不要な部分の抽出による処理負担を回避することができる。カメラの撮影画像の例を図４（ａ）に示し、当該撮影画像から黒を抽出した状態を図４（ｂ）に示す。
【００２７】
次に、画像処理手段２５は予め用意された背景画像との差分処理を行うことにより、画像内の人物像を抽出する（ステップＳ１３）。この背景画像は予めカメラの撮影範囲に人物がいない状態で撮影した画像から上記と同様の処理で黒を抽出したものを用いる。この背景画像における黒い部分に対応する撮影画像の部分を除外することにより、図４（ｃ）に示すように人物像のみが抽出される。この画像において有意の黒い部分があれば人物像あり、なければ人物像なしと判断することができる（ステップＳ１４）。このように、背景画像において黒い部分を除外するだけで人物抽出を行うことにより、従来のように撮影画像の総ての画素について輝度差または輝度比を算出し、これを二値化して輝度変動部分を抽出する必要がなくなり、処理負担の軽減を図ることができる。
【００２８】
次に、画像内に人物がいる場合はその頭頂部の座標を検出する（ステップＳ１５）。この処理は図４（ｃ）に示す画像内の黒い部分の最上部の座標を検出することにより行い、例えば画面上端部からＸ軸方向に走査を行い最初に黒い画素にヒットした座標を記憶するようにする。ここでヒットした座標を人物の頭頂部と把握するようにすれば、従来人物像を抽出するために行っていた輝度変動部分の詳細な面積調査や特徴抽出などの複雑な処理を行わずに人物位置を把握することが可能となる。
【００２９】
次に、画像処理手段２５は、データストレージ２２にある座標対照テーブル２８を参照して、画面上における人物頭部の座標から現実の店舗内における位置座標を導き出し、その人物の位置として記憶する（ステップＳ１６）。この座標対照テーブル２８には、画面上の任意の座標に標準的な身長（例えば１４０〜１８０ｃｍ）の人物の頭部がある場合に、その人物が現実の店舗内で位置している店内座標が登録されている。すなわち、前もって撮像範囲内に標準的な身長の人物がいる場合の、画面上に表れる頭部の座標と、現実にその人物が位置する店内における座標の対応関係を予め対照テーブルに登録しておき、画像処理手段２５がそれを参照して簡単に当該人物の位置を把握できるようにする。
【００３０】
図５を参照してこれをイメージ的に説明する。店内の監視カメラは客席部分に向けて固定的に設置されているので、図５（ａ）に示すように、予めその撮影範囲における店内の床部分について店内座標を設定しておく。その後、高さＨ（例えば１６０ｃｍ）に設定した仮想の人物の頭部が画面上の任意の座標にある場合に、その人物の足下が店内のどの座標に位置するかの対応関係をテーブル２８に登録する。図５（ａ）に示す例では、画面上の頭部座標が（ｘ_１，ｙ_１）である場合の対応する店内座標は（ｂ，４）であり、頭部座標が（ｘ_２，ｙ_２）である場合の対応する店内座標は（ｆ，２）である。この対応関係を総てテーブル２８に登録しておく。図５（ｂ）に対照テーブル２８の例を示す。このようにして、画像処理手段２５は対照テーブル２８を参照することにより、画面内の人物の店内座標を得ることができる。
【００３１】
画像処理手段２５は画面上の頭部座標からその人物の店内座標を得た後、ステップＳ１１で読み込んだ画像データに店コード、カメラコード、撮影日時、人物の有無およびその店内座標などの制御データを付加して（ステップＳ１７）、データストレージ２２の画像データ記憶領域２６に保存する（ステップＳ１８）。このデータ構成の例を図６に示す。保存されるデータの前半部に制御データとして、店舗Ａ、カメラＡ１、人物位置（ｂ，４）、日時などの情報が付加されている。このようにして、店舗Ａ〜Ｃから連続的に送られてくる画像データが順次処理されデータストレージ２２に蓄積される。
【００３２】
図７は、処理制御手段２４における顧客データ作成工程を説明するフローチャートである。画像処理手段２５により画像データに制御データが付加されると、処理制御手段２４はこの制御データを読み込む（ステップＳ２１）。処理制御手段２４は画像内の人物の有無を参照し、当該画像内に人物像がなければそのまま処理を終了する（ステップＳ２２）。また、この場合は画像データ自体が不要であるとも考えられるので、データストレージ２２からこのデータレコード全体を削除するようにしてもよい。一方、画像内に人物がいる場合、当該人物に人物コードを付与するとともに、その時刻と当該人物の店内座標を読みとり、データストレージ２２の顧客データ記録領域２７に登録する（ステップＳ２３）。図８に顧客データ記憶領域２７に登録される顧客データの構成例を示す。図８に示すように、レコードごとに顧客コード、当該顧客の移動経路が登録される座標１〜座標ｎまでのセル、当該顧客の滞在時間、及び着席シートなどを記録する領域が用意されている。上記ステップＳ２３の処理により、新規の人物が検出されると人物コードが０００１から降順に付与され、「座標１」の欄に初回検出時の時刻及びその店内座標が登録される。
【００３３】
その後、処理制御手段２４は次のデータを読み込み（ステップＳ２４）、人物像の有無から当該人物が画面からフレームアウトしたか否かを判断する（ステップＳ２５）。ここで画面内に人物像がなければ、当該人物は退店したと判断されるためデータ記録を終了し、この人物コードについて以降の記録を行わない（ステップＳ２６）。一方、このデータにも人物がいる場合、前回のデータから人物位置が変化しているかを判断する（ステップＳ２７）。これは今回データと前回データの店内座標を比較することにより行われ、店内座標が一致する場合には移動なしと判断して、記録を行わない（ステップＳ２８）。店内座標が一致しない場合には当該人物が移動したと判断して、この顧客０００１のレコードにおいて座標２以降のセルに時刻と新たな店内座標を記録する（図８参照）。その後、ステップＳ２４に戻り次のデータを読み込んで同様に処理を行っていく。このようにして、顧客が画面内にフレームインしてからフレームアウトするまでの移動記録が得られる。
【００３４】
その後、処理制御手段２４は当該人物について最後に記録した時刻から最初に記録した時刻を減算してその人物の滞在時間を求め、図８に示す滞在時間の欄に記録する。また、その人物について記録されたデータのうち、所定期間以上移動がなかった座標あるいは最も長く移動がなかった座標をその人物の着席位置と判断して、その店内座標を記録する。この場合、予めその店内座標にあるシート番号を登録しておき、座標と対照することによりその人物の着席シートを記録するようにしてもよい。図８に示す例では、人物コード０００１について最後に検出された座標５の時刻が１１：４０：２４、最初に検出された座標１の時刻が１０：２５：１０より、減算するとこの人物の滞在時間は約１時間１５分と判断できる。また、座標３と座標４の時刻が最も離れていることから座標３の位置が着席場所であると判断して、その座標を当該顧客の着席シートとして記録している。このようにして、顧客毎の滞在時間や着席シートの情報を蓄積することができる。
【００３５】
このように蓄積した画像データや顧客データは、必要に応じて適宜の店舗に配信される。この場合、処理センタ２０は例えば店舗の営業終了後にその日に蓄積された顧客データを各店舗に配信するようにしてもよいし、例えば店舗Ａのリクエスト手段３１からの要求に応じて当該店舗Ａについての顧客データを配信するようにしてもよい。配信された顧客データは店舗Ａの表示手段３２に表示させて確認することができる。これにより、各店舗において来店客の数、滞在時間、着席シート、移動経路などを把握することができる。従って、店舗側でこのデータをもとに商品種類の決定やテーブル／カウンター比率等の改善計画を立てることができる。
【００３６】
また、この顧客データ２７を用いれば、例えば図９に示すように顧客毎の移動経路を軌跡図として表すこともできる。図９は、図８に示す顧客０００１の店舗内での移動軌跡を表しており、店舗における空間座標をＸ軸、Ｙ軸として表した図上に顧客の位置座標１〜５をマークして順番に線で繋ぐことにより得ることができる。このデータ変換処理は処理サーバ２０の処理制御手段２４が行ってから各店舗に配信してもよいし、図８に示す顧客データを受信した後に店舗側で行うようにしてもよい。
【００３７】
また、各店舗から送られる画像データも処理センタ２０のデータストレージ２２に蓄積されるため、店舗側の要求に応じて画像データを配信することができる。すなわち、例えば店舗側で顧客データを用いた分析に際して実画像を確認したい場合に、リクエスト手段３１から店コード、カメラコード、日付、時刻等を指定して画像データの要求を処理センタ２０に送信するようにする。処理センタ２０はこの要求を受けると、処理制御手段２４が要求情報に合致する画像データをデータストレージ２２の画像データ記憶領域２５から抽出し、要求元の店舗へ配信するようにする。これにより店舗側にて必要な実画像を確認することができ、より詳細な分析が可能になるとともに防犯等の目的にも用いることができる。
【００３８】
【発明の効果】
上記に詳細に説明したように、本発明によれば、監視カメラの撮影画像内での人物検出およびその位置判定を簡単な処理で行うようにしているため、比較的複雑膨大であった従来の画像処理を不要として処理の高速化を図ることができる。これにより、例えば処理センタ２０が複数の店舗から複数のカメラ画像を受け取る場合にも処理の遅延を生じることなくシステムを運用することが可能となる。
【００３９】
また、店舗側は常時駐在の監視員を用意することなく正確な顧客の滞在時間や移動経路を把握することができるため、監視労力やその費用を低減させることができる。
【図面の簡単な説明】
【図１】本発明に係る情報提供システムの実施形態の構成を示す図である。
【図２】図１に示す処理センタ２０の構成を示す図である。
【図３】図２に示す画像処理手段２５の人物位置判定処理を説明するフローチャートである。
【図４】画像処理手段２５の処理過程における画像例を示す図である。
【図５】（ａ）は画像処理手段２５の人物位置判定における空間座標を説明するための図であり、（ｂ）は画面／空間座標対照テーブルの例を示す図である。
【図６】画像データ記憶領域２６に保存されるデータ構成を示す図である。
【図７】処理制御手段２４の移動経路判定処理を説明するフローチャートである。
【図８】顧客データ記憶領域２７に登録されるデータ構成を示す図である。
【図９】顧客の移動経路を軌跡図に表した状態を示す図である。
【符号の説明】
Ａ〜Ｃ店舗
Ａ１、Ａ２監視カメラ
１０高速ネットワーク
２０処理センタ
２１処理サーバ
２２大容量データストレージ
２３通信手段
２４処理制御手段
２５画像処理手段
２６画像データ記憶領域
２７顧客データ記憶領域
２８画面／空間座標対照テーブル
３１リクエスト手段
３２表示手段

Claims

固定的に取り付けられた監視カメラと、該カメラから所定間隔で連続的に撮影される画像を処理する画像処理手段とを具え、画像内の人物像を検出してその人物の現実空間における位置を判定する監視カメラシステムにおいて、前記画像処理手段が、前記撮影画像内で人物の頭部を検出する頭部検出部と、前記頭部の画像上での座標（第１の座標）と前記カメラの撮影範囲の現実空間における床部分の座標（第２の座標）とを対応させる変換テーブルと、当該変換テーブルを参照して前記第１の座標から対応する第２の座標を取得する人物位置判定部とを具え、前記変換テーブルは、予め前記カメラの撮影範囲における現実空間の床部分について第２の座標を設定しておき、所定身長の人物の頭部が画像内で前記第１の座標にある場合にその人物の足下が前記第２の座標のどこに位置するかの対応関係が登録されていることを特徴とする監視カメラシステム。
請求項１に記載の監視カメラシステムにおいて、前記頭部検出部は、前記撮影画像から黒を抽出し、同じく黒を抽出した背景画像における黒い部分に対応する撮影画像の部分を除外して残った部分を前記画像内の人物像として把握し、さらにこの撮影画像のＹ軸方向においてその人物像の頂部を頭部として検出することを特徴とする監視カメラシステム。
固定的に取り付けられた監視カメラと、該カメラから所定間隔で連続的に撮影される画像内の人物像を検出してその人物の現実空間における位置を判定する画像処理手段と、前記撮影した画像データに少なくともその撮影日時および人物位置を含む制御データを関連づけて蓄積する第１の記憶領域と、前記制御データを読み込んで画像内の人物についての人物データを作成する人物データ作成手段と、この人物データを蓄積する第２の記憶領域と、この人物データを適宜の形式で表示しうる表示手段とを具える情報提供システムにおいて、
前記画像処理手段が、前記撮影画像内で人物の頭部を検出する頭部検出部と、前記頭部の画像上での座標（第１の座標）と前記カメラの撮影範囲の現実空間における床部分の座標（第２の座標）とを対応させる変換テーブルと、当該変換テーブルを参照して前記第１の座標から対応する第２の座標を取得する人物位置判定部とを具え、
前記変換テーブルは、予め前記カメラの撮影範囲における現実空間の床部分について第２の座標を設定しておき、所定身長の人物の頭部が画像内で前記第１の座標にある場合にその人物の足下が前記第２の座標のどこに位置するかの対応関係が登録されていることを特徴とする情報提供システム。
請求項３に記載の情報提供システムにおいて、前記頭部検出部は、前記撮影画像から黒を抽出し、同じく黒を抽出した背景画像における黒い部分に対応する撮影画像の部分を除外して残った部分を前記画像内の人物像として把握し、さらにこの撮影画像のＹ軸方向においてその人物像の頂部を頭部として検出することを特徴とする情報提供システム。
請求項３又は４に記載の情報提供システムにおいて、前記人物データ作成手段は、前記制御データを連続的に読み込み、画像内での人物の位置情報を連続的に取得することで、画像内の人物の移動履歴を前記人物データとして作成することを特徴とする情報提供システム。
請求項５に記載の情報提供システムにおいて、当該システムがさらに、前記人物データを読み込んで、画像内の人物の移動経路を軌跡図として前記表示手段に表示する軌跡図作成手段を具えることを特徴とする情報提供システム。
請求項３乃至６に記載の情報提供システムにおいて、当該システムがさらに、撮影日時や撮影場所の条件を指定して画像データを要求するためのリクエスト手段と、前記条件に合致する画像データを前記第１の記憶領域から抽出して前記表示手段に表示させる画像提供手段とを具えることを特徴とする情報提供システム。
請求項３乃至７に記載の情報提供システムにおいて、前記監視カメラと、表示手段と、リクエスト手段とが第１の地点に設置されており、前記画像処理手段と、人物データ作成手段と、第１及び第２の記憶領域とが第２の地点に設置されており、前記第１及び第２の地点は通信ネットワークで接続されていることを特徴とする情報提供システム。
固定的に設置された監視カメラから所定間隔で得られる撮影画像から人物の有無を検出するとともに当該人物の足下がどの位置にあるかを判定する画像処理方法において、
予め前記カメラの撮影範囲に人物がいない状態で撮影した背景画像と前記撮影画像とを比較することにより画像内に人物の有無を判定するステップと、前記撮影画像において前記人物の頭部の座標を検出するステップと、前記監視カメラの画像内に所定身長の人物の頭部がある場合にその画像内での頭部座標と当該人物の足下が位置する現実空間での床座標との対応関係が予め登録された変換テーブルを参照して、前記検出した頭部座標から当該人物の足下がどの位置にあるかを導出するステップと、を含むことを特徴とする画像処理方法。
請求項９に記載の画像処理方法において、前記画像内に人物の有無を判定するステップは、
前記撮影画像から黒い部分を抽出するステップと、同じく黒い部分を抽出した背景画像における黒い部分に対応する撮影画像の部分を除外するステップと、その後に撮影画像に有意の黒い部分が残ったら人物有りと判断するステップと、を含むことを特徴とする画像処理方法。
請求項１０に記載の画像処理方法において、前記人物の頭部の座標を検出するステップは、前記撮影画像に残った黒い部分のＹ軸方向における最も上の座標を検出することにより行うことを特徴とする画像処理方法。