JP4815514B2 - 動線認識システム - Google Patents

Description

本発明は、移動体、例えば店舗内を移動する顧客の経路を動線として認識するように構成された動線認識システムに関する。

スーパーマーケット，コンビニエンスストア等の店舗内を移動する顧客の経路を動線として認識するようにした動線認識システムは、既に知られている。例えば、特許文献１には、カメラ画像を用いた動線認識システムが開示されており、特許文献２には、無線タグを用いた動線認識システムが開示されている。

また、最近では、マルチレーザスキャナを用いて歩行者の動線を認識するシステムも開発されている（例えば、非特許文献１参照）

カメラ画像を用いる動線認識システムは、比較的小規模なスーパーマーケットやコンビニエンスストアなどでは有効である。しかしながら、大規模なスーパーマーケット等のように売場面積が広い店舗に対しては不向きである。すなわち、カメラ画像を用いる動線認識システムは、店舗内の全域をカバーするのに多くのカメラが必要となる。カメラの台数が増えると、撮影画像を記録保存するための記憶装置として大容量の記憶装置が必要となる。また、各カメラの制御も煩雑となる上、メンテナンスにかかるコストも大幅に増加する。したがって、カメラ画像を用いる方式は、監視領域が広い対象に対しては導入し難いものである。

一方、無線タグを用いる動線認識システムは、データ量の大きい画像データを用いない。このため、カメラ画像を用いるシステムと比較して記憶容量を大幅に低減できるメリットがある。ただし、位置検出の分解能、すなわち、どの程度の精度をもって移動体の位置を特定できるかは、概ね、無線タグリーダの数によって左右される。無線タグリーダの数が増えれば、位置検出の分解能は高まる。しかし、無線タグリーダの数が増えると、無線タグリーダ間で電波干渉が生じ易くなる。電波干渉が発生すると、無線タグのデータを読み取ることができなくなる。このため、監視領域内に設置できる無線タグリーダの数には物理的な制限がある。したがって、無線タグを用いる動線認識方式は、カメラ画像を用いる方式と比較して、低分解能とならざるを得ない。しかも、このシステムは、移動体である客に追随して無線タグが移動するように、例えば買い物カゴに無線タグを付すというような仕組みを作らなければならない煩雑さもある。

この点、マルチレーザスキャナを用いる動線認識システムは、移動体に追随して移動する格別な物品を用意する必要はない。また、位置検出の分解能も、カメラ画像を用いるシステムと同等若しくはそれ以上の値が得られる。しかしながら、このシステムは、位置計測精度の点で問題がある。

すなわち、マルチレーザスキャナを用いるシステムの場合、監視領域内をレーザスキャナでレーザスキャニングすることによって移動体を検出する。このため、レーザ光の特性上、その出射方向に複数の移動体が重なると、手前側の移動体は検出されるが、奥側の移動体は検出されない。つまり、奥側の移動体に関するデータが消失してしまい、確実な位置検出が困難となる。

このように、従来の動線認識システムには、カメラ画像を用いる方式、無線タグを用いる方式、マルチレーザスキャナを用いる方式等があるが、いずれの方式を採用した場合も、例えば大規模なスーパーマーケットの店舗内を移動する顧客の経路を動線として認識するような場合、すなわち監視領域が広い場合に問題がある。

本発明はこのような事情に基づいてなされたもので、その目的とするところは、監視領域が広い対象に対して有効な動線認識システムを提供しようとするものである。

本発明は、監視領域内における移動体の位置を検出する第１の位置検出手段と、この第１の位置検出手段により検出された前記移動体の位置を示す位置情報を、当該位置に前記移動体が居た時刻を示す時刻情報とともに監視領域移動体情報として記録する第１の情報記録手段と、監視領域内の一部である特定領域内における移動体の位置を、第１の位置検出手段による位置検出よりも高い精度をもって検出する第２の位置検出手段と、この第２の位置検出手段により検出された移動体の位置を示す位置情報を、当該位置に移動体が居た時刻を示す時刻情報とともに特定領域移動体情報として記録する第２の情報記録手段と、第１の情報記録手段により記録された監視領域移動体情報と第２の情報記録手段により記録された特定領域移動体情報とに基づいて、監視領域内を移動する移動体の経路を示す動線情報を作成する動線情報作成手段と、第１の位置検出手段または第２の位置検出手段により検出された移動体の位置を示す位置情報に基づいて移動体が特定領域に進入したか否かを判定する進入判定手段と、を具備し、第１の位置検出手段は、監視領域内の床面と平行にレーザスキャニングするレーザスキャナを備え、このレーザスキャナでレーザスキャニングした結果得られる前記床面から所定の高さの水平断面のレーザ距離画像から前記移動体の位置を検出し、動線情報作成手段は、第１の情報記録手段により記録された監視領域移動体情報のうち進入判定手段により特定領域に進入したと判定された移動体の監視領域移動体情報と第２の情報記録手段により記録された特定領域移動体情報とを照合して、各々の位置情報によって示される位置の間隔が所定値以下でかつ時刻情報によって示される時間の差が最も小さい監視領域移動体情報と特定領域移動体情報とを、同一移動体の情報として結合するものである。

かかる手段を講じた本発明によれば、監視領域が広い対象に対して有効な動線認識システムを提供できる。

本発明の一実施形態が適用された店舗の平面図。 同実施形態において、レーザスキャナから投光されるレーザ光の説明に用いる模式図。 同実施形態における動線認識システムの要部構成を示すブロック図。 同実施形態において、レーザ動線データベースに記憶されるデータの構造を示す図。 同実施形態において、カメラ動線データベースに記憶されるデータの構造を示す図。 同実施形態において、特定領域の説明の用いる模式図。 同実施形態において、特定領域データベースに記憶されるデータの構造を示す図。 同実施形態において、進退動線データベースに記憶されるデータの構造を示す図。 同実施形態において、最終動線データベースに記憶される最終動線ファイルの構造を示す図。 同実施形態において、進退判定部の処理手順を示す流れ図。 同実施形態において、最終動線作成部の処理手順を示す流れ図。 同実施形態において、動線結合部の処理手順を示す流れ図。

以下、本発明の実施形態について、図面を用いて説明する。なお、この実施形態は、スーパーマーケット等の店舗内を移動する顧客の経路を動線として認識する動線認識システムに、本発明を適用した場合である。

図１は、本実施形態の動線認識システムが構築された店舗１の平面図である。同図において、二重線で囲われた符号２の各領域は、商品棚を示している。また、符号３は、いずれもチェックアウトカウンタを示し、符号４は、いずれも店内への出入口を示している。チェックアウトカウンタには、図示しないが、ＰＯＳ端末やバーコードスキャナ等を備えている。

本実施形態では、商品棚２とチェックアウトカウンタ３とが設置された領域を除いた店舗内を監視領域としている。また、この監視領域のうち、図中ハッチングで示された領域５、すなわちチェックアウトカウンタ３の手前の領域を特定領域としている。そして、いずれかの出入口４から入店した顧客が監視領域及び特定領域５内を移動し、いずれかの出入口４から退店するまでの経路を、動線として認識するための動線認識システムを構築している。

動線認識システムは、マルチレーザスキャナ方式とカメラ画像方式とを併用している。具体的には、監視領域のうち特定領域５に対してはカメラ画像方式を採用し、その他の監視領域に対してはマルチレーザスキャナ方式を採用している。

すなわち、監視領域内には、図１に示すように、複数（図では１２台）のレーザスキャナ６（６Ａ，６Ｂ，６Ｃ，６Ｄ，６Ｅ，６Ｆ，６Ｇ，６Ｈ，６Ｉ，６Ｊ，６Ｋ，６Ｌ）を適所に分散して設置している。各レーザスキャナ６は、それぞれ床から所定の高さ（例えば１０〜２０ｃｍ）において、図２に示すように、床面と平行なレーザ光が監視領域に向けて観測角１８０度の広角にスキャニングするように、床等に固定してある。

特定領域５の周囲には、複数（図では４台）のカメラ７（７Ａ，７Ｂ，７Ｃ，７Ｄ）を適所に分散して設置している。各カメラ７は、それぞれ図示の位置から特定領域５内を移動する顧客を撮影可能な場所であれば、天井、棚等のどの部位に設置されていてもよい。

図３は、かかる動線認識システムの要部構成を示すブロック図である。動線認識システムは、レーザスキャナ制御部２１、カメラ制御部２２、レーザ動線作成部２３、カメラ動線作成部２４、レーザ距離画像データベース２５、カメラ画像データベース２６、レーザ動線データベース２７及びカメラ動線データベース２８を有している。

レーザスキャナ制御部２１は、複数のレーザスキャナ６のレーザスキャニング動作を制御する。各レーザスキャナ６から投光されたレーザ光は、３０ｍ程度の長距離計測が可能である。ただし、静止体や移動体等の障害物に衝突すると反射し、その反射光は、投光源であるレーザスキャナ６に戻る。したがって、床面と平行なレーザ光を観測角１８０度の広角にスキャニングさせることによって、レーザスキャナ制御部２１は、レーザ光の投光の高さに応じた水平断面で、静止体及び移動体の両方が含まれた２次元直交座標におけるレーザ距離画像を得ることができる。レーザスキャナ制御部２１は、各レーザスキャナ６のレーザスキャニング動作により得られるレーザスキャナ６毎の前記レーザ距離画像を、どのレーザスキャナから得られたのかを示す情報と、スキャニング開始時刻とを紐付けして、レーザ距離画像データベース２５に記録する。

レーザ動線作成部２３は、上記レーザ距離画像データベース２５に記録されたデータを用いてレーザ動線情報を作成する。
各レーザスキャナ６は、常に同じ位置で同じ範囲をスキャニングしているため、壁や商品棚等の静止体までのレーザ長はシステム誤差の範囲を超えて変化することはない。したがって、１つのレーザスキャナ６から時系列に得られるレーザ距離画像の各画素において独立に演算を行い、それぞれの画素値が所定時間（例えば１０秒）以上変化しなければ、その画素は背景とみなすことができる。そこでレーザ動線作成部２３は、各レーザ距離画像から背景画像の差分を取ることによって移動体を抽出し、この移動体を追跡する。その際、移動体毎に固有の動線ＩＤ（以下、レーザ動線ＩＤと称する）を発番する。そして、一定の周期で追跡中の移動体の位置を測定し、この位置を監視領域内の二次元直交座標（Ｘ，Ｙ）に変換する。なお、本実施の形態では、図１に示す店舗１の左下隅を二次元直交座標（Ｘ，Ｙ）の原点Ｏ（０，０）とする。

移動体の位置を二次元直交座標（Ｘ，Ｙ）に変換したならば、レーザ動線作成部２３は、その座標情報に、当該移動体に対して発番されたレーザ動線ＩＤと、その移動体が抽出されたレーザ距離画像のスキャニング時刻に相当する検出時刻情報とを紐付けして、レーザ動線情報を作成する。レーザ動線作成部２３は、作成した移動体毎のレーザ動線情報を、図４に示すようなデータ構造のレーザ動線データベース２７に時系列に記録する。図４において、処理フラグは、対応するレーザ動線情報（レーザ動線ＩＤ，座標，検出時刻）が、レーザ動線データベース２７に記録された時点では“０”であり、後述する最終動線作成部４１において処理されると“１”となる。

カメラ制御部２２は、各カメラ７Ａ〜７Ｄの撮影動作を制御する。そして、カメラ７Ａ〜７Ｄ毎に撮影された画像を順次取込み、撮影時刻の情報と紐付けして、カメラ画像データベース２６に記録する。

カメラ動線作成部２４は、カメラ画像データベース２６に記録されたカメラ画像のデータに基づいて、移動体毎に動線情報を作成する。すなわち、複数のカメラ７Ａ〜７Ｄの撮影画像を既知の視体積交差法によって処理して移動体を抽出し、この移動体を追跡する。その際、移動体毎に固有の動線ＩＤ（以下、カメラ動線ＩＤと称する）を発番する。そして、一定の周期で追跡中の移動体の位置を測定し、この位置を監視領域内のＸ−Ｙ平面座標に変換する。

移動体の位置を座標（Ｘ，Ｙ）に変換したならば、カメラ動線作成部２４は、その座標情報に、当該移動体に対して発番されたカメラ動線ＩＤと、その移動体が抽出された画像の撮影時刻に相当する検出時刻情報とを紐付けして、カメラ動線情報を作成する。カメラ動線作成部２４は、作成した移動体毎のカメラ動線情報を、図５に示すようなデータ構造のカメラ動線データベース２８に時系列に記録する。

ここで、カメラ画像を用いた視体積交差法による方式は、マルチレーザスキャナを用いた方式と同等の高い分解能が得られる上、マルチレーザスキャナを用いた方式よりも安定した精度を保つことができる。このため、特定領域５内の動線は、他の監視領域内と比べて高い精度で動線を検出することができる。

ここに、各レーザスキャナ６及びレーザスキャナ制御部２１と、レーザ動線作成部２３とは、第１の位置検出手段を構成し、レーザ動線データベース２７は、第１の情報記録手段を構成する。また、複数のカメラ７Ａ〜７Ｄ及びカメラ制御部２２と、カメラ動線作成部（画像処理手段）２４とは、第２の位置検出手段を構成し、カメラ動線データベース２８は、第２の情報記録手段を構成する。

動線認識システムは、さらに、進退判定部３１、特定領域データベース３２及び進退動線データベース３３を有している。

特定領域５は、図６に示すように、Ｘ−Ｙ平面上では長方形状をなしている。したがって、原点Ｏ（０，０）に対する左上端の点Ｐ１の２次元直交座標を（ｘ１，ｙ２）、右下端の点Ｐ２の２次元直交座標を（ｘ２，ｙ１）と定義すると、特定領域５は、Ｘ座標の範囲がｘ１〜ｘ２で、Ｙ座標の範囲がｙ１〜ｙ２の点座標の集合となる。

そこで、特定領域データベース３２には、図７に示すように、特定領域５を識別するエリアＩＤに対応して、Ｘ座標の範囲としてｘ１〜ｘ２を、Ｙ座標の範囲としてｙ１〜ｙ２をそれぞれ設定している。

進退判定部３１は、上記特定領域データベース３２の設定データを参照して、レーザ動線データベース２７に記録された各レーザ動線情報について、それぞれそのレーザ動線情報で追跡される移動体が特定領域５に進入した時点、あるいは特定領域５から当該移動体が退出した時点の情報であるか否かを判定する。そして、特定領域５に進入した時点、あるいは特定領域５から退出した時点のレーザ動線情報を、進退動線情報として進退動線データベース３３に記録する。

進退動線情報は、図８に示すように、レーザ動線情報のレーザ動線ＩＤと２次元直交座標（Ｘ，Ｙ）に加えて、進退時刻と進退フラグを含む。進退時刻は、当該レーザ動線情報の検出時刻である。進退フラグは、当該進退動線情報が特定領域５に進入した時点の情報であるときには“１”、特定領域５から退出した時点の情報であるときには“０”となる。なお、“１”と“０”が逆であってもよい。

進退判定部３１は、レーザ動線データベース２７にレーザ動線情報が書き込まれる毎に、図１０の流れ図に示す手順で、移動体の特定領域５に対する進退判定を行う。

先ず、進退判定部３１は、ＳＴ（ステップ）１として、レーザ動線データベース２７に書き込まれたレーザ動線情報（レーザ動線ＩＤ、Ｘ−Ｙ座標、検出時刻）を取得する。次に、ＳＴ２として当該レーザ動線情報中の２次元直交座標で、特定領域データベース３２を検索する。そして、ＳＴ３として２次元直交座標の位置が特定領域５内であるか否かを判定する。Ｘ座標及びＹ座標がいずれも特定領域５の座標範囲内であれば、当該レーザ動線情報は特定領域５内の情報であると判定し、それ以外は特定領域５外の情報であると判定する。

特定領域５外のレーザ動線情報と判定した場合には（ＳＴ３のＮＯ）、進退判定部３１は、ＳＴ４としてそのレーザ動線情報のレーザ動線ＩＤを検索キーとして、進退動線データベース３３を進退時刻が新しい順に検索する。その結果、検索キーと同一のレーザ動線ＩＤがセットされた進退動線情報を進退動線データベース３３から検出できなかった場合には（ＳＴ５のＮＯ）、当該レーザ動線情報は、特定領域５から退出した時点の情報ではない。この場合、進退判定部３１は、当該レーザ動線情報に対する処理を終了する。

進退動線データベース３３を検索した結果、検索キーと同一のレーザ動線ＩＤがセットされた進退動線情報を検出した場合には（ＳＴ５のＹＥＳ）、進退判定部３１は、ＳＴ６としてこの進退動線データベース３３から検出した進退動線情報の進退フラグをチェックする。そして、進退フラグが“１”でない、つまり“０”である場合には（ＳＴ６のＮＯ）、当該レーザ動線情報は、特定領域５から既に退出した移動体の情報である。この場合、進退判定部３１は、当該レーザ動線情報に対する処理を終了する。

進退フラグが“１”である場合には（ＳＴ６のＹＥＳ）、当該レーザ動線情報は、特定領域５から退出した直後の移動体の情報である。この場合、進退判定部３１は、ＳＴ７として当該レーザ動線情報を、新たな進退動線情報として進退動線データベース３３に追加する。また、ＳＴ８としてこの追加した進退動線情報の進退フラグを“０”とする。以上で、進退判定部３１は、当該レーザ動線情報に対する処理を終了する。

一方、レーザ動線情報中の２次元直交座標で特定領域データベース３２を検索した結果、特定領域５内のレーザ動線情報と判定した場合には（ＳＴ３のＹＥＳ）、進退判定部３１は、ＳＴ９としてそのレーザ動線情報のレーザ動線ＩＤを検索キーとして、進退動線データベース３３を進退時刻が新しい順に検索する。その結果、検索キーと同一のレーザ動線ＩＤがセットされた進退動線情報を進退動線データベース３３から検出できなかった場合には（ＳＴ１０のＹＥＳ）、当該レーザ動線情報は、特定領域５に進入した時点の情報である。この場合、進退判定部３１は、ＳＴ１２として当該レーザ動線情報を新たな進退動線情報として進退動線データベース３３に追加する。また、ＳＴ１３としてこの追加した進退動線情報の進退フラグを“１”とする。以上で、進退判定部３１は、当該レーザ動線情報に対する処理を終了する。

進退動線データベース３３を検索した結果、検索キーと同一のレーザ動線ＩＤがセットされた進退動線情報を検出した場合には（ＳＴ１０のＹＥＳ）、進退判定部３１は、ＳＴ１１としてこの進退動線データベース３３から検出した進退動線情報の進退フラグをチェックする。そして、進退フラグが“１”でない、つまり“０”である場合には、当該レーザ動線情報は、特定領域５から一旦退出し、その後再び進入した時点の移動体の情報である。この場合も、進退判定部３１は、ＳＴ１２，ＳＴ１３の処理を実行して、当該レーザ動線情報に対する処理を終了する。

進退フラグが“１”である場合には、当該レーザ動線情報は、特定領域５に既に進入している移動体の情報である。この場合、進退判定部３１は、当該レーザ動線情報に対する処理を終了する。

進退判定部３１が、かかる手順の処理を実行することにより、進退動線データベース３３には、特定領域５に進入した時点の進退動線情報（進退フラグが“１”）と、特定領域５から退出した時点の進退動線情報（進退フラグが“０”）とが時系列に記録される。ここに、進退判定部３１は、進入判定手段及び退出判定手段を構成する。

動線認識システムは、さらに、最終動線作成部４１、動線結合部４２、動線再生部４３、最終動線データベース４４及び表示部４５を有している。表示部４５としては、例えばカラーディスプレイを採用するとよい。

最終動線作成部４１は、図１１の流れ図に示す手順で、顧客別の最終動線を作成する。なお、この手順は、例えば予め決められた時刻になると自動的にプログラムが起動して実行される。あるいは、キーボード等の入力デバイスの操作入力により所定のコマンドが入力されるとプログラムが起動して実行される。

先ず、最終動線作成部４１は、ＳＴ２１としてレーザ動線データベース２７に蓄積されたレーザ動線情報を検出時刻が古い順に検索して、処理フラグＦが未処理を示す“０”のレーザ動線情報を検出すると、そのレーザ動線情報のレーザ動線ＩＤを未処理動線ＩＤとして取得する。未処理動線ＩＤを取得できたならば（ＳＴ２２のＹＥＳ）、最終動線作成部４１は、ＳＴ２３としてこの未処理動線ＩＤを検索キーとしてレーザ動線データベース２７をさらに検索する。そして、未処理動線ＩＤと一致するレーザ動線ＩＤがセットされたレーザ動線情報のうち、処理フラグが“０”のレーザ動線情報を検出時刻が古い順に全て抽出する。そして、ＳＴ２４としてこの抽出したレーザ動線情報の処理フラグを“１”に更新する。

次に、最終動線作成部４１は、ＳＴ２５として図９に示すデータ構造の最終動線ファイル５０を作成する。そして、この最終動線ファイル５０に、レーザ動線データベース２７から抽出した全てのレーザ動線情報の２次元直交座標と検出時刻とを順次格納する。格納後、最終動線作成部４１は、ＳＴ２６として新規の顧客ＩＤを生成する。そして、この顧客ＩＤをファイル名として、最終動線ファイル５０を最終動線データベース４４に保存する。

次に、最終動線作成部４１は、ＳＴ２７として動線結合部４２に対する処理要求コマンドを作成する。このコマンドには、新規の顧客ＩＤと、未処理動線ＩＤと、この未処理動線ＩＤを取得したレーザ動線情報の検出時刻とが含まれる。最終動線作成部４１は、この処理要求コマンドを動線結合部４２に出力する。

動線結合部４２は、最終動線作成部４１から処理要求コマンドを受取ると、図１２の流れ図に示す手順で、カメラ動線情報と進退動線情報との結合を行う。

すなわち、動線結合部４２は、ＳＴ３１として処理要求コマンドに含まれる未処理動線ＩＤを検索キーとして進退動線データベース３３を進退時刻が古い順に検索する。そして、未処理動線ＩＤと一致するレーザ動線ＩＤの進退動線情報を検出したならば（ＳＴ３２のＹＥＳ）、ＳＴ３３〜ＳＴ４４の処理を実行する。

先ず、ＳＴ３３として検出した進退動線情報の進退時刻が、処理要求コマンドに含まれる検出時刻以降か否かを判断する。進退時刻が検出時刻よりも前であった場合には（ＳＴ３３のＮＯ）、この進退動線情報は、処理要求コマンドに含まれる顧客ＩＤが割り当てられた顧客よりも前に買物をした顧客の情報である。この場合、動線結合部４２は、進退動線データベース３３の検索に戻る。

進退時刻が検出時刻以降であった場合には（ＳＴ３３のＹＥＳ）、この進退動線情報は、処理要求コマンドに含まれる顧客ＩＤが割り当てられた顧客の情報である。この場合、動線結合部４２は、ＳＴ３４としてこの進退動線情報の進退フラグを調べる。ここで、進退フラグが“１”でなかった場合には（ＳＴ３４のＮＯ）、この進退動線情報は、特定領域５から退出した時点の情報である。この場合、動線結合部４２は、進退動線データベース３３の検索に戻る。

進退フラグが“１”であった場合には（ＳＴ３４のＹＥＳ）、この進退動線情報は、特定領域５に進入した時点の情報である。この場合、動線結合部４２は、ＳＴ３５としてこの進退動線情報から２次元直交座標及び進退時刻の情報を取得する。

次に、動線結合部４２は、ＳＴ３６としてカメラ動線データベース２８を検索する。そして、検出時刻が進退時刻に最も近いカメラ動線情報を１つ抽出する。

次に、動線結合部４２は、ＳＴ３７としてこのカメラ動線情報の２次元直交座標を取得する。そして、ＳＴ３８として、この２次元直交座標が示す地点から、進退動線情報の２次元直交座標が示す地点までの距離ｄを算出する。

次に、動線結合部４２は、ＳＴ３９としてこの距離ｄが予め設定されているしきい値Ｄよりも短いか否かを判定する。しきい値Ｄは１メートル以内、例えば８０センチメートルとする。距離ｄがしきい値Ｄより短い場合には（ＳＴ３９のＹＥＳ）、このカメラ動線情報と進退動線情報は、同一顧客の動線情報である。

この場合、動線結合部４２は、ＳＴ４０としてこのカメラ動線情報からカメラ動線ＩＤを取得する。そして、ＳＴ４１としてこのカメラ動線ＩＤを検索キーとしてカメラ動線データベース２８を検索して、検索キーと同一のカメラ動線ＩＤが設定されたカメラ動線情報を全て抽出する。

次に、動線結合部４２は、ＳＴ４２として最終動線データベース４４から処理要求コマンドに含まれた顧客ＩＤをファイル名とする最終動線ファイル５０を開く。そして、このファイル５０に、カメラ動線データベース２８から抽出した全てのカメラ動線情報の２次元直交座標と検出時刻を順次書き込む。

一方、距離ｄがしきい値Ｄ以上の場合には（ＳＴ３９のＮＯ）、カメラ動線情報と進退動線情報は、別の顧客の動線情報である。この場合、動線結合部４２は、ＳＴ４３としてカメラ動線情報の検出時刻と進退動線情報の進退時刻との時間差ｔを算出する。そして、ＳＴ４４としてこの時間差ｔと予め設定されたしきい値Ｔとを比較して、時間差ｔがしきい値Ｔを超えたか否かを判断する。しきい値Ｔは、１分以下、例えば３０秒とする。

時間差ｔがしきい値Ｔを超えていない場合には（ＳＴ４３のＮＯ）、カメラ動線データベース２８の検索を続ける。そして、未だ抽出されていないカメラ動線情報で、検出時刻が進退時刻に最も近い情報を抽出する（ＳＴ３６）。以後は、ＳＴ３７〜ＳＴ４４の処理を再度実行する。

ＳＴ４２にてカメラ動線データベース２８から取り込んだ全てのカメラ動線情報の２次元直交座標と検出時刻を最終動線ファイル５０に書き込んだ後、あるいは時間差ｔがしきい値Ｔを超えた場合には、動線結合部４２は、ＳＴ３１の処理に戻る。

こうして、動線結合部４２は、処理要求コマンドに含まれる未処理動線ＩＤを検索キーとして進退動線データベース３３を進退時刻が古い順に検索し、未処理銅線ＩＤと一致するレーザ動線ＩＤの進退動線情報を検出する毎に、ＳＴ３３〜ＳＴ４４の処理を実行する。

進退動線データベース３３を検索し終えるか、未処理動線ＩＤと一致するレーザ動線ＩＤの進退動線情報を検出できなかった場合には（ＳＴ３２のＮＯ）、動線結合部４２は、ＳＴ４５として最終動線作成部４１に処理終了の応答コマンドを出力する。この応答コマンドには、処理要求コマンドの顧客ＩＤが含まれる。

図１１のＳＴ２７にて、処理要求コマンドを出力した最終動線作成部４１は、ＳＴ２８として処理終了の応答コマンドを待機する。そして、動線結合部４２から処理終了の応答コマンドを受けたならば（ＳＴ２８のＹＥＳ）、最終動線作成部４１は、最終動線データベース４４から当該コマンド中の顧客ＩＤをファイル名とする最終動線ファイル５０を開く。そして、このファイルに記憶された座標情報と検出時刻情報とからなる最終動線情報を、検出時刻の古い順に並べ替える。

かくして、この最終動線ファイル５０により、顧客ＩＤで識別される顧客の最終動線情報が管理される。ここに、最終動線作成部４１と動線結合部４２は、動線情報作成手段を構成する。また、動線結合部４２は、情報結合手段を構成する。

動線再生部４３は、上記最終動線ファイル５０に記憶された最終動線情報に従い、表示部４５の店舗内を示す画面上に、動線を再生する。この動線は、店舗１のうち、特定領域５を除く監視領域については、マルチレーザスキャナ方式で認識されたものであり、特定領域５については、カメラ画像方式で認識されたものである。したがって、特定領域５については、その他の監視領域と比較して高い制度をもって動線の位置検出が行われる。

大規模なスーパーマーケットでは、一般に、チェックアウトカウンタ３の手前の領域は、会計待ちの客や買物を続ける客が行き来するので混雑する場合が多い。本実施の形態では、このチェックアウトカウンタ３の手前の領域を特定領域５としているので、この領域内を移動する顧客の動線については、高い精度をもって認識することができる。

一方、特定領域５以外については、マルチレーザスキャナ方式を採用している。マルチレーザスキャナ方式は、カメラ画像方式と比較して位置検出精度は低いものの、システムの構築及び維持にかかるコストを低減できるメリットがある。そして、このメリットは、監視領域が広ければ広いほど大きい。

このように本実施の形態によれば、監視領域が広い対象に対して有効な動線認識システムを提供することができる。

なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。

例えば、前記実施の形態では、第２の位置検出手段をカメラ画像方式によって構成したが、本発明はこれに限定されるものではない。要は、マルチレーザスキャナ方式によって構成した第１の位置検出手段に対して、第２の位置検出手段の方が位置検出の計測精度が高ければよい。

また、前記実施の形態では、特定領域５をチェックアウトカウンタ３の手前の領域としたが、この領域に限定されるものではない。また、その形状も、長方形に限定されるものではない。

また、監視領域内に複数の特定領域５を設けることも可能である。その場合は、カメラ７Ａ〜７Ｄ、カメラ制御部２２、カメラ画像データベース２６、カメラ動線作成部２４及びカメラ動線データベース２８の系統を特定領域の領域数に合わせて設ける。また、進退判定部３１は、特定領域５に対して進入または退出した進退動線情報に、該当する特定領域５のエリアＩＤを付加する。そして、動線結合部４２は、進退動線情報のエリアＩＤで識別される系統のカメラ動線データベース２８を参照して、進退動線情報とカメラ動線情報とを結合すればよい。

また、前記実施の形態では、進退判定部３１、特定領域データベース３２及び進退動線データベース３３を設け、特定領域５に進入または特定領域５から退出したレーザ動線情報、いわゆる進退動線情報と、カメラ動線情報とを照合して、同一移動体の情報を結合したが、レーザ動線データベース２７内のレーザ動線情報とカメラ動線情報とを照合し、結合してもよい。ただし、本実施の形態のように進退動線情報を用いることによって、結合判定に必要なレーザ動線情報の数を大幅に減らすことができる。その結果、動線結合部４２に処理負荷を大幅に軽減できる効果を奏する。

また、前記実施の形態では、進退動線情報とカメラ動線情報とを同一移動体の情報として結合する条件を、各々の位置情報によって示される位置の間隔が所定値以下でかつ時刻情報によって示される時間の差が最も小さい場合を示したが、結合条件は、これに限定されるものではない。

また、前記実施の形態では、進退判定部３１は、レーザ動線情報を用いて特定領域５への進入及び特定領域５からの退出を判定したが、カメラ動線情報を用いてもよい。すなわち進退判定部３１は、特定領域データベース３２を使用して、カメラ動線データベース２８に記録されたカメラ動線情報が、特定領域５に移動体が進入した時点、あるいは特定領域５から移動体が退出した時点の情報であるか否かを判定し、特定領域５に進入した時点、あるいは特定領域５から退出した時点のカメラ動線情報を、進退動線データベース３３に記録するようにしてもよい。

この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［付記１］
監視領域内における移動体の位置を検出する第１の位置検出手段と、
この第１の位置検出手段により検出された前記移動体の位置を示す位置情報を、当該位置に前記移動体が居た時刻を示す時刻情報とともに監視領域移動体情報として記録する第１の情報記録手段と、
前記監視領域内の一部である特定領域内における前記移動体の位置を、前記第１の位置検出手段による位置検出よりも高い精度をもって検出する第２の位置検出手段と、
この第２の位置検出手段により検出された前記移動体の位置を示す位置情報を、当該位置に前記移動体が居た時刻を示す時刻情報とともに特定領域移動体情報として記録する第２の情報記録手段と、
前記第１の情報記録手段により記録された監視領域移動体情報と前記第２の情報記録手段により記録された特定領域移動体情報とに基づいて、前記監視領域内を移動する移動体の経路を示す動線情報を作成する動線情報作成手段と、を具備し、
前記第１の位置検出手段は、前記監視領域内の床面と平行にレーザスキャニングするレーザスキャナを備え、このレーザスキャナでレーザスキャニングした結果得られる前記床面から所定の高さの水平断面のレーザ距離画像から前記移動体の位置を検出することを特徴とする動線認識システム。
［付記２］
前記動線情報作成手段は、前記第１の情報記録手段により記録された監視領域移動体情報と前記第２の情報記録手段により記録された特定領域移動体情報とを照合して、各々の位置情報によって示される位置の間隔が所定値以下でかつ時刻情報によって示される時間の差が最も小さい監視領域移動体情報と特定領域移動体情報とを、同一移動体の情報として結合する情報結合手段を有することを特徴とする付記１記載の動線認識システム。
［付記３］
前記第１の位置検出手段または第２の位置検出手段により検出された前記移動体の位置を示す位置情報に基づいて前記移動体が前記特定領域に進入したか否かを判定する進入判定手段、をさらに具備し、
前記情報結合手段は、前記第１の情報記録手段により記録された監視領域移動体情報のうち前記進入判定手段により前記特定領域に進入したと判定された移動体の監視領域移動体情報と前記第２の情報記録手段により記録された特定領域移動体情報とを照合して、各々の位置情報によって示される位置の間隔が所定値以下でかつ時刻情報によって示される時間の差が最も小さい監視領域移動体情報と特定領域移動体情報とを、同一移動体の情報として結合することを特徴とする付記２記載の動線認識システム。
［付記４］
前記第１の位置検出手段または第２の位置検出手段により検出された前記移動体の位置を示す位置情報に基づいて前記移動体が前記特定領域から退出したか否かを判定する退出判定手段、をさらに具備し、
前記情報結合手段は、前記第１の情報記録手段により記録された監視領域移動体情報のうち前記退出判定手段により前記特定領域から退出したと判定された移動体の監視領域移動体情報と前記第２の情報記録手段により記録された特定領域移動体情報とを照合して、各々の位置情報によって示される位置の間隔が所定値以下でかつ時刻情報によって示される時間の差が最も小さい監視領域移動体情報と特定領域移動体情報とを、同一移動体の情報として結合することを特徴とする付記２または３記載の動線認識システム。
［付記５］
前記第２の位置検出手段は、前記特定領域内を撮影するカメラと、このカメラによって撮影された画像から移動体を認識してその移動体の位置を算出する画像処理手段とを備えたことを特徴とする付記１乃至４のうちいずれか１記載の動線認識システム。

５…特定領域、６Ａ〜６Ｌ…レーザスキャナ、７Ａ〜７Ｄ…カメラ、２１…レーザスキャナ制御部、２２…カメラ制御部、２３…レーザ動線作成部、２４…カメラ動線作成部、２５…レーザ距離画像データベース、２６…カメラ画像データベース、２７…レーザ動線データベース、２８…カメラ動線データベース、３１…進退判定部、３２…特定領域データベース、３３…進退動線データベース、４１…最終動線作成部、４２…動線結合部、４３…動線再生部、４４…最終動線データベース、４５…表示部。

特開２００６−３５０７５１号公報 特開２００４−２１４７３７号公報

「マルチレーザスキャナを用いた歩行者の抽出」［画像センシングシンポジウム講演論文集（発行年月：２００４年６月）、著者：中村克行、ＺＨＡＯ Ｈｕｉｊｉｎｇ 柴崎亮介、坂本圭司、大鋸朋生］

Claims (4)

1. 監視領域内における移動体の位置を検出する第１の位置検出手段と、
   この第１の位置検出手段により検出された前記移動体の位置を示す位置情報を、当該位置に前記移動体が居た時刻を示す時刻情報とともに監視領域移動体情報として記録する第１の情報記録手段と、
   前記監視領域内の一部である特定領域内における前記移動体の位置を、前記第１の位置検出手段による位置検出よりも高い精度をもって検出する第２の位置検出手段と、
   この第２の位置検出手段により検出された前記移動体の位置を示す位置情報を、当該位置に前記移動体が居た時刻を示す時刻情報とともに特定領域移動体情報として記録する第２の情報記録手段と、
   前記第１の情報記録手段により記録された監視領域移動体情報と前記第２の情報記録手段により記録された特定領域移動体情報とに基づいて、前記監視領域内を移動する移動体の経路を示す動線情報を作成する動線情報作成手段と、
   前記第１の位置検出手段または第２の位置検出手段により検出された前記移動体の位置を示す位置情報に基づいて前記移動体が前記特定領域に進入したか否かを判定する進入判定手段と、を具備し、
   前記第１の位置検出手段は、前記監視領域内の床面と平行にレーザスキャニングするレーザスキャナを備え、このレーザスキャナでレーザスキャニングした結果得られる前記床面から所定の高さの水平断面のレーザ距離画像から前記移動体の位置を検出し、
   前記動線情報作成手段は、前記第１の情報記録手段により記録された監視領域移動体情報のうち前記進入判定手段により前記特定領域に進入したと判定された移動体の監視領域移動体情報と前記第２の情報記録手段により記録された特定領域移動体情報とを照合して、各々の位置情報によって示される位置の間隔が所定値以下でかつ時刻情報によって示される時間の差が最も小さい監視領域移動体情報と特定領域移動体情報とを、同一移動体の情報として結合する情報結合手段を有したことを特徴とする動線認識システム。
2. 前記第２の位置検出手段は、前記特定領域内を撮影するカメラと、このカメラによって撮影された画像から移動体を認識してその移動体の位置を算出する画像処理手段とを備えたことを特徴とする請求項１記載の動線認識システム。
3. 監視領域内における移動体の位置を検出する第１の位置検出手段と、
   この第１の位置検出手段により検出された前記移動体の位置を示す位置情報を、当該位置に前記移動体が居た時刻を示す時刻情報とともに監視領域移動体情報として記録する第１の情報記録手段と、
   前記監視領域内の一部である特定領域内における前記移動体の位置を、前記第１の位置検出手段による位置検出よりも高い精度をもって検出する第２の位置検出手段と、
   この第２の位置検出手段により検出された前記移動体の位置を示す位置情報を、当該位置に前記移動体が居た時刻を示す時刻情報とともに特定領域移動体情報として記録する第２の情報記録手段と、
   前記第１の情報記録手段により記録された監視領域移動体情報と前記第２の情報記録手段により記録された特定領域移動体情報とに基づいて、前記監視領域内を移動する移動体の経路を示す動線情報を作成する動線情報作成手段と、
   前記第１の位置検出手段または第２の位置検出手段により検出された前記移動体の位置を示す位置情報に基づいて前記移動体が前記特定領域から退出したか否かを判定する退出判定手段と、を具備し、
   前記第１の位置検出手段は、前記監視領域内の床面と平行にレーザスキャニングするレーザスキャナを備え、このレーザスキャナでレーザスキャニングした結果得られる前記床面から所定の高さの水平断面のレーザ距離画像から前記移動体の位置を検出し、
   前記動線情報作成手段は、前記第１の情報記録手段により記録された監視領域移動体情報のうち前記退出判定手段により前記特定領域から退出したと判定された移動体の監視領域移動体情報と前記第２の情報記録手段により記録された特定領域移動体情報とを照合して、各々の位置情報によって示される位置の間隔が所定値以下でかつ時刻情報によって示される時間の差が最も小さい監視領域移動体情報と特定領域移動体情報とを、同一移動体の情報として結合する情報結合手段を有したことを特徴とする動線認識システム。
4. 前記第２の位置検出手段は、前記特定領域内を撮影するカメラと、このカメラによって撮影された画像から移動体を認識してその移動体の位置を算出する画像処理手段とを備えたことを特徴とする請求項３記載の動線認識システム。

Images