JP5037643B2 - 動線認識システム - Google Patents

Description

本発明は、移動体、例えば店舗内を移動する顧客の経路を動線として認識するように構成された動線認識システムに関する。

スーパーマーケット，コンビニエンスストア等の店舗内を移動する顧客の経路を動線として認識するようにした動線認識システムは、既に知られている。従来のこの種の動線認識システムは、カメラ画像を用いる方式と無線タグを用いる方式とがあった。

カメラ画像を用いる動線認識システムは、先ず、監視領域、すなわち店舗内に、複数のカメラを分散して設置する。そして、各カメラでそれぞれ撮影された画像を時刻情報と紐付けして記録する。次に、記録された画像を処理して移動体である顧客を抽出し、その顧客が位置する座標を求める。そして、その座標情報に、顧客を識別する識別情報と、処理画像に紐付けされた時刻情報とを紐付けする。次に、同一の識別情報が紐付けられた座標情報を、時刻情報が示す時刻の古い順にまとめる。かくして、その識別情報で識別される顧客の動線情報が作成される。後は、この動線情報に従い、店舗内を示す画面上に、座標情報が示す地点を時刻に同期して表示し、線で結ぶ。そうすることにより、店舗内における顧客の経路が動線として認識される（例えば、特許文献１参照）。

一方、無線タグを用いた動線認識システムは、先ず、監視領域である店舗内に複数の無線タグリーダを分散して設置する。また、移動体である顧客と一体となって無線タグが移動するようにする。そして、各無線タグリーダでそれぞれ読み取られた無線タグのタグ識別情報を、どの無線タグリーダで読み取られたのかを示す情報と、読取時刻とを紐付けして記録する。次に、記録された情報を処理して、無線タグが位置する座標を求める。そして、その座標情報に、タグ識別情報と、処理情報に紐付けされた時刻情報とを紐付けする。次に、同一のタグ識別情報が紐付けられた座標情報を、時刻情報が示す時刻の古い順にまとめる。かくして、その識別情報で識別される顧客の動線情報が作成される。後は、この動線情報に従い、店舗内を示す画面上に、座標情報が示す地点を時刻に同期して表示し、線で結ぶ。そうすることにより、店舗内における無線タグ、つまりは顧客の経路が動線として認識される（例えば、特許文献２参照）。

カメラ画像を用いる動線認識システムは、比較的小規模なスーパーマーケットやコンビニエンスストアなどでは有効である。しかしながら、大規模なスーパーマーケット等のように売場面積が広い店舗に対しては不向きである。すなわち、カメラ画像を用いる動線認識システムは、店舗内の全域をカバーするのに多くのカメラが必要となる。カメラの台数が増えると、撮影画像を記録保存するための記憶装置として大容量の記憶装置が必要となる。また、各カメラの制御も煩雑となる上、メンテナンスにかかるコストも大幅に増加する。したがって、カメラ画像を用いる方式は、監視領域が広い対象に対しては導入し難いものである。

一方、無線タグを用いる動線認識システムは、データ量の大きい画像データを用いない。このため、カメラ画像を用いるシステムと比較して記憶容量を大幅に低減できるメリットがある。ただし、位置検出の分解能、すなわち、どの程度の精度をもって移動体の位置を特定できるかは、概ね、無線タグリーダの数によって左右される。無線タグリーダの数が増えれば、位置検出の分解能は高まる。しかし、無線タグリーダの数が増えると、無線タグリーダ間で電波干渉が生じ易くなる。電波干渉が発生すると、無線タグのデータを読み取ることができなくなる。このため、監視領域内に設置できる無線タグリーダの数には物理的な制限がある。したがって、無線タグを用いる動線認識方式は、カメラ画像を用いる方式と比較して、低分解能とならざるを得ない。

このように、従来の動線認識システムには、カメラ画像を用いる方式と無線タグを用いる方式とがあるが、いずれの方式を採用した場合も、例えば大規模なスーパーマーケットの店舗内を移動する顧客の経路を動線として認識するような場合、すなわち監視領域が広い場合に問題があった。

本発明はこのような事情に基づいてなされたもので、その目的とするところは、監視領域が広い対象に対して有効な動線認識システムを提供しようとするものである。

本発明の動線認識システムは、監視領域内における移動体の位置を検出する第１の位置検出手段と、この第１の位置検出手段により検出された移動体の位置を示す位置情報を、その移動体を識別する第１の識別情報及び当該位置に移動体が居た時刻を示す時刻情報とともに監視領域移動体情報として第１の移動体情報記録部に記録する第１の情報記録手段と、監視領域内の一部である特定領域内における移動体の位置を、第１の位置検出手段による位置検出よりも高い分解能をもって検出する第２の位置検出手段と、この第２の位置検出手段により検出された移動体の位置を示す位置情報を、その移動体を識別する第２の識別情報及び当該位置に移動体が居た時刻を示す時刻情報とともに特定領域移動体情報として第２の移動体情報記録部に記録する第２の情報記録手段と、第１の移動体情報記録部に監視領域移動体情報が記録される毎にその監視領域移動体情報の位置情報から当該監視領域移動体情報の第１の識別情報で識別される移動体が特定領域に進入しているか否かを判定する進入判定手段と、この進入判定手段により進入していると判定されると、その監視領域移動体情報の第１の識別情報が進退記録部に記録されているか否かを判定し、記録されていない場合にその監視領域移動体情報を進退移動体情報として進退記録部に記録する第３の情報記録手段と、進退記録部に記録された進退移動体情報と第２の情報記録部に記録された特定領域移動体情報とを照合して、各々の位置情報によって示される位置の間隔が所定値以下でかつ時刻情報によって示される時間の差が最も小さい進退移動体情報と特定領域移動体情報とを同一移動体の情報として結合する情報結合手段と、この情報結合手段により同一移動体の情報として結合された進退移動体情報の第１の識別情報を有する監視領域移動体情報と特定領域移動体情報の第２の識別情報を有する特定領域移動体情報とから、監視領域内を移動する移動体の経路を示す動線情報を作成する動線情報作成手段とを具備したものである。

かかる手段を講じた本発明によれば、監視領域が広い対象に対して有効な動線認識システムを提供することができる。

本発明が適用された店舗の一実施形態を示す平面図。 同実施の形態において用いられる買物カゴを示す模式図。 同実施の形態における動線認識システムの要部構成を示すブロック図。 同実施の形態において、無線タグ動線データベースに記憶されるデータの構造を示す図。 同実施の形態において、カメラ動線データベースに記憶されるデータの構造を示す図。 同実施の形態において、特定領域の説明の用いる模式図。 同実施の形態において、特定領域データベースに記憶されるデータの構造を示す図。 同実施の形態において、進退動線データベースに記憶されるデータの構造を示す図。 同実施の形態において、最終動線データベースに記憶される最終動線ファイルの構造を示す図。 同実施の形態における進退判定部の処理手順を示す流れ図。 同実施の形態における最終動線作成部の処理手順を示す流れ図。 同実施の形態における動線結合部の処理手順を示す流れ図。

以下、本発明を実施するための最良の形態について、図面を用いて説明する。
なお、この実施の形態は、スーパーマーケット等の店舗内を移動する顧客の経路を動線として認識する動線認識システムに本発明を適用した場合である。

図１は、本発明が適用された店舗１の一実施形態を示す平面図である。同図において、二重線で囲われた符号２の各領域は、商品棚を示している。また、符号３は、いずれもチェックアウトカウンタを示し、符号４は、いずれも店内への出入口を示している。

本実施の形態では、商品棚２とチェックアウトカウンタ３とが設置された領域を除いた店舗内を監視領域としている。また、この監視領域のうち、図中ハッチングで示された領域５、すなわちチェックアウトカウンタ３の手前の領域を特定領域としている。そして、いずれかの出入口４から入店した顧客が監視領域及び特定領域５内を移動し、いずれかの出入口４から退店するまでの経路を、動線として認識するための動線認識システムを構築している。

動線認識システムは、無線タグ方式とカメラ画像方式とを併用している。具体的には、監視領域のうち特定領域５に対してはカメラ画像方式を採用し、その他の監視領域に対しては無線タグ方式を採用している。

すなわち、監視領域の要所には、複数（図では８台）の無線タグリーダ６Ａ，６Ｂ，６Ｃ，６Ｄ，６Ｅ，６Ｆ，６Ｇ，６Ｈが分散して設置されている。各無線タグリーダ６Ａ〜６Ｈは、図示する位置であれば、天井、床、棚、壁等のどの部位に設置されていてもよい。

各無線タグリーダ６Ａ〜６Ｈは、それぞれ自己の交信領域内に存在する無線タグと無線通信を行う。無線タグには、固有のタグ識別情報、いわゆるタグＩＤが予め記録されている。各無線タグリーダ６Ａ〜６Ｈは、無線タグのメモリ部に記憶されているタグＩＤを無線通信により読み取ることができる。また、無線タグリーダ６Ａ〜６Ｈは、無線タグ１２の位置検知機能を備えた基地局として機能する。

無線タグは、図２の符号１２で示すように、顧客が店内で使用する買物カゴ１１に１つずつ取付けられている。顧客は、買物カゴ１１を手で持って、あるいは買物カゴをショッピングカートに載せて店内を移動する。したがって、無線タグ１２は、移動体である顧客と一体となって監視領域内を移動する。

買物カゴ１１には、バーコードラベル１３が付されている。バーコードラベル１３には、このラベル１３が付されている買物カゴ１１に取付けられた無線タグ１２のタグＩＤを示すバーコードが印刷されている。各チェックアウトカウンタ３には、このカウンタ３に置かれた買物カゴ１１からバーコードラベル１３のバーコードを光学的に読み取るようにしたスキャナ７Ａ，７Ｂ，７Ｃが設置されている。

特定領域５の周囲には、複数（図では４台）のカメラ８Ａ，８Ｂ，８Ｃ，８Ｄが分散して設置されている。各カメラ８Ａ〜８Ｄは、図示の位置から特定領域５内を移動する顧客を撮影可能な場所であれば、天井、棚等のどの部位に設置されていてもよい。

図３は、かかる動線認識システムの要部構成を示すブロック図である。動線認識システムは、無線タグリーダ制御部２１、カメラ制御部２２、無線タグ動線作成部２３、カメラ動線作成部２４、タグ情報データベース２５、カメラ画像データベース２６、無線タグ動線データベース２７及びカメラ動線データベース２８を有している。

無線タグリーダ制御部２１は、複数の無線タグリーダ６Ａ〜６Ｈの読取動作を制御する。そして、各無線タグリーダ６Ａ〜６Ｈで読み取られた無線タグ１２のタグＩＤを、どの無線タグリーダで読み取られたのかを示す情報と、読取時刻とを紐付けして、タグ情報データベース２５に記録する。

無線タグ動線作成部２３は、上記タグ情報データベース２５に記録されたデータを用いて、無線タグ１２毎に動線情報を作成する。具体的には、無線タグ動線作成部２３は、ＩＥＥＥ802.11b/gで標準化されている無線ＬＡＮ技術を利用して、無線タグ１２の位置を検出する。すなわち、各無線タグリーダ６Ａ〜６Ｈに対する同一無線タグ１２からの応答電波の到来時間差（ＴＤＯＡ）に基づく三辺測量方式と、その応答電波の受信電界強度（ＲＳＳＩ）に基づく方式とを併用して、無線タグ１２の位置を検出し、その位置を、監視領域内のＸ−Ｙ平面座標に変換する。

なお、本実施の形態では、図１に示す店舗１の左下隅をＸ−Ｙ平面座標の原点Ｏ（０，０）とする。

無線タグ１２の位置を座標（Ｘ，Ｙ）に変換したならば、無線タグ動線作成部２３は、その座標情報に、当該無線タグ１２から読み取ったタグＩＤと、読取時刻に相当する検出時刻情報とを紐付けして、動線情報を作成する。作成された無線タグ１２毎の動線情報は、図４に示すようなデータ構造の無線タグ動線データベース２５に時系列に記録される。図４において、処理フラグは、対応する動線情報（タグＩＤ，座標，検出時刻）が、無線タグ動線データベース２５に記録された時点では“０”であり、後述する最終動線作成部４１において処理されると“１”となる。

カメラ制御部２２は、各カメラ８Ａ〜８Ｄの撮影動作を制御する。そして、カメラ８Ａ〜８Ｄ毎に撮影された画像を順次取込み、撮影時刻の情報と紐付けして、カメラ画像データベース２６に記録する。

カメラ動線作成部２４は、カメラ画像データベース２６に記録されたカメラ画像のデータに基づいて、移動体毎に動線情報を作成する。すなわち、複数のカメラ８Ａ〜８Ｄの撮影画像を既知の視体積交差法によって処理して移動体を抽出し、この移動体を追跡する。その際、移動体毎に固有の動線ＩＤを発番する。そして、一定の周期で移動体の位置を測定し、この位置を監視領域内のＸ−Ｙ平面座標に変換する。

移動体の位置を座標（Ｘ，Ｙ）に変換したならば、カメラ動線作成部２４は、その座標情報に、当該移動体に対して発番された動線ＩＤと、その移動体が抽出された画像の撮影時刻に相当する検出時刻情報とを紐付けして、動線情報を作成する。作成された移動体毎の動線情報は、図５に示すようなデータ構造のカメラ動線データベース２８に時系列に記録される。

ここで、カメラ画像を用いた視体積交差法による方式は、無線タグを用いた方式と比較して、数十センチメートル程度の高い分解能が得られる。このため、特定領域５内の動線は、他の監視領域内と比べて高い精度で動線を検出することができる。

ここに、無線タグ１２と、複数の無線タグリーダ（無線タグ読取手段）６Ａ〜６Ｈと、無線タグ動線作成部２３とは、第１の位置検出手段を構成し、無線タグ動線データベース２７は、第１の情報記録手段を構成する。また、複数のカメラ８Ａ〜８Ｄと、カメラ動線作成部（画像処理手段）２４とは、第２の位置検出手段を構成し、カメラ動線データベース２８は、第２の情報記録手段を構成する。

動線認識システムは、さらに、進退判定部３１、特定領域データベース３２及び進退動線データベース３３を有している。

特定領域５は、図６に示すように、Ｘ−Ｙ平面上では長方形状をなしている。したがって、原点Ｏ（０，０）に対する左上端の点Ｐ１のＸ−Ｙ平面座標を（ｘ１，ｙ２）、右下端の点Ｐ２のＸ−Ｙ平面座標を（ｘ２，ｙ１）と定義すると、特定領域５は、Ｘ座標の範囲がｘ１〜ｘ２で、Ｙ座標の範囲がｙ１〜ｙ２の点座標の集合となる。

そこで、特定領域データベース３２には、図７に示すように、特定領域５を識別するエリアＩＤに対応して、Ｘ座標の範囲としてｘ１〜ｘ２が、Ｙ座標の範囲としてｙ１〜ｙ２がそれぞれ設定されている。

進退判定部３１は、特定領域データベース３２を使用して、無線タグ動線データベース２７に記録された無線タグ動線情報が、特定領域５に無線タグ１２が進入した時点、あるいは特定領域５から無線タグ１２が退出した時点の情報であるか否かを判定する。そして、特定領域５に進入した時点、あるいは特定領域５から退出した時点の無線タグ動線情報を、進退動線データベース３３に記録する。

進退動線データベース３３には、図８に示すように、無線タグ動線情報のタグＩＤとＸ−Ｙ座標に加えて、進退時刻と進退フラグの各情報が、進退動線情報として記録される。進退時刻は、当該無線タグ動線情報の検出時刻である。進退フラグは、当該無線タグ動線情報が特定領域５に進入した時点の情報であるときには“１”、特定領域５から退出した時点の情報であるときには“０”となる。なお、“１”と“０”が逆であってもよい。

進退判定部３１は、無線タグ動線データベース２７に無線タグ動線情報が書き込まれる毎に、図１０の流れ図に示す手順で、移動体（無線タグ１２）の特定領域５に対する進退判定を行う。

先ず、進退判定部３１は、ＳＴ（ステップ）１として、無線タグ動線データベース２７に書き込まれた無線タグ動線情報（タグＩＤ、Ｘ−Ｙ座標、検出時刻）を取得する。次に、ＳＴ２として当該無線タグ動線情報中のＸ−Ｙ座標情報で、特定領域データベース３２を検索する。そして、ＳＴ３としてＸ−Ｙ座標情報で示される位置が特定領域５内であるか否かを判定する。Ｘ座標及びＹ座標がいずれも特定領域５の座標範囲内であれば、当該無線タグ動線情報は特定領域５内の情報であると判定し、それ以外は特定領域５外の情報であると判定する。

特定領域５外の無線タグ動線情報と判定した場合には（ＳＴ３のＮＯ）、進退判定部３１は、ＳＴ４としてその無線タグ動線情報のタグＩＤを検索キーとして、進退動線データベース３３を進退時刻が新しい順に検索する。その結果、検索キーと同一のタグＩＤがセットされた進退動線情報を進退動線データベース３３から検出できなかった場合には（ＳＴ５のＮＯ）、当該無線タグ動線情報は、特定領域５から退出した時点の情報ではない。この場合、進退判定部３１は、当該無線タグ動線情報に対する処理を終了する。

進退動線データベース３３を検索した結果、検索キーと同一のタグＩＤがセットされた進退動線情報を検出した場合には（ＳＴ５のＹＥＳ）、進退判定部３１は、ＳＴ６としてこの進退動線データベース３３から検出した進退動線情報の進退フラグをチェックする。そして、進退フラグが“１”でない、つまり“０”である場合には（ＳＴ６のＮＯ）、当該無線タグ動線情報は、特定領域５から既に退出した無線タグ１２の情報である。この場合、進退判定部３１は、当該無線タグ動線情報に対する処理を終了する。

進退フラグが“１”である場合には（ＳＴ６のＹＥＳ）、当該無線タグ動線情報は、特定領域５から退出した直後の無線タグ１２の情報である。この場合、進退判定部３１は、ＳＴ７として当該無線タグ動線情報を、新たな進退動線情報として進退動線データベース３３に追加する。また、ＳＴ８としてこの追加した進退動線情報の進退フラグを“０”とする。以上で、進退判定部３１は、当該無線タグ動線情報に対する処理を終了する。

一方、無線タグ動線情報中のＸ−Ｙ座標情報で特定領域データベース３２を検索した結果、特定領域５内の無線タグ動線情報と判定した場合には（ＳＴ３のＹＥＳ）、進退判定部３１は、ＳＴ９としてその無線タグ動線情報のタグＩＤを検索キーとして、進退動線データベース３３を進退時刻が新しい順に検索する。その結果、検索キーと同一のタグＩＤがセットされた進退動線情報を進退動線データベース３３から検出できなかった場合には（ＳＴ１０のＹＥＳ）、当該無線タグ動線情報は、特定領域５に進入した時点の情報である。この場合、進退判定部３１は、ＳＴ１２として当該無線タグ動線情報を新たな進退動線情報として進退動線データベース３３に追加する。また、ＳＴ１３としてこの追加した進退動線情報の進退フラグを“１”とする。以上で、進退判定部３１は、当該無線タグ動線情報に対する処理を終了する。

進退動線データベース３３を検索した結果、検索キーと同一のタグＩＤがセットされた進退動線情報を検出した場合には（ＳＴ１０のＹＥＳ）、進退判定部３１は、ＳＴ１１としてこの進退動線データベース３３から検出した進退動線情報の進退フラグをチェックする。そして、進退フラグが“１”でない、つまり“０”である場合には、当該無線タグ動線情報は、特定領域５から一旦退出し、その後再び進入した時点の無線タグ１２の情報である。この場合も、進退判定部３１は、ＳＴ１２，ＳＴ１３の処理を実行して、当該無線タグ動線情報に対する処理を終了する。

進退フラグが“１”である場合には、当該無線タグ動線情報は、特定領域５に既に進入している無線タグ１２の情報である。この場合、進退判定部３１は、当該無線タグ動線情報に対する処理を終了する。

進退判定部３１が、かかる手順の処理を実行することにより、進退動線データベース３３には、特定領域５に進入した時点の無線タグ動線情報（進退フラグが“１”）と、特定領域５から退出した時点の無線タグ動線情報（進退フラグが“０”）とが時系列に記録される。ここに、進退判定部３１は、進入判定手段及び退出判定手段を構成する。

動線認識システムは、さらに、最終動線作成部４１、動線結合部４２、動線再生部４３、最終動線データベース４４及び表示部４５を有している。表示部４５は、例えばカラーディスプレイが用いられている。

最終動線作成部４１は、買物カゴ１１に付されたバーコードラベル１３のバーコードがスキャナ７Ａ〜７Ｃで読み取られる毎に、図１１の流れ図に示す手順で、顧客毎に最終動線を作成する。

先ず、最終動線作成部４１は、ＳＴ２１としてスキャナ７Ａ〜７Ｃで読み取られたバーコードのデータから無線タグ１２のタグＩＤを復号する。次に、ＳＴ２２としてこのタグＩＤを検索キーとして無線タグ動線データベース２７を検索する。そして、検索キーと一致するタグＩＤがセットされた無線タグ動線情報のうち、処理フラグが“０”の動線情報を検出時刻が古い順に全て取り込む。そして、取り込んだ動線情報の処理フラグを“１”に書き換える。

次に、最終動線作成部４１は、ＳＴ２３として図９に示すデータ構造の最終動線ファイル５０を作成する。そして、この最終動線ファイル５０に、無線タグ動線データベース２７から取り込んだ全ての無線タグ動線情報のＸ−Ｙ平面座標と検出時刻の各情報を順次格納する。格納後、最終動線作成部４１は、ＳＴ２４として新規の顧客ＩＤを生成する。そして、この顧客ＩＤをファイル名として、最終動線ファイル５０を最終動線データベース４４に保存する。

次に、最終動線作成部４１は、ＳＴ２５として動線結合部４２に対する処理要求コマンドを作成する。このコマンドには、新規の顧客ＩＤと、バーコードデータから復号したタグＩＤと、無線タグ動線データベース２７から取り込んだ全ての無線タグ動線情報のうち、最も古い検出時刻の情報とが含まれる。最終動線作成部４１は、この処理要求コマンドを動線結合部４２に出力する。

動線結合部４２は、最終動線作成部４１から処理要求コマンドを受取ると、図１２の流れ図に示す手順で、カメラ動線情報と進退動線情報との結合を行う。

すなわち、動線結合部４２は、ＳＴ３１として処理要求コマンドに含まれるタグＩＤを検索キーとして進退動線データベース３３を進退時刻が古い順に検索する。そして、検索キーと一致するタグＩＤの進退動線情報を検出したならば（ＳＴ３２のＹＥＳ）、ＳＴ３３〜ＳＴ４４の処理を実行する。

先ず、ＳＴ３３として検出した進退動線情報の進退時刻が、処理要求コマンドに含まれる検出時刻以降か否かを判断する。進退時刻が検出時刻よりも前であった場合には（ＳＴ３３のＮＯ）、この進退動線情報は、処理要求コマンドに含まれる顧客ＩＤが割り当てられた顧客よりも前に、同じ買物カゴ１１を用いて買物をした顧客の情報である。この場合、動線結合部４２は、進退動線データベース３３の検索に戻る。

進退時刻が検出時刻以降であった場合には（ＳＴ３３のＹＥＳ）、この進退動線情報は、処理要求コマンドに含まれる顧客ＩＤが割り当てられた顧客の情報である。この場合、動線結合部４２は、ＳＴ３４としてこの進退動線情報の進退フラグを調べる。ここで、進退フラグが“１”でなかった場合には（ＳＴ３４のＮＯ）、この進退動線情報は、特定領域５から退出した時点の情報である。この場合、動線結合部４２は、進退動線データベース３３の検索に戻る。

進退フラグが“１”であった場合には（ＳＴ３４のＹＥＳ）、この進退動線情報は、特定領域５に進入した時点の情報である。この場合、動線結合部４２は、ＳＴ３５としてこの進退動線情報からＸ−Ｙ座標及び進退時刻の情報を取得する。

次に、動線結合部４２は、ＳＴ３６としてカメラ動線データベース２８を検索する。そして、検出時刻が進退時刻に最も近いカメラ動線情報を１つ抽出する。

次に、動線結合部４２は、ＳＴ３７としてこのカメラ動線情報のＸ−Ｙ座標を取得する。そして、ＳＴ３８として、このＸ−Ｙ座標が示す地点から、進退動線情報のＸ−Ｙ座標が示す地点までの距離ｄを算出する。

次に、動線結合部４２は、ＳＴ３９としてこの距離ｄが予め設定されているしきい値Ｄよりも短いか否かを判定する。しきい値Ｄは１メートル以内、例えば８０センチメートルとする。距離ｄがしきい値Ｄより短い場合には（ＳＴ３９のＹＥＳ）、このカメラ動線情報と進退動線情報は、同一顧客の動線情報である。

この場合、動線結合部４２は、ＳＴ４０としてこのカメラ動線情報から動線ＩＤを取得する。そして、ＳＴ４１としてこの動線ＩＤを検索キーとしてカメラ動線データベース２８を検索して、検索キーと同一の動線ＩＤが設定されたカメラ動線情報を全て取り込む。

次に、動線結合部４２は、ＳＴ４２として最終動線データベース４４から処理要求コマンドに含まれた顧客ＩＤをファイル名とする最終動線ファイル５０を開く。そして、このファイル５０に、カメラ動線データベース２８から取り込んだ全てのカメラ動線情報のＸ−Ｙ座標と検出時刻の情報を順次書き込む。

一方、距離ｄがしきい値Ｄ以上の場合には（ＳＴ３９のＮＯ）、カメラ動線情報と進退動線情報は、別の顧客の動線情報である。この場合、動線結合部４２は、ＳＴ４３としてカメラ動線情報の検出時刻と進退動線情報の進退時刻との時間差ｔを算出する。そして、ＳＴ４４としてこの時間差ｔと予め設定されたしきい値Ｔとを比較して、時間差ｔがしきい値Ｔを超えたか否かを判断する。しきい値Ｔは、１分以下、例えば３０秒とする。

時間差ｔがしきい値Ｔを超えていない場合には（ＳＴ４３のＮＯ）、カメラ動線データベース２８の検索を続ける。そして、未だ抽出されていないカメラ動線情報で、検出時刻が進退時刻に最も近い情報を抽出する（ＳＴ３６）。以後は、ＳＴ３７〜ＳＴ４４の処理を再度実行する。

ＳＴ４２にてカメラ動線データベース２８から取り込んだ全てのカメラ動線情報のＸ−Ｙ座標と検出時刻の情報を最終動線ファイル５０に書き込んだ後、あるいは時間差ｔがしきい値Ｔを超えた場合には、動線結合部４２は、ＳＴ３１の処理に戻る。

こうして、動線結合部４２は、処理要求コマンドに含まれるタグＩＤを検索キーとして進退動線データベース３３を進退時刻が古い順に検索し、検索キーと一致するタグＩＤの進退動線情報を検出する毎に、ＳＴ３３〜ＳＴ４４の処理を実行する。

進退動線データベース３３を検索し終えるか、検索キーと一致するタグＩＤの進退動線情報を検出できなかった場合には（ＳＴ３２のＮＯ）、動線結合部４２は、ＳＴ４５として最終動線作成部４１に処理終了の応答コマンドを出力する。この応答コマンドには、処理要求コマンドの顧客ＩＤが含まれる。

図１１のＳＴ２５にて、処理要求コマンドを出力した最終動線作成部４１は、ＳＴ２６として処理終了の応答コマンドを待機する。そして、動線結合部４２から処理終了の応答コマンドを受けたならば（ＳＴ２６のＹＥＳ）、最終動線作成部４１は、最終動線データベース４４から当該コマンド中の顧客ＩＤをファイル名とする最終動線ファイル５０を開く。そして、このファイルに記憶された座標情報と検出時刻情報とからなる動線情報を、検出時刻の古い順に並べ替える。

かくして、この最終動線ファイル５０により、顧客ＩＤで識別される顧客の最終動線情報が管理される。ここに、最終動線作成部４１と動線結合部４２は、動線情報作成手段を構成する。また、動線結合部４２は、情報結合手段を構成する。

動線再生部４３は、上記最終動線ファイル５０に記憶された最終動線情報に従い、表示部４５の店舗内を示す画面上に、動線を再生する。この動線は、店舗１のうち、特定領域５を除く監視領域については、無線タグ方式で認識されたものであり、特定領域５については、カメラ画像方式で認識されたものである。したがって、特定領域５については、その他の監視領域と比較して高い分解能をもって動線の位置検出が行われる。

大規模なスーパーマーケットでは、一般に、チェックアウトカウンタ３の手前の領域は、会計待ちの客や買物を続ける客が行き来するので混雑する場合が多い。本実施の形態では、このチェックアウトカウンタ３の手前の領域を特定領域５としているので、この領域内を移動する顧客の動線については、高い分解能をもって認識することができる。

一方、特定領域５以外については、無線タグ方式を採用している。無線タグ方式は、カメラ画像方式と比較して高い分解能を得られないものの、システムの構築及び維持にかかるコストを低減できるメリットがある。そして、このメリットは、監視領域が広ければ広いほど大きい。

このように本実施の形態によれば、監視領域が広い対象に対して有効な動線認識システムを提供することができる。

なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。

例えば、前記実施の形態では、第１の位置検出手段を無線タグ方式によって構成し、第２の位置検出手段をカメラ画像方式によって構成したが、本発明はこれに限定されるものではない。要は、第１の位置検出手段に対して第２の位置検出手段の方が、位置検出の分解能が高ければよい。

また、前記実施の形態では、移動体である顧客と一体となって移動する無線タグ１２を買物カゴ１１に取付けたが、これに限定されるものではない。例えば、顧客に無線タグ１２が取付けられたカードやシール等を渡して、店舗１内に居る間は顧客に所持してもらうようにしてもよい。

また、前記実施の形態では、買物カゴ１１にそのカゴ１１に取り付けられた無線タグ１２のタグＩＤを示したバーコードラベル１３を付し、チェックアウトカウンタでこのバーコードラベル１３のバーコードを読み取ったことをトリガとして最終動線を作成している。これは、同じ買物カゴ１１が別の客によって繰り返し使用されるので、顧客一人ひとりを識別できないためである。このような構成は、例えば、チェックアウトカウンタに持ち込まれた買物カゴ１１に取付けられた無線タグ１２のタグＩＤを、自動的に新規のＩＤに書き換えるような仕組みを用いることによって省略することができる。このような仕組みを用いた場合は、最終動線を作成するタイミングが、チェックアウト時に限定されなくなる。また、無線タグ動線データベース２７から処理フラグを省略することができる。

また、前記実施の形態では、特定領域５をチェックアウトカウンタ３の手前の領域としたが、この領域に限定されるものではない。また、その形状も、長方形に限定されるものではない。

また、監視領域内に複数の特定領域５を設けることも可能である。その場合は、カメラ８Ａ〜８Ｄ、カメラ制御部２２、カメラ画像データベース２６、カメラ動線作成部２４及びカメラ動線データベース２８の系統を特定領域の領域数に合わせて設ける。また、進退判定部３１は、特定領域５に対して進入または退出した進退動線情報に、該当する特定領域５のエリアＩＤを付加する。そして、動線結合部４２は、進退動線情報のエリアＩＤで識別される系統のカメラ動線データベース２８を参照して、進退動線情報とカメラ動線情報とを結合すればよい。

また、前記実施の形態では、進退判定部３１、特定領域データベース３２及び進退動線データベース３３を設け、特定領域５に進入または特定領域５から退出した無線タグ動線情報、いわゆる進退動線情報と、カメラ動線情報とを照合して、同一移動体の情報を結合したが、無線タグ動線データベース２７内の無線タグ動線情報とカメラ動線情報とを照合し、結合してもよい。ただし、本実施の形態のように進退動線情報を用いることによって、結合判定に必要な無線タグ動線情報の数を大幅に減らすことができる。その結果、動線結合部４２に処理負荷を大幅に軽減できる効果を奏する。

また、前記実施の形態では、進退動線情報とカメラ動線情報とを同一移動体の情報として結合する条件を、各々の位置情報によって示される位置の間隔が所定値以下でかつ時刻情報によって示される時間の差が最も小さい場合を示したが、結合条件は、これに限定されるものではない。

また、前記実施の形態では、進退判定部３１は、無線タグ動線情報を用いて特定領域５への進入及び特定領域５からの退出を判定したが、カメラ動線情報を用いてもよい。すなわち進退判定部３１は、特定領域データベース３２を使用して、カメラ動線データベース２８に記録されたカメラ動線情報が、特定領域５に移動体が進入した時点、あるいは特定領域５から移動体が退出した時点の情報であるか否かを判定し、特定領域５に進入した時点、あるいは特定領域５から退出した時点のカメラ動線情報を、進退動線データベース３３に記録するようにしてもよい。

この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。

５…特定領域、６Ａ〜６Ｈ…無線タグリーダ、７Ａ〜７Ｃ…スキャナ、８Ａ〜８Ｄ…カメラ、１１…買物カゴ、１２…無線タグ、１３…バーコードラベル、２１…無線タグリーダ制御部、２２…カメラ制御部、２３…無線タグ動線作成部、２４…カメラ動線作成部、２５…タグ情報データベース、２６…カメラ画像データベース、２７…無線タグ動線データベース、２８…カメラ動線データベース、３１…進退判定部、３２…特定領域データベース、３３…進退動線データベース、４１…最終動線作成部、４２…動線結合部、４３…動線再生部、４４…最終動線データベース、４５…表示部。

特開２００６−３５０７５１号公報 特開２００４−２１４７３７号公報

Claims (4)

1. 監視領域内における移動体の位置を検出する第１の位置検出手段と、
   この第１の位置検出手段により検出された前記移動体の位置を示す位置情報を、その移動体を識別する第１の識別情報及び当該位置に前記移動体が居た時刻を示す時刻情報とともに監視領域移動体情報として第１の移動体情報記録部に記録する第１の情報記録手段と、
   前記監視領域内の一部である特定領域内における前記移動体の位置を、前記第１の位置検出手段による位置検出よりも高い分解能をもって検出する第２の位置検出手段と、
   この第２の位置検出手段により検出された前記移動体の位置を示す位置情報を、その移動体を識別する第２の識別情報及び当該位置に前記移動体が居た時刻を示す時刻情報とともに特定領域移動体情報として第２の移動体情報記録部に記録する第２の情報記録手段と、
   前記第１の移動体情報記録部に監視領域移動体情報が記録される毎にその監視領域移動体情報の位置情報から当該監視領域移動体情報の第１の識別情報で識別される移動体が前記特定領域に進入しているか否かを判定する進入判定手段と、
   この進入判定手段により進入していると判定されると、その監視領域移動体情報の第１の識別情報が進退記録部に記録されているか否かを判定し、記録されていない場合にその監視領域移動体情報を進退移動体情報として前記進退記録部に記録する第３の情報記録手段と、
   前記進退記録部に記録された進退移動体情報と前記第２の情報記録部に記録された特定領域移動体情報とを照合して、各々の位置情報によって示される位置の間隔が所定値以下でかつ時刻情報によって示される時間の差が最も小さい進退移動体情報と特定領域移動体情報とを同一移動体の情報として結合する情報結合手段と、
   この情報結合手段により同一移動体の情報として結合された進退移動体情報の第１の識別情報を有する監視領域移動体情報と特定領域移動体情報の第２の識別情報を有する特定領域移動体情報とから、前記監視領域内を移動する移動体の経路を示す動線情報を作成する動線情報作成手段と、
   を具備したことを特徴とする動線認識システム。
2. 監視領域内における移動体の位置を検出する第１の位置検出手段と、
   この第１の位置検出手段により検出された前記移動体の位置を示す位置情報を、その移動体を識別する第１の識別情報及び当該位置に前記移動体が居た時刻を示す時刻情報とともに監視領域移動体情報として第１の移動体情報記録部に記録する第１の情報記録手段と、
   前記監視領域内の一部である特定領域内における前記移動体の位置を、前記第１の位置検出手段による位置検出よりも高い分解能をもって検出する第２の位置検出手段と、
   この第２の位置検出手段により検出された前記移動体の位置を示す位置情報を、その移動体を識別する第２の識別情報及び当該位置に前記移動体が居た時刻を示す時刻情報とともに特定領域移動体情報として第２の移動体情報記録部に記録する第２の情報記録手段と、
   前記第１の移動体情報記録部に監視領域移動体情報が記録される毎にその監視領域移動体情報の位置情報から当該監視領域移動体情報の第１の識別情報で識別される移動体が前記特定領域に進入しているか否かを判定する進入判定手段と、
   この進入判定手段により進入していると判定されると、その監視領域移動体情報の第１の識別情報が進退記録部に記録されているか否かを判定し、記録されていない場合にその監視領域移動体情報を進入状態であることを示すフラグとともに進退移動体情報として前記進退記録部に記録する第３の情報記録手段と、
   前記進入判定手段により進入していないと判定されると、その監視領域移動体情報の第１の識別情報が前記進入状態であることを示すフラグとともに前記進退記録部に記録されているか否かを判定し、記録されている場合に前記進入状態であることを示すフラグをクリアするとともにその監視領域移動体情報を進退移動体情報として前記進退記録部に記録する第４の情報記録手段と、
   前記進退記録部に記録された進退移動体情報と前記第２の情報記録部に記録された特定領域移動体情報とを照合して、各々の位置情報によって示される位置の間隔が所定値以下でかつ時刻情報によって示される時間の差が最も小さい進退移動体情報と特定領域移動体情報とを同一移動体の情報として結合する情報結合手段と、
   この情報結合手段により同一移動体の情報として結合された進退移動体情報の第１の識別情報を有する監視領域移動体情報と特定領域移動体情報の第２の識別情報を有する特定領域移動体情報とから、前記監視領域内を移動する移動体の経路を示す動線情報を作成する動線情報作成手段と、
   を具備したことを特徴とする動線認識システム。
3. 前記第１の位置検出手段は、前記移動体と一体で移動する無線タグと、前記監視領域内の各所に配置され、前記無線タグから無線送信されるタグ識別情報を非接触で読み取る複数の無線タグ読取手段とを備えたことを特徴とする請求項１または２記載の動線認識システム。
4. 前記第２の位置検出手段は、前記特定領域内を撮影するカメラと、このカメラによって撮影された画像から移動体を認識してその移動体の位置を算出する画像処理手段とを備えたことを特徴とする請求項１または２記載の動線認識システム。

Images