JP4975835B2 - 動線連結装置及び動線連結プログラム - Google Patents

Description

本発明は、例えば店舗内を移動する買物客の軌跡を示す動線データの連結技術に関する。

スーパーマーケット，コンビニエンスストア等の店舗内を移動する買物客の軌跡を動線として認識する動線認識システムには、カメラを用いた画像処理方式や無線タグリーダを用いた無線タグ追跡方式等がある。画像処理方式の場合、現状の画像処理技術では、各カメラで監視領域の全エリアを死角なく撮影したとしても、一人の買物客の監視領域全域の動きを１つの動線として追跡することはきわめて困難である。例えば、他の買物客とすれ違った際に動線が途切れたり、動線が入れ替わったりする場合が考えられる。

特許文献１には、画像処理方式の動線認識システムにより生成された複数の動線データの中から同一客に対する動線データを選択し、それぞれを連結して１本の動線データを生成する動線編集システムが開示されている。

ところで、動線認識に必要な情報処理はコンピュータを用いて行うが、その情報処理には大きな負荷を要するため、１台のコンピュータに接続可能なカメラや無線タグリーダの台数には限りがある。このため、単一の動線認識システムで動線を認識可能な監視領域の広さには自ずと限界がある。そこで、複数の動線認識システムで認識された動線の中から同一移動体に対する動線を連結する技術が求められている。

本発明はこのような事情に基づいてなされたもので、その目的とするところは、複数の動線認識システムでそれぞれ認識される動線のなかから同一移動体に対する動線どうしを連結することができ、広域な領域全体を補っての動線認識を可能ならしめる動線連結装置並びにプログラムを提供しようとするものである。

本発明の動線認識装置は、前記第１，第２の動線データベース及び第１，第２の画像データベースにアクセス可能で、第１の動線データベースに記憶された各動線データの中から第１の画像監視エリア内に位置する移動体の動線データを選択する連結元動線選択手段と、この連結元動線選択手段により選択された動線データに対応する移動体が第１の画像監視エリア内に位置している期間のカメラ画像データを第１の画像データベースから取得し、その画像を表示部に表示させる第１のカメラ画像表示手段と、第２の動線データベースに記憶された各動線データの中から第２の画像監視エリア内に位置する移動体の動線データを選択する連結先動線選択手段と、この連結先動線選択手段により選択された動線データに対応する移動体が第２の画像監視エリア内に位置している期間のカメラ画像データを第２の画像データベースから取得し、その画像を表示部に表示させる第２のカメラ画像表示手段と、連結元動線選択手段により選択された動線データと連結先動線選択手段により選択された動線データの連結宣言を受け付ける連結宣言受付手段と、連結宣言を受付けると、連結元動線選択手段により選択された連結元動線データの終点から数ポイント前までの各インデックス情報の二次元座標と連結先動線選択手段により選択された連結先動線データの始点から数ポイント先までの各インデックス情報の二次元座標とを比較し、最も近接した座標のインデックス情報を起点に、連結元動線データと連結先動線データとを連結することで、連結元動線選択手段により選択された連結元動線データの始点から連結先動線選択手段により選択された連結先動線データの終点までの動線データを生成する動線連結手段とを備えたものである。

本発明の動線認識プロクラムは、前記第１，第２の動線データベース及び第１，第２の画像データベースにアクセス可能なコンピュータに、第１の動線データベースに記憶された各動線データの中から第１の画像監視エリア内に位置する移動体の動線データを選択させる連結元動線選択機能と、この連結元動線選択機能により選択された動線データに対応する移動体が第１の画像監視エリア内に位置している期間のカメラ画像データを第１の画像データベースから取得し、その画像を表示部に表示させる第１のカメラ画像表示機能と、第２の動線データベースに記憶された各動線データの中から第２の画像監視エリア内に位置する移動体の動線データを選択させる連結先動線選択機能と、この連結先動線選択機能により選択された動線データに対応する移動体が第２の画像監視エリア内に位置している期間のカメラ画像データを第２の画像データベースから取得し、その画像を表示部に表示させる第２のカメラ画像表示機能と、連結元動線選択機能により選択された動線データと連結先動線選択機能により選択された動線データの連結宣言を受け付けさせる連結宣言受付機能と、連結宣言を受付けると、連結元動線選択手段により選択された連結元動線データの終点から数ポイント前までの各インデックス情報の二次元座標と連結先動線選択手段により選択された連結先動線データの始点から数ポイント先までの各インデックス情報の二次元座標とを比較し、最も近接した座標のインデックス情報を起点に、連結元動線データと連結先動線データとを連結することで、連結元動線選択手段により選択された連結元動線データの始点から連結先動線選択手段により選択された連結先動線データの終点までの動線データを生成させる動線連結機能とを実現させるためのものである。

かかる手段を講じた本発明によれば、複数の動線認識システムでそれぞれ認識される動線のなかから同一移動体に対する動線どうしを連結することができ、広域な領域全体を補っての動線認識を可能ならしめる効果を奏する。

本発明の一実施形態である動線連結システムの全体構成図。 同実施形態が適用される店舗の説明図。 同実施形態において、画像データベースに記憶される画像データの構造を示す模式図。 同実施形態において、動線データベースに記憶される動線データの構造を示す模式図。 同実施形態における動線認識装置の要部構成を示すブロック図。 同実施形態において、動線認識装置の記憶部に形成される連結設定テーブルのデータ例を示す模式図。 同実施形態において、動線認識装置の記憶部に形成される監視エリア設定テーブルのデータ例を示す模式図。 同実施形態において、表示される動線連結画面の一レイアウト例を示す平面図。 同実施形態において、動線認識装置の制御部が動線連結プログラムにしたがって実行する動線連結処理の要部手順を示す流れ図。 図９における連結元動線選択処理の具体的手順を示す流れ図。 図９における連結先動線選択処理の具体的手順を示す流れ図。 図９における連結実行処理の具体的手順を示す流れ図。

以下、本発明を実施するための最良の形態について、図面を用いて説明する。
なお、この実施形態は、図２に示すように、互いに隣接して客が行き来できる４つの売場Ａ，売場Ｂ，売場Ｃ及び売場Ｄを備えた店舗１に適用した場合である。

図２に示すように、売場Ａは、売場Ｂ及び売場Ｄと隣接し、売場Ｂは、売場Ａ及び売場Ｃと隣接し、売場Ｃは、売場Ｂ及び売場Ｄと隣接し、売場Ｄは、売場Ｃ及び売場Ａと隣接している。そして、隣接する各売場間には、それぞれ客が行き来できるように通路／ＡＢ，／ＢＣ，／ＣＤ，／ＤＡが形成されている。また、売場Ａと売場Ｄとには、客が入退場可能な入退場口Ｇ１，Ｇ２が設けられている。

各売場Ａ〜Ｄには、それぞれその売場内を移動する移動体である人物（買物客）の軌跡を動線として認識するための動線認識システムＳＡ，ＳＢ，ＳＣ，ＳＤが構築されている。すなわち、売場Ａは動線認識システムＳＡの動線認識エリアとなっており、売場Ｂは動線認識システムＳＢの動線認識エリアとなっており、売場Ｃは動線認識システムＳＣの動線認識エリアとなっており、売場Ｄは動線認識システムＳＤの動線認識エリアとなっている。動線認識システムＳＡ，ＳＢ，ＳＣ，ＳＤの方式は、特に限定されるものではない。カメラを用いた画像処理方式や無線タグリーダを用いた無線タグ追跡方式等、既存の方式でよい。

本実施形態では、各売場間を連結する各通路／ＡＢ，／ＢＣ，／ＣＤ，／ＤＡをそれぞれ含む領域と、各入退場口Ｇ１，Ｇ２近傍の領域とを、カメラによる画像監視エリアとしている。すなわち、売場Ａと売場Ｂとの通路／ＡＢを含む領域を画像監視エリアＡＢとし、売場Ｂと売場Ｃとの通路／ＢＣを含む領域を画像監視エリアＢＣとし、売場Ｃと売場Ｄとの通路を含む領域／ＣＤを画像監視エリアＣＤとし、売場Ｄと売場Ａとの通路／ＤＡを含む領域を画像監視エリアＤＡとしている。また、入退場口Ｇ１近傍の領域を画像監視エリアＡＧとし、入退場口Ｇ２近傍の領域を画像監視エリアＤＧとしている。そして、各画像監視エリアＡＢ，ＢＣ，ＣＤ，ＤＡ，ＡＧ及びＤＧ内を移動する買物客を撮影するために、各画像監視エリアＡＢ，ＢＣ，ＣＤ，ＤＡ，ＡＧ及びＤＧに向けてそれぞれカメラcam１，cam２ｍ，cam３，cam４，cam５，cam６（図１を参照）を設置している。

因みに、カメラには、防犯カメラなどに用いられる通常レンズを備えたカメラの他に、魚眼レンズを用いたカメラや、全方位ミラー付のカメラ等の広角レンズカメラがある。広角レンズカメラは、通常レンズカメラと比べて歪が大きいため鮮明な画像は期待できないが、画角が広がるため、撮影区域が広い。本実施形態では、画像監視エリア内の全域を撮影可能であれば、鮮明な画像が得られる通常レンズを備えたカメラを適用する。画像監視エリア内の全域を撮影できない場合には、広角レンズカメラを適用する。

図１は、本実施形態の店舗１に構築される動線連結システムの全体図である。かかるシステムは、その中枢部として動線連結装置２を備えている。また、各動線認識システムＳＡ，ＳＢ，ＳＣ，ＳＤにそれぞれ対応した４つの動線データベースａ１，ａ２，ａ３，ａ４と、各画像監視エリアＡＢ，ＢＣ，ＣＤ，ＤＡ，ＡＧ，ＤＧにそれぞれ対応した６つの画像データベースｂ１，ｂ２，ｂ３，ｂ４，ｂ５，ｂ６を備えている。

動線データベースａ１は、動線認識システムＳＡによって認識される各移動体の動線データ、すなわち、買物客が売場Ａに進入した地点である始点から退出した地点である終点までの売場Ａ内での軌跡を示す動線データを蓄積記憶する。買物客は、入退場口Ｇ１または通路／ＡＢ若しくは通路／ＤＡから売場Ａに進入及び退出できる。したがって、動線データベースａ１に蓄積される動線データは、次の９種類である。

１．入退場口Ｇ１から入店し、売場Ａだけを回って入退場口Ｇ１から退店した買物客のデータ。

２．入退場口Ｇ１から入店し、通路／ＡＢを通って売場Ｂに移動した買物客のデータ。

３．入退場口Ｇ１から入店し、通路／ＤＡを通って売場Ｄに移動した買物客のデータ。

４．売場Ｂより通路／ＡＢを通って売場Ａに入り、再び通路／ＡＢを通って売場Ｂに戻った買物客のデータ。

５．売場Ｂより通路／ＡＢを通って売場Ａに入り、さらに通路／ＤＡを通って売場Ｄに移動した買物客のデータ。

６．売場Ｂより通路／ＡＢを通って売場Ａに入り、入退場口Ｇ１から退店した買物客のデータ。

７．売場Ｄより通路／ＤＡを通って売場Ａに入り、再び通路／ＤＡを通って売場Ｄに戻った買物客のデータ。

８．売場Ｄより通路／ＤＡを通って売場Ａに入り、さらに通路／ＡＢを通って売場Ｂに移動した買物客のデータ。

９．売場Ｄより通路／ＤＡを通って売場Ａに入り、入退場口Ｇ１から退店した買物客のデータ。

動線データベースａ２は、動線認識システムＳＢによって認識される各移動体の動線データ、すなわち、買物客が売場Ｂに進入した地点である始点から退出した地点である終点までの売場Ｂ内での軌跡を示す動線データを蓄積記憶する。買物客は、通路／ＡＢまたは通路／ＢＣから売場Ｂに進入及び退出できる。したがって、動線データベースａ２に蓄積される動線データは、次の４種類である。

１．売場Ａより通路／ＡＢを通って売場Ｂに入り、再び通路／ＡＢを通って売場Ａに戻った買物客のデータ。

２．売場Ａより通路／ＡＢを通って売場Ｂに入り、さらに通路／ＢＣを通って売場Ｃに移動した買物客のデータ。

３．売場Ｃより通路／ＢＣを通って売場Ｂに入り、再び通路／ＢＣを通って売場Ｃに戻った買物客のデータ。

４．売場Ｃより通路／ＢＣを通って売場Ｂに入り、さらに通路／ＡＢを通って売場Ａに移動した買物客のデータ。

動線データベースａ３は、動線認識システムＳＣによって認識される各移動体の動線データ、すなわち、買物客が売場Ｃに進入した地点である始点から退出した地点である終点までの売場Ｃ内での軌跡を示す動線データを蓄積記憶する。買物客は、通路／ＢＣまたは通路／ＣＤから売場Ｃに進入及び退出できる。したがって、動線データベースａ３に蓄積される動線データは、次の４種類である。

１．売場Ｂより通路／ＢＣを通って売場Ｃに入り、再び通路／ＢＣを通って売場Ｂに戻った買物客のデータ。

２．売場Ｂより通路／ＢＣを通って売場Ｃに入り、さらに通路／ＣＤを通って売場Ｄに移動した買物客のデータ。

３．売場Ｄより通路／ＣＤを通って売場Ｃに入り、再び通路／ＣＤを通って売場Ｄに戻った買物客のデータ。

４．売場Ｄより通路／ＣＤを通って売場Ｃに入り、さらに通路／ＢＣを通って売場Ｂに移動した買物客のデータ。

動線データベースａ４は、動線認識システムＳＤによって認識される各移動体の動線データ、すなわち、買物客が売場Ｄに進入した地点である始点から退出した地点である終点までの売場Ｄ内での軌跡を示す動線データを蓄積記憶する。買物客は、入退場口Ｇ２または通路／ＣＤ若しくは通路／ＤＡから売場Ｄに進入及び退出できる。したがって、動線データベースａ４に蓄積される動線データは、次の９種類である。

１．入退場口Ｇ２から入店し、売場Ｄだけを回って入退場口Ｇ２から退店した買物客のデータ。

２．入退場口Ｇ２から入店し、通路／ＤＡを通って売場Ａに移動した買物客のデータ。

３．入退場口Ｇ２から入店し、通路／ＣＤを通って売場Ｃに移動した買物客のデータ。

４．売場Ａより通路／ＤＡを通って売場Ｄに入り、再び通路／ＤＡを通って売場Ａに戻った買物客のデータ。

５．売場Ａより通路／ＤＡを通って売場Ｄに入り、さらに通路／ＣＤを通って売場Ｃに移動した買物客のデータ。

６．売場Ａより通路／ＤＡを通って売場Ｄに入り、入退場口Ｇ２から退店した買物客のデータ。

７．売場Ｃより通路／ＣＤを通って売場Ｄに入り、再び通路／ＣＤを通って売場Ｃに戻った買物客のデータ。

８．売場Ｃより通路／ＣＤを通って売場Ｄに入り、さらに通路／ＤＡを通って売場Ａに移動した買物客のデータ。

９．売場Ｃより通路／ＣＤを通って売場Ｄに入り、入退場口Ｇ２から退店した買物客のデータ。

画像データベースｂ１は、画像監視エリアＡＢに向けて設けられたカメラcam１で撮影された画像データを、カメラ制御装置ＣＣ１の制御によりフレーム単位に撮影時刻とともに蓄積記憶する。カメラ制御装置ＣＣ１は、一定の周期（例えば１／１５秒）でカメラcam１の撮影動作を制御し、その撮影画像（フレーム画像）を撮影時刻とともに画像データベースｂ１に書き込む。

他の画像データベースｂ２〜ｂ６も画像データベースｂ１と同様であり、画像データベースｂ２は、画像監視エリアＢＣに向けて設けられたカメラcam２で撮影された画像データを、カメラ制御装置ＣＣ２の制御によりフレーム単位に撮影時刻とともに蓄積記憶し、画像データベースｂ３は、画像監視エリアＣＤに向けて設けられたカメラcam３で撮影された画像データを、カメラ制御装置ＣＣ３の制御によりフレーム単位に撮影時刻とともに蓄積記憶し、画像データベースｂ４は、画像監視エリアＤＡに向けて設けられたカメラcam４で撮影された画像データを、カメラ制御装置ＣＣ４の制御によりフレーム単位に撮影時刻とともに蓄積記憶し、画像データベースｂ５は、画像監視エリアＡＧに向けて設けられたカメラcam５で撮影された画像データを、カメラ制御装置ＣＣ５の制御によりフレーム単位に撮影時刻とともに蓄積記憶し、画像データベースｂ６は、画像監視エリアＤＡに向けて設けられたカメラcam６で撮影された画像データを、カメラ制御装置ＣＣ６の制御によりフレーム単位に撮影時刻とともに蓄積記憶する。

動線連結装置２は、各動線データベースａ１〜ａ４及び各画像データベースｂ１〜ｂ６に対してアクセスが可能なコンピュータ機器である。例えば、パーソナルコンピュータが動線連結装置２として用いられる。

動線連結装置２は、液晶ディスプレイ等のように画面を備えた表示部３と、キーボード、ポインティングデバイス，タッチパネル等の入力部４と、ハードディスク，光ディスク等の記録媒体にデータの書込みが可能な記録装置５とを備えている。記録装置５は、店舗１に入店してから退店するまでの買物客の軌跡を示す完全動線データを保存するための完全動線データベースとして機能する。

画像データベースｂ１〜ｂ６に記憶されるフレーム画像データの構造を、図３の模式図で示す。図示するように、フレーム画像データは、カメラＩＤ、フレーム番号及び撮影時刻が関連付けられて画像データベースｂ１〜ｂ６に記憶される。カメラＩＤは、当該画像データを撮影したカメラcam１〜cam６の識別コードである。各カメラcam１〜cam６には、それぞれ固有のカメラＩＤが予め設定されている。フレーム番号は、各カメラcam１〜cam６でフレーム画像が撮影される毎にカウントアップされる“１”からの連続番号である。撮影日時は、当該画像データが撮影された時点の日時（年月日時分秒）である。

動線データベースａ１〜ａ６に記憶される動線データの構造を、図４の模式図で示す。図示するように、動線データは、固有の動線ＩＤと、この動線ＩＤで特定される動線の始点を示す二次元座標（Ｘ１．Ｙ１）と、同動線の終点を示す二次元座標（Ｘｎ．Ｙｎ）と、同動線の始点から終点までの軌跡を一定の周期でサンプリングした複数のインデックス情報とで構成される。インデックス情報には、サンプリング時点ｉ［１≦ｉ≦ｎ］の動線位置を示す二次元座標（Ｘｉ，Ｙｉ）とその時点の時刻Ｔｉとが含まれる。
なお、本実施形態では、説明の便宜上、図１に示すように、店舗１の左下角を二次元座標（Ｘ，Ｙ）の原点Ｐ（０，０）としている。また、各フレーム画像データに付加される日時を導出するための各カメラ制御装置ＣＣ１〜ＣＣ６の時計と、各動線データのインデックス情報に付加される時刻を導出するための各動線認識システムＳＡ，ＳＢ，ＳＣ，ＳＤの時計は、きわめて精度が高いものである。

図５は、動線連結装置２の要部構成を示すブロック図である。動線連結装置２は、各データベースａ１〜ａ４及び画像データベースｂ１〜ｂ６に対するデータの読取り及び書込みが自在なデータベースアクセス部２１、前記表示部３に対する画像データ信号の送出と前記入力部４からの操作入力信号の取り込みとを行う入出力インターフェース部２２、前記記録装置５に対するデータの書込み及び読出しを行う記録装置インターフェース部２３、種々のデータを記憶するための記憶部２４、及び、各部を制御する制御部２５を備えている。

記憶部２４には、当該コンピュータ機器が動線連結装置２として機能するために必要なメモリ領域として、連結設定テーブル３１、監視エリア設定テーブル３２、連結元動線メモリ３３、連結先動線メモリ３４、第１の抽出データ数メモリ３５、第２の抽出データ数メモリ３６、第１のデータ数カウンタ３７、第２のデータ数カウンタ３８、及び、フラグメモリ３９が形成されている。

連結設定テーブル３１は、第１の動線認識システムで生成された動線データに対して連結が可能な動線データを生成する第２の動線認識システムはどれかという組み合わせを示すデータを予め記憶する。すなわち本実施形態では、図６に示すように、第１の動線認識システムとして売場Ａの動線認識システムＳＡを設定した場合には、第２の動線認識システムとして売場Ｂの動線認識システムＳＢを設定し、第１の動線認識システムとして売場Ｂの動線認識システムＳＢを設定した場合には、第２の動線認識システムとして売場Ｃの動線認識システムＳＣを設定し、第１の動線認識システムとして売場Ｃの動線認識システムＳＣを設定した場合には、第２の動線認識システムとして売場Ｄの動線認識システムＳＤを設定し、第１の動線認識システムとして売場Ｄの動線認識システムＳＤを設定した場合には、第２の動線認識システムとして売場Ａの動線認識システムＳＡを設定している。

なお、売場Ｄ→売場Ｃ→売場Ｂ→売場Ａ→売場Ｄの逆ルートについても、第１の動線認識システムと第２の動線認識システムとの組み合わせが逆になるだけなので、当該連結設定テーブル３１で対応できる。

監視エリア設定テーブル３２は、矩形状をなす各画像監視エリアＡＢ，ＢＣ，ＣＤ，ＤＡ，ＧＡ，ＧＢの範囲を指定するためのデータとして、そのエリアの左上角の二次元座標（Ｘｒ，Ｙｒ）と右下角の二次元座標（Ｘｌ，Ｙｌ）とを予め記憶する。すなわち、本実施形態では、図７に示すように、画像監視エリアＡＢに対しては（Ｘｒ１，Ｙｒ１）と（Ｘｌ１，Ｙｌ１）を記憶し、画像監視エリアＢＣに対しては（Ｘｒ２，Ｙｒ２）と（Ｘｌ２，Ｙｌ２）を記憶し、画像監視エリアＣＤに対しては（Ｘｒ３，Ｙｒ３）と（Ｘｌ３，Ｙｌ３）を記憶し、画像監視エリアＤＡに対しては（Ｘｒ４，Ｙｒ４）と（Ｘｌ４，Ｙｌ４）を記憶し、画像監視エリアＧＡに対しては（Ｘｒ５，Ｙｒ５）と（Ｘｌ５，Ｙｌ５）を記憶し、画像監視エリアＧＢに対しては（Ｘｒ６，Ｙｒ６）と（Ｘｌ６，Ｙｌ６）を記憶する。

したがって、座標（Ｘｊ，Ｙｊ）に対して、［Ｘｒ１≧Ｘｊ≧Ｘｌ１］かつ［Ｙｒ１≦Ｙｊ≦Ｙｌ１］であるとき、この座標（Ｘｊ，Ｙｊ）は画像監視エリアＡＢ内であると判定できる。同様に、［Ｘｒ２≧Ｘｊ≧Ｘｌ２］かつ［Ｙｒ２≦Ｙｊ≦Ｙｌ２］であるとき、座標（Ｘｊ，Ｙｊ）は画像監視エリアＢＣ内であると判定でき、［Ｘｒ３≧Ｘｊ≧Ｘｌ３］かつ［Ｙｒ３≦Ｙｊ≦Ｙｌ３］であるとき、座標（Ｘｊ，Ｙｊ）は画像監視エリアＣＤ内であると判定でき、［Ｘｒ４≧Ｘｊ≧Ｘｌ４］かつ［Ｙｒ４≦Ｙｊ≦Ｙｌ４］であるとき、座標（Ｘｊ，Ｙｊ）は画像監視エリアＤＡ内であると判定でき、［Ｘｒ５≧Ｘｊ≧Ｘｌ５］かつ［Ｙｒ５≦Ｙｊ≦Ｙｌ５］であるとき、座標（Ｘｊ，Ｙｊ）は画像監視エリアＧＡ内であると判定でき、［Ｘｒ６≧Ｘｊ≧Ｘｌ６］かつ［Ｙｒ６≦Ｙｊ≦Ｙｌ６］であるとき、座標（Ｘｊ，Ｙｊ）は画像監視エリアＧＤ内であると判定できる。

連結元動線メモリ３３は、連結元動線の候補となる動線データを記憶する。連結先動線メモリ３４は、連結元動線に対して連結される連結先動線の候補となる動線データを記憶する。第１の抽出データ数メモリ３５は、連結元動線メモリ３３に記憶された動線データのデータ数Ｍを記憶する。第２の抽出データ数メモリ３６は、連結先動線メモリ３４に記憶された動線データのデータ数Ｎを記憶する。第１のデータ数カウンタ３７は、連結元動線メモリ３３から動線データを呼出す際のポインタｍを計数する。第２のデータ数カウンタ３８は、連結先動線メモリ３４から動線データを呼出す際のポインタｎを計数する。フラグメモリ３９は、切換制御フラグＦを記憶する。

制御部２５は、ＣＰＵ（Central Processing Unit）及びＲＯＭ（Read Only Memory）を主体に構成されており、ＲＯＭに記憶された動線連結プログラム４０に従い、動線連結処理を実行する。

動線連結処理は、第１の動線認識エリアに設けられた第１の動線認識システムにより認識され、第１の動線データベースに記憶された各買物客の動線データと、当該第１の動線認識エリアに対して隣接する第２の動線認識エリアに設けられた第２の動線認識システムにより認識され、第２の動線データベースに記憶された各買物客の動線データとのなかから、同一客の動線データどうしを連結する処理である。

動線連結装置２を用いて動線連結作業を行うオペレータは、先ず、入力部４を操作して、動線連結プログラム４０を起動させる。動線連結プログラム４０が起動すると、制御部２５は、この動線連結プログラム４０に従い、先ず、表示部３に動線連結画面５０を表示させる。

動線連結画面５０の一例を、図８に示す。図示するように、動線連結画面５０には、動線領域５１、連結元動線ＩＤ領域５２、連結元画像領域５３、連結先動線ＩＤ領域５４、及び連結先画像領域５５の各領域画像と、「連結する」ボタン５６、「連結しない」ボタン５７、連結元画像対応の「＋」ボタン５８、連結元画像対応の「−」ボタン５９、連結先画像対応の「＋」ボタン６０、及び連結先画像対応の「−」ボタン６１の各ボタン画像とが表示されている。各ボタン画像は、入力部４によって入力操作が可能である。

次に、制御部２５は、連結設定テーブル３１から連結対象組合せデータを順に取得する。そして、連結対象組合せデータを取得する毎に、その第１の動線認識システムと第２の動線認識システムとの組み合わせに応じた動線連結処理を実行する。すなわち、第１の動線認識システムが構築されている売場から第２の動線認識システムが構築されている売場に移動した買物客の動線データを連結する処理と、その逆ルートの第２の動線認識システムが構築されている売場から第１の動線認識システムが構築されている売場に移動した買物客の動線データを連結する処理とを実行する。

本実施形態の場合、はじめに、第１の動線認識システムとして売場Ａの動線認識システムＳＡが設定され、第２の動線認識システムとして売場Ｂの動線認識システムＳＢが設定された連結対象組合せデータ（ＳＡ，ＳＢ）が連結設定テーブル３１から得られる。この場合、制御部２５は、図９の流れ図に示す動線連結処理を開始する。

先ず、制御部２５は、ＳＴ（ステップ）１としてデータベースアクセス部２１を制御して、第１の動線データベースａ１と第２の動線データベースａ２とを読み込む。第１の動線データベースａ１には、動線認識システムＳＡによって認識された各買物客の動線データが記憶されている。第２の動線データベースａ２には、動線認識システムＳＢによって認識された各買物客の動線データが記憶されている。各動線データベースａ１，ａ２のデータは、記憶部２４で一時記憶する。各動線データベースａ１，ａ２のデータを読み込んだならば、制御部２５は、ＳＴ２としてフラグメモリ３９の切換制御フラグを“０”にリセットする。

次に、制御部２５は、ＳＴ３として監視エリア設定テーブル３２を検索して、売場Ａと売場Ｂとの通路／ＡＢを含む画像監視エリアＡＢの範囲指定データ（Ｘｒ１，Ｙｒ１），（Ｘｌ１，Ｙｌ１）を取得する。そして、第１の動線データベースａ１に記憶されている各動線データの終点座標（Ｘｎ，Ｙｎ）と画像監視エリアＡＢの範囲指定データ（Ｘｒ１，Ｙｒ１），（Ｘｌ１，Ｙｌ１）とを照合して、終点座標（Ｘｎ，Ｙｎ）が画像監視エリアＡＢ内にある動線データを全て抽出する。制御部２５は、ＳＴ４として第１の動線データベースａ１から抽出した全ての動線データを連結元動線メモリ３３に記憶する。また、ＳＴ５として抽出した動線データの数を計数し、この数Ｍを第１の抽出データ数メモリ３５に記憶する。

次に、制御部２５は、ＳＴ６として第２の動線データベースａ２に記憶されている各動線データの始点座標（Ｘ１，Ｙ１）と画像監視エリアＡＢの範囲指定データ（Ｘｒ１，Ｙｒ１），（Ｘｌ１，Ｙｌ１）とを照合して、始点座標（Ｘ１，Ｙ１）が画像監視エリアＡＢ内にある動線データを全て抽出する。制御部２５は、ＳＴ７として第２の動線データベースａ２から抽出した全ての動線データを連結先動線メモリ３４に記憶する。また、ＳＴ８として抽出した動線データの数を計数し、この数Ｎを第２の抽出データ数メモリ３６に記憶する。

次に、制御部２５は、ＳＴ９として第１の抽出データ数メモリ３５に記憶したデータ数Ｍと第２の抽出データ数メモリ３６に記憶したデータ数Ｎとは、いずれも“０”より大きいか否かを判断する。

両データ数Ｍ，Ｎがいずれも“０”より大きい場合（ＳＴ９のＹＥＳ）、制御部２５は、ＳＴ１０Ａの連結元動線選択処理、ＳＴ１０Ｂの連結先動線選択処理、及びＳＴ１０Ｃの連結実行処理を実行する。各処理の詳細については後述する。なお、これらの処理を実行することにより、連結元動線メモリ３３に記憶された動線データ、すなわち画像監視エリアＡＢを終点とする売場Ａ内の買物客の動線データが、連結先動線メモリ３４に記憶された動線データ、すなわち画像監視エリアＡＢを始点とする売場Ｂ内の同一買物客の動線データと連結される。

両データ数Ｍ，Ｎのうち少なくとも一方が“０”であった場合には（ＳＴ９のＮＯ）、上記ＳＴ１０Ａ〜ＳＴ１０Ｃの各処理を実行しない。

上記ＳＴ１０Ａ〜ＳＴ１０Ｃの各処理が終了するか、両データ数Ｍ，Ｎのうち少なくとも一方が“０”であった場合、制御部２５は、ＳＴ１１としてフラグメモリ３９を調べる。当初は、切換制御フラグＦが“０”にリセットされているので（ＳＴ１１のＮＯ）、制御部２５は、ＳＴ１２として連結元動線メモリ３３及び連結先動線メモリ３４を一旦クリアする。また、ＳＴ１３としてフラグメモリ３９の切換制御フラグＦを“１”にセットする。

しかる後、制御部２５は、ＳＴ１４として第２の動線データベースａ２に記憶されている各動線データの終点座標（Ｘｎ，Ｙｎ）と画像監視エリアＡＢの範囲指定データ（Ｘｒ１，Ｙｒ１），（Ｘｌ１，Ｙｌ１）とを照合して、終点座標（Ｘｎ，Ｙｎ）が画像監視エリアＡＢ内にある動線データをすべて抽出する。制御部２５は、ＳＴ１５として第２の動線データベースａ２から抽出した全ての動線データを連結元動線メモリ３３に記憶する。また、ＳＴ１６として抽出した動線データの数を計数し、この数Ｍを第１の抽出データ数メモリ３５に記憶する。

次に、制御部２５は、ＳＴ１７として第１の動線データベースａ１に記憶されている各動線データの始点座標（Ｘ１，Ｙ１）と画像監視エリアＡＢの範囲指定データ（Ｘｒ１，Ｙｒ１），（Ｘｌ１，Ｙｌ１）とを照合して、始点座標（Ｘ１，Ｙ１）が画像監視エリアＡＢ内にある動線データをすべて抽出する。制御部２５は、ＳＴ１８として第１の動線データベースａ１から抽出した全ての動線データを連結先動線メモリ３４に記憶する。また、ＳＴ１９として抽出した動線データの数を計数し、この数Ｎを第２の抽出データ数メモリ３６に記憶する。

しかる後、制御部２５は、前記ＳＴ９の処理に進む。すなわち、第１の抽出データ数メモリ３５に記憶したデータ数Ｍと第２の抽出データ数メモリ３６に記憶したデータ数Ｎとは、いずれも“０”より大きいか否かを判断する。そして、両データ数Ｍ，Ｎがいずれも“０”より大きい場合（ＳＴ９のＹＥＳ）、制御部２５は、前記ＳＴ１０Ａ〜ＡＴ１０Ｃの各処理を実行する。これらの処理を実行することにより、連結元動線メモリ３３に記憶された動線データ、すなわち画像監視エリアＡＢを終点とする売場Ｂ内の買物客の動線データが、連結先動線メモリ３４に記憶された動線データ、すなわち画像監視エリアＡＢを始点とする売場Ａ内の同一買物客の動線データと連結される。

両データ数Ｍ，Ｎのうち少なくとも一方が“０”であった場合には（ＳＴ９のＮＯ）、上記ＳＴ１０Ａ〜ＳＴ１０Ｃの各処理を実行しない。

上記ＳＴ１０Ａ〜ＳＴ１０Ｃの各処理が終了するか、両データ数Ｍ，Ｎのうち少なくとも一方が“０”であった場合、制御部２５は、再度、フラグメモリ３９を調べる（ＳＴ１１）。今回は、切換制御フラグＦが”１”にセットされているので、１組目の連結対象組合せデータに対する処理を終了する。

以後、制御部２５は、連結設定テーブル３１から２組目、３組目の順に連結対象組合せデータを順次取得し、その都度、前記動線連結処理を実行する。すなわち、２組目の連結対象組合せデータ（ＳＢ，ＳＣ）について処理を実行することにより、画像監視エリアＢＣを終点とする売場Ｂ内の買物客の動線データが、画像監視エリアＢＣを始点とする売場Ｃ内の同一買物客の動線データと連結されるとともに、画像監視エリアＢＣを終点とする売場Ｃ内の買物客の動線データが、画像監視エリアＢＣを始点とする売場Ｂ内の同一買物客の動線データと連結される。

また、３組目の連結対象組合せデータ（ＳＣ，ＳＤ）について処理を実行することにより、画像監視エリアＣＤを終点とする売場Ｃ内の買物客の動線データが、画像監視エリアＣＤを始点とする売場Ｄ内の同一買物客の動線データと連結されるとともに、画像監視エリアＣＤを終点とする売場Ｄ内の買物客の動線データが、画像監視エリアＣＤを始点とする売場Ｃ内の同一買物客の動線データと連結される。

また、４組目の連結対象組合せデータ（ＳＤ，ＳＡ）について処理を実行することにより、画像監視エリアＤＡを終点とする売場Ｄ内の買物客の動線データが、画像監視エリアＤＡを始点とする売場Ａ内の同一買物客の動線データと連結されるとともに、画像監視エリアＤＡを終点とする売場Ａ内の買物客の動線データが、画像監視エリアＤＡを始点とする売場Ｄ内の同一買物客の動線データと連結される。

図１０は、１組目の連結対象組合せデータ（ＳＡ，ＳＢ）に対する１回目（切換制御フラグが“０”のとき）の連結元動線選択処理（ＳＴ１０Ａ）の手順を具体的に示す流れ図である。連結元動線選択処理に入ると、制御部２５は、ＳＴ２１として第１のデータ数カウンタ３７のカウント値ｍを“０”に初期化する。しかる後、ＳＴ２２として第１のデータ数カウンタ３７を“１”だけカウントアップする。そして、ＳＴ２３としてそのカウント値ｍが第１の抽出データ数メモリ３５に記憶されているデータ数Ｍを越えたか否かを判断する。

カウント値ｍがデータ数Ｍを越えていない場合（ＳＴ２３のＮＯ）、制御部２５は、ＳＴ２４として連結元動線メモリ３３からカウント値ｍ番目に記憶された動線データ（以下、ｍ番目動線データと称する）を読み出す（連結元動線選択手段）。そして、ＳＴ２５としてこのｍ番目動線データに従った動線を、動線連結画面５０の動線領域５１に表示させる。

具体的には、ｍ番目動線データの先頭より順にインデックス情報を読取る。そして、インデックス情報を読取る毎にそのインデックス情報に含まれる二次元座標（Ｘｉ，Ｙｉ）が示す動線領域５１内の位置にドットを描画して直前のドットと線で結ぶ。こうすることにより、当該ｍ番目動線データに対応する買物客が売場Ａ内を移動した経路の軌跡である動線が動線領域５１に表示される。このとき、制御部２５は、このｍ番目動線データの動線ＩＤを、動線連結画面５０の連結元動線ＩＤ領域５２に表示させる。

また、制御部２５は、ｍ番目動線データからインデックス情報を読取る都度、当該ｍ番目動線データによって表示される動線の先端が画像監視エリアＡＢ内に進入するのを検知するために、ＳＴ２６としてその読取ったインデックス情報の二次元座標（Ｘｉ，Ｙｉ）と画像監視エリアＡＢの範囲指定データ（Ｘｒ１，Ｙｒ１），（Ｘｌ１，Ｙｌ１）とを照合する。因みに、連結元動線メモリ３３に記憶されている動線データは、全て、前記ＳＴ３，ＳＴ４の処理により、画像監視エリアＡＢを終点とする。このため、動線の先端は必ず画像監視エリアＡＢ内に進入する。

ｍ番目動線データによって表示される動線の先端が画像監視エリアＡＢ内に進入したことを検知すると（ＳＴ２６のＹＥＳ）、制御部２５は、ＳＴ２７としてそのインデックス情報の時刻Ｔｉを画像監視エリアＡＢ内への進入時刻として決定する。そして、ＳＴ２８として画像監視エリアＡＢに対応した画像データベースｂ１から上記進入時刻Ｔｉ以後のフレーム画像データを順次読み込み、連結元画像領域５３に表示させる（第１のカメラ画像表示手段）。

その後、制御部２５は、ＳＴ２９としてｍ番目動線データから終点座標のインデックス情報（Ｘｎ，Ｙｎ，Ｔｎ）を読取るのを待機する。その間、制御部２５は、ＳＴ３０としてｍ番目動線データによって表示される動線の先端が画像監視エリアＡＢから退出したか否かを判断するために、読取ったインデックス情報の二次元座標（Ｘｉ，Ｙｉ）と画像監視エリアＡＢの範囲指定データ（Ｘｒ１，Ｙｒ１），（Ｘｌ１，Ｙｌ１）とを照合する。。そして、退出したことを検知した場合、制御部２５は、ＳＴ３１として画像データの表示を一旦終了させる。そして、ＳＴ２５に戻り、再び、ｍ番目動線データによって表示される動線の先端が監視エリアＡＢに進入するのを待機する。

ｍ番目動線データから終点座標のインデックス情報（Ｘｎ，Ｙｎ，Ｔｎ）を読取った場合（ＳＴ２９のＹＥＳ）、制御部２５は、ＳＴ３２として現時点のフレーム画像を連結元画像領域５３に静止画として表示させる。しかる後、ＳＴ１０Ｂの連結先動線選択処理を開始する。

なお、この静止画は、入力部４を介して連結元画像領域５３に対応した［＋］ボタン５８を入力することにより、現時点より１フレーム後のフレーム画像に進めることができる。同様に、［−］ボタン５９を入力することにより、現時点より１フレーム前のフレーム画像に戻すことができる。

したがって、オペレータは、適宜、［＋］ボタン５８または［−］ボタン５９を入力することで、連結元画像領域５３に表示される静止画像として、通路／ＡＢを通って売場Ａから売場Ｂに移動する買物客が鮮明に映っている画像を選択することができる。

図１１は、１組目の連結対象組合せデータ（ＳＡ，ＳＢ）に対する１回目（切換制御フラグが“０”のとき）の連結先動線選択処理（ＳＴ１０Ｂ）の手順を具体的に示す流れ図である。連結先動線選択処理に入ると、制御部２５は、先ず、ＳＴ４１としてｍ番目動線データの終点座標（Ｘｎ，Ｙｎ）を含むインデックス情報の時刻データＴｎを検出する。この時刻Ｔｎは、連結元動線であるｍ番目動線データが終点に到達した時刻である。制御部４７は、ＳＴ４２として連結先動線メモリ３４に記憶されている各動線データを、始点が検知された時刻、すなわち、始点座標（Ｘ１，Ｙ１）を含むインデックス情報の時刻データＴ１が上記ｍ番目動線データの終点到達時刻Ｔｎに近い順に並び替える。

次に、制御部２５は、ＳＴ４３として第２のデータ数カウンタ３８のカウント値ｎを“０”に初期化する。しかる後、ＳＴ４４として第２のデータ数カウンタ３８を“１”だけカウントアップする。そして、そのカウント値ｎが第２の抽出データメモリ３６に記憶されているデータ数Ｎを越えたか否かを判断する。

カウント値ｎがデータ数Ｎを越えていない場合（ＳＴ４５のＮＯ）、制御部２５は、ＳＴ４６として連結先動線メモリ３４からカウント値ｎ番目に保存された動線データ（以下、ｎ番目動線データと称する）を読み出す（連結先動線選択手段）。そして、ＳＴ４７としてこのｎ番目動線データに従った動線を、動線連結画面５０の動線領域５１に表示させる。また、このｎ番目動線データの動線ＩＤを、動線連結画面５０の連結先動線ＩＤ領域５４に表示させる。

その後、制御部２５は、ＳＴ４８としてｎ番目動線データから終点座標のインデックス情報（Ｘｎ，Ｙｎ，Ｔｎ）を読取るのを待機する。終点座標のインデックス情報（Ｘｎ，Ｙｎ，Ｔｎ）を読取ったならば（ＳＴ４８のＹＥＳ）、制御部２５は、ＳＴ４９としてこのインデックス情報の二次元座標（Ｘｎ，Ｙｎ）と、監視エリア設定テーブル３２に設定されている各画像監視エリアの設定座標とを照合して、終点がいずれかの画像監視エリアＱ内に位置しているか否かを判断する。

連結先動線メモリ３４内に記憶されている動線データは、全て、前記ＳＴ６，ＳＴ７の処理により、動線データベースａ２に記憶された画像監視エリアＡＢを始点とするものである。前述したように、動線データベースａ２に記憶されるもので画像監視エリアＡＢを始点とする動線データは、その終点が、画像監視エリアＡＢまたは画像監視エリアＢＣに位置する。ただし、ここでは、動線認識システムのエラー等により終点が画像監視エリアＡＢまたは画像監視エリアＢＣに位置しない動線データが含まれている場合も想定している。

終点がいずれかの画像監視エリアＱ内でない場合（ＳＴ４９のＮＯ）、制御部２５は、ＳＴ４４に戻り、第２のデータ数カウンタｎをさらにカウントアップして、ＳＴ４５以降の処理を繰り返す。

終点がいずれかの画像監視エリアＱ内である場合（ＳＴ４９のＹＥＳ）、制御部２５は、ＳＴ５０としてｎ番目動線データの各インデックス情報（Ｘｉ，Ｙｉ，Ｔｉ）と、画像監視エリアＱの範囲指定データ（Ｘｒｑ，Ｙｒｑ），（Ｘｌｑ，Ｙｌｑ）［（１≦ｑ≦６）］とから、ｎ番目動線データによって表示される動線の先端が画像監視エリアＱに進入した時点の時刻を検出する。そして、ＳＴ５１として画像監視エリアＱに対応した画像データベースｂｑから、上記進入時刻から終点到達時刻までのフレーム画像データを順次読み込み、連結先画像領域５５に表示させる（第２のカメラ画像表示手段）。

なお、この表示画像は、終点到達時刻のフレーム画像に到達すると、再び、進入時刻のフレーム画像から表示される。また、入力部４を介して連結先画像領域５５に対応した［＋］ボタン６０または［−］ボタン６１を入力することにより静止画となり、以後、［＋］ボタン６０を入力すると、１フレーム後のフレーム画像に進めることができ、［−］ボタン６１を入力すると、１フレーム前のフレーム画像に戻すことができる。

したがって、オペレータは、適宜、［＋］ボタン６０または［−］ボタン６１を入力することで、連結先画像領域５５に表示される動画像を静止画像として確認することができる。そして、通路／ＡＢあるいは通路／ＢＣを通って売場Ｂから売場Ａまたは売場Ｃに移動する買物客が鮮明に映っている画像を選択することができる。

すなわちオペレータは、連結元画像領域５３の画像からｍ番目動線データに対応する買物客の顔や衣服等の特徴を識別できる。また、連結先画像領域５５の画像からｎ番目動線データに対応する買物客の顔や衣服等の特徴を識別できる。その結果、同一人物でないと判断した場合、オペレータは、入力部４を操作して動線連結画面５０の「連結しない」ボタン５７を入力する。これに対し、同一人物であると判断した場合には、ｍ番目動線データとｎ番目動線データとは同一人物の動線データであるので、ｍ番目動線データをｎ番目動線データに連結させるために、「連結する」ボタン５８を入力する。

ＳＴ５１の処理の後、制御部２５は、ＳＴ５２として「連結しない」ボタン５７または「連結する」ボタン５８が入力されるのを待機する（連結宣言受付手段）。「連結しない」ボタン５７が入力された場合には、ＳＴ４４の処理に戻り、第２のデータ数カウンタ３８をさらにカウントアップする。その結果、第２のデータ数カウンタ３８のカウント値ｎが第２の抽出データメモリ３６に記憶されているデータ数Ｎを越えたならば（ＳＴ４５ＹＥＳ）、制御部２５は、連結元動線選択処理（ＳＴ１０Ａ）のＳＴ２２の処理に戻る。

「連結する」ボタン５６が入力された場合には、ＳＴ１０Ｃの連結実行処理を開始する。
図１２は、１組目の連結対象組合せデータ（ＳＡ，ＳＢ）に対する１回目（切換制御フラグが“０”のとき）の連結実行処理（ＳＴ１０Ｃ）の手順を具体的に示す流れ図である。連結実行処理に入ると、制御部２５は、先ず、ＳＴ６１として連結元であるｍ番目動線データの終点座標（Ｘｎ，Ｙｎ）と、連結先であるｎ番目動線データの始点座標（Ｘ１，Ｙ１）とを比較する。そして、ＳＴ６２として両座標が一致するか否かを判断する。一致する場合、制御部２５は、ＳＴ６５の処理に進む。

これに対し、一致しない場合には、制御部２５は、ＳＴ６３として終点座標（Ｘｎ，Ｙｎ）に対する始点座標（Ｘ１，Ｙ１）のずれを座標誤差として算出する。すなわち、Ｘ座標に対する誤差ΔＸを“Ｘｎ−Ｘ１”で算出し、Ｙ座標に対する誤差ΔＹを“Ｙｎ−Ｙ１”で算出する。そして、ＳＴ６４としてｎ番目動線データの始点座標及び終点座標と各インデックス情報の二次元座標に、それぞれ上記座標誤差ΔＸ，ΔＹを加算して、ｎ番目動線データの始点座標がｍ番目動線データの終点座標と一致するように補正する（動線補正手段）。しかる後、ＳＴ６５の処理に進む。

ＳＴ６５では、制御部２５は、ｍ番目動線データの終点座標（Ｘｎ，Ｙｎ）を含むインデックス情報の時刻Ｔｎと、ｎ番目動線データの始点座標（Ｘ１，Ｙ１）を含むインデックス情報の時刻Ｔ１とを比較する。そして、ＳＴ６６として両時刻が一致するか否かを判断する。一致する場合、制御部２５は、ＳＴ６９の処理に進む。

これに対し、一致しない場合には、制御部２５は、ＳＴ６７として時刻Ｔｎに対する時刻Ｔ１のずれを時間誤差ΔＴ（＝Ｔｎ−Ｔ１）として算出する。そして、ＳＴ６８としてｎ番目動線データの各インデックス情報に含まれる時刻にそれぞれ上記時間誤差ΔＴを加算して、ｎ番目動線データの始点座標が検出された時刻がｍ番目動線データの終点座標が検出された時刻と一致するように補正する。しかる後、ＳＴ６９の処理に進む。

ＳＴ６９では、ｍ番目動線データにｎ番目動線データを連結する。すなわち、ｍ番目動線データの終点座標をｎ番目動線データの終点座標に置換する。また、ｍ番目動線データの最終インデックス情報（Ｘｎ，Ｙｎ，Ｔｎ）の後に、ｎ番目動線データの２番目のインデックス情報（Ｘ２，Ｙ２，Ｔ２）から後の全てのインデックス情報を追加する。こうすることにより、ｍ番目動線データは、連結前のｍ番目動線データにｎ番目動線データを連結したデータとなる（動線連結手段）。

動線連結後、制御部２５は、ＳＴ７０として連結後動線データの始点座標（Ｘ１，Ｙ１）と、各入退場口Ｇ１，Ｇ２にそれぞれ対応する画像監視エリアＡＧ，ＤＧの範囲指定データ（Ｘｒ５，Ｙｒ５），（Ｘｌ５，Ｙｌ５）または（Ｘｒ６，Ｙｒ６），（Ｘｌ６，Ｙｌ６）と照合して、動線の始点がいずれか一方の入退場口Ｇ１，Ｇ２の画像監視エリアＡＧ，ＤＧ内であるか否かを判断する。

また、制御部２５は、ＳＴ７１として連結後動線データの終点座標（Ｘｎ，Ｙｎ）と、各入退場口Ｇ１，Ｇ２にそれぞれ対応する画像監視エリアＡＧ，ＤＧの範囲指定データ（Ｘｒ５，Ｙｒ５），（Ｘｌ５，Ｙｌ５）または（Ｘｒ６，Ｙｒ６），（Ｘｌ６，Ｙｌ６）と照合して、動線の終点がいずれか一方の入退場口Ｇ１，Ｇ２の画像監視エリアＡＧ，ＤＧ内であるか否かを判断する。

動線の始点及び終点の少なくとも一方が入退場口Ｇ１，Ｇ２の画像監視エリアＡＧ，ＤＧ内でない場合、制御部２５は、ＳＴ７２として連結後動線データを連結先であるｎ番目動線データが格納されていた第２の動線データベースａ２に新規保存する。これに対し、動線の始点と終点がいずれも入退場口Ｇ１，Ｇ２の画像監視エリアＡＧ，ＤＧ内である場合には、制御部２５は、ＳＴ７３として連結後動線データを記録装置５の完全動線データベースに新規保存する。

ＳＴ７２またはＳＴ７３の処理を終えると、制御部２５は、ＳＴ７４として第１の動線データベースａ１から連結元動線であるｍ番目動線データを削除する。また、ＳＴ７５として第２の動線データベースａ２から連結先動線であるｎ番目動線データを削除する。しかる後、制御部２５は、連結元動線選択処理（ＳＴ１０Ａ）のＳＴ２２の処理に戻る。
なお、ＳＴ７２にて連結後動線データを第２の動線データベースａ２に新規保存するのでなく上書き保存し、ＳＴ７５の処理を省略してもよい。

以後、制御部２５は、第１のデータ数カウンタ３７のカウント値ｍが第１の抽出データ数メモリ３５に記憶されているデータ数Ｍを越えるまで、上記ＳＴ２４以降の処理を繰返し実行する。そして、カウント値ｍがデータ数Ｍを超えると（ＳＴ２３のＹＥＳ）、連結元動線の候補として抽出した全ての動線データに対して連結処理を終了したので、１組目の連結対象組合せデータ（ＳＡ，ＳＢ）に対する１回目の連結元動線選択処理、連結先動線選択処理、及び連結実行処理を終了する。

なお、１組目の連結対象組合せデータ（ＳＡ，ＳＢ）に対する２回目（切換制御フラグが“１”のとき）の連結元動線選択処理、連結先動線選択処理、及び連結実行処理についても、連結元が動線認識システムＳＢの動線データであり、連結先が動線認識システムＳＡの動線データである点を除いて同様に処理される。他の連結対象組合せデータに対する処理も同様である。

このように本実施形態では、複数の動線認識システムＳＡ，ＳＢ，ＳＣ，ＳＤのうち隣接する動線認識システムでそれぞれ認識される動線のなかから、同一買物客に対する動線を、オペレータがカメラ画像を用いて目視により検出するようにしている。したがって、各動線認識システム間ＳＡ，ＳＢ，ＳＣ，ＳＤで、移動体である買物客のある時点の位置を示す座標（Ｘｉ，Ｙｉ）やその時点の時刻Ｔｉの精度にずれが生じていたとしても、同一移動体に対する動線を正確に検出して連結することができる。その結果、広域な領域全体を補っての動線認識を可能ならしめる効果を奏する。

また、本実施形態では、連結元動線として選択された動線データの終点と連結先動線として選択された動線データの始点とが一致するように、少なくとも一方の動線データを補正するようにしている。したがって、連結元動線と連結先動線とを確実に接続することができる。

さらに、本実施形態では、連結先動線メモリ３４に記憶されている各動線データを、始点が検知された時刻が、連結元動線であるｍ番目動線データの終点到達時刻Ｔｎに近い順に並び替えるようにしている。連結先動線の始点検知時刻が連結元動線の終点到達時刻に近ければ近いほど、連結先動線の人物は連結元動線の人物と同一である可能性が高い。したがって、連結元動線に連結すれる連結先動線を探し出すまでに要する作業時間の短縮を図ることができる。

なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
例えば、前記実施の形態では、カメラによる画像監視エリアを売場間の通路を含む領域と入退場口近傍の領域とに限定したが、例えば売場全域を画像監視エリアとしてもよい。この場合は、画像監視エリアを通路や入退場口の近傍に限定せず、売場全体を画像監視エリアとして動線に連動してカメラ画像を表示することで、連結元動線及び連結先動線それぞれの買物客を目視により特定することができる。したがって、より確実にカメラ画像から人物を特定することができる。

また、前記実施形態では、連結元動線の終点と連結先動線の始点とがずれている場合に、連結先動線の始点を連結元動線の終点に合わせるべく連結先動線のデータを補正したが、連結元動線の終点を連結先動線の始点に合わせるべく連結元動線のデータを補正してもよい。あるいは、動線データを補正するのでなく、連結元動線の終点と連結先動線の始点との間を直線で結ぶ線形補間により補間してもよい。さらには、連結元動線の終点から数ポイント前までの各インデックス情報の二次元座標と連結先動線の始点から数ポイント先までの各インデックス情報の二次元座標とを比較し、最も近接した座標のインデックス情報を起点に、連結元動線データと連結先動線データとを連結するようにしてもよい。

また、前記実施形態では、田の字型に区分された売場の中心部で各売場が仕切られており、例えば売場Ａに居る買物客は、売場Ｂまたは売場Ｄには行かれるが売場Ｃには行かれない店舗に本発明を適用したが、本発明を適用可能な店舗形態はこれに限定されるものではない。例えば、田の字型に区分された売場の中心部で各売場が仕切られていなくても、その中心部をカメラによる監視領域に設定し、連結設定テーブル３１に、第１の動線認識システムが動線認識システムＳＡで第２の動線認識システムが動線認識システムＳＣの組み合わせ及びその逆の組み合わせと、第１の動線認識システムが動線認識システムＳＢで第２の動線認識システムが動線認識システムＳＤの組み合わせ及びその逆の組み合わせとを追加することにより、前記実施形態と同様に適用できるものである。

また、本発明は、隣接する売場間の顧客動線を連結する装置に限定されるものではなく、第１の動線認識エリア内を移動する移動体（人、動物、車両等）の動線データと、この第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体の動線データとを連結する装置にも同様に適用できるものである。

また、前記実施形態では、動線連結プログラム４０を制御部２５のＲＯＭに予め記憶しているものとして本発明を説明したが、このプログラム４０は、ネットワークから動線連結装置２にダウンロードしても良いし、記録媒体に記憶させたものを動線連結装置２にインストールしてもよい。記録媒体としては、ＣＤ−ＲＯＭ等プログラムを記憶でき、かつコンピュータが読み取り可能な記録媒体であれば、その形態は何れの形態であってもよい。また、このように予めインストールやダウンロードにより得る機能は、コンピュータ内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［付記１］
第１の動線認識エリア内を移動する移動体毎にその移動体が前記第１の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第１の動線認識エリア内での軌跡を示す動線データを記憶するための第１の動線データベース、前記第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体毎にその移動体が前記第２の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第２の動線認識エリア内での軌跡を示す動線データを記憶するための第２の動線データベース、前記第１の動線認識エリア内の少なくとも一部である第１の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第１の画像データベース、及び、前記第２の動線認識エリア内の少なくとも一部である第２の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第２の画像データベースの各データベースに対してアクセスが可能なコンピュータにより、前記第１の動線データベースに記憶された各移動体の動線データと前記第２の動線データベースに記憶された各移動体の動線データとのなかから、同一移動体の動線データどうしを連結する動線連結方法であって、
前記コンピュータは、
前記第１の動線データベースに記憶された各動線データの中から前記第１の画像監視エリア内に位置する移動体の動線データを選択する連結元動線選択段階と、
前記連結元動線選択段階により選択された動線データに対応する前記移動体が前記第１の画像監視エリア内に位置している期間の前記カメラ画像データを前記第１の画像データベースから取得し、その画像を表示部に表示させる第１のカメラ画像表示段階と、
前記第２の動線データベースに記憶された各動線データの中から前記第２の画像監視エリア内に位置する移動体の動線データを選択する連結先動線選択段階と、
前記連結先動線選択段階により選択された動線データに対応する前記移動体が前記第２の画像監視エリア内に位置している期間の前記カメラ画像データを前記第２の画像データベースから取得し、その画像を前記表示部に表示させる第２のカメラ画像表示段階と、
前記連結元動線選択段階により選択された動線データと前記連結先動線選択段階により選択された動線データの連結宣言を受け付ける連結宣言受付段階と、
前記連結宣言を受付けると、前記連結元動線選択段階により選択された動線データの始点から前記連結先動線選択段階により選択された動線データの終点までの動線データを生成する動線連結段階と、
を備えることを特徴とする動線連結方法。
［付記２］
前記動線連結段階は、前記連結元動線選択段階により選択された動線データの終点と前記連結先動線選択段階により選択された動線データの始点とが一致するように少なくとも一方の前記動線データを補正する動線補正段階を含むことを特徴とする付記１記載の動線連結方法。
［付記３］
前記連結先動線選択段階は、前記第２の動線データベースに記憶された各動線データの中から、始点が、前記連結元動線選択段階により選択された動線データの終点に近い順に各動線データを検索し、前記第２の画像監視エリア内を移動する移動体の動線データを選択することを特徴とする付記１または２記載の動線連結方法。
［付記４］
第１の動線認識エリア内を移動する移動体毎にその移動体が前記第１の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第１の動線認識エリア内での軌跡を示す動線データを記憶するための第１の動線データベース、前記第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体毎にその移動体が前記第２の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第２の動線認識エリア内での軌跡を示す動線データを記憶するための第２の動線データベース、前記第１の動線認識エリア内の少なくとも一部である第１の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第１の画像データベース、及び、前記第２の動線認識エリア内の少なくとも一部である第２の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第２の画像データベースの各データベースに対してアクセスが可能であり、
前記第１の動線データベースに記憶された各動線データの中から前記第１の画像監視エリア内に位置する移動体の動線データを選択する連結元動線選択手段と、
この連結元動線選択手段により選択された動線データに対応する前記移動体が前記第１の画像監視エリア内に位置している期間の前記カメラ画像データを前記第１の画像データベースから取得し、その画像を表示部に表示させる第１のカメラ画像表示手段と、
前記第２の動線データベースに記憶された各動線データの中から前記第２の画像監視エリア内に位置する移動体の動線データを選択する連結先動線選択手段と、
この連結先動線選択手段により選択された動線データに対応する前記移動体が前記第２の画像監視エリア内に位置している期間の前記カメラ画像データを前記第２の画像データベースから取得し、その画像を前記表示部に表示させる第２のカメラ画像表示手段と、
前記連結元動線選択手段により選択された動線データと前記連結先動線選択手段により選択された動線データの連結宣言を受け付ける連結宣言受付手段と、
前記連結宣言を受付けると、前記連結元動線選択手段により選択された動線データの始点から前記連結先動線選択手段により選択された動線データの終点までの動線データを生成する動線連結手段と、
を具備したことを特徴とする動線連結装置。
［付記５］
前記動線連結手段は、前記連結元動線選択手段により選択された動線データの終点と前記連結先動線選択手段により選択された動線データの始点とが一致するように少なくとも一方の前記動線データを補正する動線補正手段を含むことを特徴とする付記４記載の動線連結装置。
［付記６］
前記連結先動線選択手段は、前記第２の動線データベースに記憶された各動線データの中から、始点が、前記連結元動線選択手段により選択された動線データの終点に近い順に各動線データを検索し、前記第２の画像監視エリア内を移動する移動体の動線データを選択することを特徴とする付記４または５記載の動線連結装置。
［付記７］
第１の動線認識エリア内を移動する移動体毎にその移動体が前記第１の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第１の動線認識エリア内での軌跡を示す動線データを記憶するための第１の動線データベース、前記第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体毎にその移動体が前記第２の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第２の動線認識エリア内での軌跡を示す動線データを記憶するための第２の動線データベース、前記第１の動線認識エリア内の少なくとも一部である第１の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第１の画像データベース、及び、前記第２の動線認識エリア内の少なくとも一部である第２の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第２の画像データベースの各データベースに対してアクセスが可能なコンピュータに、
前記第１の動線データベースに記憶された各動線データの中から前記第１の画像監視エリア内に位置する移動体の動線データを選択させる連結元動線選択機能と、
前記連結元動線選択機能により選択された動線データに対応する前記移動体が前記第１の画像監視エリア内に位置している期間の前記カメラ画像データを前記第１の画像データベースから取得し、その画像を表示部に表示させる第１のカメラ画像表示機能と、
前記第２の動線データベースに記憶された各動線データの中から前記第２の画像監視エリア内に位置する移動体の動線データを選択させる連結先動線選択機能と、
前記連結先動線選択機能により選択された動線データに対応する前記移動体が前記第２の画像監視エリア内に位置している期間の前記カメラ画像データを前記第２の画像データベースから取得し、その画像を前記表示部に表示させる第２のカメラ画像表示機能と、
前記連結元動線選択機能により選択された動線データと前記連結先動線選択機能により選択された動線データの連結宣言を受け付けさせる連結宣言受付機能と、
前記連結宣言を受付けると、前記連結元動線選択機能により選択された動線データの始点から前記連結先動線選択機能により選択された動線データの終点までの動線データを生成させる動線連結機能と、
を実現させるための動線連結プログラム。
［付記８］
前記動線連結機能は、コンピュータに、前記連結元動線選択機能により選択された動線データの終点と前記連結先動線選択機能により選択された動線データの始点とが一致するように少なくとも一方の前記動線データを補正させる動線補正機能を含むものである付記７記載の動線連結プログラム。
［付記９］
前記連結先動線選択機能は、コンピュータに、前記第２の動線データベースに記憶された各動線データの中から、始点が、前記連結元動線選択機能により選択された動線データの終点に近い順に各動線データを検索し、前記第２の画像監視エリア内を移動する移動体の動線データを選択させるものである付記７または８記載の動線連結プログラム。

２…動線連結装置、３…表示部、４…入力部、５…記録装置、２５…制御部、３１…連結設定テーブル、３２…監視エリア設定テーブル、３３…連結元動線メモリ、３４…連結先動線メモリ、４０…動線連結プログラム、５０…動線連結画面。

特開２００９−００９３９４号公報

Claims (4)

1. 第１の動線認識エリア内を移動する移動体毎にその移動体が前記第１の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第１の動線認識エリア内での軌跡を示す動線データを記憶するための第１の動線データベース、前記第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体毎にその移動体が前記第２の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第２の動線認識エリア内での軌跡を示す動線データを記憶するための第２の動線データベース、前記第１の動線認識エリア内の少なくとも一部である第１の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第１の画像データベース、及び、前記第２の動線認識エリア内の少なくとも一部である第２の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第２の画像データベースの各データベースに対してアクセスが可能であり、
   前記第１の動線データベースに記憶された各動線データの中から前記第１の画像監視エリア内に位置する移動体の動線データを選択する連結元動線選択手段と、
   この連結元動線選択手段により選択された動線データに対応する前記移動体が前記第１の画像監視エリア内に位置している期間の前記カメラ画像データを前記第１の画像データベースから取得し、その画像を表示部に表示させる第１のカメラ画像表示手段と、
   前記第２の動線データベースに記憶された各動線データの中から前記第２の画像監視エリア内に位置する移動体の動線データを選択する連結先動線選択手段と、
   この連結先動線選択手段により選択された動線データに対応する前記移動体が前記第２の画像監視エリア内に位置している期間の前記カメラ画像データを前記第２の画像データベースから取得し、その画像を前記表示部に表示させる第２のカメラ画像表示手段と、
   前記連結元動線選択手段により選択された動線データと前記連結先動線選択手段により選択された動線データの連結宣言を受け付ける連結宣言受付手段と、
   前記連結宣言を受付けると、前記連結元動線選択手段により選択された連結元動線データの終点から数ポイント前までの各インデックス情報の二次元座標と前記連結先動線選択手段により選択された連結先動線データの始点から数ポイント先までの各インデックス情報の二次元座標とを比較し、最も近接した座標のインデックス情報を起点に、前記連結元動線データと前記連結先動線データとを連結することで、前記連結元動線選択手段により選択された連結元動線データの始点から前記連結先動線選択手段により選択された連結先動線データの終点までの動線データを生成する動線連結手段とを具備したことを特徴とする動線連結装置。
2. 前記連結先動線選択手段は、前記第２の動線データベースに記憶された各動線データの中から、始点が、前記連結元動線選択手段により選択された動線データの終点に近い順に各動線データを検索し、前記第２の画像監視エリア内を移動する移動体の動線データを選択することを特徴とする請求項１記載の動線連結装置。
3. 第１の動線認識エリア内を移動する移動体毎にその移動体が前記第１の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第１の動線認識エリア内での軌跡を示す動線データを記憶するための第１の動線データベース、前記第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体毎にその移動体が前記第２の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第２の動線認識エリア内での軌跡を示す動線データを記憶するための第２の動線データベース、前記第１の動線認識エリア内の少なくとも一部である第１の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第１の画像データベース、及び、前記第２の動線認識エリア内の少なくとも一部である第２の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第２の画像データベースの各データベースに対してアクセスが可能なコンピュータに、
   前記第１の動線データベースに記憶された各動線データの中から前記第１の画像監視エリア内に位置する移動体の動線データを選択させる連結元動線選択機能と、
   前記連結元動線選択機能により選択された動線データに対応する前記移動体が前記第１の画像監視エリア内に位置している期間の前記カメラ画像データを前記第１の画像データベースから取得し、その画像を表示部に表示させる第１のカメラ画像表示機能と、
   前記第２の動線データベースに記憶された各動線データの中から前記第２の画像監視エリア内に位置する移動体の動線データを選択させる連結先動線選択機能と、
   前記連結先動線選択機能により選択された動線データに対応する前記移動体が前記第２の画像監視エリア内に位置している期間の前記カメラ画像データを前記第２の画像データベースから取得し、その画像を前記表示部に表示させる第２のカメラ画像表示機能と、
   前記連結元動線選択機能により選択された動線データと前記連結先動線選択機能により選択された動線データの連結宣言を受け付けさせる連結宣言受付機能と、
   前記連結宣言を受付けると、前記連結元動線選択手段により選択された連結元動線データの終点から数ポイント前までの各インデックス情報の二次元座標と前記連結先動線選択手段により選択された連結先動線データの始点から数ポイント先までの各インデックス情報の二次元座標とを比較し、最も近接した座標のインデックス情報を起点に、前記連結元動線データと前記連結先動線データとを連結することで、前記連結元動線選択手段により選択された連結元動線データの始点から前記連結先動線選択手段により選択された連結先動線データの終点までの動線データを生成させる動線連結機能と、
   を実現させるための動線連結プログラム。
4. 前記連結先動線選択機能は、コンピュータに、前記第２の動線データベースに記憶された各動線データの中から、始点が、前記連結元動線選択機能により選択された動線データの終点に近い順に各動線データを検索し、前記第２の画像監視エリア内を移動する移動体の動線データを選択させるものである請求項３記載の動線連結プログラム。

Images