JP4585580B2 - 人物動線追跡システム - Google Patents

Description

本発明は、コンビニエンスストア、スーパーマーケット等の店舗において、来店した客の行動を追跡する人物動線追跡システムに関する。

店舗内を移動する客の行動を追跡するシステムとしては、人物動線追跡技術を利用したシステムが知られている。
例えば特許文献１には、販売情報入力装置から入力された購入商品を含む販売情報を購入時刻と紐付けして販売情報データベースに記録するとともに、店舗内に設置されたカメラで撮影された映像から人物の抽出と抽出された人物の追跡を行い、人物の位置する座標にその人物の識別情報と時間情報とを紐付けした動線データを作成して動線データベースに記録する。そして、販売情報を指定して販売情報データベースから監視対象者を抽出し、さらに該監視対象者の購入時刻から動線データベースの動線を特定して、その人物動線から客の行動を追跡する技術が開示されている。

この特許文献１に記載された技術では、人物動線は、カメラで撮影された映像から人物の頭部を検出し、検出された２次元画像上の位置から、実際の空間上の位置を求める仕組みである。この場合、人物の位置を正確に求めるには、同一の人物の頭部を複数台のカメラで撮影する必要がある。したがって、店舗内を隈無く撮影するには多数台のカメラが必要となる。

カメラには、監視カメラなどに用いられる通常レンズを備えたカメラの他に、魚眼レンズを用いたカメラや、全方位ミラー付のカメラ等の広角レンズカメラがある。広角レンズカメラは、通常レンズカメラと比べて歪が大きいため鮮明な画像は期待できないが、画角が広がるため、撮影区域が広い。そこで一般に、人物動線追跡システムには広角レンズカメラを用いて、カメラの台数を減らしている。
特開２００６−３５０７５１号公報

ところで近年、コンビニエンスストアやスーパーマーケット等の店舗では、万引きによる被害が大きな問題となっている。そこで、店内の要所に防犯カメラを設置する等して万引き対策を講じている店舗が増えている。ただし、防犯用のカメラには一般に通常レンズカメラが用いられるため、画像は鮮明であるものの画角が小さい。このため、店舗内に死角が生じることは致し方ないことである。

一方、人物動線追跡システムが構築された店舗では、入店した顧客が店外に出るまでその行動を動線として逐次追跡することができる。そこで、この人物動線を追跡することによって、万引きを行った人物が誰であるかを特定できたならば、万引き対策として効果的である。

しかしながら、従来の人物動線追跡システムにおいては、例えば動線を生成するためのカメラ画像から、客が不正な行動を行ったかどうかまでは判別できたとしても、その客が誰であるかを特定すること、すなわち人物を同定することは極めて困難であった。

本発明はこのような事情に基づいてなされたものであり、その目的とすることは、動線の人物を精度よく同定できる人物動線追跡システムを提供しようとするものである

本発明は、監視領域内を移動する人物の頭部を撮影する複数台の広角レンズカメラと、各広角レンズカメラで撮影された画像から視体積交差法により監視領域内を移動する人物の軌跡を追跡して人物毎に動線データを生成する人物動線生成手段と、この人物動線生成手段により生成された動線データを記憶する動線記憶手段と、監視領域内の人物の顔を撮影可能な位置にて広角レンズカメラよりも少数でかつ広角レンズカメラよりも歪の小さい監視用カメラで人物の顔画像を撮影する撮影手段と、この撮影手段により撮影された映像から人物の顔を含む画像データを抽出する画像抽出手段と、この画像抽出手段により抽出された画像データを記憶する画像記憶手段と、動線データをその動線データに該当する人物の顔が含まれる画像データと紐付ける紐付け手段と、動線データとその動線データに紐付けられた画像データとの対応関係を記憶する紐付け記憶手段とを備えたものである。

かかる手段を講じた本発明によれば、動線の人物を精度よく同定できる人物動線追跡システムを提供できる。

以下、本発明を実施するための最良の形態について、図面を用いて説明する。
なお、この実施の形態は、コンビニエンスストア等の店舗の店内売場領域を監視領域とし、この監視領域を移動する客の軌跡、すなわち人物動線を、カメラで撮影された映像から追跡するシステムに本発明を適用した場合である。

はじめに、本実施の形態における人物動線追跡システムの構成を、図１のブロック図で示す。人物動線追跡システムは、複数台（図では６台）の動線用カメラＣＡ１〜ＣＡ６と、１台の監視用カメラＣＡ７とを備えている。各動線用カメラＣＡ１〜ＣＡ６は、魚眼レンズを用いたカメラや全方位ミラー付のカメラ等の広角レンズカメラである。監視用カメラＣＡ７は、通常レンズを用いた通常レンズカメラである。

各動線用カメラＣＡ１〜ＣＡ６は、図２の店内売場領域平面図に示すように、売場領域の天井部に所定の間隔を開けて設置されている。各動線用カメラＣＡ１〜ＣＡ６は、視体積交差法により売場領域を移動する客の軌跡、すなわち人物動線を追跡するために用いられる。視体積交差法は、例えば客の頭部を複数の方向から撮影し、各画像の頭部の位置から頭部の店内空間に適宜設置された３次元座標系内の座標値を算出する方法である。各動線用カメラＣＡ１〜ＣＡ６の配置位置は、店舗図面を参照したり、実際に店舗内に仮設置したりして、店舗内の什器やＰＯＰ等の遮蔽の影響も考慮し、店舗全域が複数のカメラで撮影されるように適宜決定する。因みに、視体積交差法による位置検出精度を高めるためには、店舗全域が少なくとも３台のカメラから撮影されることが望ましい。

このように設置された各動線用カメラＣＡ１〜ＣＡ６により、監視領域、すなわち店内売場領域を移動する人物の軌跡である動線の追跡が可能となる。また、同時に商品棚Ｒの商品を手に取ったなどの客の行動もある程度撮影されるので、万引き等の不正行為の判別も可能である。ただし、動線用カメラＣＡ１〜ＣＡ６の場合、広角レンズカメラを用いているので、特に画角の周辺部において像の歪が大きく、撮影された画像からその客が誰であるかを特定することは困難である。このため、たとえ客の不正行為が撮影されたとしても、その人物を同定できず、防犯上の意義は小さい。

そこで、本実施の形態では、各動線用カメラＣＡ１〜ＣＡ６とは別に、撮影手段として標準レンズカメラからなる監視用カメラＣＡ７を店内の所定の位置に設置して、客を撮影する。図２の例では、出入口ＩＮ／ＯＵＴの付近に出入口方向を向けて監視用カメラＣＡ７を設置しており、主として入店する客の顔を撮影する。この監視用カメラＣＡ７で撮影された客の顔を含む画像と、各動線用カメラＣＡ１〜ＣＡ６で撮影された画像をもとに追跡された人物動線とを関連付けて記憶することにより、不正を行ったと判別された客の同定が可能となる。なお、客が不正を行ったか否かの判定は、各動線用カメラＣＡ１〜ＣＡ６で撮影された画像を見て行ってもよいし、人物動線の特徴から推定してもよい。

なお、図２において、符号ＣＣはチェックアウトカウンタであり、このカウンタＣＣの上に２台のＰＯＳ（Point Of Sales）端末ＰＯＳ１，ＰＯＳ２が設置されている。

図１に説明を戻す。各動線用カメラＣＡ１〜ＣＡ６及び監視用カメラＣＡ７は、いずれもカメラコントロール部１に接続されている。カメラコントロール部１は、タイマ機能を内蔵しており、例えば１秒間に１０コマを撮影するというように、各動線用カメラＣＡ１〜ＣＡ６及び監視用カメラＣＡ７の撮影タイミングを、同期を取って制御する。カメラコントロール部１は、各動線用カメラＣＡ１〜ＣＡ６で撮影された画像データについては、その撮影日時データとともに動線作成用映像データベース２に順次格納する。また、監視用カメラＣＡ７で撮影された画像については、その撮影日時データとともに人物特定用映像データベース３に順次格納する。

人物動線追跡システムは、動線作成部４と人物抽出部５とを備えている。動線作成部４は、動線作成用映像データベース２に格納された各動線用カメラＣＡ１〜ＣＡ６の画像データから、周知の視体積交差法により店舗内に入店してから店外に出るまでの客の軌跡、すなわち人物動線を追跡して、客毎に動線データを生成する。そして、客毎に作成された動線データを、それぞれ固有の動線ＩＤを付して動線データベース６に格納する。

動線データベース６のデータ構造の一例を図３に示す。図示するように、動線データベース６には、動線作成部４で客毎に生成された動線データが、そのデータ固有の動線ＩＤを付して記憶される。また、各動線データには、それぞれその動線に該当する客が出入口ＩＮ／ＯＵＴから入店した時点の日時である入店日時と、退出した時点の日時である出店日時のデータとが付される。入店日時は、対応する動線データの起点となる３次元座標系内の座標値が算出されたときの各動線用カメラＣＡ１〜ＣＡ６の画像データ撮影日時である。出店日時は、対応する動線データの終点となる３次元座標系内の座標値が算出されたときの各動線用カメラＣＡ１〜ＣＡ６の画像データ撮影日時である。

なお、現状の画像処理技術では、各動線用カメラＣＡ１〜ＣＡ６で店内の全エリアを死角なく撮影したとしても、一人の顧客の店内全域の動きを１つの動線として追跡することはきわめて困難である。例えば、動線が途切れたり、他の顧客と入れ替わったりする場合が考えられる。動線作成部４は、例えばオペレータのマニュアル操作によって、複数に途切れた同一顧客の動線を１本の動線に連結する機能を有している。

ここに、動線作成部４は人物動線生成手段を構成する。動線データベース６は動線記憶手段、詳しくは、各動線データを、その動線データに該当する人物が監視領域内の所定の位置（出入口付近）に位置するときの時刻データとともに記憶する手段を構成する。

人物抽出部５は、人物特定用映像データベース３に格納された監視用カメラＣＡ７の画像データから、人物辞書データベース７を参照して店舗内に入店した人物の顔を含む画像を抽出する。そして、その画像データを、それぞれ固有の人物ＩＤを付して人物画像データベース８に格納する。

人物画像データベース８のデータ構造の一例を図４に示す。図示するように、人物画像データベース８には、人物抽出部５で抽出された客の顔を含む画像データが、そのデータ固有の人物ＩＤを付して記憶される。また、各画像データには、それぞれその画像が監視用カメラＣＡ７で撮影された日時データが付される。

人物抽出部５において実行される情報処理の手順を、図６の流れ図を用いて説明する。人物抽出部５は、先ず、人物特定用映像データベース３から撮影画像データとそのデータに付された撮影日時データとを取得する（ＳＴ１）。

次に、人物抽出部５は、背景差分演算等の公知の方法により画像内で動きのある移動体の部分のみを抽出する（ＳＴ２）。監視用カメラＣＡ７は、店舗の出入口ＩＮ／ＯＵＴ付近を撮影している。このため、撮影された画像内で動きのあるものは、例えば開閉されるドアや外を通過する人物や車両を除けば、店舗に入退店する客である。したがって、動きの無い部分に人物が写されていることは無いので、背景差分法を用いることでその後の人物検出のための演算量を少なくすることが可能になる。

撮影画像から移動体を抽出できなかった場合には（ＳＴ３のＮＯ）、人物抽出部５は、後述するＳＴ１１の処理に進む。
撮影画像から移動体を抽出できた場合には（ＳＴ３のＹＥＳ）、人物抽出部５は、公知の人物パターンマッチング方式により撮影画像から人物画像を抽出する（ＳＴ４）。人物パターンマッチング方式は、抽出された移動体を含む画像データと、人物辞書データベース７に予め登録されている人物画像データとの比較によって実施される。人物辞書データベース７には、前向きの人物画像（顔の映った画像）のデータのみが予め登録されている。したがって、撮影画像に含まれる移動体が監視用カメラ７のレンズと対峙した人物であるときのみ、撮影画像から顔の映った人物画像を抽出することができる。因みに、退店時には後ろ向きの人物画像が撮影されると見なすことができるので、人物辞書データベース７に前向きの人物画像のみを登録することで、入店と退店を分離することが可能である。

撮影画像から顔の映った人物画像が抽出されなかった場合には（ＳＴ５のＮＯ）、人物抽出部５は、ＳＴ１１の処理に進む。
撮影画像から顔の映った人物画像が抽出された場合には（ＳＴ５のＹＥＳ）、人物抽出部５は、人物画像データベース８を検索して、同一人物の画像データが既に人物画像データベース８に登録されているか否かを判断する（ＳＴ６）。この判断は、例えば、撮影された映像のコマ毎の人物（顔）の位置情報や、服装の色や形、顔が似ているかどうかなど画像そのものの類似度を用いて行う。登録されていないと判定された場合には（ＳＴ７のＮＯ）、人物抽出部５は、人物画像データベース８で使用していない新規の人物ＩＤを生成する（ＳＴ８）。そして、この新規の人物ＩＤと、抽出された人物画像データと、撮影時刻のデータとを関連付けて、人物画像データベース８に登録する（ＳＴ１０）。しかる後、人物抽出部５は、ＳＴ１１の処理に進む。

一方、人物画像データベース８を検索した結果、同一人物の画像データが既に登録されていると判断した場合には（ＳＴ７のＹＥＳ）、人物抽出部５は、その既存の人物画像データより今回の人物画像データの方が、画質が良好か否かを判断する（ＳＴ９）。既存のデータと今回のデータとについて、例えば顔の大きさや向き、コントラスト等を比較することにより、画質を判定する。今回の人物画像データの方が良質であった場合には（ＳＴ９のＹＥＳ）、人物画像データベース８に保存されていた既存の人物画像データを、今回の人物画像データに置換する（ＳＴ１０）。既存の人物画像データの方が良質であった場合には、ＳＴ１０の処理を実行しない。しかる後、人物抽出部５は、ＳＴ１１の処理に進む。このように、同一人物の画像を比較して、より良質な画像を記憶することで、最良の画像が得られる。

ＳＴ１１では、人物抽出部５は、人物特定用映像データベース３に次の撮影画像データが格納されているか否かを判断する。格納されている場合には（ＳＴ１１のＹＥＳ）、ＳＴ１の処理に戻り、次の撮影画像データとそのデータに付された撮影日時データとを取得する。以後、ＳＴ２以降の処理を再度実行する。

こうして、人物抽出部５は、人物特定用映像データベース３に格納されている全ての撮影画像データについて、ＳＴ２以降の処理を順次実行する。そして、人物特定用映像データベース３に次の撮影画像データが格納されていないと判断したならば（ＳＴ１１のＮＯ）、人物抽出部５は、今回の情報処理を終了する。

ここに、人物抽出部５は、画像抽出手段を構成する。人物画像データベース８は、画像記憶手段、詳しくは、各画像データを、その画像が撮影された時刻データとともに記憶する手段を構成する。

人物動線追跡システムは、人物−動線紐付け部９を備えている。人物−動線紐付け部９は、動線データベース６に記憶された動線データと、人物画像データベース８に記憶された画像データとを紐付ける。詳しくは、動線データを、その動線データに該当する人物、すなわち動線データの動線で軌跡が示される人物の顔が含まれる画像データと紐付ける。そして、動線データと画像データとの対応関係を示すデータを、紐付けリストデータベース１０に格納する。

紐付けリストデータベース１０のデータ構造の一例を図５に示す。図示するように、紐付けリストデータベース１０には、動線データを特定する動線ＩＤと、その動線データに紐付けられた画像データを特定する人物ＩＤとが、撮影日時データとともに記憶される。

人物−動線紐付け部９において実行される情報処理の手順を、図７の流れ図を用いて説明する。人物−動線紐付け部９は、先ず、時間差最小値メモリのデータＤＴminを無限大とする（ＳＴ２１）。また、動線番号カウンタのデータｍを“０”にリセットする（ＳＴ２２）。次に、人物−動線紐付け部９は、動線番号カウンタをカウントアップする（ＳＴ２３）。そして、動線データベース６から先頭よりｍ番目（ｍは動線番号カウンタのデータ）の動線データに付加された動線ＩＤと入店日時データＴ１とを取得する（ＳＴ２４）。

ここで、動線データベース６にｍ個以上のデータが保存されていた場合には、ｍ番目動線データの動線ＩＤと入店日時データＴ１とを取得できる。動線ＩＤと入店日時データＴ１とを取得したならば（ＳＴ２５のＮＯ）、人物−動線紐付け部９は、画像番号カウンタのデータｎを“０”にリセットする（ＳＴ２６）。次に、人物−動線紐付け部９は、画像番号カウンタをカウントアップする（ＳＴ２７）。そして、人物画像データベース８から先頭よりｎ番目（ｎは画像番号カウンタのデータ）の人物画像データに付加された人物ＩＤと撮影日時データＴ２とを取得する（ＳＴ２８）。

ここで、人物画像データベース８にｎ個以上のデータが保存されていた場合には、ｎ番目人物画像データの人物ＩＤと撮影日時データＴ２とを取得できる。人物ＩＤと撮影日時データＴ２とを取得したならば（ＳＴ２９のＮＯ）、人物−動線紐付け部９は、紐付けリストデータベース１０を検索して、当該人物ＩＤが既に紐付けリストデータベース１０に登録されているか否かを判断する（ＳＴ３０）。

登録されていない場合、すなわちｎ番目人物画像データの人物ＩＤが動線ＩＤに紐付けられていない場合には（ＳＴ３０のＮＯ）、人物−動線紐付け部９は、ｍ番目動線データの入店日時データＴ１とｎ番目人物画像データの撮影日時Ｔ２との時間差ＤＴを算出する。すなわち、入店日時データＴ１と撮影日時Ｔ２との差の絶対値ＡＢＳ（Ｔ２−Ｔ１）を算出する。しかる後、人物−動線紐付け部９は、この時間差ＤＴと時間差最小値メモリのデータＤＴminとを比較する（ＳＴ３２）。その結果、時間差ＤＴがデータＤＴminより小さい場合には（ＳＴ３２のＹＥＳ）、人物−動線紐付け部９は、時間差最小値メモリのデータＤＴminを今回算出された時間差ＤＴの値に更新する（ＳＴ３３）。

その後、人物−動線紐付け部９は、前記ＳＴ２７の処理に戻り、画像番号カウンタをさらにカウントアップする。そして、人物画像データベース８から先頭よりｎ番目の人物画像データに付加された人物ＩＤと撮影日時データＴ２とを取得し、その人物ＩＤが紐付けリストデータベース１０に既に登録されているか否かを判断する。登録されていない場合には、ｍ番目動線データの入店日時データＴ１とｎ番目人物画像データの撮影日時Ｔ２との時間差ＤＴを算出して、時間差最小値メモリのデータＤＴminとを比較し、時間差ＤＴがデータＤＴminより小さい場合には、時間差最小値メモリのデータＤＴminを今回算出された時間差ＤＴの値に更新する。その後、人物−動線紐付け部９は、画像番号カウンタをさらにカウントアップして、上記と同様な処理を繰り返す。

なお、ｎ番目人物画像データの人物ＩＤが既に紐付けリストデータベース１０に登録されていた場合には（ＳＴ３０のＹＥＳ）、人物−動線紐付け部９は、ＳＴ３１以降の処理を行わずに、ＳＴ２７の処理に戻る。すなわち、画像番号カウンタをさらにカウントアップして、上記と同様な処理を繰り返す。

入店日時データＴ１とｎ番目人物画像データの撮影日時Ｔ２との時間差ＤＴがデータＤＴmin以上の場合には（ＳＴ３２のＮＯ）、人物−動線紐付け部９は、ｍ番目動線データの動線ＩＤと、ｎ番目人物画像データの人物ＩＤ及び撮影日時データとを対応付けて、紐付けリストデータベース１０に登録する（ＳＴ３５）。登録後、人物−動線紐付け部９は、時間差最小値メモリのデータＤＴminを再び無限大として（ＳＴ３５）。ＳＴ２３の処理に戻る。すなわち、人物−動線紐付け部９は、動線番号カウンタをカウントアップし、動線データベース６からｍ番目動線データに付加された動線ＩＤと入店日時データＴ１とを取得したならば、ＳＴ２６以降の処理を再度実行する。

なお、このＳＴ２６以降の処理において、人物画像データベース８からｎ番目人物画像データを取得できなかった場合には、人物−動線紐付け部９は、ＳＴ３０以降の処理を実行することなく、ＳＴ２３の処理に戻る。

人物−動線紐付け部９は、動線データベース６からｍ番目動線データを取得する毎に、ＳＴ２６以降の処理を繰返し実行する。そして、ｍ番目動線データを取得できなかったならば、人物−動線紐付け部９は、今回の処理を終了する。

かくして、紐付けリストデータベース１０には、動線データベース６に格納された動線データと、人物画像データベース８に格納された人物画像データとについて、お互いの時刻データの差が最も小さい動線データと人物画像データとが紐付けられて、その動線ＩＤ及び人物ＩＤが撮影日時データとともに登録される。なお、撮影日時データでなく、動線ＩＤに対応した入店日時データを記憶してもよい。

ここに、人物−動線紐付け部９は、紐付け手段を構成する。紐付けリストデータベース１０は、紐付け記憶手段、詳しくは、お互いの時刻データの差が最も小さい動線データと画像データとの対応関係を記憶する手段を構成する。

人物動線追跡システムは、入力部１１、表示部１２及びデータ解析部１３を備えている。入力部１１は、例えばキーボードやポインティングデバイスであり、表示部１２は、液晶ディスプレイ、ＣＲＴディスプレイ等である。データ解析部１３は、入力部１１を介して入力されるデータに応じて、表示部１２に、動線とそれに紐付けられた人物画像とを表示させる。

データ解析部１３において実行される情報処理の手順を、図８の流れ図を用いて説明する。データ解析部１３は、動作モードが選択されるのを待機する（ＳＴ４１）。動作モードには、人物モードと動線モードと時間帯モードの３種類がある。入力部１１を介していずれかの動作モードが選択されたならば（ＳＴ４１のＹＥＳ）、データ解析部１３は、表示部１２に動線解析画面２０を表示させた後（ＳＴ４２）、選択されたモードの種類を識別する。

動線解析画面２０の一例を図９に示す。図示するように、動線解析画面２０は、動線表示領域２１と、カメラ画像表示領域２２と、リスト表示領域２３と、人物画像表示領域２４とに区分されている。

動線表示領域２１には、店内売場領域のマップ図が表示される。動線表示領域２１には、スクロールバー２５が設けられている。スクロールバー２５は、動線用カメラＣＡ１〜ＣＡ６の撮影時間に同期している。オペレータが、スクロールバー２５を画面に向かって左端から右端にスライドさせると、撮影時間が経過する。そして、その時間に各動線用カメラＣＡ１〜ＣＡ６で撮影された映像から検出された人物の動線２６が、該マップに重ねて表示される。

カメラ画像表示領域２２には、スクロールバー２５で指定された時間に各動線用カメラＣＡ１〜ＣＡ６で撮影された映像が表示される。図示するように、６台の動線用カメラＣＡ１〜ＣＡ６の映像を並べて同時に表示することができる。また、その中から選択された１乃至複数の動線用カメラの映像を拡大して表示することもできる。

動作モードとして人物モードが選択された場合、データ解析部１３は、人物画像データベース８の先頭レコードから順に人物画像データに付加されている人物ＩＤと撮影日時とを読出し、読み出した順番に各人物ＩＤと撮影日時とを対応付けてリスト表示領域２３に表示する（ＳＴ５１）。撮影日時は、月・日・時・分まで、あるいは月・日・時・分・秒までを表示する。月及び日を省略しても良い。この状態で、データ解析部１３は、いずれかの人物ＩＤが選択されるのを待機する（ＳＴ５２）。

入力部１１を介してリスト表示領域２３からいずれかの人物ＩＤが選択されたならば（ＳＴ５２のＹＥＳ）、データ解析部１３は、人物画像データベース８から当該選択された人物ＩＤに対応して記憶されている人物画像データを読出し、その人物画像を人物画像表示領域２４に表示させる（ＳＴ５３）。また、データ解析部１３は、紐付けリストデータベース１０を検索して、当該選択された人物ＩＤが紐付けられた動線ＩＤの有無を判別する（ＳＴ５４）。そして、該当する動線ＩＤが登録されていた場合には（ＳＴ５４のＹＥＳ）、データ解析部１３は、動線データベース６から当該動線ＩＤに対応して記憶されている動線データを読出し、その動線を動線表示領域２１に表示させる。また、この動線データの入店時刻から出店時刻までの間に撮影された各動線用カメラＣＡ１〜ＣＡ６の画像データを動線作成用映像データベース２から抽出し、動線表示領域２１に表示されている動線と同期して、各動線用カメラＣＡ１〜ＣＡ６の映像を各カメラ画像表示領域２２に表示させる（ＳＴ５５）。

しかる後、データ解析部１３は、処理の継続が指令されるか、終了が指令されるのを待機する（ＳＴ５６）。入力部１１を介して継続が指令された場合には（ＳＴ５６のＹＥＳ）、データ解析部１３は、ＳＴ５２の処理に戻り、次の人物ＩＤが選択されるのを待機する。入力部１１を介して終了が指令された場合には（ＳＴ５６のＮＯ）、今回の情報処理を終了する。

動作モードとして動線モードが選択された場合には、データ解析部１３は、動線データベース６の先頭レコードから順に動線データに付加されている動線ＩＤと入店日時とを読出し、読み出した順番に各動線ＩＤと入店日時とを対応付けてリスト表示領域２３に表示する（ＳＴ６１）。入店日時は、月・日・時・分まで、あるいは月・日・時・分・秒までを表示する。月及び日を省略しても良い。この状態で、データ解析部１３は、いずれかの動線ＩＤが選択されるのを待機する（ＳＴ６２）。

入力部１１を介してリスト表示領域２３からいずれかの動線ＩＤが選択されたならば（ＳＴ６２のＹＥＳ）、データ解析部１３は、動線データベース６から当該選択された動線ＩＤに対応して記憶されている動線データを読出し、その動線を動線表示領域２１に表示させる。また、この動線データの入店時刻から出店時刻までの間に撮影された各動線用カメラＣＡ１〜ＣＡ６の画像データを動線作成用映像データベース２から抽出し、動線表示領域２１に表示されている動線と同期して、各動線用カメラＣＡ１〜ＣＡ６の映像を各カメラ画像表示領域２２に表示させる（ＳＴ６３）。さらに、データ解析部１３は、紐付けリストデータベース１０を検索して、当該選択された動線ＩＤに紐付けられた人物ＩＤの有無を判別する（ＳＴ６４）。そして、該当する人物ＩＤが登録されていた場合には（ＳＴ６４のＹＥＳ）、データ解析部１３は、人物画像データベース８から当該人物ＩＤに対応して記憶されている人物画像データを読出し、その人物画像を人物画像表示領域２４に表示させる（ＳＴ６５）。

しかる後、データ解析部１３は、処理の継続が指令されるか、終了が指令されるのを待機する（ＳＴ６６）。入力部１１を介して継続が指令された場合には（ＳＴ６６のＹＥＳ）、データ解析部１３は、ＳＴ６２の処理に戻り、次の動線ＩＤが選択されるのを待機する。入力部１１を介して終了が指令された場合には（ＳＴ６６のＮＯ）、今回の情報処理を終了する。

動作モードとして時間帯モードが選択された場合には、データ解析部１３は、予め設定されている時間帯リストをリスト表示領域２３に表示させる（ＳＴ７１）。時間帯は、例えば１日の２４時間を１時間単位で区切った時間帯（０：００〜１：００、１：００〜２：００、２：００〜３：００、……、２３：００〜２４：００）とする。時間帯の間隔は１時間に限定されるものではなく、それより短い間隔、例えば３０分単位であっても、長い間隔、例えば２時間単位であってもよい。この状態で、データ解析部１３は、いずれかの時間帯が選択されるのを待機する（ＳＴ７２）。

入力部１１を介してリスト表示領域２３からいずれかの時間帯が選択されたならば（ＳＴ７２のＹＥＳ）、データ解析部１３は、動線データベース６を検索する。そして、現時点より２４時間前までの入店時刻が付加された動線データのうち、当該入店時刻が選択された時間帯に含まれる動線データの動線ＩＤを入店時刻が古い順に読出し、読み出した順番に各動線ＩＤと入店日時とを対応付けてリスト表示領域２３に表示する（ＳＴ７３）。この状態で、データ解析部１３は、いずれかの動線ＩＤが選択されるのを待機する（ＳＴ７４）。

入力部１１を介してリスト表示領域２３からいずれかの動線ＩＤが選択されたならば（ＳＴ７４のＹＥＳ）、データ解析部１３は、動線データベース６から当該選択された動線ＩＤに対応して記憶されている動線データを読出し、その動線を動線表示領域２１に表示させる。また、この動線データの入店時刻から出店時刻までの間に撮影された各動線用カメラＣＡ１〜ＣＡ６の画像データを動線作成用映像データベース２から抽出し、動線表示領域２１に表示されている動線と同期して、各動線用カメラＣＡ１〜ＣＡ６の映像を各カメラ画像表示領域２２に表示させる（ＳＴ７５）。また、データ解析部１３は、紐付けリストデータベース１０を検索して、当該選択された動線ＩＤに紐付けられた人物ＩＤの有無を判別する（ＳＴ７６）。そして、該当する人物ＩＤが登録されていた場合には（ＳＴ７６のＹＥＳ）、データ解析部１３は、人物画像データベース８から当該人物ＩＤに対応して記憶されている人物画像データを読出し、その人物画像を人物画像表示領域２４に表示させる（ＳＴ７７）。

しかる後、データ解析部１３は、処理の継続が指令されるか、終了が指令されるのを待機する（ＳＴ７８）。入力部１１を介して継続が指令された場合には（ＳＴ７８のＹＥＳ）、データ解析部１３は、ＳＴ７１の処理に戻り、時間帯リストをリスト表示領域２３に表示させる。そして、次の時間帯が選択されるのを待機する。入力部１１を介して終了が指令された場合には（ＳＴ７８のＮＯ）、今回の情報処理を終了する。

なお、時間帯を指定する前に日付を指定しても良い。その場合は、指定された日付に生成された動線データの中から、指定された時間帯に入店した客の動線ＩＤと入店時刻のデータをリスト表示領域２３に表示する。

ここに、データ解析部１３は、その処理ステップＳＴ６１により、表示部１２と協働して、画像記憶手段（人物画像データベース８）に記憶された画像データのリストを選択可能に表示するリスト表示手段を構成する。また、その処理ステップＳＴ６２〜ＳＴ６４により、入力部１１と協働して、リスト表示手段により表示されたリストの中からいずれかの画像データが選択されると、紐付け記憶手段（紐付けリストデータベース１０）に記憶されたデータから当該画像データに紐付けされた動線データを選択するデータ選択手段を構成する。さらに、その処理ステップＳＴ６５により、表示部１２と協働して、データ選択手段により選択された動線データの動線を、リストの中から選択された画像データの人物画像とともに表示する解析表示手段を構成する。

データ解析部１３は、その処理ステップＳＴ７１により、表示部１２と協働して動線記憶手段（動線データベース４）に記憶された動線データのリストを選択可能に表示するリスト表示手段を構成する。また、その処理ステップＳＴ７２〜ＳＴ７４により、入力部１１と協働して、リスト表示手段により表示されたリストの中からいずれかの動線データが選択されると、紐付け記憶手段（紐付けリストデータベース１０）に記憶されたデータから当該動線データに紐付けされた画像データを選択するデータ選択手段を構成する。さらに、その処理ステップＳＴ７５により、表示部１２と協働して、データ選択手段により選択された画像データの人物画像を、リストの中から選択された動線データの動線とともに表示する解析表示手段を構成する。

データ解析部１３は、その処理ステップＳＴ８１，ＳＴ８２により、入力部１１及び表示部１２と協働して、時間帯の指定入力を受け付ける時間帯指定手段を構成する。また、その処理ステップＳＴ８３により、表示部１２と協働して、時間帯指定手段により指定された時間帯の時刻データとともに記憶されている動線データのリストを表示するリスト表示手段を構成する。また、その処理ステップＳＴ８４〜ＳＴ８６により、リスト表示手段により表示されたリストの中からいずれかの動線データが選択されると、紐付け記憶手段（紐付けリストデータベース１０）に記憶されたデータから当該動線データに紐付けされた画像データを選択するデータ選択手段を構成する。さらに、その処理ステップＳＴ８７により、表示部１２と協働して、データ選択手段により選択された画像データの人物画像を、リストの中から選択された動線データの動線とともに表示する解析表示手段を構成する。

例えば今、オペレータが動線モードを選択する。そうすると、動線解析画面２０のリスト表示領域２３に、動線ＩＤのリストが表示される。ここで、オペレータが任意の動線ＩＤを選択する。そうすると、この動線ＩＤで特定される動線データの動線が動線解析画面２０の動線表示領域２１に表示される。また、この動線の動きと同期して、各動線用カメラＣＡ１〜ＣＡ６の映像が動線解析画面２０のカメラ画像表示領域２２に表示される。さらに、この動線ＩＤに対して人物ＩＤが紐付けられていた場合には、その人物ＩＤで特定される人物の顔画像が動線解析画面２０の人物画像表示領域２４に表示される。したがって、動線解析画面２０に表示された動線の動き、またはこの動線を生成するためのカメラ画像から、客が万引きなどの不正な行動を行ったと推定される場合、オペレータは、動線解析画面２０に表示された人物画像からその客の顔を容易に特定することができる。

このような作用効果は、人物モードを選択しても得られる。すなわち、オペレータが人物モードを選択すると、リスト表示領域２３に人物ＩＤのリストが表示される。ここで、オペレータが任意の人物ＩＤを選択すると、この人物ＩＤで特定される人物画像データの顔画像が人物画像表示領域２４に表示される。さらに、この人物ＩＤに対して動線ＩＤが紐付けられていた場合には、その動線ＩＤで特定される動線データの動線と、この動線に同期した各動線用カメラＣＡ１〜ＣＡ６の映像とが動線表示領域２１及びカメラ画像表示領域２２に表示される。したがって、動線の動き、またはカメラ画像から不正な行動を行ったと推定できる場合、オペレータは、その客の顔を特定することができる。

なお、人物モードにおいては、人物ＩＤでなく、それに対応した画像データから生成される顔画像をリストとして表示してもよい。そうすることにより、例えば過去に不正な行動をとったことのある客が来店していることをリストから知った場合、この客を選択操作することによって、オペレータは、この客の今回の店内での行動を追跡して再び不正な行動をしなかったかどうか判別することができる。

また、万引き等の不正な行動があった時間帯を特定できる場合には、オペレータは、時間帯モードを選択する。そうすると、リスト表示領域２３に時間帯リストが表示されるので、オペレータは、不正な行動があった時間帯を選択する。そうすると、その時間帯に入店した客の動線ＩＤリストが表示されるので、オペレータは、任意の動線ＩＤを選択する。そうすると、動線モードのときと同様に作用する。すなわち、万引きなどの不正な行動を行ったと推定される客の顔を容易に特定することができる。

このように、時間帯モードは、動線モードや人物モードと比較してリストに掲載される動線ＩＤの数を絞ることができるので、不正行為者の同定作業に要する手間と時間を軽減することができる。

なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。

例えば、データ解析部１３の時間帯モードにおいて、時間帯リストからいずれかの時間帯が選択された場合、前記実施の形態では、その時間帯に入店した客の動線ＩＤリストを表示し、いずれかの動線ＩＤが選択されると、その動線と当該動線に紐付けられた人物画像とを同一画面に表示するようにした。しかし、本発明はこれに限定されるものではない。例えば、選択された時間帯に撮影された人物画像の人物ＩＤリストを表示し、いずれかの人物ＩＤが選択されると、その人物画像と当該画像に紐付けられた動線とを同一画面に表示するようにしてもよい。この変形例におけるデータ解析部１３の情報処理手順を、図１０の流れ図で示す。同図において、処理ステップＳＴ８１〜ＳＴ８８が、上記変形例の部分に相当する。

また、前記実施の形態では、人物特定用画像を人物特定用映像データベース３に一旦保存し、その画像を人物抽出部５が読み出して人物画像を抽出したが、人物特定用映像データベース３の代わりに録画用サーバを設け、このサーバで録画された映像を人物抽出部５がリアルタイムで取得して人物画像を抽出してもよい。

また、前記実施の形態では、複数の広角レンズカメラで撮影された映像から動線を生成したが、動線生成方法はこれに限定されるものではない。例えば、広角レンズカメラでなく通常レンズカメラを用いて動線を生成してもよい。また、例えば特開２００６−２３６１４６号公報などに開示されているように、人物が携帯するＲＦＩＤタグを、店の各所に配置されたＲＦＩＤリーダで追跡することによって、動線を生成してもよい。

なお、本実施の形態は、カメラコントロール部１を実装したパーソナルコンピュータ上に、動線作成部４、人物抽出部５、人物−動線紐付け部９及びデータ解析部１３をソフトウェアで構築することによって実現することが可能である。

この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。

本発明の一実施の形態である人物動線追跡システムの構成を示すブロック図。 同実施の形態が適用される店舗の売場領域平面図。 図１における動線データベースのデータ構造を示す模式図。 図１における人物画像データベースのデータ構造を示す模式図。 図１における紐付けリストデータベースのデータ構造を示す模式図。 図１における人物抽出部の情報処理手順を示す流れ図。 図１における人物−動線紐付け部の情報処理手順を示す流れ図。 図１におけるデータ解析部の情報処理手順を示す流れ図。 本実施の形態において、データ解析部の処理により表示される動線解析画面の一例を示す図。 図１におけるデータ解析部の他の情報処理手順を示す流れ図。

符号の説明

１…カメラコントロール部、２…動線作成用映像データベース、３…人物特定用映像データベース、４…動線作成部、５…人物抽出部、６…動線データベース、７…人物辞書データベース、８…人物画像データベース、９…人物−動線紐付け部、１０…紐付けリストテーブル、１１…入力部、１２…表示部、１３…データ解析部。

Claims (6)

1. 監視領域内を移動する人物の頭部を撮影する複数台の広角レンズカメラと、
   前記各広角レンズカメラで撮影された画像から視体積交差法により前記監視領域内を移動する人物の軌跡を追跡して人物毎に動線データを生成する人物動線生成手段と、
   この人物動線生成手段により生成された動線データを記憶する動線記憶手段と、
   前記監視領域内の前記人物の顔を撮影可能な位置にて前記広角レンズカメラよりも少数でかつ前記広角レンズカメラよりも歪の小さい監視用カメラで前記人物の顔画像を撮影する撮影手段と、
   この撮影手段により撮影された映像から前記人物の顔を含む画像データを抽出する画像抽出手段と、
   この画像抽出手段により抽出された画像データを記憶する画像記憶手段と、
   前記動線データをその動線データに該当する人物の顔が含まれる画像データと紐付ける紐付け手段と、
   前記動線データとその動線データに紐付けられた前記画像データとの対応関係を記憶する紐付け記憶手段と、
   を具備したことを特徴とする人物動線追跡システム。
2. 前記動線記憶手段は、各動線データを、その動線データに該当する人物が前記監視領域内の所定の位置に位置したときの時刻データとともに記憶し、
   前記画像記憶手段は、各画像データを、その画像が撮影された時刻データとともに記憶し、
   前記紐付け手段は、お互いの時刻データの差が最も小さい動線データと画像データとを紐付けることを特徴とする請求項１記載の人物動線追跡システム。
3. 前記動線記憶手段に記憶された動線データを選択可能にリストとして表示するリスト表示手段と、
   このリスト表示手段により表示されたリストの中からいずれかの動線データが選択されると、前記紐付け記憶手段に記憶されたデータに基づいて当該動線データに紐付けされた画像データを選択するデータ選択手段と、
   このデータ選択手段により選択された画像データの人物画像を、前記リストの中から選択された動線データの動線とともに表示する解析表示手段と、
   をさらに具備したことを特徴とする請求項１記載の人物動線追跡システム。
4. 前記画像記憶手段に記憶された画像データを選択可能にリストとして表示するリスト表示手段と、
   このリスト表示手段により表示されたリストの中からいずれかの画像データが選択されると、前記紐付け記憶手段に記憶されたデータに基づいて当該画像データに紐付けされた動線データを選択するデータ選択手段と、
   このデータ選択手段により選択された動線データの動線を、前記リストの中から選択された画像データの人物画像とともに表示する解析表示手段と、
   をさらに具備したことを特徴とする請求項１記載の人物動線追跡システム。
5. 時間帯の指定入力を受け付ける時間帯指定手段と、
   この時間帯指定手段により指定された時間帯の時刻データとともに記憶されている動線データのリストを表示するリスト表示手段と、
   このリスト表示手段により表示されたリストの中からいずれかの動線データが選択されると、前記紐付け記憶手段に記憶されたデータに基づいて当該動線データに紐付けされた画像データを選択するデータ選択手段と、
   このデータ選択手段により選択された画像データの人物画像を、前記リストの中から選択された動線データの動線とともに表示する解析表示手段と、
   をさらに具備したことを特徴とする請求項２記載の人物動線追跡システム。
6. 時間帯の指定入力を受け付ける時間帯指定手段と、
   この時間帯指定手段により指定された時間帯の時刻データとともに記憶されている画像データのリストを表示するリスト表示手段と、
   このリスト表示手段により表示されたリストの中からいずれかの画像データが選択されると、前記紐付け記憶手段に記憶されたデータに基づいて当該画像データに紐付けされた動線データを選択するデータ選択手段と、
   このデータ選択手段により選択された動線データの動線を、前記リストの中から選択された画像データの人物画像とともに表示する解析表示手段と、
   をさらに具備したことを特徴とする請求項２記載の人物動線追跡システム。

Images