JP6314987B2 - 店舗内顧客行動分析システム、店舗内顧客行動分析方法および店舗内顧客行動分析プログラム - Google Patents

Description

本発明は、店内の顧客の行動を分析するための店舗内顧客行動分析システム、店舗内顧客行動分析方法および店舗内顧客行動分析プログラムに関する。

監視カメラ等を用いて店内の顧客の行動を分析する方法として、例えば、ＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）システムの端末（以下、ＰＯＳレジという。）に設置されたカメラで顧客の顔画像を取得し、これと売り場の画像とを照合して、顧客を割り出し、ＰＯＳの購買データと、売り場の画像から算出した顧客の動線とを対応付ける方式がある（例えば、特許文献１参照。）。特許文献１に記載された方式は、画像内の動線の終点到達時刻Ｔｎが、取引時刻Ｔｘから平均滞在時間αだけ前の時刻Ｔｘ−αからＴｘの間に収まるデータを検索し、データと動線との対応付けを行う。

また例えば、顧客の店内における全動線を算出し、店内をメッシュ状に区切って、各ブロックに滞留する時間を計測する方式がある（例えば、特許文献２参照。）。特許文献２に記載された方式は、各ブロックに顧客が単位時間滞在するごとにスコアをカウントし、ブロック毎の滞在時間や滞在者数を算出する。

特開２０１１−１７０５６５号公報 特開２０１１−２４８８３６号公報

特許文献１に記載された方式では、動線を抽出するには、通常、顧客の全身が映った売り場の画像を用いる必要がある。そのような画像に映る顧客の顔は、小さく、また、正面を向いていない場合がある。従って、顧客の全身が映った売り場の画像は、顔照合には適さない。そのため、購買データと動線との自動による対応付けが困難であるという問題がある。

一方、服による照合を行う場合には、ＰＯＳレジのカメラでは、十分に服が撮影できないため、売り場の画像と照合する際に誤判定が増え、購買データと動線との対応付けができないという問題がある。確実に対応付けられた顧客のみを行動分析の対象として扱おうとすると、対応付けられた購買客については、その購買客の店内の動きは把握できるが、対応付けられなかった顧客については、非購買客なのか、または、購買客だが対応付けられなかったのかの判定ができない。このため、購買客、非購買客に分けて売り場滞留時間などの店内行動に関する統計量を取得することができない。

また、特許文献１では、購買データと動線との対応付けを行う別の方式として、対応付けを人手で行う方式が開示されている。また、その操作を行うインターフェースも開示されている。しかし、人手で対応付けを行う場合には、非常に膨大な作業が必要になり、大量のデータを扱うコストが大きくなるという問題がある。

特許文献２に記載された方式では、人物動線と購買データとの結びつけは行っておらず、購買客、非購買客に分けた滞留時間を算出することはできない。一方、特許文献２に記載された方式で購買客、非購買客を判定しようとすると、顧客が売り場で商品を手にとってからＰＯＳレジでチェックアウトするまで動線を繋ぐ必要がある。従って、客同士のすれ違いや重なりが多い店舗状況では、購買客、非購買客の判定が非常に困難になる。このように、特許文献２に記載された方式は、購買客、非購買客に分けた統計量を算出することが困難であるという問題がある。

そこで、本発明は、売り場とレジとの間の顧客の移動を予測し、決済装置によって記録される商取引決済データと顧客の動線とを確率的に対応付けることによって、購買客・非購買客別の店内行動に関する統計量を算出可能とする店舗内顧客行動分析システム、店舗内顧客行動分析方法および店舗内顧客行動分析プログラムを提供することを目的とする。

本発明による店舗内顧客行動分析システムは、決済装置によって記録される商取引決済データと、商品が陳列されている位置を示す商品陳列情報とから、特定の領域に置かれている商品の購買時刻と位置を表す情報を購買情報として抽出する購買情報抽出手段と、特定の領域を撮影する映像から人物を検出して追跡し、人物の位置の時系列情報を算出して第１の人物追跡情報を生成する第１の人物検出・追跡手段と、第１の人物追跡情報から、購買情報が示す商品の位置から各人物が離れた時刻を算出し、該時刻と該商品の購買時刻との差と、決済装置が設置された領域と特定の領域との間の移動にかかる時間を表す移動予測情報とから、各人物が購買客かどうかの確からしさを表す購買・非購買尤度を算出する購買・非購買尤度算出手段とを備えることを特徴とする。

本発明による店舗内顧客行動分析方法は、決済装置によって記録される商取引決済データと、商品が陳列されている位置を示す商品陳列情報とから、特定の領域に置かれている商品の購買時刻と位置を表す情報を購買情報として抽出し、特定の領域を撮影する映像から人物を検出して追跡し、人物の位置の時系列情報を算出して第１の人物追跡情報を生成し、第１の人物追跡情報から、購買情報が示す商品の位置から各人物が離れた時刻を算出し、該時刻と該商品の購買時刻との差と、決済装置が設置された領域と特定の領域との間の移動にかかる時間を表す移動予測情報とから、各人物が購買客かどうかの確からしさを表す購買・非購買尤度を算出することを特徴とする。

本発明による店舗内顧客行動分析プログラムは、コンピュータに、決済装置によって記録される商取引決済データと、商品が陳列されている位置を示す商品陳列情報とから、特定の領域に置かれている商品の購買時刻と位置を表す情報を購買情報として抽出する処理と、特定の領域を撮影する映像から人物を検出して追跡し、人物の位置の時系列情報を算出して第１の人物追跡情報を生成する処理と、第１の人物追跡情報から、購買情報が示す商品の位置から各人物が離れた時刻を算出し、該時刻と該商品の購買時刻との差と、決済装置が設置された領域と特定の領域との間の移動にかかる時間を表す移動予測情報とから、各人物が購買客かどうかの確からしさを表す購買・非購買尤度を算出する処理とを実行させることを特徴とする。

本発明によれば、売り場とレジとの間の顧客の移動を予測し、決済装置によって記録される商取引決済データと顧客の動線とを確率的に対応付けることによって、購買客・非購買客別の店内行動に関する統計量を算出可能とすることができる。

本発明による店舗内顧客行動分析システムの第１の実施形態の構成を示すブロック図である。 ＰＯＳデータの具体例を示す説明図である。 商品陳列情報の具体例を示す説明図である。 移動予測情報の一例を示す説明図である。 本発明による店舗内顧客行動分析システムの第２の実施形態の構成を示すブロック図である。 本発明による店舗内顧客行動分析システムの第３の実施形態の構成を示すブロック図である。 本発明による店舗内顧客行動分析システムの第４の実施形態の構成を示すブロック図である。 本発明による店舗内顧客行動分析システムの最小構成を示すブロック図である。

実施形態１．
以下、本発明の第１の実施形態を図面を参照して説明する。

図１は、本発明による店舗内顧客行動分析システムの第１の実施形態の構成を示すブロック図である。図１に示すように、店舗内顧客行動分析システムは、第１の人物検出・追跡手段１００（以下、単に人物検出・追跡手段１００という。）と、購買情報抽出手段１０１と、購買・非購買尤度算出手段１０２と、購買・非購買客統計量算出手段１０３と、商品陳列情報蓄積手段１０４と、移動予測情報蓄積手段１０５とを備える。

人物検出・追跡手段１００には、売り場を撮影するカメラから、売り場の映像（以下、売り場映像という。）が入力される。人物検出・追跡手段１００は、売り場映像から人物を検出し、フレーム間で追跡し、人物の位置の時系列情報を算出して第１の人物追跡情報（以下、単に人物追跡情報ともいう。）を生成する。人物検出・追跡手段１００は、人物追跡情報を購買・非購買尤度算出手段１０２と、購買・非購買客統計量算出手段１０３へ出力する。

購買情報抽出手段１０１は、ＰＯＳデータと商品陳列情報とから、カメラの位置、具体的にはカメラが監視している位置ごとの購買情報を抽出し、購買・非購買尤度算出手段１０２へ出力する。

購買・非購買尤度算出手段１０２は、購買情報抽出手段１０１から出力される購買情報と、人物検出・追跡手段１００から出力される人物追跡情報とから購買・非購買尤度を算出し、算出結果を購買・非購買尤度情報として購買・非購買客統計量算出手段１０３へ出力する。

購買・非購買客統計量算出手段１０３は、人物検出・追跡手段１００から出力される人物追跡情報と、購買・非購買尤度算出手段１０２から出力される購買・非購買尤度情報とから、店内における人物行動に関する統計量を購買・非購買客のそれぞれに対して算出し、算出結果を購買・非購買客統計データとして出力する。

商品陳列情報蓄積手段１０４は、商品陳列情報を記憶する。

移動予測情報蓄積手段１０５は、移動予測情報を記憶する。

なお、人物検出・追跡手段１００、購買情報抽出手段１０１、購買・非購買尤度算出手段１０２および購買・非購買客統計量算出手段１０３は、例えば、店舗内顧客行動分析プログラムに従って動作するコンピュータによって実現される。この場合、ＣＰＵが店舗内顧客行動分析プログラムを読み込み、そのプログラムに従って、人物検出・追跡手段１００、購買情報抽出手段１０１、購買・非購買尤度算出手段１０２および購買・非購買客統計量算出手段１０３として動作する。また、人物検出・追跡手段１００、購買情報抽出手段１０１、購買・非購買尤度算出手段１０２および購買・非購買客統計量算出手段１０３が別々のハードウェアで実現されていてもよい。

また、商品陳列情報蓄積手段１０４および移動予測情報蓄積手段１０５は、店舗内顧客行動分析システムが備える光ディスク装置や磁気ディスク装置、メモリ等の記憶装置によって実現される。

次に、本実施形態の動作を説明する。

顧客の購買行動を解析したい売り場の映像は、売り場に設置されたカメラによって撮影され、人物検出・追跡手段１００へ入力される。カメラからリアルタイムで映像が取得され、処理が行われるようにしてもよいし、売り場映像を録画しておき、録画した映像が取得され、オフラインで処理が行われるようにしてもよい。

人物検出・追跡手段１００は、入力される映像から人物を検出する。人物の検出は、背景差分に基づく方法や、人物の特徴を学習した識別器など、既存の方法や手段を用いて実施される。

人物検出・追跡手段１００は、さらに、フレーム間で人物を追跡する。人物追跡には、カルマンフィルタに基づく方法や、パーティクルフィルタに基づく方法など、既存の方法を用いることができる。人物検出・追跡手段１００は、人物を検出し、追跡した結果として、追跡された人物ごとに、各時刻における人物の位置を算出する。人物検出・追跡手段１００は、算出結果を人物追跡情報として出力する。この際、人物追跡情報は、画像上の位置情報であってもよいし、カメラのキャリブレーション情報を用いて、実際のフロア上の座標に変換されたものであってもよい。

一方、ＰＯＳデータは、購買情報抽出手段１０１へ入力される。

購買情報抽出手段１０１は、ＰＯＳデータと、商品陳列情報蓄積手段１０４が記憶する商品陳列情報とから、人物検出・追跡手段１００に入力される売り場映像に映っている領域にある、売れた商品に関する購買データを抽出する。ここで、ＰＯＳデータは、レジで店員が顧客の購入商品をチェックアウトしたときに記録されるデータである。商品陳列情報は、各商品が店内のどの位置に置かれているかを示す情報である。

図２は、ＰＯＳデータの具体例を示す説明図である。図３は、商品陳列情報の具体例を示す説明図である。図２に示す購買記録ＩＤは、まとめてチェックアウトした品物ごとに付与されるＩＤであり、レジ決済時刻は、売り上げが記録された時刻、つまり購買時刻である。図３（ａ）は、各商品を識別するためのＩＤと商品置き場（棚）を識別するためのＩＤとを対応付ける表である。図３（ｂ）は、各商品置き場を識別するためのＩＤと、各商品置き場の実空間上の座標とを対応付ける表である。

図２および図３に示すような表を用いることにより、各商品の置かれている位置の実空間内での座標を求めることができる。なお、図３（ｂ）では、３次元座標（Ｘ座標、Ｙ座標、Ｚ座標）を用いた対応表を例示しているが、高さ方向の情報が不要な場合には、フロア上の２次元座標（例えば、Ｘ座標、Ｙ座標）のみを実空間上の位置として記述すればよい。

商品陳列情報により、ＰＯＳレジで売り上げが記録された各商品が、店内のどの位置に置かれていたものであるかを判定することができる。そのため、売り場映像に映っている領域の情報を、店舗内顧客行動分析システムが備える記憶手段（図示せず）に予め入力しておけば、購買情報抽出手段１０１は、その情報をもとに、売り場映像に映っている領域に置かれた商品に関する購買データのみを抽出できる。そして、購買情報抽出手段１０１は、売り上げが記録された時刻と、商品が置かれている位置情報とを購買情報として出力する。

購買情報は、人物追跡情報とともに購買・非購買尤度算出手段１０２へ入力される。

購買・非購買尤度算出手段１０２は、購買情報と、移動予測情報蓄積手段１０５が記憶する移動予測情報とから、人物追跡情報に含まれる各人物の追跡結果が購買客、非購買客に属する尤度を算出する。

ここで、移動予測情報は、売り場で商品を手にとってから実際にレジに行くまでにかかる時間の分布を表す情報である。この分布は、ヒューリスティックに定められてもよいし、過去のデータ等から学習によって定められてもよい。図４は、移動予測情報の一例を示す説明図である。図４に示す例は、購買時刻Ｔ_０からの時間差τ=ｔ−Ｔ_０に対する関数ｆ（τ）として時間の分布を表している。このような関数は、売り場から移動してレジで会計を行うまでの平均時間と分散の値から正規分布等が仮定されて求められてもよいし、実際の顧客行動を調べたデータが収集されて求められてもよい。

なお、購買・非購買尤度算出手段１０２は、人物追跡情報から、どちらの方向に移動したかを判定し、それに応じて、購買尤度、非購買尤度の算出に用いる移動予測情報を切り替えてもよい。例えば、顧客が売り場からレジ側に動いてカメラ画角外に移動した場合と、顧客がレジとは反対側に動いてカメラ画角外に移動した場合のそれぞれに対して移動予測情報を求めておき、人物追跡情報に基づいて、どちらのケースかを判定して、移動予測情報を切り替えて用いるようにしてもよい。

購買・非購買尤度算出手段１０２は、この移動予測情報を用いて、人物追跡情報に含まれる各人物、具体的には人物追跡情報に含まれる追跡結果に対応する各人物の購買尤度、非購買尤度を算出する。具体的には、購買・非購買尤度算出手段１０２は、人物追跡情報から、各人物が購買情報に含まれる商品の位置から離れた時刻Ｔ_１を求める。この際、商品の位置から離れた後でカメラの画角外に立ち去った時刻をＴ_１としてもよい。そして、購買・非購買尤度算出手段１０２は、Ｔ_１から見て最も近い未来の購買時刻Ｔ_０との差τ_０=Ｔ_１−Ｔ_０を求め、移動予測情報に基づいて、その人物が購買客である尤度ｆ（τ_０）を求める。

一方、非購買客が商品の位置に存在する尤度は、売り上げが記録された時刻とは無関係に存在する。ここで、非購買客が商品の位置に存在する尤度をｇとする。購買・非購買尤度算出手段１０２は、ｆ（τ_０）とｇの比率により、購買尤度、非購買尤度を算出する。すなわち、購買・非購買尤度算出手段１０２は、購買尤度をｆ（τ_０）／（ｆ（τ_０）＋ｇ）、非購買尤度をｇ／（ｆ（τ_０）＋ｇ）によって算出する。購買・非購買尤度算出手段１０２は、各人物に対する購買尤度、非購買尤度の算出結果を購買・非購買尤度情報として、購買・非購買客統計量算出手段１０３へ出力する。

なお、ｇは、時間帯や季節、または、特定のイベント（クリスマス、バレンタインデーなど）によって変動する可能性がある。従って、ｇは、これらの影響が考慮されて決定された値であってもよい。例えば、酒のコーナーの場合には、午前中に立ち寄る人は少ないが、夕方以降から増えるといった、事前に分かっている知識を反映させてｇを決定してもよい。また、夏の方がビールの前に立ち寄る人が多いということが分かっていれば、このような知識を反映させてｇを決定してもよい。また、一定期間実際のデータを収集し、データを使って学習させてｇの値を決定するようにしてもよい。

購買・非購買客統計量算出手段１０３は、購買・非購買尤度情報を用いて人物追跡情報を解析して得られる統計量を算出する。すなわち、購買・非購買客統計量算出手段１０３は、購買尤度、非購買尤度に基づいて、人物追跡情報を解析して得られる購買行動に関する観測量、つまり統計量算出の対象となるデータに重みづけを行って、統計量を集計する。例えば、商品の棚の前の滞留時間の平均値を算出する場合には、購買・非購買客統計量算出手段１０３は、各人物の追跡結果から棚の前の滞留時間を算出し、これに購買尤度、非購買尤度の重みを乗じて平均を算出する。より具体的には、購買尤度、非購買尤度がそれぞれ０．７、０．３であるとすると、購買・非購買客統計量算出手段１０３は、購買客の平均滞留時間を算出する場合には、滞留時間に０．７を乗じて集計し、非購買客の平均滞留時間を算出する場合には、滞留時間に０．３を乗じて集計する。これにより、購買客、非購買客の棚の前の滞留時間を算出できる。このように購買尤度、非購買尤度に基づいて重み付けを行うことにより、滞留時間以外にも、滞留人数など、顧客の店内行動に関する様々な統計量を、購買客、非購買客に分けて算出することができる。購買・非購買客統計量算出手段１０３は、集計した統計データを、購買・非購買客統計データとして出力する。

なお、この集計において、尤度が高く、信頼性が高い値のみを集計に用いるようにしてもよい。例えば、購買尤度、非購買尤度がそれぞれ０．７以上である人物の統計量のみを集計することが考えられる。これにより、確からしいデータのみを用いて統計量を算出することができる。また、取得した画像などのデータを後から確認できるようにシステムを構築した場合には、尤度が低い人物のデータのみを抽出し、人手で確認することも考えられる。

以上に説明したように、本実施形態では、ＰＯＳデータと商品陳列情報と移動予測情報を用いて、顧客が売り場にいた時刻を推定し、実際の売り場の画像を用いて、売り場にいる人物がその顧客かどうかを確率的に判定する。それにより、売り場の画像に映っている人が購買客か非購買客かを確率的に判定することができる。よって、人物追跡情報に含まれる人物追跡結果を購買客・非購買客に明確に対応付けることなく、購買客と非購買客とに分けた店内行動に対する統計量の算出が可能となる。つまり、購買データと動線との対応付けが確実にはできない場合であっても、動線情報から取得可能な店内行動に関する統計量を購買客・非購買客別に算出できるようになる。従って、購買客と非購買客とで、滞留時間等の統計にどのような差があるかを知ることができるようになり、以後の販促方針の決定やレイアウト変更等に役立てることができるようになる。

実施形態２．
以下、本発明の第２の実施形態を図面を参照して説明する。

図５は、本発明による店舗内顧客行動分析システムの第２の実施形態の構成を示すブロック図である。図５に示すように、第２の実施形態における店舗内顧客行動分析システムは、人物検出・追跡手段１００と、購買情報抽出手段１０１と、購買・非購買尤度算出手段１０２と、購買・非購買客統計量算出手段２０３と、商品陳列情報蓄積手段１０４と、移動予測情報蓄積手段１０５と、人物行動解析手段２１０とを備える。

図５に示すように、本実施形態では、人物検出・追跡手段１００の出力が、購買・非購買尤度算出手段１０２と人物行動解析手段２１０とへ入力される。また、購買・非購買尤度算出手段１０２の出力が、購買・非購買客統計量算出手段２０３へ入力される。

人物行動解析手段２１０は、売り場映像と人物検出・追跡手段１００から出力される人物追跡情報とから人物行動解析情報を生成し、購買・非購買客統計量算出手段２０３へ出力する。

購買・非購買客統計量算出手段２０３は、購買・非購買尤度算出手段１０２から出力される購買・非購買尤度情報と、人物行動解析手段２１０から出力される人物行動解析情報とから購買・非購買客統計データを算出する。

購買・非購買客統計量算出手段２０３および人物行動解析手段２１０以外の構成は、第１の実施形態の構成と同様である。

なお、購買・非購買客統計量算出手段２０３および人物行動解析手段２１０は、例えば、店舗内顧客行動分析プログラムに従って動作するコンピュータによって実現される。この場合、ＣＰＵが店舗内顧客行動分析プログラムを読み込み、そのプログラムに従って、購買・非購買客統計量算出手段２０３および人物行動解析手段２１０として動作する。また、購買・非購買客統計量算出手段２０３および人物行動解析手段２１０が別々のハードウェアで実現されていてもよい。

次に、本実施形態の動作を説明する。

人物行動解析手段２１０と購買・非購買客統計量算出手段２０３以外の各手段の動作は、第１の実施形態と同様であるため、説明を省略する。

人物行動解析手段２１０は、人物追跡情報に含まれる各人物に対して、売り場映像からその人物の行動を解析する。例えば、人物行動解析手段２１０は、人物の向きを検出したり、人物の姿勢変動、例えばしゃがんだり屈んだりしたかどうかを検出したりする。また例えば、人物行動解析手段２１０は、人物が売り場近くできょろきょろしたかどうか、手を伸ばしたかどうかを検出してもよい。

これらの行動は、特定の姿勢や動作を学習させた識別器を用いて検出される。例えば、検出の対象となる動作をニューラルネットワーク等によって学習させることにより、識別器を構築することができる。

人物行動解析手段２１０は、検出した動作に関する情報を、その種別とその状態を表す情報（例えば継続時間や動作の速さ、大きさ）を人物と対応付けて、人物行動解析情報として購買・非購買客統計量算出手段２０３へ出力する。

購買・非購買客統計量算出手段２０３は、人物行動解析手段２１０から出力される人物行動解析情報を、購買・非購買尤度算出手段１０２から出力される購買・非購買尤度情報によって重みづけして集計する。そして、購買・非購買客統計量算出手段２０３は、購買客、非購買客に分けて店内における顧客の行動の統計量を算出する。なお、統計量の算出方法は、第１の実施形態と同様である。

このようにして、購買・非購買客統計量算出手段２０３は、例えば、顧客が屈んだ回数や、商品を手に取った回数などの統計量を算出する。そして、購買・非購買客統計量算出手段２０３は、算出結果を購買・非購買客統計データとして出力する。

以上に説明したように、本実施形態では、人物の追跡情報だけからでは得られない人物の行動に関する統計量も、購買客、非購買客に分けて算出することができる。

実施形態３．
以下、本発明の第３の実施形態を図面を参照して説明する。

図６は、本発明による店舗内顧客行動分析システムの第３の実施形態の構成を示すブロック図である。図６に示すように、第３の実施形態における店舗内顧客行動分析システムは、第１の人物検出・追跡手段３００（以下、単に人物検出・追跡手段３００という。）と、購買情報抽出手段１０１と、購買・非購買尤度算出手段３０２と、購買・非購買客統計量算出手段１０３と、商品陳列情報蓄積手段１０４と、第２の人物検出・追跡手段３２０（以下、単に人物検出・追跡手段３２０という。）と、移動予測情報算出手段３２１と、カメラ配置情報蓄積手段３２２とを備える。

人物検出・追跡手段３００は、人物検出・追跡手段１００と同様に、売り場映像から人物を検出し、追跡する。ただし、人物検出・追跡手段３００は、売り場映像から人物を検出する際に、服などの人物の特徴を表す情報も抽出する。

人物検出・追跡手段３２０には、レジ前を撮影するカメラから、レジ前の映像（以下、レジ前映像という。）が入力される。また、人物検出・追跡手段３２０には、ＰＯＳデータが入力される。人物検出・追跡手段３２０は、ＰＯＳデータとレジ前映像とから第２の人物追跡情報を算出し、購買・非購買尤度算出手段３０２と、移動予測情報算出手段３２１へ出力する。

移動予測情報算出手段３２１は、カメラ配置情報蓄積手段３２２が記憶するカメラ配置情報と、人物検出・追跡手段３２０から出力される第２の人物追跡情報とから移動予測情報を算出し、購買・非購買尤度算出手段３０２へ出力する。

カメラ配置情報蓄積手段３２２は、カメラ配置情報を記憶する。

購買・非購買尤度算出手段３０２は、人物検出・追跡手段３００から出力される第１の人物追跡情報と、購買情報抽出手段１０１から出力される購買情報と、人物検出・追跡手段３２０から出力される第２の人物追跡情報と、移動予測情報算出手段３２１から出力される移動予測情報とから、購買・非購買尤度情報を算出し、購買・非購買客統計量算出手段１０３へ出力する。

購買情報抽出手段１０１、購買・非購買客統計量算出手段１０３および商品陳列情報蓄積手段１０４は、第１の実施形態と同様である。

なお、人物検出・追跡手段３００、購買・非購買尤度算出手段３０２、人物検出・追跡手段３２０および移動予測情報算出手段３２１は、例えば、店舗内顧客行動分析プログラムに従って動作するコンピュータによって実現される。この場合、ＣＰＵが店舗内顧客行動分析プログラムを読み込み、そのプログラムに従って、人物検出・追跡手段３００、購買・非購買尤度算出手段３０２、人物検出・追跡手段３２０および移動予測情報算出手段３２１として動作する。また、人物検出・追跡手段３００、購買・非購買尤度算出手段３０２、人物検出・追跡手段３２０および移動予測情報算出手段３２１が別々のハードウェアで実現されていてもよい。

また、カメラ配置情報蓄積手段３２２は、店舗内顧客行動分析システムが備える光ディスク装置や磁気ディスク装置、メモリ等の記憶装置によって実現される。

次に、本実施形態の動作を説明する。

購買情報抽出手段１０１、購買・非購買客統計量算出手段１０３の動作は、第１の実施形態と同様であるため、説明を省略する。

人物検出・追跡手段３００は、入力される売り場映像から人物を抽出し、フレーム間で人物を追跡する。この方式としては、人物検出・追跡手段１００と同様の方式を用いることができる。ただし、人物検出・追跡手段３００は、服などの人物の特徴を表す情報も一緒に抽出し、第１の人物追跡情報に含めて出力する。

服の特徴量には、服の代表色や、服の色のヒストグラム、服の模様情報などが抽出されて用いられる。また、服だけでなく、その人物が携帯しているバッグやカート、買い物かご、ベビーカーなどの携帯品の情報も一緒に第１の人物追跡情報に含められてもよい。持ち物についても、色や模様の情報、または、形状の情報が抽出され、特徴量として用いられる。また、人物が帽子やマスク、メガネなどを身につけている場合には、それらの情報も抽出されてもよい。また、髪の毛の情報や肌の色など、それ以外にも、人物の特徴を表す情報が抽出されて用いられてもよい。また、人物が杖をついているなど、人物の歩き方に特徴がある場合には、その特徴を示す情報が抽出されて用いられるようにしてもよい。

人物検出・追跡手段３２０は、入力されるレジ前映像から人物を抽出し、フレーム間で人物を追跡する。この方式としては、人物検出・追跡手段１００と同様の方式を用いることができる。ただし、人物検出・追跡手段３２０は、人物検出・追跡手段３００と同様に、服などの人物の特徴を表す情報も一緒に抽出する。さらに、人物検出・追跡手段３２０は、入力されるＰＯＳデータの時刻情報から、ＰＯＳの売り上げが記録された時刻にレジ前にいる人物を求め、その人物と売り上げが記録された購買データとを対応付ける。

このように、人物検出・追跡手段３２０は、各人物の追跡情報に、ＰＯＳデータとの対応付けを示す情報と、その人物の特徴量とを付随させた情報を、第２の人物追跡情報として、移動予測情報算出手段３２１と購買・非購買尤度算出手段３０２とへ出力する。

移動予測情報算出手段３２１は、カメラ配置情報蓄積手段３２２が記憶するカメラ配置情報と第２の人物追跡情報とから、各人物の移動予測情報を求めて出力する。カメラ配置情報は、店内のカメラの配置、および各カメラが監視している領域を表す情報である。

移動予測情報算出手段３２１は、カメラ配置情報により、売り場のカメラとレジ前のカメラとがどれだけ離れた位置を監視しているかに関する情報を取得する。そして、移動予測情報算出手段３２１は、その情報をもとに、顧客が売り場の商品の位置で品物をとって売り場のカメラの画角外に消えた後、レジ前のカメラに現れるまで、つまりレジ待ちの行列に並ぶまでの時間を予測する。

例えば、移動予測情報算出手段３２１は、売り場のカメラとレジ前のカメラのそれぞれの監視対象領域の間の距離から移動にかかる時間を推測し、移動予測情報を算出する。この際、移動予測情報算出手段３２１は、第２の人物追跡情報に含まれる人物追跡結果から、顧客がどちらの方向から来てレジに並んだかという方向の情報も考慮して、移動予測情報を算出してもよい。例えば、売り場からレジ前に行く経路が複数ある場合には、移動予測情報算出手段３２１は、人物追跡結果から、顧客が売り場からレジへの移動に通ったルートを推定し、移動予測情報を算出してもよい。また、移動予測情報算出手段３２１は、人物追跡結果から、顧客がレジ前に並ぶ前の移動速度も算出し、当該移動速度も考慮して移動予測情報を算出してもよい。

移動予測情報算出手段３２１は、算出した移動予測情報を、購買・非購買尤度算出手段３０２へ出力する。

購買・非購買尤度算出手段３０２は、購買情報に含まれる各購買時刻のデータに対して、移動予測情報と第２の人物追跡情報を、第１の人物追跡情報と比較し、第１の人物追跡情報に含まれる人物それぞれに対する購買尤度、非購買尤度を算出する。第１の実施形態では、購買・非購買尤度算出手段１０２は、移動予測情報のみを用いて尤度を算出したが、本実施形態では、購買・非購買尤度算出手段３０２は、さらに第１の人物追跡情報、第２の人物追跡情報のそれぞれに含まれる人物の特徴量同士を比較し、レジ前の人物と売り場の人物が対応付く尤度を算出する。すなわち、購買・非購買尤度算出手段３０２は、人物特徴量間の類似性を判定し、類似度が高いほど尤度が高くなるようにする。

ここで、本実施形態における尤度の算出方法を具体的に説明する。第１の人物追跡情報に含まれる人物ｉの人物特徴量をＦ_ｉ、人物ｉがカメラの画角外に立ち去った時刻をＴ_ｉとし、第２の人物追跡情報に含まれる人物ｊの人物特徴量をＦ_ｊ、人物ｊがカメラの画角に入ってきた時刻をＴ_ｊとする。また、人物特徴量Ｆ_ｉ、Ｆ_ｊ間の類似性を判定し、同一人物らしさの尤度を算出する関数をｐ（Ｆ_ｉ、Ｆ_ｊ）とする。また、時刻Ｔ_ｉと時刻Ｔ_ｊとの差から移動予測情報を用いて同一人物であるかどうかの確からしさを表す尤度をｑ（Ｔ_ｉ、Ｔ_ｊ）とする。ここで、関数ｐ（Ｆ_ｉ、Ｆ_ｊ）は、Ｆ_ｉ、Ｆ_ｊ間の類似度、または距離の尺度の値と、人物が同一である確率との対応をモデル化することによって求められる。関数ｐ（Ｆ_ｉ、Ｆ_ｊ）は、ヒューリスティックに決定されてもよいし、学習により決定されてもよい。

一方、ｑ（Ｔ_ｉ、Ｔ_ｊ）については、基本的には、τ＝Ｔ_ｉ−Ｔ_ｊとして、上述のｆ（τ）をｑ（Ｔ_ｉ、Ｔ_ｊ）とすればよい。この際、第１の人物追跡情報、第２の人物追跡情報から、人物の移動速度が推定される場合には、推定された値によって、ｆ（τ）の値が修正されて用いられてもよい。人物ｉと人物ｊが対応付く尤度は、ｐ（Ｆ_ｉ、Ｆ_ｊ）とｑ（Ｔ_ｉ、Ｔ_ｊ）との積で与えられる。このようにして算出される人物対応付けの尤度と上述のｇとを用いて、購買・非購買尤度算出手段１０２と同様にして、購買・非購買尤度算出手段３０２は購買尤度、非購買尤度を算出する。購買・非購買尤度算出手段３０２は、算出結果を購買・非購買尤度情報として、購買・非購買客統計量算出手段１０３へ出力する。

なお、ここでは、売り場とレジ前の２つのカメラ間で予測する場合を述べたが、その間に利用可能なカメラが他にもある場合には、その画像も用いて人物が対応付く尤度の算出を行ってもよい。

例えば、売り場とレジ前の位置の中間にカメラがある場合には、そのカメラでも人物を検出、追跡し、その結果が用いられるようにしてもよい。その場合、購買・非購買尤度算出手段３０２は、上記の売り場とレジ前のカメラ間での予測や尤度算出と同様にして、中間に位置するカメラで検出、追跡された人物と、売り場のカメラで検出、追跡された人物が対応付く尤度を算出する。同様に、購買・非購買尤度算出手段３０２は、中間に位置するカメラで検出、追跡された人物と、売り場のカメラで検出、追跡された人物が対応付く尤度を算出する。それぞれの算出結果を統合することによって、最終的に、売り場のカメラで検出、追跡された人物と、レジ前のカメラで検出、追跡された人物とが対応付く尤度が算出される。

なお、購買・非購買客統計量算出手段１０３が統計量を集計する際、第１の実施形態と同様に、尤度が高く、信頼性が高い値のみを集計に用いるようにしてもよい。また、取得した画像などのデータを後から確認できるようにシステムを構築した場合には、尤度が低い場合のみを抽出し、人手で確認することも考えられる。本実施形態では、レジ前のカメラの画像が、売り場の画像と同様に後から確認できる場合には、尤度が低いケースのみを抽出し、レジ前のカメラの画像と売り場の画像とを比較して、人手で対応付けをし直すようにシステムを構築することも考えられる。また、画像の比較から、移動予測等のパラメータの調整が必要なことが分かった場合には、パラメータの調整を行うことも可能になる。

以上に説明したように、本実施形態では、レジ前のカメラと売り場のカメラとで撮影した顧客の映像から特徴量を抽出し、それぞれの特徴量を比較した結果も用いることで、より高精度な統計量を算出することが可能となる。さらに、移動予測においては、ＰＯＳレジで売り上げが記録された時刻ではなく、レジ待ちの行列に並んだ時刻を判定し、その時刻を基準にして予測を行うことにより、さらに対応付けの確からしさを向上でき、最終的に求まる購買客・非購買客に対する購買行動の統計量の確度を上げることができる。

実施形態４．
以下、本発明の第４の実施形態を図面を参照して説明する。

図７は、本発明による店舗内顧客行動分析システムの第４の実施形態の構成を示すブロック図である。図７に示すように、第４の実施形態における店舗内顧客行動分析システムは、人物検出・追跡手段３００と、購買情報抽出手段１０１と、購買・非購買尤度算出手段３０２と、購買・非購買客統計量算出手段２０３と、商品陳列情報蓄積手段１０４と、人物検出・追跡手段３２０と、移動予測情報算出手段３２１と、カメラ配置情報蓄積手段３２２と、人物行動解析手段２１０とを備える。

購買・非購買客統計量算出手段２０３、人物行動解析手段２１０以外の構成は、第３の実施形態と同様である。

図７に示すように、本実施形態では、人物検出・追跡手段３００の出力が、購買・非購買尤度算出手段３０２と人物行動解析手段２１０とへ入力される。また、購買・非購買尤度算出手段３０２の出力が、購買・非購買客統計量算出手段２０３へ入力される。また、人物行動解析手段２１０は、売り場映像と人物検出・追跡手段３００から出力される第１の人物追跡情報とから人物行動解析情報を求め、購買・非購買客統計量算出手段２０３へ出力する。また、購買・非購買客統計量算出手段２０３は、購買・非購買尤度算出手段３０２から出力される購買・非購買尤度情報と、人物行動解析手段２１０から出力される人物行動解析情報とから購買・非購買客統計データを算出する。

購買・非購買客統計量算出手段２０３、人物行動解析手段２１０以外の各手段の動作は、第３の実施形態と同様であるため、説明を省略する。また、人物行動解析手段２１０と購買・非購買客統計量算出手段２０３の動作は、第２の実施形態と同様であるため、説明を省略する。

本実施形態では、レジ前のカメラと売り場のカメラとで取得した顧客の人物特徴も比較して尤度を算出する。そのため、第３の実施形態と同様の効果を得ることができるとともに、人物の追跡情報だけからでは得られない行動に関する統計量についても、より高精度に購買客、非購買客にわけて算出することができるようになる。

次に、本発明の概要を説明する。図８は、本発明による店舗内顧客行動分析システムの最小構成を示すブロック図である。本発明による店舗内顧客行動分析システムは、決済装置（例えば、ＰＯＳレジに相当。）によって記録される商取引決済データ（例えば、ＰＯＳデータに相当。）と、商品が陳列されている位置を示す商品陳列情報とから、特定の領域（例えば、売り場）に置かれている商品の購買時刻と位置を表す情報を購買情報として抽出する購買情報抽出手段１０１と、特定の領域を撮影する映像から人物を検出して追跡し、人物の位置の時系列情報を算出して第１の人物追跡情報を生成する第１の人物検出・追跡手段１００と、第１の人物追跡情報から、各人物が購買情報が示す商品の位置から離れた時刻を算出し、該時刻と該商品の購買時刻との差と、決済装置が設置された領域と特定の領域との間の移動にかかる時間を表す移動予測情報とから、各人物が購買客かどうかの確からしさを表す購買・非購買尤度を算出する購買・非購買尤度算出手段１０２とを備える。

そのような構成によれば、店内における顧客の行動に関する統計量を算出する際に、第１の人物追跡情報に含まれる人物追跡結果を購買・非購買客に明確に対応付けることなく、購買客と非購買客とに分けた店内行動に対する統計量の算出を可能にする。

また、店舗内顧客行動分析システムは、第１の人物追跡情報を解析して得られる購買行動に関する観測量を、購買・非購買尤度に基づいて重みづけして統計処理し、購買客、非購買客別の購買行動の統計量を算出する購買・非購買客統計量算出手段１０３を備えてもよい。そのような構成によれば、店内における顧客の行動に関する統計量を算出する際に、購買データと動線との対応付けが確実にできない場合であっても、購買・非購買尤度情報を用いることにより、購買客、非購買客に分けて売り場滞留時間などの店内行動に関する統計量を算出することができる。

また、店舗内顧客行動分析システムは、第１の人物追跡情報に基づいて特定の領域を撮影する映像を解析し、第１の人物追跡情報に対応付けて人物行動解析情報を生成する人物行動解析手段２１０と、人物行動解析情報を解析して得られる購買行動に関する観測量を、購買・非購買尤度に基づいて重みづけして統計処理し、購買客、非購買客別の購買行動の統計量を算出する購買・非購買客統計量算出手段２０３とを備えてもよい。そのような構成によれば、人物の追跡情報だけからでは得られない人物の行動に関する統計量も、購買客、非購買客に分けて算出することができる。

また、店舗内顧客行動分析システムは、決済装置が設置された領域を撮影する映像から人物を検出して追跡し、人物の位置の時系列情報を算出するとともに、人物の特徴を表す特徴量を抽出し、抽出した特徴量と時系列情報とを含む第２の人物追跡情報を生成する第２の人物検出・追跡手段３２０と、第２の人物追跡情報と、店舗内に設置された各カメラの配置および各カメラが監視する領域を表すカメラ配置情報とから、決済装置が設置された領域と特定の領域との間の移動にかかる時間を表す移動予測情報を算出する移動予測情報算出手段３２１とを備え、第１の人物検出・追跡手段（図６または図７に示す第１の人物検出・追跡手段３００に相当。）は、人物の特徴を表す特徴量を抽出して、第１の人物追跡情報に含めて出力し、購買・非購買尤度算出手段（図６または図７に示す購買・非購買尤度算出手段３０２に相当。）は、第１の人物追跡情報と第２の人物追跡情報に含まれる、人物の特徴を表す特徴量を比較するとともに、移動予測情報を用いて第１の人物追跡情報に含まれる各人物に対する購買・非購買尤度を算出してもよい。そのような構成によれば、レジ前のカメラと売り場のカメラとで撮影した顧客の映像から特徴量を抽出し、それぞれの特徴量を比較した結果も用いることで、より高精度な統計量を算出することが可能となる。

また、第２の人物検出・追跡手段３２０は、商取引決済データと人物の位置の時系列情報とから、商品の購買時刻に決済装置の前にいる人物を求め、該商取引決済データと該人物との対応を示す情報を第２の人物追跡情報に含めて出力し、購買・非購買尤度算出手段（図６または図７に示す購買・非購買尤度算出手段３０２に相当。）は、第２の人物追跡情報と移動予測情報とから、第１の人物追跡情報に含まれる人物が、決済装置の前にいる人物と同一であるかどうかの確からしさを表す尤度を算出し、該尤度をもとに購買尤度、非購買尤度を算出してもよい。そのような構成によれば、移動予測においては、ＰＯＳレジで売り上げが記録された時刻ではなく、レジ待ちの行列に並んだ時刻を判定し、その時刻を基準にして予測を行うことにより、さらに対応付けの確からしさを向上でき、最終的に求まる購買客・非購買客に対する購買行動の統計量の確度を上げることができる。

また、移動予測情報算出手段３２１は、第２の人物追跡情報に基づいて、人物の移動方向または移動速度を判定し、判定結果をもとに移動予測情報を算出してもよい。そのような構成によれば、人物がどちらの方向から来てレジに並んだかという方向や、人物がレジ前に並ぶ前の移動速度を考慮した、移動予測情報を算出することができる。

また、購買・非購買尤度算出手段１０２または購買・非購買尤度算出手段３０２は、第１の人物追跡情報に基づいて、人物の移動方向を判定し、移動予測情報を切り替えて用いてもよい。そのような構成によれば、第１の人物追跡情報に含まれる各人物の購買尤度、非購買尤度をより正確に算出することができる。

また、購買・非購買客統計量算出手段１０３または購買・非購買客統計量算出手段２０３は、統計量の算出に用いる観測量を、購買・非購買尤度に基づいて選択してもよい。そのような構成によれば、確からしいデータのみを用いて統計量を算出することができる。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１３年８月２１日に出願された日本特許出願２０１３−１７０９６７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００ 人物検出・追跡手段（第１の人物検出・追跡手段）
１０１ 購買情報抽出手段
１０２ 購買・非購買尤度算出手段
１０３ 購買・非購買客統計量算出手段
１０４ 商品陳列情報蓄積手段
１０５ 移動予測情報蓄積手段
２０３ 購買・非購買客統計量算出手段
２１０ 人物行動解析手段
３００ 人物検出・追跡手段
３０２ 購買・非購買尤度算出手段
３２０ 人物検出・追跡手段
３２１ 移動予測情報算出手段
３２２ カメラ配置情報蓄積手段

Claims (10)

1. 決済装置によって記録される商取引決済データと、商品が陳列されている位置を示す商品陳列情報とから、特定の領域に置かれている商品の購買時刻と位置を表す情報を購買情報として抽出する購買情報抽出手段と、
   前記特定の領域を撮影する映像から人物を検出して追跡し、人物の位置の時系列情報を算出して第１の人物追跡情報を生成する第１の人物検出・追跡手段と、
   前記第１の人物追跡情報から、前記購買情報が示す商品の位置から各人物が離れた時刻を算出し、該時刻と該商品の購買時刻との差と、前記決済装置が設置された領域と前記特定の領域との間の移動にかかる時間を表す移動予測情報とから、前記各人物が購買客かどうかの確からしさを表す購買・非購買尤度を算出する購買・非購買尤度算出手段とを備える
   ことを特徴とする店舗内顧客行動分析システム。
2. 第１の人物追跡情報を解析して得られる購買行動に関する観測量を、購買・非購買尤度に基づいて重みづけして統計処理し、購買客、非購買客別の購買行動の統計量を算出する購買・非購買客統計量算出手段を備える
   請求項１に記載の店舗内顧客行動分析システム。
3. 第１の人物追跡情報に基づいて特定の領域を撮影する映像を解析し、前記第１の人物追跡情報に対応付けて人物行動解析情報を生成する人物行動解析手段と、
   前記人物行動解析情報を解析して得られる購買行動に関する観測量を、購買・非購買尤度に基づいて重みづけして統計処理し、購買客、非購買客別の購買行動の統計量を算出する購買・非購買客統計量算出手段とを備える
   請求項１に記載の店舗内顧客行動分析システム。
4. 決済装置が設置された領域を撮影する映像から人物を検出して追跡し、人物の位置の時系列情報を算出するとともに、人物の特徴を表す特徴量を抽出し、抽出した特徴量と前記時系列情報とを含む第２の人物追跡情報を生成する第２の人物検出・追跡手段と、
   前記第２の人物追跡情報と、店舗内に設置された各カメラの配置および各カメラが監視する領域を表すカメラ配置情報とから、前記決済装置が設置された領域と特定の領域との間の移動にかかる時間を表す移動予測情報を算出する移動予測情報算出手段とを備え、
   第１の人物検出・追跡手段は、人物の特徴を表す特徴量を抽出して、第１の人物追跡情報に含めて出力し、
   購買・非購買尤度算出手段は、前記第１の人物追跡情報と前記第２の人物追跡情報に含まれる、人物の特徴を表す特徴量を比較するとともに、前記移動予測情報を用いて前記第１の人物追跡情報に含まれる各人物に対する購買・非購買尤度を算出する
   請求項１から請求項３のうちのいずれか１項に記載の店舗内顧客行動分析システム。
5. 第２の人物検出・追跡手段は、商取引決済データと人物の位置の時系列情報とから、商品の購買時刻に決済装置の前にいる人物を求め、該商取引決済データと該人物との対応を示す情報を第２の人物追跡情報に含めて出力し、
   購買・非購買尤度算出手段は、第２の人物追跡情報と移動予測情報とから、第１の人物追跡情報に含まれる人物が、前記決済装置の前にいる前記人物と同一であるかどうかの確からしさを表す尤度を算出し、該尤度をもとに購買尤度、非購買尤度を算出する
   請求項４に記載の店舗内顧客行動分析システム。
6. 移動予測情報算出手段は、第２の人物追跡情報に基づいて、人物の移動方向または移動速度を判定し、判定結果をもとに移動予測情報を算出する
   請求項４または請求項５に記載の店舗内顧客行動分析システム。
7. 購買・非購買尤度算出手段は、第１の人物追跡情報に基づいて、人物の移動方向を判定し、移動予測情報を切り替えて用いる
   請求項１から請求項６のうちのいずれか１項に記載の店舗内顧客行動分析システム。
8. 購買・非購買客統計量算出手段は、統計量の算出に用いる観測量を、購買・非購買尤度に基づいて選択する
   請求項２または請求項３に記載の店舗内顧客行動分析システム。
9. コンピュータによって実行される店舗内顧客行動分析方法であって、
   決済装置によって記録される商取引決済データと、商品が陳列されている位置を示す商品陳列情報とから、特定の領域に置かれている商品の購買時刻と位置を表す情報を購買情報として抽出し、
   前記特定の領域を撮影する映像から人物を検出して追跡し、人物の位置の時系列情報を算出して第１の人物追跡情報を生成し、
   前記第１の人物追跡情報から、前記購買情報が示す商品の位置から各人物が離れた時刻を算出し、該時刻と該商品の購買時刻との差と、前記決済装置が設置された領域と前記特定の領域との間の移動にかかる時間を表す移動予測情報とから、前記各人物が購買客かどうかの確からしさを表す購買・非購買尤度を算出する
   ことを特徴とする店舗内顧客行動分析方法。
   
10. コンピュータに、
    決済装置によって記録される商取引決済データと、商品が陳列されている位置を示す商品陳列情報とから、特定の領域に置かれている商品の購買時刻と位置を表す情報を購買情報として抽出する処理と、
    前記特定の領域を撮影する映像から人物を検出して追跡し、人物の位置の時系列情報を算出して第１の人物追跡情報を生成する処理と、
    前記第１の人物追跡情報から、前記購買情報が示す商品の位置から各人物が離れた時刻を算出し、該時刻と該商品の購買時刻との差と、前記決済装置が設置された領域と前記特定の領域との間の移動にかかる時間を表す移動予測情報とから、前記各人物が購買客かどうかの確からしさを表す購買・非購買尤度を算出する処理とを実行させる
    ための店舗内顧客行動分析プログラム。

Images