JP4805330B2

JP4805330B2 - 購買分析システム

Info

Publication number: JP4805330B2
Application number: JP2008287831A
Authority: JP
Inventors: 浩三長谷川; 文一古山
Original assignee: Computer Engineering and Consulting Ltd
Current assignee: Computer Engineering and Consulting Ltd
Priority date: 2008-11-10
Filing date: 2008-11-10
Publication date: 2011-11-02
Anticipated expiration: 2028-11-10
Also published as: JP2010113662A

Description

本発明は、店舗・催事場等で群集の中の各個人を追跡し、その人の行動と購買状況を結びつけることで店舗・催事場等での商品の配置・催事内容等の分析を簡易的に行う購買分析システムに関するものである。また、本発明は、群集の中での個人の識別として天井に設置するカメラによる撮影画像を利用する。さらに、本発明は、あるカメラを基準として、他のカメラが相対的にどの位置にあるかを示すための値を求めるシステムに関する。

従来、店舗・催事場等で群集の中の各個人を追跡し、その人の行動と購買状況を結びつけることで店舗・催事場等での商品の配置・催事内容等の分析を行うシステムでは、群集のなかの個人を判別することが困難なため、顧客動向を把握するには、入店者数・入場者数と購買情報から、購買傾向を分析していた。この方法では購入しなかった人がどのような行動をとり、その人に購入を促すための方法を検討することができない。

そのような問題を解決するための一方法として、特許文献１では、店舗内の客がどのような経路でどの程度の時間滞在したかを測定し、滞在と商品売上との関係を把握しようとしてる。

特開２００３−１８９２９５号公報

しかしながら、特許文献１では、次のような問題があった。
（１）複数のカメラで連続して人を追尾することができない。
（２）関心はあるが購入しなかった商品について情報を得ることができない。

本発明の目的は上述した問題点を解消して、店舗・催事場等の広い会場内においても人を連続して追尾することができ、関心はあるが購入しなかった商品についての情報を得ることができる購買分析システムを提供しようとするものである。

本発明の購買分析システムは、店舗・催事場等の会場内の各個人の行動とＰＯＳデータから得られる購買状況とから各個人の購買動向を調査するための購買分析システムであって、前記会場内の天井に設置されるカメラと、撮影画像データを処理するコンピュータシステムとを備え、当該コンピュータシステムが、
（１）前記撮影画像データに定義される測定範囲における各画素の座標データを含む画素データベースを作製する測定範囲定義機能と、前記測定範囲内に定義される会場内の商品配置に基づいて、各商品の座標データを含む商品データベースを作製する商品等配置機能と、を備える初期設定システムと、
（２）前記カメラから得られる測定範囲の画像データから移動する各個人を追跡し、各個人の移動位置を定められた時間毎に移動情報データベースに記録する個体追跡機能を備える行動追跡システムと、
（３）前記移動情報データベースの各個人の移動情報を参照し、所定時間以上移動していない連続時間がある場合、その各個人の位置の近辺にある商品に関心があるものとして前記商品データベースから商品を特定し、ＰＯＳの購入記録に該当商品が含まれていれば「購入があった」と判断し、ＰＯＳの購入記録に該当商品が含まれていなければ「関心はあるが購入するまでにいたらなかった」と判断する購入分析システムと、を備えることを特徴とする。

この購買分析システムにおいて、前記購入分析システムによる関心のある商品の特定時に、同一座標に複数の商品がある場合は、そのうちの１つが購入されていれば「購入があった」と判断し、いずれも購入されていなければ「関心はあるが購入するまでにいたらなかった」と判断する。

また、前記会場内の天井に複数のカメラを設置し、設置した複数のカメラの各撮影範囲を互いに一部重複させることで、会場内において撮影されない部分が生じないように配置することが望ましい。

この場合、基準となるカメラの座標とその他の各カメラの座標との距離の差を調整値として求め、調整値を用いることで、複数のカメラの撮像範囲を１つの大きな座標空間に割り付けることが望ましい。

次に、本発明は、店舗・催事場等の会場内のカメラから得られる各個人の行動とＰＯＳデータから得られる購買状況とから各個人の購買動向を調査するための購買分析方法に関し、
（１）コンピュータが、前記会場内の天井に設置したカメラの撮影画像データに定義された測定範囲における各画素の座標データを含む画素データベースを作製する測定範囲定義ステップと、
（２）コンピュータが、前記測定範囲内に定義される会場内の商品配置に基づいて、各商品の座標データを含む商品データベースを作製する商品等配置ステップと、
（３）コンピュータが、前記測定範囲の画像から移動する各個人を追跡し、各個人の移動位置を定められた時間毎に移動情報データベースに記録する個体追跡ステップと、
（４）コンピュータが、前記移動情報データベースの各個人の移動情報を参照し、所定時間以上移動していない連続時間がある場合、その各個人の位置の近辺にある商品に関心があるものとして商品データベースから商品を特定し、ＰＯＳの購入記録に該当商品が含まれていれば「購入があった」と判断し、ＰＯＳの購入記録に該当商品が含まれていなければ「関心はあるが購入するまでにいたらなかった」と判断する購入分析ステップと、を備えることを特徴とする。

この方法はさらに、前記会場内の天井に複数のカメラを、各カメラの撮影範囲が互いに一部重複するように配置するステップと、コンピュータが、基準となるカメラの座標とその他の各カメラの座標との距離の差を調整値として求め、この調整値を用いることで、複数のカメラの撮像範囲を１つの大きな座標空間に割り付けるステップを備えることが望ましい。

さらに本発明は、店舗・催事場等の会場内のカメラから得られる各個人の行動とＰＯＳデータから得られる購買状況とから各個人の購買動向を調査するための購買分析プログラムに関し、
（１）前記会場内の天井に設置したカメラの撮影像画像データに定義された測定範囲における各画素の座標データを含む画素データベースを作製する測定範囲定義ステップと、
（２）前記測定範囲内に定義される会場内の商品配置に基づいて、各商品の座標データを含む商品データベースを作製する商品等配置ステップと、
（３）前記測定範囲の画像から得られる測定範囲の画像から移動する各個人を追跡し、各個人の移動位置を定められた時間毎に移動情報データベースに記録する個体追跡ステップと、
（４）前記移動情報データベースの各個人の移動情報を参照し、所定時間以上移動していない連続時間がある場合、その各個人の位置の近辺にある商品に関心があるものとして商品データベースから商品を特定し、ＰＯＳの購入記録に該当商品が含まれていれば「購入があった」と判断し、ＰＯＳの購入記録に該当商品が含まれていなければ「関心はあるが購入するまでにいたらなかった」と判断する購入分析ステップと、をコンピュータに実行させることを特徴とする。

この購買分析プログラムにおいて、前記会場内の天井には複数のカメラが、各カメラの撮影範囲が互いに一部重複するように配置されているとともに、前記プログラムは、基準となるカメラの座標とその他の各カメラの座標との距離の差を調整値として求め、この調整値を用いることで、複数のカメラの撮像範囲を１つの大きな座標空間に割り付けるステップを前記コンピュータに実行させることが望ましい。

本発明の購買分析システムによれば、高い精度で個人を識別し、その行動を追跡できる。また、店舗・催事場等で購入データと行動データとを照合することで「関心はあるが購入しなかった商品」について分析を行うことができ、店舗・催事場の経営・運営の効果を挙げることができる。その結果、店舗・催事場等の広い会場内においても人を連続して追尾することができ、関心はあるが購入しなかった商品についての情報を得ることができる購買分析システムを得ることができる。

図１は本発明の購買分析システムのシステム構成の一例を説明するための図である。図１に示す例において、本発明の購買分析システムは、測定範囲定義機能および商品等配置機能を有する初期設定システム１と、ＩＤ割り振り機能、個体追跡機能および個体識別機能を有する行動追跡システム２と、各個人の購入動向を分析する購入分析システム３と、を備えている。そして、初期設定システム１は、画素ＤＢ（データベース）１１と商品ＤＢ１２とを利用する。行動追跡システム２は、画素ＤＢ１１と人物画像ＤＢ１３と移動情報ＤＢ１４とを利用する。購入分析システム３は、商品ＤＢ１２と移動情報ＤＢ１４とを利用する。これらのシステム１〜３は１または２以上のコンピュータで動作するソフトウェアまたはそのモジュールとして構成され、これらがコンピュータのハードウェア資源と協働することにより実現される。これらのソフトウェアは１のサーバコンピュータに実装されてもよいし、ネットワーク接続された別のコンピュータ上に散在してもよい。また、各データベース（ＤＢ）はコンピュータまたは電子ネットワーク上の記憶資源に保存される。これらは同一の記憶装置内に保存されてもよいし、ネットワーク接続された複数の記憶装置内に分散していてもよい。

本発明の購買分析システムは、上記のシステム構成の他に、設備の天井に設置されたカメラを具える。近年のカメラはＣＣＤ素子で撮影するが、ＣＣＤは画素で構成される。本発明は後述するように画素が格子状に配列されているのを利用し、これを座標とみなして画像処理する。以下、初期設定システム１、行動追跡システム３、購入分析システム４の順に詳細な説明を行う。

（１）初期設定システム
初期設定システムは大きく分けて測定範囲定義機能および商品等配置機能を有する。以下、図２、図３を参照して測定範囲定義機能を説明し、図４を参照して商品等配置機能を説明するとともに、初期設定システムにおける各種定義を説明する。

（ａ）測定範囲定義機能
図２に示すように、本発明では店舗・催事場等の設備の天井２１にカメラ２２を設置し、人を上から撮影する。カメラ２２は複数台設置し、会場の床２３上において撮影範囲を互いに一部重複させることで撮影されない部分が生じないようにする。この撮影範囲を測定範囲と呼び、カメラ−ｎの撮影範囲を測定範囲−ｎと称する。

ここで各カメラ２２の測定範囲を定義する。これを実現するため、初期設定システムは、後に詳述する行動追跡システムが有する個体識別機能および個体追跡機能と同等の機能を有する。ただし、これは人を識別したり各測定範囲内の座標を求めるだけで、結果を移動情報ＤＢに書き込んだりはしない。

図３に示すように、カメラ２２の画素を座標とみなすと、それぞれ（０、０）（０、ｙ）（ｘ、０）（ｘ、ｙ）の座標を持ち、この座標空間を測定範囲と呼ぶ。本発明では次のように各カメラ２２のＸＹ座標を結合して、全体として１つの大きな座標空間を想定し、部分を各カメラの測定範囲が分担している、とする。

各カメラ２２の測定範囲の集合が全体で１つの大きな座標空間となるように、まず基準となるカメラここではカメラ−１を決める。次に基準となるカメラ−１とそれに隣接するカメラ−２との重複部分に人が移動する。このとき、後述するようにカメラ−１とカメラ−２とは同一人の持つ中心座標として同一の座標を示すべきである。今、カメラ−１による中心座標が（ｘ_１０、ｙ_１０）で、カメラ−２による中心座標が（ｘ_２０、ｙ_２０）とする。その差ｘ_１０−ｘ_２０＝ｘ_１２とｙ_１０−ｙ_２０＝ｙ_１２とが基準としたカメラ−１に対する調整値である。カメラ−２の測定した座標値にｘ_１２およびｙ_１２を加算することで、カメラ−１に対するカメラ−２の座標空間が連続することになる。同様にカメラ−２を基準として隣接するカメラ−３について同様の処置を行うと、カメラ−２に対する調整値（ｘ_２３、ｙ_２３）が求まる。これに先の（ｘ_１２、ｙ_１２）を加算するとカメラ−１に対するカメラ−３の調整値（ｘ_１３、ｙ_１３）が求まる。以後、全カメラに対して同様の処置を行うと、基準としたカメラ−１に対する調整値が求まる。

以上により、１つの大きな座標空間内を各カメラ２２が測定範囲を受け持つことができるため、任意の測定範囲−ｎにいる人の座標はカメラ−ｎの座標（ｘ_ｎ、ｙ_ｎ）に調整値（ｘ_１ｎ、ｙ_１ｎ）を加算することで店舗・催事場内のどこにいるかを座標として求めることができる。以下、特に断りがない限り本説明文中での座標は調整値を加算しているものとする。但し、データ形式を示す図では調整値とカメラ２２との画素による座標の両方を示す。

次に、各測定範囲の座標が決まった時点で、測定範囲内に人物等の非常駐要素が居ない状態で、全画素の値（色・明るさ等の情報）を座標ごとに画素ＤＢに記録する。測定範囲の重複部分についてはどちらのカメラ２２の値を使用してもよく、本発明の実施時に決めればよい。図４に、画素ＤＢへ書き込む情報例を示す。図４に示すように、複数のカメラの撮影範囲に跨る測定範囲全体の各画素について、画素のＸ，Ｙ座標、Ｘ，Ｙ調整値、色や輝度を含む画素の値が保存される。

この測定範囲定義機能は、プログラム処理により全自動、あるいは半自動で実施することができる。全自動で行う場合、例えば測定範囲内を１人の人間のみが動き回るようにして、システムを測定範囲定義モードの運用とし、２以上のカメラ画像に人物が同時に現れたらそれをトリガとして座標の調整値を求めるようにする。半自動で行う場合、２以上のカメラ画像をオペレータがモニタし、別の人間をカメラ画像の重複領域に立たせたうえで、オペレータがシステムに調整値の演算を実行させる。システムはカメラ毎の座標の差分を算出し、これを調整値として保存する。その後に自動的に各画素の値を保存する。

（ｂ）商品等配置機能
店舗・催事場等では各種商品・展示物等が配置されている。そのため、運用準備段階で各商品がどこに配置されているかを定義する。

商品ごとに座標を数値入力するようにしてもよいが、測定範囲定義機能で各測定範囲の座標を決めてあれば画面上で商品を配置するようにする方法がある。この場合、店舗・催事場等のレイアウトを定める画面を用意し、マウスのドラッグアンドドロップ等により商品を配置できるようにすればよい。商品の配置場所が画面上で決まれば、それが店舗・催事場等の床に対する座標のどれに相当するかが求められ、商品の配置座標を定めることができる。これは一般的に行われていることであり、ここではこれ以上の説明は省略する。この画面例を図５に示す。

商品を配置した座標が定められれば、商品等配置機能は商品とその配置情報を商品ＤＢに書き込む。商品ＤＢに書き込むデータ形式の例を図６に示す。

また、ＰＯＳ等のように商品の精算・支払い等を行う位置、および、順番を待つために並ぶ位置は座標がある範囲を要することがある。その場合はそれぞれの範囲を定義する。本発明ではそれぞれ「ＰＯＳ範囲」「ＰＯＳ待ち範囲」と呼ぶ。この各範囲の設定もレイアウトを定める画面で指定できるようにしていると簡便である。ＰＯＳ範囲やＰＯＳ待ち範囲は、測定範囲内である程度の面積をもつ複数の画素からなる範囲として定義され、人物がその範囲内に入るとＰＯＳ待ちやＰＯＳ精算中として扱われる。

（ｃ）各種定義
システムとして使用するため、前もって定めておくべき情報を定義する。代表的なものに以下がある。

（ｃ−１）最新ＩＤ情報：測定範囲に新たに登場する人に個別の識別番号として割り振る値。ＩＤ割り振り機能で参照・更新される。
（ｃ−２）人が立ち止まっていると判断する時間：購入分析システムで移動情報ＤＢから取り出した一人分の移動情報を時間で調べ、移動しているか立ち止まっているかを判定するための時間。これは例えば２秒間などデフォルト値が定まっていてもよいし、オペレータが指定してもよい。
（ｃ−３）移動情報ＤＢへ書き込む時間間隔：個体追跡機能が測定範囲内にいる人の情報を移動情報ＤＢへ書き込む間隔時間。これは例えば２秒ごとなどデフォルト値が定まっていてもよいし、オペレータが指定してもよい。
（ｃ−４）画素情報：使用するカメラの画素を縦・横でそれぞれの画素数を指定する。これが１つのカメラの測定範囲になる。
（ｃ−５）入場者検出画素：施設の出入口や階段・エスカレータの出入口等、入場者を最初に検出できる周辺画素の座標値を最初に定義しておく。これにより、定義された座標範囲のみを監視すれば入退場者の検出を行うことができる。行動追跡システムで参照する。

以上の他にも、ＰＯＳ座標範囲の大きさ等の定義があるが、ここでは割愛する。これら各種定義の情報の値はそれぞれ主記憶上または必要なファイルに書き込まれるものとする。

（２）行動追跡システム
図７は行動追跡システムの構成の一例を説明するための図である。行動追跡システムは必要に応じ、次の機能を呼び出す。ここで個体追跡機能３２および個体識別機能３３は対応するプログラムが人の数だけ起動されるものとする。

（ａ）ＩＤ割り振り機能
ＩＤ割り振り機能３１は測定範囲内に入った人間にそれぞれ固有のＩＤを割り振る。個体追跡機能から呼び出され、店舗・催事場等に初めて登場し、まだＩＤを割り振られていない人には最新ＩＤ情報からＩＤを取り出し、これを依頼元に通知するとともに次のＩＤに更新する。

（ｂ）個体追跡機能
個体追跡機能３２は以下の機能を有する。測定範囲内を移動する人を追跡する方法は公知であるが、例えば、ある時刻ｔ１の画像と次の周期時刻ｔ２（例えば、０．５秒後）の画像を重ねた状態を図８に示す。

ここで移動する人の画像を取り出す周期（ｔ２−ｔ１）を、人の体の厚さ（例えば３０ｃｍ）分の距離を移動する時間より短くすると、図８に示すようにふたつの画像が重なった図となる。仮に、画像−１と画像−２が別人だとすると時刻ｔ１から時刻ｔ２の間に人体が重なることになり不合理である。よって、画像−１と画像−２は同一人物であり、時刻ｔ１から時刻ｔ２の間に移動したと判断することができる。

個体追跡機能はこのようにして人の移動を追跡しながら、定められた時間ごとに移動情報ＤＢ１４にその位置情報を書き込む。書き込む情報の例として、図９に示す例が考えられる。図９に記載の中心座標については、図１５を参照して後述されるが、人物画像の中心となる座標をいう。

個体追跡機能は現在追跡している人を把握すべく、次に説明する固体識別機能により画像が人と認識された時点で記録を開始する。記憶の形態としては様々な例が考えられるが、例として図１０に示す情報を移動情報ＤＢ１４に蓄積する。

（ｃ）個体識別機能
個体識別機能３３は以下の機能を有する。本発明では動く像を検出したら人であるかを確認し、人と認識したら固有のＩＤを割り振るようにする。測定範囲に入った人の認識方法を図１１〜図１６を用いて説明する。図１１は個体識別機能の動作を説明するフローチャートである。

人が測定範囲に入る場合、急に測定範囲に出現することはなく、周辺画素において体の部分の認識が始まる。周辺画素とは測定範囲を撮影しているＣＣＤの画素のうち、最外郭の画素をいう。識別する必要があるのは、店舗であれば入り口に面している測定範囲であり、催事場等では階段・エレベータ等に面している測定範囲である。したがって、施設の出入口等に対応する周辺画素のみ定期的に調査し、それ以外の周辺画素の調査は省略してもよい。一実施例では、定期的に出入口に対応する周辺画素を調べ、初期値と異なる画素が検出されたら、予め定められた方向の隣の画素を調べ、初期値と同じ値を持つ画素が検出されるまで調べる。初期値と同じ値を持つ画素があれば、次に定められた方角に周囲の画素を調べる。こうすることで輪郭が得られる。概念図を図１２に示す。

図１２において、×は初期値と異なる値を持つ最初の画素を示し、白抜きの右向き矢印、白抜きの回転矢印、白抜きの左下向き矢印は、それぞれ画素を調べる方向である。本例では時計回り方向に画素を走査するようにしているが、これはこの限りではなく、反時計回りとしたり、ｘ軸またはｙ軸方向に一列ずつ走査して隣接（連続）する変化画素を繋げて輪郭を認識するようにしてもよい。

図１３に示すように、変化のあった連続的な周辺画素がすべて初期値に戻った時点で、動く物体が完全に測定範囲に入ったと判断し、この物体が人であるかを判断する処理へと移行する。なお、測定範囲に入りかけたが測定範囲から出て行く場合、すなわち周辺画素がすべて初期値に戻ったが測定範囲内に新たな輪郭が残っていない場合は、分析の対象外とする。

動く物体が人であるかの確認は、図１４に示すように、動く物体の輪郭を前もって用意した識別用図形と比較することにより行う。この比較にあたり、抽出した図形の角度と識別用図形の角度を揃えることが必要となる。

まず、図１５に示すように、Ｘ軸方向およびＹ軸方向の像の長さを求めその中点を計算することで像の中心とする。すなわち、輪郭が得られたらｘとｙの最大値と最小値を求め、（最大値−最小値）／２をそれぞれｘとｙについて行い、求められる（ｘ、ｙ）を像の中心とする。次に、本発明では画像の進行方向を人の前面と仮定する。進行方向を定めるには現在の時刻の中心座標（ｘ_１、ｙ_１）と動きのあったｔ秒後の中心座標（ｘ_２、ｙ_２）を求めることで、図１６のようにｙ軸に対する角度θが定まる。角度θに基づいて像を回転し、図１４の識別用図形との比較を行う。

説明上、図形を比較するために、図１４に示す人の判断のように、進行方向をｙ軸とし、ｙ軸に揃えるため、θに回転角度を補正するが、回転の向きや角度はｘ_１・ｘ_２・ｙ_１・ｙ_２のそれぞれの大小関係で決めればよい。具体的には後述する実施例で示す。このようにすることで識別用図形と方向を揃えることができる。なお、図形データの回転方法自体は既存の技術であるため、ここでは説明しない。

取り出した図形と識別用図形の方向を揃え、幅（ｘ軸）を同じにすることでほぼ同等の縮尺にすることができる（ｙ軸方向は体形により縮尺が異なる可能性が高くなる）。ここで、両図形の面積（輪郭線の内側の画素数）を比較する。差があらかじめ定められた許容範囲内であれば人と判断することができる。このようにして人と認識できれば記録を開始し、人でないと判断したら記録・分析は行わない。なお、以降の人の座標位置はその中心座標を使用する。

（３）購入分析システム
購入分析システム３は、店舗のＰＯＳ端末（図示せず）の購入記録データにアクセス可能に構成される。これは購入分析システム３とＰＯＳ端末またはその購入記録を保存する記憶装置とをネットワーク接続し、購入分析システムからのデータアクセスを受け付けるよう構成することにより実現される。ＰＯＳの記録形式はＰＯＳ製造会社や型式により様々であるが、少なくともＰＯＳ番号、購入時刻、商品名、単価、数量などの情報が含まれている。本実施例では、複数の商品を購入した場合のＰＯＳデータ形式を仮に図１７のように仮定する。

購入分析システム３はＰＯＳの購入記録から一人分の記録を取り出し、その記録から商品を購入した購入時刻を取り出す。この時刻は人がＰＯＳで支払を行っている時刻となるため、購入時刻・ＰＯＳ座標範囲をもとに移動情報ＤＢを検索し、その時刻にそのＰＯＳ端末の座標範囲に居た人のＩＤを求める。これは、ＰＯＳの記録にある購入者と移動情報ＤＢに記録されているＩＤが同一人物であることを示す。ここでＰＯＳ座標は予め設定されているが、ＤＢＭＳの持つ検索命令で範囲を指定することができ、これ以上の詳細な説明はしない。次に購入分析システム３はＩＤに基づいて移動情報ＤＢを検索し、時刻順に並べる。ここで各記録の移動距離（座標と座標の距離）を求めると止まっている、または、移動していることが判別できる。

ＩＤをキーとした抽出結果の例を図１８に示す。ここではＸ_１＝ｘ_１＋ｘ_１３、Ｘ_２＝ｘ_２＋ｘ_１３、Ｙ_１＝ｙ_１＋ｙ_１３、Ｙ_２＝ｙ_２＋ｙ_１３として以下説明する。

例えば、図１８に示す移動状況において、１３：２１：０３から１３：２１：０４の間に平方根（（Ｘ_１−Ｘ_２）^＊＊２＋（Ｙ_１−Ｙ_２）^＊＊２）で移動距離が求められる。１３：２１：０４から１３：２１：０５の間は平行根（（Ｘ_１−Ｘ_２）^＊＊２＋（Ｙ_１−Ｙ_２）^＊＊２）＝０となり、移動していないことがわかる。ここで、実際は人が立ち止まっていても体が揺れたりすることがあるため、座標が僅かに移動していても所定値以下であれば止まっていると判断するよう構成してもよい。移動していない場合、その座標がＰＯＳ待ち座標範囲またはＰＯＳ座標範囲かどうかを確認する。これらのＰＯＳ範囲以外であれば、移動していない時間が定められた一定時間以上であるかどうかを調べ、一定時間以上であればその近辺にある商品に関心があるものとして、商品ＤＢ１２を参照して、座標（Ｘ_２、Ｙ_１）に最も近い１以上の商品を求める。そして、ＰＯＳ記録を再び参照し、その商品が当人の購入記録に含まれているかを調べる。ＰＯＳの購入記録に該当商品が含まれていなければ、理由は不明であるが「関心はあるが購入するまでにいたらなかった」と判断する。

同一座標に複数の商品があっても、そのうちの１つが購入されていれば「購入があった」と判断し、いずれも購入されていなければ「関心はあるが購入するまでにいたらなかった」と判断する。これらのデータは、例えばＰＯＳ記録データと関連付けて蓄積される。すなわち、例えばＰＯＳ端末で取得される当人の情報（性別、年齢層など）、そのときに購入したもの、感心はあるみたいだが購入するに至らなかったもの、として互いに関連付けてデータを蓄積する。このデータは後に所定の形式で出力され、商品の配置替えや新商品導入等の参考資料とされる。

店舗での商品購入分析を行うと仮定する。このため、本発明では店舗の天井に複数台のカメラを設置する。本発明では人を上から撮影するため、天井の高さにもよるが、できるだけ人が楕円に撮影されるようにするのが望ましい。また、隣接する撮影範囲（測定範囲）同士は人間一人分以上の幅をもって重複するようカメラの位置を調整する。

カメラを設置したら各カメラと店舗内の撮影範囲との関係を調整する。

まず、初期設定システム１を起動する。本発明では店舗の床全体を１つの座標として捉えるため、床の座標の原点に相当する場所を任意に決め、そこに位置する測定範囲を決める。基準となる測定範囲（これを測定範囲−１とする）が定まったら隣接する測定範囲（これを測定範囲−２とする）と重複する部分に人が立つ。初期設定システム１は行動追跡システム２の個体識別機能および個体追跡機能と同等の機能を持ち、これらの機能を用いて重複部分に立っている人に対し、測定範囲−１による座標と測定範囲−２による座標を求める。例えば、測定範囲−１では（１５００、２０００）で、測定範囲−２では（２００、１５０）とするとそれぞれのＸ値・Ｙ値の差（１３００、１８５０）が調整値となる。以後、測定範囲−２で求まる座標についてこの調整値を加算すると測定範囲−１と測定範囲−２が連続した座標空間になる。この様子を図１９に示す。

この処理を順次隣接する測定範囲に行うことで、全体が１つの座標になる。次に、各測定範囲でカメラの持つ画素の値を画素ＤＢ１１に記憶する。

各測定範囲の調整値が求まったら店舗内の商品の配置を設定する。

商品の配置を決めるには、商品毎に陳列場所が測定範囲内のどこであるかを指定できればよい。例えば商品名：クッキーを図１９の測定範囲−２に配置する場合、数値データを直接入力するのであれば図２０に示すデータを入力し、商品ＤＢに登録する。また、図５に示すような設定画面で指定を行う場合、商品名を測定範囲画面上でドラッグアンドドロップすることで、ドロップ位置のカーソル位置に対応する座標（および調整値）が自動的に取得・計算され図２０のレコードが作成される。

また、上述したようにＰＯＳ端末の座標範囲、ＰＯＳ待ち列の座標範囲、および設備の出入口に対応する周辺画素の範囲を設定し、画素ＤＢ１１に登録する。また、測定範囲に人が居ない状態で測定範囲の画素情報を取得し、画素ＤＢ１１に記録する。以上で初期設定が終わる。

初期設定システム１が終了したら次に行動追跡システム２を起動する。

行動追跡システム２は、画素ＤＢ１１を参照して出入口に対応する周辺画素の範囲を監視し、この部分の画素値が初期値と異なった場合、人が入店したと判断し、個体識別機能を起動する。ここで、出入口に対応する周辺画素の初期値については、画素ＤＢ１１を参照する。

個体識別機能は周辺画素の変化から画像が測定範囲内に入った時点（図１３に示すように、周辺画素が初期値になった時点）で、この画像が人であるかどうかを判断する。そのため、現在の画像に対する中心座標（ｘ_１、ｙ_１）を求め、一定時間後の画像の中心座標（ｘ_２、ｙ_２）を求める。２つの中心座標からｙ軸に対する角度θが求まる。ここで、ｘ_１＞ｘ_２＆ｙ_１＞ｙ_２では（１８０−θ）だけ右回りに、ｘ_１＞ｘ_２＆ｙ_１＜ｙ_２ではθだけ右回りに、ｘ_１＜ｘ_２＆ｙ_１＞ｙ_２では（１８０−θ）だけ左回りに、ｘ_１＜ｘ_２＆ｙ_１＜ｙ_２ではθだけ左回りに回転させれば、画像の進行方向がｙ軸の正の方向に向く。前もって用意した識別用図形と体の横幅、つまり、ｘ軸方向がそれぞれ同じ大きさになるよう画像を拡大縮小し、両図形の面積（輪郭線の内側の画素数）を比較し、これが定められた許容範囲であれば人と認める旨を行動追跡システ２ムに通知する。

行動追跡システム２は画像が人であると通知を受けると、これにＩＤを割り振るため、ＩＤ割り振り機能を呼び出す。ＩＤ割り振り機能は最新ＩＤ情報からＩＤを取り出し、これをＩＤとして通知するとともに最新ＩＤ情報を更新する。

行動追跡システムはＩＤ２を通知されると個体追跡機能を起動し追跡すべきＩＤを通知する。個体追跡機能は指定されたＩＤを持つ画像を見失わないよう、図２１に示すようにデータを保持・更新することで追跡を行う。

この情報は定められた時間間隔で移動情報ＤＢ１４へ書き込まれる。書き込む情報の一例を図２２に示す。

なお、支払のためＰＯＳ座標範囲で支払をする場合、このときの情報も記録される。記録される情報の一例を図２３に示す。

この人間が店舗内で商品をとり、レジで支払をするとその情報はＰＯＳ情報として記録される。ここでは商品を１つだけ購入すると仮定して、図２４に示すような記録が作成される。以上で店舗に人が入店し、商品を購入するまでの動線が全て記録される。

次に、顧客の購入傾向を把握するため購入結果について分析するが、本発明では更に購入されなかった商品について次の分析が行われる。

購入分析システム３はＰＯＳの購入記録から一人分の記録を取り出し、その記録から商品を購入した購入時刻を取り出す。図２４に示す例では１３：３５：４１にクッキーを購入している。この時刻は人がＰＯＳで支払を行っている時刻となるため、購入時刻・ＰＯＳ座標範囲をもとに移動情報ＤＢ１４を検索し、その時刻にそのＰＯＳ端末の座標範囲にいる人のＩＤを求める。このとき、移動記録は一定の間隔毎に記録されるため、必ずしも購入時刻の時点の移動記録が存在するとは限らない。このため、購入日時の前後に所定範囲の幅をもたせて移動情報ＤＢを検索し、購入時点またはその時刻に最も近い時刻にＰＯＳ端末の座標範囲にいる人間を対象人物として特定する。この検索により、１３：３５：４１にクッキーを購入した人のＩＤが２００８０３０２００００４９であることがわかる。そこで、このＩＤで移動情報ＤＢ１４を検索し、得られた結果を時刻順に並べる。ここで各記録の移動距離（座標と座標の距離）を求めると止まっている、または、移動していることが判別できる。

調整値を省略するが、図２５に示す移動状況を示す記録で１３：２１：０３から１３：２１：０４の間に平方根（（１５００−１５１１）^＊＊２＋（２０００−２０００）^＊＊２）で移動距離が求められる。１３：２１：０４から１３：２１：０５の間は平方根（（１５１１−１５１１）^＊＊２＋（２０００−２０００）^＊＊２）＝０となり、移動していないことがわかる。移動していない場合、座標がＰＯＳ待ち座標範囲またはＰＯＳ座標範囲以外であれば、移動していない連続時間が定められた一定時間以上であるかどうかを調べ、一定時間以上であればその近辺にある商品に関心があるものとして商品ＤＢから商品を順次検索し、同様な計算式で座標（１５１１、２０００）に最も近い商品を求める。ＰＯＳの購入記録に該当商品が含まれていなければ、理由は不明であるが「関心はあるが購入するまでにいたらなかった」と判断できる。

同一座標に複数の商品があっても、そのうちの１つが購入されていれば「購入があった」と判断して、他の商品すべてを考慮対象から除外する。一方、いずれも購入されていなければ「関心はあるが購入するまでにいたらなかった」と判断して、その旨とその商品をその人物に関連付けて記憶する。このとき同一座標にある複数の商品全部を「関心はあるが購入するまでにいたらなかった」と判断してもよいし、その人物の性別や年齢等の情報から更に限定をかけてもよい。すなわち、その人物が男性であれば同一座標の複数商品のうち女性用品を除外したり、予め商品の対象年齢層を登録しておき、その人物の推定年齢に合致する商品のみを考慮対象として残すことが考えられる。さらに、上述した方法によりその人物の移動方向が判明するため、その人物が向いている方向にある商品のみを抽出するようにしてもよい。これらのデータはＰＯＳ購入情報に関連付けて保存され、以降に売り場や商品配置の分析、改善のために分析・利用することができる。

本発明の購買分析システムでは、高い精度で個人を識別し、その行動を追跡できる。加えて、店舗・催事場等で購入データと行動データとを照合することで「関心はあるが購入しなかった商品」について分析を行うことができ、店舗・催事場の経営・運営の効果を挙げることができる。

本発明の購買分析システムのシステム構成の一例を示す図である。本発明の購買分析システムにおけるカメラの設置状況の一例を示す図である。本発明の購買分析システムにおける会場およびカメラと座標との関係の一例を示す図である。画素ＤＢへ書き込む情報の一例を示す図である。本発明の購買分析システムにおける商品等配置画面の一例を示す図である。商品ＤＢに書き込むデータ形式の一例を示す図である。本発明の購買分析システムにおける行動追跡システムの一例を示す図である。本発明の購買分析システムの行動追跡システムにおける個体追跡機能を説明するための図である。移動情報ＤＢに書き込む情報の一例を示す図である。個体追跡機能において現在追跡している人を把握するために記録する情報の一例を示す図である。本発明の購買分析システムの行動追跡システムにおける個体識別機能を説明するためのフローチャートである。個体識別機能において人の中心の求め方を説明するための図である。個体識別機能において測定範囲に人が入る過程を説明するための図である。個体識別機能において人の輪郭を求める方法を説明するための図である。個体識別機能において人の進行方向を定める方法を説明するための図である。個体識別機能において人の判断の方法を説明するための図である。本発明の購買分析システムの購入分析システムにおいて複数の商品を購入した場合のデータ形式の一例を示す図である。購入分析システムにおいて人の移動状況を示す記録の一例を示す図である。本発明の販売分析システムにおける人と測定範囲との関係の一例を示す図である。商品ＤＢに記憶する情報の一例を示す図である。行動追跡システムにおいてデータの保持・更新の説明をするための図である。移動情報ＤＢに書き込む情報の一例を説明するための図である。ＰＯＳ座標範囲で支払をする場合に記録する情報の一例を示す図である。ＰＯＳ情報の一例を示す図である。移動情報ＤＢにおける移動状況を示す記録の一例を説明するための図である。

符号の説明

１初期設定システム
２行動追跡システム
３購入分析システム
１１画素ＤＢ
１２商品ＤＢ
１３人物画像ＤＢ
１４移動情報ＤＢ
２１天井
２２カメラ
２３床

Claims

店舗・催事場等の会場内の各個人の行動とＰＯＳデータから得られる購買状況とから各個人の購買動向を調査するための購買分析システムであって、前記会場内の天井に設置されるカメラと、撮影画像データを処理するコンピュータシステムとを備え、当該コンピュータシステムが、
（１）前記撮影画像データに定義される測定範囲における各画素の座標データを含む画素データベースを作製する測定範囲定義機能と、前記測定範囲内に定義される会場内の商品配置に基づいて、各商品の座標データを含む商品データベースを作製する商品等配置機能と、を備える初期設定システムと、
（２）前記カメラから得られる測定範囲の画像データから移動する各個人を追跡し、各個人の移動位置を定められた時間毎に移動情報データベースに記録する個体追跡機能を備える行動追跡システムと、
（３）前記移動情報データベースと前記商品データベースを参照して顧客の「購入があった」商品と「関心はあるが購入するまでにいたらなかった」商品とを特定する購買分析システムとを具え、当該購買分析システムは、
（３−１）ＰＯＳの購入記録から一人分の記録を取り出し、その記録から商品の購入時刻を取り出し、その時刻をキーとして前記移動情報データベースを参照して、ＰＯＳ端末の座標範囲にいる人物を購入者として特定し、
（３−２）前記移動情報データベースを参照して当該購入者の移動情報を抽出し、所定時間以上移動していない連続時間がある場合、その購入者の位置の近辺にある商品に関心があるものとして前記商品データベースから商品を特定し、ＰＯＳの購入記録に該当商品が含まれていれば「購入があった」と判断し、ＰＯＳの購入記録に該当商品が含まれていなければ「関心はあるが購入するまでにいたらなかった」と判断し、
（３−３）この判断時に、同一座標に複数の商品がある場合は、そのうちの１つが購入されていれば「購入があった」と判断し、いずれも購入されていなければ「関心はあるが購入するまでにいたらなかった」と判断することを特徴とする購買分析システム。
請求項１に記載の購買分析システムにおいて、前記会場内の天井に複数のカメラを設置し、設置した複数のカメラの各撮影範囲を互いに一部重複させることで、会場内において撮影されない部分が生じないように配置したことを特徴とする購買分析システム。
請求項２に記載の購買分析システムにおいて、基準となるカメラの座標とその他の各カメラの座標との距離の差を調整値として求め、調整値を用いることで、複数のカメラの撮像範囲を１つの大きな座標空間に割り付けることを特徴とする購買分析システム。
店舗・催事場等の会場内のカメラから得られる各個人の行動とＰＯＳデータから得られる購買状況とから各個人の購買動向を調査するための購買分析方法であって、
（１）コンピュータが、前記会場内の天井に設置したカメラの撮影画像データに定義された測定範囲における各画素の座標データを含む画素データベースを作製する測定範囲定義ステップと、
（２）コンピュータが、前記測定範囲内に定義される会場内の商品配置に基づいて、各商品の座標データを含む商品データベースを作製する商品等配置ステップと、
（３）コンピュータが、前記測定範囲の画像から移動する各個人を追跡し、各個人の移動位置を定められた時間毎に移動情報データベースに記録する個体追跡ステップと、
（４）購入分析ステップであって、コンピュータが、
（４−１）ＰＯＳの購入記録から一人分の記録を取り出し、その記録から商品の購入時刻を取り出し、その時刻をキーとして前記移動情報データベースを参照して、ＰＯＳ端末の座標範囲にいる人物を購入者として特定し、
（４−２）前記移動情報データベースを参照して当該購入者の移動情報を抽出し、所定時間以上移動していない連続時間がある場合、その購入者の位置の近辺にある商品に関心があるものとして前記商品データベースから商品を特定し、ＰＯＳの購入記録に該当商品が含まれていれば「購入があった」と判断し、ＰＯＳの購入記録に該当商品が含まれていなければ「関心はあるが購入するまでにいたらなかった」と判断し、
（４−３）この判断時に、同一座標に複数の商品がある場合は、そのうちの１つが購入されていれば「購入があった」と判断し、いずれも購入されていなければ「関心はあるが購入するまでにいたらなかった」と判断する購入分析ステップと、を備えることを特徴とする購買分析方法。
請求項４に記載の購買分析方法において、さらに、前記会場内の天井に複数のカメラを、各カメラの撮影範囲が互いに一部重複するように配置するステップと、コンピュータが、基準となるカメラの座標とその他の各カメラの座標との距離の差を調整値として求め、この調整値を用いることで、複数のカメラの撮像範囲を１つの大きな座標空間に割り付けるステップを備えることを特徴とする購買分析方法。
店舗・催事場等の会場内のカメラから得られる各個人の行動とＰＯＳデータから得られる購買状況とから各個人の購買動向を調査するための購買分析プログラムであって、
（１）前記会場内の天井に設置したカメラの撮影像画像データに定義された測定範囲における各画素の座標データを含む画素データベースを作製する測定範囲定義ステップと、
（２）前記測定範囲内に定義される会場内の商品配置に基づいて、各商品の座標データを含む商品データベースを作製する商品等配置ステップと、
（３）前記測定範囲の画像から得られる測定範囲の画像から移動する各個人を追跡し、各個人の移動位置を定められた時間毎に移動情報データベースに記録する個体追跡ステップと、
（４）購入分析ステップであって、
（４−１）ＰＯＳの購入記録から一人分の記録を取り出し、その記録から商品の購入時刻を取り出し、その時刻をキーとして前記移動情報データベースを参照して、ＰＯＳ端末の座標範囲にいる人物を購入者として特定し、
（４−２）前記移動情報データベースを参照して当該購入者の移動情報を抽出し、所定時間以上移動していない連続時間がある場合、その購入者の位置の近辺にある商品に関心があるものとして前記商品データベースから商品を特定し、ＰＯＳの購入記録に該当商品が含まれていれば「購入があった」と判断し、ＰＯＳの購入記録に該当商品が含まれていなければ「関心はあるが購入するまでにいたらなかった」と判断し、
（４−３）この判断時に、同一座標に複数の商品がある場合は、そのうちの１つが購入されていれば「購入があった」と判断し、いずれも購入されていなければ「関心はあるが購入するまでにいたらなかった」と判断する購入分析ステップと、をコンピュータに実行させることを特徴とする購買分析プログラム。
請求項６に記載の購買分析プログラムにおいて、前記会場内の天井には複数のカメラが、各カメラの撮影範囲が互いに一部重複するように配置されているとともに、前記プログラムは、基準となるカメラの座標とその他の各カメラの座標との距離の差を調整値として求め、この調整値を用いることで、複数のカメラの撮像範囲を１つの大きな座標空間に割り付けるステップを前記コンピュータに実行させることを特徴とする購買分析プログラム。