JP4805330B2 - 購買分析システム - Google Patents

購買分析システム Download PDF

Info

Publication number
JP4805330B2
JP4805330B2 JP2008287831A JP2008287831A JP4805330B2 JP 4805330 B2 JP4805330 B2 JP 4805330B2 JP 2008287831 A JP2008287831 A JP 2008287831A JP 2008287831 A JP2008287831 A JP 2008287831A JP 4805330 B2 JP4805330 B2 JP 4805330B2
Authority
JP
Japan
Prior art keywords
purchase
measurement range
pos
individual
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008287831A
Other languages
English (en)
Other versions
JP2010113662A (ja
Inventor
文一 古山
浩三 長谷川
Original Assignee
株式会社シーイーシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社シーイーシー filed Critical 株式会社シーイーシー
Priority to JP2008287831A priority Critical patent/JP4805330B2/ja
Publication of JP2010113662A publication Critical patent/JP2010113662A/ja
Application granted granted Critical
Publication of JP4805330B2 publication Critical patent/JP4805330B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、店舗・催事場等で群集の中の各個人を追跡し、その人の行動と購買状況を結びつけることで店舗・催事場等での商品の配置・催事内容等の分析を簡易的に行う購買分析システムに関するものである。また、本発明は、群集の中での個人の識別として天井に設置するカメラによる撮影画像を利用する。さらに、本発明は、あるカメラを基準として、他のカメラが相対的にどの位置にあるかを示すための値を求めるシステムに関する。

従来、店舗・催事場等で群集の中の各個人を追跡し、その人の行動と購買状況を結びつけることで店舗・催事場等での商品の配置・催事内容等の分析を行うシステムでは、群集のなかの個人を判別することが困難なため、顧客動向を把握するには、入店者数・入場者数と購買情報から、購買傾向を分析していた。この方法では購入しなかった人がどのような行動をとり、その人に購入を促すための方法を検討することができない。

そのような問題を解決するための一方法として、特許文献1では、店舗内の客がどのような経路でどの程度の時間滞在したかを測定し、滞在と商品売上との関係を把握しようとしてる。

特開2003−189295号公報

しかしながら、特許文献1では、次のような問題があった。
(1)複数のカメラで連続して人を追尾することができない。
(2)関心はあるが購入しなかった商品について情報を得ることができない。

本発明の目的は上述した問題点を解消して、店舗・催事場等の広い会場内においても人を連続して追尾することができ、関心はあるが購入しなかった商品についての情報を得ることができる購買分析システムを提供しようとするものである。

本発明の購買分析システムは、店舗・催事場等の会場内の各個人の行動とPOSデータから得られる購買状況とから各個人の購買動向を調査するための購買分析システムであって、前記会場内の天井に設置されるカメラと、撮影画像データを処理するコンピュータシステムとを備え、当該コンピュータシステムが、
(1)前記撮影画像データに定義される測定範囲における各画素の座標データを含む画素データベースを作製する測定範囲定義機能と、前記測定範囲内に定義される会場内の商品配置に基づいて、各商品の座標データを含む商品データベースを作製する商品等配置機能と、を備える初期設定システムと、
(2)前記カメラから得られる測定範囲の画像データから移動する各個人を追跡し、各個人の移動位置を定められた時間毎に移動情報データベースに記録する個体追跡機能を備える行動追跡システムと、
(3)前記移動情報データベースの各個人の移動情報を参照し、所定時間以上移動していない連続時間がある場合、その各個人の位置の近辺にある商品に関心があるものとして前記商品データベースから商品を特定し、POSの購入記録に該当商品が含まれていれば「購入があった」と判断し、POSの購入記録に該当商品が含まれていなければ「関心はあるが購入するまでにいたらなかった」と判断する購入分析システムと、を備えることを特徴とする。

この購買分析システムにおいて、前記購入分析システムによる関心のある商品の特定時に、同一座標に複数の商品がある場合は、そのうちの1つが購入されていれば「購入があった」と判断し、いずれも購入されていなければ「関心はあるが購入するまでにいたらなかった」と判断する。

また、前記会場内の天井に複数のカメラを設置し、設置した複数のカメラの各撮影範囲を互いに一部重複させることで、会場内において撮影されない部分が生じないように配置することが望ましい。

この場合、基準となるカメラの座標とその他の各カメラの座標との距離の差を調整値として求め、調整値を用いることで、複数のカメラの撮像範囲を1つの大きな座標空間に割り付けることが望ましい。

次に、本発明は、店舗・催事場等の会場内のカメラから得られる各個人の行動とPOSデータから得られる購買状況とから各個人の購買動向を調査するための購買分析方法に関し、
(1)コンピュータが、前記会場内の天井に設置したカメラの撮影画像データに定義された測定範囲における各画素の座標データを含む画素データベースを作製する測定範囲定義ステップと、
(2)コンピュータが、前記測定範囲内に定義される会場内の商品配置に基づいて、各商品の座標データを含む商品データベースを作製する商品等配置ステップと、
(3)コンピュータが、前記測定範囲の画像から移動する各個人を追跡し、各個人の移動位置を定められた時間毎に移動情報データベースに記録する個体追跡ステップと、
(4)コンピュータが、前記移動情報データベースの各個人の移動情報を参照し、所定時間以上移動していない連続時間がある場合、その各個人の位置の近辺にある商品に関心があるものとして商品データベースから商品を特定し、POSの購入記録に該当商品が含まれていれば「購入があった」と判断し、POSの購入記録に該当商品が含まれていなければ「関心はあるが購入するまでにいたらなかった」と判断する購入分析ステップと、を備えることを特徴とする。

この方法はさらに、前記会場内の天井に複数のカメラを、各カメラの撮影範囲が互いに一部重複するように配置するステップと、コンピュータが、基準となるカメラの座標とその他の各カメラの座標との距離の差を調整値として求め、この調整値を用いることで、複数のカメラの撮像範囲を1つの大きな座標空間に割り付けるステップを備えることが望ましい。

さらに本発明は、店舗・催事場等の会場内のカメラから得られる各個人の行動とPOSデータから得られる購買状況とから各個人の購買動向を調査するための購買分析プログラムに関し、
(1)前記会場内の天井に設置したカメラの撮影像画像データに定義された測定範囲における各画素の座標データを含む画素データベースを作製する測定範囲定義ステップと、
(2)前記測定範囲内に定義される会場内の商品配置に基づいて、各商品の座標データを含む商品データベースを作製する商品等配置ステップと、
(3)前記測定範囲の画像から得られる測定範囲の画像から移動する各個人を追跡し、各個人の移動位置を定められた時間毎に移動情報データベースに記録する個体追跡ステップと、
(4)前記移動情報データベースの各個人の移動情報を参照し、所定時間以上移動していない連続時間がある場合、その各個人の位置の近辺にある商品に関心があるものとして商品データベースから商品を特定し、POSの購入記録に該当商品が含まれていれば「購入があった」と判断し、POSの購入記録に該当商品が含まれていなければ「関心はあるが購入するまでにいたらなかった」と判断する購入分析ステップと、をコンピュータに実行させることを特徴とする。

この購買分析プログラムにおいて、前記会場内の天井には複数のカメラが、各カメラの撮影範囲が互いに一部重複するように配置されているとともに、前記プログラムは、基準となるカメラの座標とその他の各カメラの座標との距離の差を調整値として求め、この調整値を用いることで、複数のカメラの撮像範囲を1つの大きな座標空間に割り付けるステップを前記コンピュータに実行させることが望ましい。

本発明の購買分析システムによれば、高い精度で個人を識別し、その行動を追跡できる。また、店舗・催事場等で購入データと行動データとを照合することで「関心はあるが購入しなかった商品」について分析を行うことができ、店舗・催事場の経営・運営の効果を挙げることができる。その結果、店舗・催事場等の広い会場内においても人を連続して追尾することができ、関心はあるが購入しなかった商品についての情報を得ることができる購買分析システムを得ることができる。

図1は本発明の購買分析システムのシステム構成の一例を説明するための図である。図1に示す例において、本発明の購買分析システムは、測定範囲定義機能および商品等配置機能を有する初期設定システム1と、ID割り振り機能、個体追跡機能および個体識別機能を有する行動追跡システム2と、各個人の購入動向を分析する購入分析システム3と、を備えている。そして、初期設定システム1は、画素DB(データベース)11と商品DB12とを利用する。行動追跡システム2は、画素DB11と人物画像DB13と移動情報DB14とを利用する。購入分析システム3は、商品DB12と移動情報DB14とを利用する。これらのシステム1〜3は1または2以上のコンピュータで動作するソフトウェアまたはそのモジュールとして構成され、これらがコンピュータのハードウェア資源と協働することにより実現される。これらのソフトウェアは1のサーバコンピュータに実装されてもよいし、ネットワーク接続された別のコンピュータ上に散在してもよい。また、各データベース(DB)はコンピュータまたは電子ネットワーク上の記憶資源に保存される。これらは同一の記憶装置内に保存されてもよいし、ネットワーク接続された複数の記憶装置内に分散していてもよい。

本発明の購買分析システムは、上記のシステム構成の他に、設備の天井に設置されたカメラを具える。近年のカメラはCCD素子で撮影するが、CCDは画素で構成される。本発明は後述するように画素が格子状に配列されているのを利用し、これを座標とみなして画像処理する。以下、初期設定システム1、行動追跡システム3、購入分析システム4の順に詳細な説明を行う。

(1)初期設定システム
初期設定システムは大きく分けて測定範囲定義機能および商品等配置機能を有する。以下、図2、図3を参照して測定範囲定義機能を説明し、図4を参照して商品等配置機能を説明するとともに、初期設定システムにおける各種定義を説明する。

(a)測定範囲定義機能
図2に示すように、本発明では店舗・催事場等の設備の天井21にカメラ22を設置し、人を上から撮影する。カメラ22は複数台設置し、会場の床23上において撮影範囲を互いに一部重複させることで撮影されない部分が生じないようにする。この撮影範囲を測定範囲と呼び、カメラ−nの撮影範囲を測定範囲−nと称する。

ここで各カメラ22の測定範囲を定義する。これを実現するため、初期設定システムは、後に詳述する行動追跡システムが有する個体識別機能および個体追跡機能と同等の機能を有する。ただし、これは人を識別したり各測定範囲内の座標を求めるだけで、結果を移動情報DBに書き込んだりはしない。

図3に示すように、カメラ22の画素を座標とみなすと、それぞれ(0、0)(0、y)(x、0)(x、y)の座標を持ち、この座標空間を測定範囲と呼ぶ。本発明では次のように各カメラ22のXY座標を結合して、全体として1つの大きな座標空間を想定し、部分を各カメラの測定範囲が分担している、とする。

各カメラ22の測定範囲の集合が全体で1つの大きな座標空間となるように、まず基準となるカメラここではカメラ−1を決める。次に基準となるカメラ−1とそれに隣接するカメラ−2との重複部分に人が移動する。このとき、後述するようにカメラ−1とカメラ−2とは同一人の持つ中心座標として同一の座標を示すべきである。今、カメラ−1による中心座標が(x10、y10)で、カメラ−2による中心座標が(x20、y20)とする。その差x10−x20=x12とy10−y20=y12とが基準としたカメラ−1に対する調整値である。カメラ−2の測定した座標値にx12およびy12を加算することで、カメラ−1に対するカメラ−2の座標空間が連続することになる。同様にカメラ−2を基準として隣接するカメラ−3について同様の処置を行うと、カメラ−2に対する調整値(x23、y23)が求まる。これに先の(x12、y12)を加算するとカメラ−1に対するカメラ−3の調整値(x13、y13)が求まる。以後、全カメラに対して同様の処置を行うと、基準としたカメラ−1に対する調整値が求まる。

以上により、1つの大きな座標空間内を各カメラ22が測定範囲を受け持つことができるため、任意の測定範囲−nにいる人の座標はカメラ−nの座標(x、y)に調整値(x1n、y1n)を加算することで店舗・催事場内のどこにいるかを座標として求めることができる。以下、特に断りがない限り本説明文中での座標は調整値を加算しているものとする。但し、データ形式を示す図では調整値とカメラ22との画素による座標の両方を示す。

次に、各測定範囲の座標が決まった時点で、測定範囲内に人物等の非常駐要素が居ない状態で、全画素の値(色・明るさ等の情報)を座標ごとに画素DBに記録する。測定範囲の重複部分についてはどちらのカメラ22の値を使用してもよく、本発明の実施時に決めればよい。図4に、画素DBへ書き込む情報例を示す。図4に示すように、複数のカメラの撮影範囲に跨る測定範囲全体の各画素について、画素のX,Y座標、X,Y調整値、色や輝度を含む画素の値が保存される。

この測定範囲定義機能は、プログラム処理により全自動、あるいは半自動で実施することができる。全自動で行う場合、例えば測定範囲内を1人の人間のみが動き回るようにして、システムを測定範囲定義モードの運用とし、2以上のカメラ画像に人物が同時に現れたらそれをトリガとして座標の調整値を求めるようにする。半自動で行う場合、2以上のカメラ画像をオペレータがモニタし、別の人間をカメラ画像の重複領域に立たせたうえで、オペレータがシステムに調整値の演算を実行させる。システムはカメラ毎の座標の差分を算出し、これを調整値として保存する。その後に自動的に各画素の値を保存する。

(b)商品等配置機能
店舗・催事場等では各種商品・展示物等が配置されている。そのため、運用準備段階で各商品がどこに配置されているかを定義する。

商品ごとに座標を数値入力するようにしてもよいが、測定範囲定義機能で各測定範囲の座標を決めてあれば画面上で商品を配置するようにする方法がある。この場合、店舗・催事場等のレイアウトを定める画面を用意し、マウスのドラッグアンドドロップ等により商品を配置できるようにすればよい。商品の配置場所が画面上で決まれば、それが店舗・催事場等の床に対する座標のどれに相当するかが求められ、商品の配置座標を定めることができる。これは一般的に行われていることであり、ここではこれ以上の説明は省略する。この画面例を図5に示す。

商品を配置した座標が定められれば、商品等配置機能は商品とその配置情報を商品DBに書き込む。商品DBに書き込むデータ形式の例を図6に示す。

また、POS等のように商品の精算・支払い等を行う位置、および、順番を待つために並ぶ位置は座標がある範囲を要することがある。その場合はそれぞれの範囲を定義する。本発明ではそれぞれ「POS範囲」「POS待ち範囲」と呼ぶ。この各範囲の設定もレイアウトを定める画面で指定できるようにしていると簡便である。POS範囲やPOS待ち範囲は、測定範囲内である程度の面積をもつ複数の画素からなる範囲として定義され、人物がその範囲内に入るとPOS待ちやPOS精算中として扱われる。

(c)各種定義
システムとして使用するため、前もって定めておくべき情報を定義する。代表的なものに以下がある。

(c−1)最新ID情報:測定範囲に新たに登場する人に個別の識別番号として割り振る値。ID割り振り機能で参照・更新される。
(c−2)人が立ち止まっていると判断する時間:購入分析システムで移動情報DBから取り出した一人分の移動情報を時間で調べ、移動しているか立ち止まっているかを判定するための時間。これは例えば2秒間などデフォルト値が定まっていてもよいし、オペレータが指定してもよい。
(c−3)移動情報DBへ書き込む時間間隔:個体追跡機能が測定範囲内にいる人の情報を移動情報DBへ書き込む間隔時間。これは例えば2秒ごとなどデフォルト値が定まっていてもよいし、オペレータが指定してもよい。
(c−4)画素情報:使用するカメラの画素を縦・横でそれぞれの画素数を指定する。これが1つのカメラの測定範囲になる。
(c−5)入場者検出画素:施設の出入口や階段・エスカレータの出入口等、入場者を最初に検出できる周辺画素の座標値を最初に定義しておく。これにより、定義された座標範囲のみを監視すれば入退場者の検出を行うことができる。行動追跡システムで参照する。

以上の他にも、POS座標範囲の大きさ等の定義があるが、ここでは割愛する。これら各種定義の情報の値はそれぞれ主記憶上または必要なファイルに書き込まれるものとする。

(2)行動追跡システム
図7は行動追跡システムの構成の一例を説明するための図である。行動追跡システムは必要に応じ、次の機能を呼び出す。ここで個体追跡機能32および個体識別機能33は対応するプログラムが人の数だけ起動されるものとする。

(a)ID割り振り機能
ID割り振り機能31は測定範囲内に入った人間にそれぞれ固有のIDを割り振る。個体追跡機能から呼び出され、店舗・催事場等に初めて登場し、まだIDを割り振られていない人には最新ID情報からIDを取り出し、これを依頼元に通知するとともに次のIDに更新する。

(b)個体追跡機能
個体追跡機能32は以下の機能を有する。測定範囲内を移動する人を追跡する方法は公知であるが、例えば、ある時刻t1の画像と次の周期時刻t2(例えば、0.5秒後)の画像を重ねた状態を図8に示す。

ここで移動する人の画像を取り出す周期(t2−t1)を、人の体の厚さ(例えば30cm)分の距離を移動する時間より短くすると、図8に示すようにふたつの画像が重なった図となる。仮に、画像−1と画像−2が別人だとすると時刻t1から時刻t2の間に人体が重なることになり不合理である。よって、画像−1と画像−2は同一人物であり、時刻t1から時刻t2の間に移動したと判断することができる。

個体追跡機能はこのようにして人の移動を追跡しながら、定められた時間ごとに移動情報DB14にその位置情報を書き込む。書き込む情報の例として、図9に示す例が考えられる。図9に記載の中心座標については、図15を参照して後述されるが、人物画像の中心となる座標をいう。

個体追跡機能は現在追跡している人を把握すべく、次に説明する固体識別機能により画像が人と認識された時点で記録を開始する。記憶の形態としては様々な例が考えられるが、例として図10に示す情報を移動情報DB14に蓄積する。

(c)個体識別機能
個体識別機能33は以下の機能を有する。本発明では動く像を検出したら人であるかを確認し、人と認識したら固有のIDを割り振るようにする。測定範囲に入った人の認識方法を図11〜図16を用いて説明する。図11は個体識別機能の動作を説明するフローチャートである。

人が測定範囲に入る場合、急に測定範囲に出現することはなく、周辺画素において体の部分の認識が始まる。周辺画素とは測定範囲を撮影しているCCDの画素のうち、最外郭の画素をいう。識別する必要があるのは、店舗であれば入り口に面している測定範囲であり、催事場等では階段・エレベータ等に面している測定範囲である。したがって、施設の出入口等に対応する周辺画素のみ定期的に調査し、それ以外の周辺画素の調査は省略してもよい。一実施例では、定期的に出入口に対応する周辺画素を調べ、初期値と異なる画素が検出されたら、予め定められた方向の隣の画素を調べ、初期値と同じ値を持つ画素が検出されるまで調べる。初期値と同じ値を持つ画素があれば、次に定められた方角に周囲の画素を調べる。こうすることで輪郭が得られる。概念図を図12に示す。

図12において、×は初期値と異なる値を持つ最初の画素を示し、白抜きの右向き矢印、白抜きの回転矢印、白抜きの左下向き矢印は、それぞれ画素を調べる方向である。本例では時計回り方向に画素を走査するようにしているが、これはこの限りではなく、反時計回りとしたり、x軸またはy軸方向に一列ずつ走査して隣接(連続)する変化画素を繋げて輪郭を認識するようにしてもよい。

図13に示すように、変化のあった連続的な周辺画素がすべて初期値に戻った時点で、動く物体が完全に測定範囲に入ったと判断し、この物体が人であるかを判断する処理へと移行する。なお、測定範囲に入りかけたが測定範囲から出て行く場合、すなわち周辺画素がすべて初期値に戻ったが測定範囲内に新たな輪郭が残っていない場合は、分析の対象外とする。

動く物体が人であるかの確認は、図14に示すように、動く物体の輪郭を前もって用意した識別用図形と比較することにより行う。この比較にあたり、抽出した図形の角度と識別用図形の角度を揃えることが必要となる。

まず、図15に示すように、X軸方向およびY軸方向の像の長さを求めその中点を計算することで像の中心とする。すなわち、輪郭が得られたらxとyの最大値と最小値を求め、(最大値−最小値)/2をそれぞれxとyについて行い、求められる(x、y)を像の中心とする。次に、本発明では画像の進行方向を人の前面と仮定する。進行方向を定めるには現在の時刻の中心座標(x、y)と動きのあったt秒後の中心座標(x、y)を求めることで、図16のようにy軸に対する角度θが定まる。角度θに基づいて像を回転し、図14の識別用図形との比較を行う。

説明上、図形を比較するために、図14に示す人の判断のように、進行方向をy軸とし、y軸に揃えるため、θに回転角度を補正するが、回転の向きや角度はx・x・y・yのそれぞれの大小関係で決めればよい。具体的には後述する実施例で示す。このようにすることで識別用図形と方向を揃えることができる。なお、図形データの回転方法自体は既存の技術であるため、ここでは説明しない。

取り出した図形と識別用図形の方向を揃え、幅(x軸)を同じにすることでほぼ同等の縮尺にすることができる(y軸方向は体形により縮尺が異なる可能性が高くなる)。ここで、両図形の面積(輪郭線の内側の画素数)を比較する。差があらかじめ定められた許容範囲内であれば人と判断することができる。このようにして人と認識できれば記録を開始し、人でないと判断したら記録・分析は行わない。なお、以降の人の座標位置はその中心座標を使用する。

(3)購入分析システム
購入分析システム3は、店舗のPOS端末(図示せず)の購入記録データにアクセス可能に構成される。これは購入分析システム3とPOS端末またはその購入記録を保存する記憶装置とをネットワーク接続し、購入分析システムからのデータアクセスを受け付けるよう構成することにより実現される。POSの記録形式はPOS製造会社や型式により様々であるが、少なくともPOS番号、購入時刻、商品名、単価、数量などの情報が含まれている。本実施例では、複数の商品を購入した場合のPOSデータ形式を仮に図17のように仮定する。

購入分析システム3はPOSの購入記録から一人分の記録を取り出し、その記録から商品を購入した購入時刻を取り出す。この時刻は人がPOSで支払を行っている時刻となるため、購入時刻・POS座標範囲をもとに移動情報DBを検索し、その時刻にそのPOS端末の座標範囲に居た人のIDを求める。これは、POSの記録にある購入者と移動情報DBに記録されているIDが同一人物であることを示す。ここでPOS座標は予め設定されているが、DBMSの持つ検索命令で範囲を指定することができ、これ以上の詳細な説明はしない。次に購入分析システム3はIDに基づいて移動情報DBを検索し、時刻順に並べる。ここで各記録の移動距離(座標と座標の距離)を求めると止まっている、または、移動していることが判別できる。

IDをキーとした抽出結果の例を図18に示す。ここではX=x+x13、X=x+x3、Y=y+y13、Y=y+y13として以下説明する。

例えば、図18に示す移動状況において、13:21:03から13:21:04の間に平方根((X−X**2+(Y−Y**2)で移動距離が求められる。13:21:04から13:21:05の間は平行根((X−X**2+(Y−Y**2)=0となり、移動していないことがわかる。ここで、実際は人が立ち止まっていても体が揺れたりすることがあるため、座標が僅かに移動していても所定値以下であれば止まっていると判断するよう構成してもよい。移動していない場合、その座標がPOS待ち座標範囲またはPOS座標範囲かどうかを確認する。これらのPOS範囲以外であれば、移動していない時間が定められた一定時間以上であるかどうかを調べ、一定時間以上であればその近辺にある商品に関心があるものとして、商品DB12を参照して、座標(X、Y)に最も近い1以上の商品を求める。そして、POS記録を再び参照し、その商品が当人の購入記録に含まれているかを調べる。POSの購入記録に該当商品が含まれていなければ、理由は不明であるが「関心はあるが購入するまでにいたらなかった」と判断する。

同一座標に複数の商品があっても、そのうちの1つが購入されていれば「購入があった」と判断し、いずれも購入されていなければ「関心はあるが購入するまでにいたらなかった」と判断する。これらのデータは、例えばPOS記録データと関連付けて蓄積される。すなわち、例えばPOS端末で取得される当人の情報(性別、年齢層など)、そのときに購入したもの、感心はあるみたいだが購入するに至らなかったもの、として互いに関連付けてデータを蓄積する。このデータは後に所定の形式で出力され、商品の配置替えや新商品導入等の参考資料とされる。

店舗での商品購入分析を行うと仮定する。このため、本発明では店舗の天井に複数台のカメラを設置する。本発明では人を上から撮影するため、天井の高さにもよるが、できるだけ人が楕円に撮影されるようにするのが望ましい。また、隣接する撮影範囲(測定範囲)同士は人間一人分以上の幅をもって重複するようカメラの位置を調整する。

カメラを設置したら各カメラと店舗内の撮影範囲との関係を調整する。

まず、初期設定システム1を起動する。本発明では店舗の床全体を1つの座標として捉えるため、床の座標の原点に相当する場所を任意に決め、そこに位置する測定範囲を決める。基準となる測定範囲(これを測定範囲−1とする)が定まったら隣接する測定範囲(これを測定範囲−2とする)と重複する部分に人が立つ。初期設定システム1は行動追跡システム2の個体識別機能および個体追跡機能と同等の機能を持ち、これらの機能を用いて重複部分に立っている人に対し、測定範囲−1による座標と測定範囲−2による座標を求める。例えば、測定範囲−1では(1500、2000)で、測定範囲−2では(200、150)とするとそれぞれのX値・Y値の差(1300、1850)が調整値となる。以後、測定範囲−2で求まる座標についてこの調整値を加算すると測定範囲−1と測定範囲−2が連続した座標空間になる。この様子を図19に示す。

この処理を順次隣接する測定範囲に行うことで、全体が1つの座標になる。次に、各測定範囲でカメラの持つ画素の値を画素DB11に記憶する。

各測定範囲の調整値が求まったら店舗内の商品の配置を設定する。

商品の配置を決めるには、商品毎に陳列場所が測定範囲内のどこであるかを指定できればよい。例えば商品名:クッキーを図19の測定範囲−2に配置する場合、数値データを直接入力するのであれば図20に示すデータを入力し、商品DBに登録する。また、図5に示すような設定画面で指定を行う場合、商品名を測定範囲画面上でドラッグアンドドロップすることで、ドロップ位置のカーソル位置に対応する座標(および調整値)が自動的に取得・計算され図20のレコードが作成される。

また、上述したようにPOS端末の座標範囲、POS待ち列の座標範囲、および設備の出入口に対応する周辺画素の範囲を設定し、画素DB11に登録する。また、測定範囲に人が居ない状態で測定範囲の画素情報を取得し、画素DB11に記録する。以上で初期設定が終わる。

初期設定システム1が終了したら次に行動追跡システム2を起動する。

行動追跡システム2は、画素DB11を参照して出入口に対応する周辺画素の範囲を監視し、この部分の画素値が初期値と異なった場合、人が入店したと判断し、個体識別機能を起動する。ここで、出入口に対応する周辺画素の初期値については、画素DB11を参照する。

個体識別機能は周辺画素の変化から画像が測定範囲内に入った時点(図13に示すように、周辺画素が初期値になった時点)で、この画像が人であるかどうかを判断する。そのため、現在の画像に対する中心座標(x、y)を求め、一定時間後の画像の中心座標(x、y)を求める。2つの中心座標からy軸に対する角度θが求まる。ここで、x>x&y>yでは(180−θ)だけ右回りに、x>x&y<yではθだけ右回りに、x<x&y>yでは(180−θ)だけ左回りに、x<x&y<yではθだけ左回りに回転させれば、画像の進行方向がy軸の正の方向に向く。前もって用意した識別用図形と体の横幅、つまり、x軸方向がそれぞれ同じ大きさになるよう画像を拡大縮小し、両図形の面積(輪郭線の内側の画素数)を比較し、これが定められた許容範囲であれば人と認める旨を行動追跡システ2ムに通知する。

行動追跡システム2は画像が人であると通知を受けると、これにIDを割り振るため、ID割り振り機能を呼び出す。ID割り振り機能は最新ID情報からIDを取り出し、これをIDとして通知するとともに最新ID情報を更新する。

行動追跡システムはID2を通知されると個体追跡機能を起動し追跡すべきIDを通知する。個体追跡機能は指定されたIDを持つ画像を見失わないよう、図21に示すようにデータを保持・更新することで追跡を行う。

この情報は定められた時間間隔で移動情報DB14へ書き込まれる。書き込む情報の一例を図22に示す。

なお、支払のためPOS座標範囲で支払をする場合、このときの情報も記録される。記録される情報の一例を図23に示す。

この人間が店舗内で商品をとり、レジで支払をするとその情報はPOS情報として記録される。ここでは商品を1つだけ購入すると仮定して、図24に示すような記録が作成される。以上で店舗に人が入店し、商品を購入するまでの動線が全て記録される。

次に、顧客の購入傾向を把握するため購入結果について分析するが、本発明では更に購入されなかった商品について次の分析が行われる。

購入分析システム3はPOSの購入記録から一人分の記録を取り出し、その記録から商品を購入した購入時刻を取り出す。図24に示す例では13:35:41にクッキーを購入している。この時刻は人がPOSで支払を行っている時刻となるため、購入時刻・POS座標範囲をもとに移動情報DB14を検索し、その時刻にそのPOS端末の座標範囲にいる人のIDを求める。このとき、移動記録は一定の間隔毎に記録されるため、必ずしも購入時刻の時点の移動記録が存在するとは限らない。このため、購入日時の前後に所定範囲の幅をもたせて移動情報DBを検索し、購入時点またはその時刻に最も近い時刻にPOS端末の座標範囲にいる人間を対象人物として特定する。この検索により、13:35:41にクッキーを購入した人のIDが20080302000049であることがわかる。そこで、このIDで移動情報DB14を検索し、得られた結果を時刻順に並べる。ここで各記録の移動距離(座標と座標の距離)を求めると止まっている、または、移動していることが判別できる。

調整値を省略するが、図25に示す移動状況を示す記録で13:21:03から13:21:04の間に平方根((1500−1511)**2+(2000−2000)**2)で移動距離が求められる。13:21:04から13:21:05の間は平方根((1511−1511)**2+(2000−2000)**2)=0となり、移動していないことがわかる。移動していない場合、座標がPOS待ち座標範囲またはPOS座標範囲以外であれば、移動していない連続時間が定められた一定時間以上であるかどうかを調べ、一定時間以上であればその近辺にある商品に関心があるものとして商品DBから商品を順次検索し、同様な計算式で座標(1511、2000)に最も近い商品を求める。POSの購入記録に該当商品が含まれていなければ、理由は不明であるが「関心はあるが購入するまでにいたらなかった」と判断できる。

同一座標に複数の商品があっても、そのうちの1つが購入されていれば「購入があった」と判断して、他の商品すべてを考慮対象から除外する。一方、いずれも購入されていなければ「関心はあるが購入するまでにいたらなかった」と判断して、その旨とその商品をその人物に関連付けて記憶する。このとき同一座標にある複数の商品全部を「関心はあるが購入するまでにいたらなかった」と判断してもよいし、その人物の性別や年齢等の情報から更に限定をかけてもよい。すなわち、その人物が男性であれば同一座標の複数商品のうち女性用品を除外したり、予め商品の対象年齢層を登録しておき、その人物の推定年齢に合致する商品のみを考慮対象として残すことが考えられる。さらに、上述した方法によりその人物の移動方向が判明するため、その人物が向いている方向にある商品のみを抽出するようにしてもよい。これらのデータはPOS購入情報に関連付けて保存され、以降に売り場や商品配置の分析、改善のために分析・利用することができる。

本発明の購買分析システムでは、高い精度で個人を識別し、その行動を追跡できる。加えて、店舗・催事場等で購入データと行動データとを照合することで「関心はあるが購入しなかった商品」について分析を行うことができ、店舗・催事場の経営・運営の効果を挙げることができる。

本発明の購買分析システムのシステム構成の一例を示す図である。 本発明の購買分析システムにおけるカメラの設置状況の一例を示す図である。 本発明の購買分析システムにおける会場およびカメラと座標との関係の一例を示す図である。 画素DBへ書き込む情報の一例を示す図である。 本発明の購買分析システムにおける商品等配置画面の一例を示す図である。 商品DBに書き込むデータ形式の一例を示す図である。 本発明の購買分析システムにおける行動追跡システムの一例を示す図である。 本発明の購買分析システムの行動追跡システムにおける個体追跡機能を説明するための図である。 移動情報DBに書き込む情報の一例を示す図である。 個体追跡機能において現在追跡している人を把握するために記録する情報の一例を示す図である。 本発明の購買分析システムの行動追跡システムにおける個体識別機能を説明するためのフローチャートである。 個体識別機能において人の中心の求め方を説明するための図である。 個体識別機能において測定範囲に人が入る過程を説明するための図である。 個体識別機能において人の輪郭を求める方法を説明するための図である。 個体識別機能において人の進行方向を定める方法を説明するための図である。 個体識別機能において人の判断の方法を説明するための図である。 本発明の購買分析システムの購入分析システムにおいて複数の商品を購入した場合のデータ形式の一例を示す図である。 購入分析システムにおいて人の移動状況を示す記録の一例を示す図である。 本発明の販売分析システムにおける人と測定範囲との関係の一例を示す図である。 商品DBに記憶する情報の一例を示す図である。 行動追跡システムにおいてデータの保持・更新の説明をするための図である。 移動情報DBに書き込む情報の一例を説明するための図である。 POS座標範囲で支払をする場合に記録する情報の一例を示す図である。 POS情報の一例を示す図である。 移動情報DBにおける移動状況を示す記録の一例を説明するための図である。

符号の説明

1 初期設定システム
2 行動追跡システム
3 購入分析システム
11 画素DB
12 商品DB
13 人物画像DB
14 移動情報DB
21 天井
22 カメラ
23 床

Claims (7)

  1. 店舗・催事場等の会場内の各個人の行動とPOSデータから得られる購買状況とから各個人の購買動向を調査するための購買分析システムであって、前記会場内の天井に設置されるカメラと、撮影画像データを処理するコンピュータシステムとを備え、当該コンピュータシステムが、
    (1)前記撮影画像データに定義される測定範囲における各画素の座標データを含む画素データベースを作製する測定範囲定義機能と、前記測定範囲内に定義される会場内の商品配置に基づいて、各商品の座標データを含む商品データベースを作製する商品等配置機能と、を備える初期設定システムと、
    (2)前記カメラから得られる測定範囲の画像データから移動する各個人を追跡し、各個人の移動位置を定められた時間毎に移動情報データベースに記録する個体追跡機能を備える行動追跡システムと、
    (3)前記移動情報データベースと前記商品データベースを参照して顧客の「購入があった」商品と「関心はあるが購入するまでにいたらなかった」商品とを特定する購買分析システムとを具え、当該購買分析システムは、
    (3−1)POSの購入記録から一人分の記録を取り出し、その記録から商品の購入時刻を取り出し、その時刻をキーとして前記移動情報データベースを参照して、POS端末の座標範囲にいる人物を購入者として特定し、
    (3−2)前記移動情報データベースを参照して当該購入者の移動情報を抽出し、所定時間以上移動していない連続時間がある場合、その購入者の位置の近辺にある商品に関心があるものとして前記商品データベースから商品を特定し、POSの購入記録に該当商品が含まれていれば「購入があった」と判断し、POSの購入記録に該当商品が含まれていなければ「関心はあるが購入するまでにいたらなかった」と判断し
    (3−3)この判断時に、同一座標に複数の商品がある場合は、そのうちの1つが購入されていれば「購入があった」と判断し、いずれも購入されていなければ「関心はあるが購入するまでにいたらなかった」と判断することを特徴とする購買分析システム。
  2. 請求項1に記載の購買分析システムにおいて、前記会場内の天井に複数のカメラを設置し、設置した複数のカメラの各撮影範囲を互いに一部重複させることで、会場内において撮影されない部分が生じないように配置したことを特徴とする購買分析システム。
  3. 請求項2に記載の購買分析システムにおいて、基準となるカメラの座標とその他の各カメラの座標との距離の差を調整値として求め、調整値を用いることで、複数のカメラの撮像範囲を1つの大きな座標空間に割り付けることを特徴とする購買分析システム。
  4. 店舗・催事場等の会場内のカメラから得られる各個人の行動とPOSデータから得られる購買状況とから各個人の購買動向を調査するための購買分析方法であって、
    (1)コンピュータが、前記会場内の天井に設置したカメラの撮影画像データに定義された測定範囲における各画素の座標データを含む画素データベースを作製する測定範囲定義ステップと、
    (2)コンピュータが、前記測定範囲内に定義される会場内の商品配置に基づいて、各商品の座標データを含む商品データベースを作製する商品等配置ステップと、
    (3)コンピュータが、前記測定範囲の画像から移動する各個人を追跡し、各個人の移動位置を定められた時間毎に移動情報データベースに記録する個体追跡ステップと、
    (4)購入分析ステップであって、コンピュータが、
    (4−1)POSの購入記録から一人分の記録を取り出し、その記録から商品の購入時刻を取り出し、その時刻をキーとして前記移動情報データベースを参照して、POS端末の座標範囲にいる人物を購入者として特定し、
    (4−2)前記移動情報データベースを参照して当該購入者の移動情報を抽出し、所定時間以上移動していない連続時間がある場合、その購入者の位置の近辺にある商品に関心があるものとして前記商品データベースから商品を特定し、POSの購入記録に該当商品が含まれていれば「購入があった」と判断し、POSの購入記録に該当商品が含まれていなければ「関心はあるが購入するまでにいたらなかった」と判断し
    (4−3)この判断時に、同一座標に複数の商品がある場合は、そのうちの1つが購入されていれば「購入があった」と判断し、いずれも購入されていなければ「関心はあるが購入するまでにいたらなかった」と判断する購入分析ステップと、を備えることを特徴とする購買分析方法。
  5. 請求項4に記載の購買分析方法において、さらに、前記会場内の天井に複数のカメラを、各カメラの撮影範囲が互いに一部重複するように配置するステップと、コンピュータが、基準となるカメラの座標とその他の各カメラの座標との距離の差を調整値として求め、この調整値を用いることで、複数のカメラの撮像範囲を1つの大きな座標空間に割り付けるステップを備えることを特徴とする購買分析方法。
  6. 店舗・催事場等の会場内のカメラから得られる各個人の行動とPOSデータから得られる購買状況とから各個人の購買動向を調査するための購買分析プログラムであって、
    (1)前記会場内の天井に設置したカメラの撮影像画像データに定義された測定範囲における各画素の座標データを含む画素データベースを作製する測定範囲定義ステップと、
    (2)前記測定範囲内に定義される会場内の商品配置に基づいて、各商品の座標データを含む商品データベースを作製する商品等配置ステップと、
    (3)前記測定範囲の画像から得られる測定範囲の画像から移動する各個人を追跡し、各個人の移動位置を定められた時間毎に移動情報データベースに記録する個体追跡ステップと、
    (4)購入分析ステップであって、
    (4−1)POSの購入記録から一人分の記録を取り出し、その記録から商品の購入時刻を取り出し、その時刻をキーとして前記移動情報データベースを参照して、POS端末の座標範囲にいる人物を購入者として特定し、
    (4−2)前記移動情報データベースを参照して当該購入者の移動情報を抽出し、所定時間以上移動していない連続時間がある場合、その購入者の位置の近辺にある商品に関心があるものとして前記商品データベースから商品を特定し、POSの購入記録に該当商品が含まれていれば「購入があった」と判断し、POSの購入記録に該当商品が含まれていなければ「関心はあるが購入するまでにいたらなかった」と判断し
    (4−3)この判断時に、同一座標に複数の商品がある場合は、そのうちの1つが購入されていれば「購入があった」と判断し、いずれも購入されていなければ「関心はあるが購入するまでにいたらなかった」と判断する購入分析ステップと、をコンピュータに実行させることを特徴とする購買分析プログラム。
  7. 請求項6に記載の購買分析プログラムにおいて、前記会場内の天井には複数のカメラが、各カメラの撮影範囲が互いに一部重複するように配置されているとともに、前記プログラムは、基準となるカメラの座標とその他の各カメラの座標との距離の差を調整値として求め、この調整値を用いることで、複数のカメラの撮像範囲を1つの大きな座標空間に割り付けるステップを前記コンピュータに実行させることを特徴とする購買分析プログラム
JP2008287831A 2008-11-10 2008-11-10 購買分析システム Expired - Fee Related JP4805330B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008287831A JP4805330B2 (ja) 2008-11-10 2008-11-10 購買分析システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008287831A JP4805330B2 (ja) 2008-11-10 2008-11-10 購買分析システム

Publications (2)

Publication Number Publication Date
JP2010113662A JP2010113662A (ja) 2010-05-20
JP4805330B2 true JP4805330B2 (ja) 2011-11-02

Family

ID=42302151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008287831A Expired - Fee Related JP4805330B2 (ja) 2008-11-10 2008-11-10 購買分析システム

Country Status (1)

Country Link
JP (1) JP4805330B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5711364B2 (ja) * 2011-05-24 2015-04-30 Necソリューションイノベータ株式会社 情報処理装置、その制御方法、制御プログラム、情報処理システム、及び情報処理方法
WO2015025490A1 (ja) * 2013-08-21 2015-02-26 日本電気株式会社 店舗内顧客行動分析システム、店舗内顧客行動分析方法および店舗内顧客行動分析プログラム
JP6366529B2 (ja) * 2015-03-20 2018-08-01 株式会社日立ソリューションズ 動線処理システム及び動線処理方法
JP2016194829A (ja) * 2015-03-31 2016-11-17 富士通株式会社 表示処理方法、判定処理方法、表示処理プログラム、判定処理プログラム、及び処理装置。
JP6160736B2 (ja) * 2016-04-20 2017-07-12 株式会社ニコン 情報処理装置
CN105976446A (zh) * 2016-05-06 2016-09-28 上海展汇信息科技有限公司 一种基于智能胸牌的会展方法及系统
WO2020070894A1 (ja) * 2018-10-05 2020-04-09 セガサミーホールディングス株式会社 行動監視システム及び行動監視方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003263641A (ja) * 2002-03-11 2003-09-19 Mitsubishi Heavy Ind Ltd 移動分析装置
JP4597726B2 (ja) * 2005-03-18 2010-12-15 株式会社日本総合研究所 書籍の閲覧状況監視システム
JP2008015577A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 消費者行動分析装置、および消費者行動分析方法

Also Published As

Publication number Publication date
JP2010113662A (ja) 2010-05-20

Similar Documents

Publication Publication Date Title
US10410048B2 (en) System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
US9792489B2 (en) Time-in store estimation using facial recognition
JP6194777B2 (ja) 動作判定方法、動作判定装置および動作判定プログラム
CN104954736B (zh) 滞留状况分析装置、滞留状况分析系统及分析方法
US9070216B2 (en) Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
US8682036B2 (en) System and method for street-parking-vehicle identification through license plate capturing
US10268223B2 (en) System and method for managing energy
US8655078B2 (en) Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
GB2529943B (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
US9641763B2 (en) System and method for object tracking and timing across multiple camera views
US8478111B2 (en) Systems and methods for optimizing a scene
AU2008210192B2 (en) Method of moving target tracking and number accounting
JP3977776B2 (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
Rossi et al. Tracking and counting moving people
JP4794453B2 (ja) インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム
US9280833B2 (en) Topology determination for non-overlapping camera network
US8588466B2 (en) Object area detection system, device, method, and program for detecting an object
US9165212B1 (en) Person counting device, person counting system, and person counting method
JP3885458B2 (ja) 投写画像の校正方法及びその装置、並びに機械可読媒体
Snidaro et al. Video security for ambient intelligence
JP5476955B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP4585580B2 (ja) 人物動線追跡システム
CN102800102B (zh) 图像处理设备和图像处理方法
CN104515503B (zh) 停留持续时间测量装置、测量系统及测量方法
US10602080B2 (en) Flow line analysis system and flow line analysis method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110719

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110810

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees