以下、図面を参照して本発明の実施形態について詳しく説明する。
<1.商品販売装置の外観および概略構成>
図1は、本発明の実施形態に係る商品販売装置1の外観および概略構成の例を示した図である。図1に示すように、商品販売装置1は、たばこや飲料などの小物商品を販売する自動販売機であり、その筐体の前面には、サンプル表示部20、広告表示部45、商品ボタン12、入金口30、取出口40などが設けられ、また、その筐体の内部には、情報処理装置10、カメラ11、入金センサ13、取出口センサ14、距離センサ15、人感センサ16などが設けられている。
図1において、サンプル表示部20は、商品販売装置1の筐体の前面部に設けられ、商品販売装置1が販売中の商品の写真、絵、愛称などを表示した銘板などによって構成される。あるいは、サンプル表示部20の部分に、商品販売装置1の筐体内部に外側から透視可能なボックスが設けられ、そのボックス内に商品を識別可能なサンプル、模型、包装空箱などが配置されていてもよい。
商品ボタン12は、サンプル表示部20と対にして設けられており、顧客は、商品ボタン12を押すことによって、その商品ボタン12の対となっているサンプル表示部20に表示された商品の購買を指示する。商品販売装置1は、通常、複数の商品(本明細書では、同じ名称の商品でも銘柄や型式が異なる商品は異なる商品とみなす)を販売必要があるため、このようなサンプル表示部20と商品ボタン12の対は、商品販売装置1に複数対設けられている。従って、商品ボタン12は、顧客が購買する商品の選択を検知する商品選択センサとして機能し、それが顧客により押されたときには、その押された検知信号を情報処理装置10へ入力する。
なお、図1の例では、商品販売装置1の筐体の前面上に、サンプル表示部20と商品ボタン12との対が上下方向に4段、各段それぞれに4対ずつ配列されている。すなわち、サンプル表示部20と商品ボタン12との対が、商品販売装置1の筐体の前面上に縦4段×横4列のマトリックス状に配列されている。
顧客は、このような商品販売装置1が販売している商品を購買するとき、商品販売装置1の前に立って、サンプル表示部20を見て、購買する商品を探し、その購買商品の対価に相当する貨幣を入金口30から入れ、購買商品の商品ボタン12を押す。そうすると、商品ボタン12により選択された商品が取出口40へ出てくるので、顧客はその商品を入手することができる。
カメラ11は、商品販売装置1の筐体内部の、例えば、サンプル表示部20がマトリックス状に配列された部分の中央あたりに設けられ、顧客の顔が含まれるように、顧客が商品を購買する様子を撮影する。なお、カメラ11は、少なくとも1つあればよいが、図1の例のように、複数のカメラ11(中央のカメラ11a、左上のカメラ11b、および、左下のカメラ11c)が設けられていてもよい。このとき、カメラ11は、顧客の顔が撮影可能であれば、どこに配置してもよい。
入金センサ13は、所定の金額の貨幣が入金口30から入金されたことを検出し、取出口センサ14は、取出口40から商品が取り出されたことを検出する。また、距離センサ15は、商品販売装置1から顧客までの距離を計測し、人感センサ16は、商品販売装置1の周りに顧客などがいるか否かを検知する。
広告表示部45は、商品販売装置1の筐体の前面部に設けられ、その広告表示部45には、新商品などを販売促進するための写真、キャッチコピー、ポスタなどを表示したシール、パネルなどが掲示される。
以上のような商品販売装置1において、情報処理装置10は、カメラ11を介して顧客の顔を含む映像を取得し、その映像に含まれる顧客の顔の方向や瞳の位置から顧客の視線を検出し、その視線に基づき、顧客が商品販売装置1の筐体の前面のどの領域を注視しているか、つまり、どの商品のサンプル表示部20を注視しているかを検出する。また、商品ボタン12からの入力信号に基づき、顧客が購買した商品を識別する。
<2.システムの構成>
図2は、本発明の実施形態に係るマーケティングデータ分析システムの機能ブロックの構成の例を示した図である。図2に示すように、マーケティングデータ分析システム100は、商品販売装置1が、通信ネットワーク4を介してデータ分析サーバ装置5に接続されて構成される。
ここで、商品販売装置1は、その機能の中枢となる情報処理装置10に、カメラ11、商品ボタン12、入金センサ13、取出口センサ14、距離センサ15、人感センサ16などが接続されて構成される。そして、その情報処理装置10は、映像取得部21、注視判定部22、センサデータ取得部23、顧客購買データ取得部24、データ送受信部25などの処理機能ブロックと、映像データ記憶部31、注視履歴データ記憶部32、顧客購買データ記憶部33、領域定義データ記憶部34、商品配置データ記憶部35などの記憶機能ブロックと、を含んで構成される。なお、図2では、カメラ11や商品ボタン12は、代表して1つだけを示している。
情報処理装置10は、図示しないCPUと記憶装置とを少なくとも有する、いわゆる、コンピュータによって構成される。その場合、情報処理装置10における各処理機能ブロックの機能は、前記CPUが前記記憶装置に格納されている所定のプログラムを実行することによって実現される。また、情報処理装置10における各記憶機能ブロックは、前記記憶装置上に構成される。このとき、前記記憶装置は、半導体集積回路によるRAM(Random Access Memory)、フラッシュメモリ、あるいは、磁気記憶装置であるハードディスク装置などからなる。
一方、データ分析サーバ装置5は、情報処理装置50と表示装置51とを備えた汎用のコンピュータにより構成される。そして、その情報処理装置50は、注視・販売データ収集部61、注視・販売データ集計部62、相関分析部63、分析データ表示部64などの処理機能ブロックと、注視履歴データ記憶部72、顧客購買データ記憶部73、領域定義データ記憶部74、商品配置データ記憶部75、注視・販売集計データ記憶部76などの記憶機能ブロックと、を含んで構成される。
情報処理装置50は、図示しないCPUと記憶装置とを少なくとも備え、情報処理装置50における各処理機能ブロックの機能は、前記CPUが前記記憶装置に格納されている所定のプログラムを実行することにより実現される。また、情報処理装置50における各記憶機能ブロックは、前記記憶装置上に構成される。このとき、前記記憶装置は、半導体集積回路によるRAM、フラッシュメモリ、あるいは、磁気記憶装置であるハードディスク装置などからなる。
なお、図2の構成において、情報処理装置10における処理機能ブロックの一部または全部を、コンピュータではなく、半導体の集積回路などを用いた専用の処理回路によって構成してもよい。また、同様に、情報処理装置50における処理機能ブロックの一部または全部を、コンピュータではなく、半導体の集積回路などを用いた専用の処理回路によって構成してもよい。
また、図2において、通信ネットワーク4は、インターネット、公衆交換電話網、携帯電話通信網、WAN(Wide Area Network)、LAN(Local Area Network)などいずれの形態のネットワークであってもよく、さらには、それらを複数組み合わせた形態のネットワークであってもよい。
<3.商品販売装置の機能の詳細>
続いて、商品販売装置1の情報処理装置10を構成する機能ブロックの機能について、図2および図3を参照して説明する。ここで、図3は、商品販売装置1の情報処理装置10がその記憶装置に記憶するデータのレコード構成の例を示した図である。
図2において、映像取得部21は、カメラ11から入力される動画像の映像データを1フレームごとに取得し、その1フレームごとの映像データに、時間情報などに基づく固有のフレームIDとカメラ番号などを付し(図3(a)参照)、映像データ記憶部31に蓄積する。なお、映像取得部21は、所定フレーム数の映像データバッファを有し、そのフレーム数分の映像データを一時記憶するとともに、その一時記憶している映像データを、適宜、注視判定部22などへ提供する。
注視判定部22は、その下位の機能ブロックとして図示しない移動体検知部、顔検知部、視線検出部、注視対象検出部などを含んで構成され、映像取得部21によって取得される顧客の顔の映像データに基づき、顧客が注視した注視対象、つまり、顧客が商品販売装置1の筐体の前面に設けられた複数のサンプル表示部20のうちのいずれのサンプル表示部20、または、広告表示部45を注視したかを判定する。なお、以下では、広告表示部45もサンプル表示部20の1つとして取り扱う。
このとき、移動体検知部は、映像取得部21から供給される所定フレーム数の映像データを解析することにより、移動している物体を検知し、顧客が撮影対象領域に入ったことなどを検知する。また、顔検知部は、移動体検知部によって検知された移動体部分に顔、つまり、目、口、鼻などを有する円形状のものがあるか否かを検知する。
また、視線検出部は、顔検知部によって検知された顔の映像から、その顔の中心位置、顔が向いている方向、目の中における瞳の位置などを解析し、その解析結果に基づき、顧客の顔の視線方向を計算する。なお、具体的な視線方向の計算は、例えば、特許文献2に記載された既存の方法に従って行うものとし、その計算方法の詳細についての説明を省略する。
注視対象検出部は、視線検出部で求めた視線方向に基づき、その視線が指し示す商品販売装置1の筐体の前面上の位置(以下、視線位置という)を検出し、さらに、その視線が注視する領域に存在するサンプル表示部20または広告表示部45が表示する商品または広告を識別する識別データ(商品IDという)を取得する。ここで、注視とは、視線が所定の平面上(商品販売装置1の筐体の前面上)の所定の領域(例えば、ある商品のサンプル表示部20)に所定の時間以上、例えば、0.3秒以上留まることをいう。
注視対象検出部は、また、以上のようにして求めたサンプル表示部20が表示する商品の商品IDを注視商品IDとして注視履歴データのレコードに含め、注視履歴データ記憶部32に蓄積する。なお、広告表示部45に対しては、所定の商品IDが付されているものとする。
ここで、注視履歴データのレコードは、図3(b)に示すように、商品販売装置1を識別する販売装置ID、顧客を識別する顧客識別キー、当該注視履歴データのレコードを識別する注視履歴識別キー、当該注視履歴データが取得されたときの映像データを識別するフレームID、当該注視履歴データに係る注視がされた年月日、その注視の注視時間(注視対象を注視している時間)、その注視の注視対象領域を識別する注視領域IDなどにより構成されている。
なお、顧客識別キーは、ここでは、商品販売装置1を利用する顧客をユニークに識別するものではなく、ある顧客の購買動作の開始から終了までの注視履歴データのレコードの同一性を識別できるものであればよい。従って、同じ顧客識別キーが付された一連の注視履歴データは、あるとき、ある顧客が商品販売装置1で商品を購買する場合に、その顧客について取得される注視データの履歴、つまり、注視データの時系列データであることを表す。
ただし、商品販売装置1を繰り返し利用する顧客の同一性を識別する場合には、例えば、顔検知部が顧客の顔を検知した後、公知の方法を用いて、その顧客の顔の映像データから、顔の特徴量を求めるようにする。そして、他方では、注視履歴データのレコードに顔特徴量のフィールドを設けておき、その顔特徴量のフィールドに顔検知部で求めた顔の特徴量を記憶するようにすればよい。
再び、図2を参照して、情報処理装置10を構成する機能ブロックの機能の説明を続ける。図3において、センサデータ取得部23は、商品ボタン12、入金センサ13、取出口センサ14、距離センサ15、人感センサ16などのセンサ類から入力されるデータを取得する。
顧客購買データ取得部24は、顧客の購買動作の開始と終了とを判定するとともに、購買動作終了時には、センサデータ取得部23により取得された商品ボタン12を識別するデータに基づき、当該顧客が購買した商品の商品IDを判定し、その判定した商品IDを購買商品IDとして顧客購買データ記憶部33に蓄積する。
なお、本実施形態では、顧客購買データ取得部24は、映像取得部21で取得された映像中に所定の大きさより大きい顔が検出されるようになったときを、購買動作の開始と判定し、前記映像中から所定の大きさより大きい顔が検出されなくなったときを、購買動作の終了と判定する。
ただし、顧客の購買動作の開始と終了は、顔の大きさに基づき判定する方法に限定されるものではなく、他の情報に基づき判定してもよい。例えば、人感センサ16や距離センサ15などにより商品販売装置1の前面の所定の範囲内に顧客が検出されたときを購買動作の開始と判定し、その範囲内に顧客が検出されなくなったときを購買動作の終了と判定してもよい。また、商品ボタン12が押されたとき、あるいは、取出口センサ14が取出口40の窓の開閉を検知したときを、購買動作の終了と判定してもよい。
データ送受信部25は、所定の期間(例えば、1日、7日など)が経過するたびに、または、データ分析サーバ装置5から送信の指示を受信したときに、注視履歴データ記憶部32および顧客購買データ記憶部33にそれぞれ蓄積された注視履歴データおよび顧客購買データを、まとめて、データ分析サーバ装置5へ送信する。
ここで、顧客購買データのレコードは、図3(c)に示すように、販売装置ID、顧客識別キー、購買開始時刻、購買終了時刻、購買開始時注視履歴識別キー、購買終了時注視履歴識別キー、購買年月日、領域ID、購買商品IDなどにより構成されている。
このとき、販売装置ID、顧客識別キーは、注視履歴データの場合と同じデータ、購買開始時刻は、顧客購買データ取得部24が顧客の購買動作の開始を判定した時刻、購買終了時刻は、顧客購買データ取得部24が顧客の購買動作の終了を判定した時刻である。また、購買開始時注視履歴識別キーは、購買開始時刻以降最初に蓄積された注視履歴データのレコードを識別する情報、購買終了時注視履歴識別キーは、購買終了時刻以前最後に蓄積された注視履歴データのレコードを識別する情報である。また、購買年月日は、顧客が当該商品を購買した年月日、領域IDは、顧客が購買した商品に対応するサンプル表示部20が配置された場所(領域)を識別する識別データ、購買商品IDは、顧客が購買した商品を識別する識別データである。
なお、この顧客購買データは、顧客が商品販売装置1を利用して商品を購買するたびに作成され、顧客購買データ記憶部33に蓄積される。
次に、図3(d)および(e)を参照して、領域定義データおよび商品配置データについて、さらに、図4を参照して、商品配置の訴求ゾーンのモデルについて説明する。
領域定義データは、商品販売装置1の筐体前面上において注視対象の領域を定義するデータであり、本実施形態の場合、注視対象は、サンプル表示部20および広告表示部45であるので、領域定義データは、また、サンプル表示部20および広告表示部45の物理的な配置場所を定めるデータということもできる。その領域定義データは、図3(d)に示すように、販売装置ID、装置型区分、領域ID、左下頂点座標値、右上頂点座標値などを含んで構成される。
ここで、販売装置IDは、当該商品販売装置1を識別する識別データ、装置型区分は、当該商品販売装置1の型式を識別するデータ、領域IDは、商品販売装置1の筐体前面上の注視対象、つまり、サンプル表示部20または広告表示部45を個別に識別する識別データである。また、左下頂点座標値および右上頂点座標値は、注視対象(サンプル表示部20または広告表示部45)を矩形の領域で表したとき、それぞれ、その矩形の左下頂点の座標値および右上頂点の座標値である。
なお、領域定義データの領域ID、左下頂点座標値および右上頂点座標値は、通常、商品販売装置1の型式ごとに固有に定められたデータであるので、領域定義データは、システム構築時に設定されるデータである。
次に、図3(e)に示すように、商品配置データは、商品販売装置1におけるサンプル表示部20が表す商品の配列を定めるデータであり、販売装置ID、領域ID、商品ID、ゾーン有無区分、ゾーンモデルID、適用開始年月日、適用終了年月日などを含んで構成される。
ここで、販売装置IDは、当該商品販売装置1を識別する識別データ、領域IDは商品販売装置1の筐体前面上の注視対象、つまり、サンプル表示部20または広告表示部45を個別に識別する識別データ、商品IDは、前記領域IDによって指定される領域に配置されるサンプル表示部20または広告表示部45が表す商品または広告の識別データ、ゾーン有無区分は、訴求ゾーン設定の有無を示すデータである。また、ゾーンモデルIDは、ゾーン有無区分が“有”の場合に、その訴求ゾーンのモデルを識別するデータ、適用開始年月日および適用終了年月日は、ゾーン有無区分およびゾーンモデルIDの適用期間を表すデータである。
次に、図4は、商品販売装置1における商品配置の訴求ゾーンのモデルの例を示した図である。図4では、(a)〜(f)に示す6つの訴求ゾーンのモデルが示されているが、その各々において、1つの矩形は、1つのサンプル表示部20が配置される1つの領域を表し、斜線が付された矩形は、その矩形の領域に配置されるサンプル表示部20が表す商品が同じものであること、つまり、ゾーン訴求のためのゾーンを形成する領域であることを表している。なお、これらの例では、サンプル表示部20は、4段×4列のマトリックス状に配列されるものとしている。
図4の訴求ゾーンのモデルにおいて、(a)は、特定の1つの段の領域(横方向に配列された領域)を占拠して訴求ゾーンを形成した例、(b)は、特定の1つの列の領域(縦方向に配列された領域)を占拠して訴求ゾーンを形成した例、(c)は、中央の領域を占拠して訴求ゾーンを形成した例、(d)は、上半分または下半分の領域を占拠して訴求ゾーンを形成した例、(e)は、左半分または右半分の領域を占拠して訴求ゾーンを形成した例、(f)は、周縁部の領域を占拠して訴求ゾーンを形成した例である。
なお、訴求ゾーンのモデルは、図4の例に限定されるものではなく、様々なモデルを想定することができる。そして、図4の例を含め、想定したすべての訴求ゾーンのモデルのそれぞれに対して、ゾーンモデルIDを付す。
続いて、図5〜図10を参照して、注視判定部22および顧客購買データ取得部24で実行される主要な処理について説明する。
図5は、顧客購買データ取得部24における顧客購買動作判定処理の処理フロー例を示した図である。この顧客購買動作判定処理は、所定の時間ごとに、例えば、映像取得部21により、カメラ11から1フレームの映像が取得されるたびに実行される。
なお、図5において、販売中フラグは、商品販売装置1が商品を販売中、つまり、顧客が商品を購買中であることを示すフラグである。すなわち、販売中フラグは、初期状態でクリアされており、顧客が商品販売装置1の前に立って、その購買動作が開始したときセットされ、購買動作が終了したときクリアされる。
図5に示すように、情報処理装置10の図示しないCPU(以下、単にCPUという)は、映像取得部21を介して、カメラ11から1フレームの映像データを取得する(ステップS01)。次に、CPUは、注視判定部22の移動体検知処理で検知した移動体領域を除外して背景領域を検出する(ステップS02)。次に、CPUは、販売中フラグがオンか否かを判定する(ステップS03)。
その判定の結果、販売中フラグがオンでなかったときには(ステップS03でNo)、CPUは、ステップS01で取得した映像データでその背景領域の面積が所定の閾値Aより小さいか否かを判定する(ステップS04)。そして、背景領域の面積が所定の閾値Aより小さいときには(ステップS04でYes)、CPUは、注視判定部22の顔検知処理の結果に基づき、前記取得した映像に顔を検知したか否かを判定する(ステップS05)。
次に、ステップS05の判定において、顔を検知したときには(ステップS05でYes)、CPUは、顧客が購買動作を開始したものと判断し、販売中フラグをセットして(ステップS06)、当該1フレームの映像データについての顧客購買動作判定処理を終了する。
また、ステップS04の判定で、背景領域の面積が所定の閾値Aより小さくなかったとき(ステップS04でNo)、または、ステップS05の判定で、顔を検知しなかったときには(ステップS05でNo)、CPUは、顧客が購買動作を未だ開始していないと判断して、当該1フレームの映像データについての顧客購買動作判定処理を終了する。
また、ステップS03の判定で、販売中フラグがオンであったときには(ステップS03でYes)、CPUは、前記顔検知処理の結果に基づき、ステップS01で取得した映像に顔を検知したか否かを判定する(ステップS07)。その判定の結果、顔を検出しなかったときには(ステップS07でNo)、CPUは、前記取得した映像データでその背景領域の面積が所定の閾値Bより小さいか否かを判定する(ステップS08)。
次に、ステップS08の判定において、背景領域の面積が所定の閾値Bより小さくなかったときには(ステップS08でNo)、CPUは、顧客が購買動作を終了したものと判断して、販売中フラグをクリアする(ステップS09)。そして、CPUは、顧客購買商品判定処理を実行し(ステップS10)、当該1フレームの映像データについての顧客購買動作判定処理を終了する。
なお、顧客購買商品判定では、CPUは、商品ボタン12が押されたことを検知したとき、その信号がいずれの領域(サンプル表示部20)に対応する商品ボタン12から入力されたものであるかを判定することにより、その領域IDを取得し、さらに、商品配置データ記憶部35を参照して、その領域IDに対応付けられた商品IDを取得する。
一方、ステップS07の判定で、顔を検知したとき(ステップS07でYes)、または、ステップS08の判定で、背景領域の面積が所定の閾値Bより小さかったときには(ステップS08でYes)、CPUは、顧客が購買動作を未だ終了していないと判断して、当該1フレームの映像データについての顧客の購買動作判定処理を終了する。
なお、以上の処理において、閾値Aは、閾値Bよりも小さく設定するものとする。そうしておけば、販売中フラグがいったんセットされると、顧客の動きによって背景領域の面積が多少変動しても、販売中フラグがすぐにクリアされるようなことはなくなる。
図6は、注視判定部22における視線検出処理の処理フローの例を示した図である。図6に示すように、CPUは、顔検知処理により、まず、映像データの中に顔を検知する(ステップS11)。次に、CPUは、その顔の中で瞳(黒目)を探し、瞳を検出したときには(ステップS12でYes)、さらに、目領域を探す。そして、目領域を検出したときには(ステップS13でYes)、CPUは、さらに、両目を探す。
次に、CPUは、両目を検出したときには(ステップS14でYes)、両目についてそれぞれの目の視線方向を計算する(ステップS15)。このとき、その視線方向は、前記したように、例えば、特許文献2に記載されている方法に基づき計算する。両目の場合には、視線方向が2つ得られるので、CPUは、その両目の視線方向を加算して(ステップS16)、1つの視線方向にまとめる。一方、両目を検出しなかったときには(ステップS14でNo)、検出した片目の視線方向を計算する(ステップS17)。
なお、視線方向は、例えば、瞳の位置を始点とするベクトルとして表されるので、両目の場合、そのベクトル加算をすればよい。また、視線の始点の位置は、両目の平均の位置(中間の位置)に定める。その場合、ベクトル加算や始点の平均位置の計算に際しては、顔の向きや視線の方向に応じて、視線ベクトルの大きさなどに、適宜、加重を付してもよい。
以上のようにして、視線方向が得られると、CPUは、注視対象検出処理として、その視線方向の先にある視線位置を検出する(ステップS18)。ここで、視線位置とは、商品販売装置1の筐体の前面上で当該視線が指している位置をいう。なお、視線位置の検出処理については、次に、図7および図8を用いて詳しく説明する。
また、ステップS12で瞳を検出しなかったとき(ステップS12でNo)、または、ステップS13で目領域を検出しなかったときには(ステップS13でNo)、CPUは、そのまま何もせずに処理を終了する。
なお、以上の視線検出処理は、少なくとも顔が検知された映像について、1フレームごとに行われる。
続いて、図7および図8を参照して、視線位置検出処理の詳細について説明する。ここで、図7は、注視判定部22における視線位置を求める方法を説明するための図、図8は、注視判定部22における視線位置検出処理の処理フローの例を示した図である。
図7には、顧客が商品販売装置1の前面側に立って、その筐体の前面を見ている様子がその上面図として示されている。ここで、商品販売装置1の筐体内部には、カメラ11がその筐体の前面に垂直な方向を向いて設けられている。このとき、カメラ11の方向(カメラ視線)をx軸とし、商品販売装置1の筐体の前面上でx軸に交わる水平方向の直線をy軸とし、垂直方向の直線をz軸とする。このとき、x軸は、カメラ視線となるので、撮影された映像の中心になる。また、カメラ11が撮影可能な角度の範囲を画角と呼び、これをθで表す。
そこで、図8に示すように、情報処理装置10のCPUは、距離センサ15などを介して商品販売装置1の筐体の前面から顧客までの距離(d)を取得する(ステップS21)。次に、CPUは、カメラ11から得られる映像に基づき、y軸方向およびz軸方向それぞれについて、カメラ映像中心と顔中心位置との差分量(δy,δz)を計算する(ステップS22)。
なお、ここでいう顔中心とは、顧客の視線の始点をいい、両目の場合には、両目(瞳)の位置の平均位置(適宜、加重平均でもよい)であり、片目の場合には、その目(瞳)の位置をいう。また、その差分量(δy,δz)の計算に際しては、画角(θ)および顧客までの距離(d)を考慮するものとする。なお、商品販売装置1が一般的な自動販売機である場合には、顧客までの距離(d)は、顧客によらず概ね一定なので、距離センサ15から得られる値ではなく、所定の定数としてもよい。
次に、CPUは、視線検出処理(図6参照)で計算された視線方向、ステップS21で取得された顧客までの距離(d)、ステップS22で計算された差分量(δy,δz)に基づき、視線位置を計算する(ステップS23)。このとき、視線の始点位置は、座標点(d,δy,δz)と表すことができるので、求める視線位置は、視線方向と同じ方向の直線で、座標位置(d,δy,δz)を通る直線がyz平面(x=0の平面)と交わる点として求めることができる。
図9は、注視判定部22における注視対象検出処理の処理フローの例を示した図である。この処理では、注視対象が何であったか、つまり、本実施形態に即していえば、顧客が商品販売装置1のどのサンプル表示部20を注視していたかを検出する。
なお、この注視対象検出処理は、カメラ11から得られる1フレームの映像ごとに行われる処理である。従って、注視したことは、顧客の視線方向が指し示す視線位置が、所定時間以上、つまり、所定フレーム数以上、特定のサンプル表示部20に連続して滞在したことを判定することによって検出することができる。
情報処理装置10のCPUは、まず、図8に示した視線位置検出処理により、視線位置を検出すると(ステップS31)、今回検出した視線位置が前回と同じサンプル表示部20の領域に含まれるか否かを判定する(ステップS32)。
なお、ここでいう今回とは、そのとき実行中の処理をいい、前回とは、今回の処理対象フレームの1つ前のフレームについて行った処理をいう。また、領域とは、商品販売装置1の筐体の前面においていずれかのサンプル表示部20が占める領域部分を指す。また、図10では、紛れない範囲で、視線位置を単に位置と記載している。
そこで、今回の視線位置が前回と同じ領域に含まれていた場合には(ステップS32でYes)、CPUは、視線位置がその領域に滞在する時間、つまり、注視時間をカウントアップして(ステップS39)、当該フレームに対する処理を終了する。また、今回の視線位置が前回と同じ領域に含まれていなかった場合には(ステップS32でNo)、CPUは、さらに、前回の視線位置がサンプル表示部20のいずれかの領域に含まれているか否かを判定する(ステップS33)。
そして、前回の視線位置がサンプル表示部20のいずれかの領域に含まれていた場合には(ステップS33でYes)、視線位置は、前回まで含まれていた領域の外に移動したことになるので、CPUは、そのとき示されている注視時間が所定の閾値時間、例えば、0.3秒以上であるか否かを判定する(ステップS35)。
そこで、その注視時間が所定の閾値時間以上であった場合には(ステップS35でYes)、CPUは、前回の注視位置が含まれる領域を顧客が注視したものと判定して、その前回の注視位置が含まれる領域に基づき、注視対象を取得する(ステップS36)。なお、この場合の注視対象とは、その領域に対応付けられたサンプル表示部20に表示または展示されている商品であり、CPUは、その商品を識別する商品番号を取得する。
次に、CPUは、図3に示した注視履歴データを作成し、その注視履歴データを注視履歴データ記憶部32に蓄積する(ステップS37)。続いて、CPUは、注視時間をクリアして(ステップS38)、当該フレームに対する処理を終了する。また、注視時間が所定の閾値時間以上でなかった場合には(ステップS35でNo)、顧客がその領域を注視したことにはならないので、CPUは、注視時間をクリアして(ステップS38)、当該フレームに対する処理を終了する。
一方、ステップS33で、前回の視線位置がサンプル表示部20のいずれの領域にも含まれていなかった場合には(ステップS33でNo)、CPUは、さらに、今回の視線位置がサンプル表示部20のいずれかの領域に含まれているか否かを判定する(ステップS34)。そして、今回の視線位置がサンプル表示部20のいずれかの領域に含まれていた場合には(ステップS34でYes)、注視時間をカウントアップして(ステップS39)、当該フレームに対する処理を終了する。また、今回の視線位置がサンプル表示部20のいずれの領域にも含まれていなかった場合には(ステップS34でNo)、そのまま当該フレームに対する処理を終了する。
以上のようにして、CPUは、顧客が注視する商品を知ることができる。ただし、以上の処理においては、各フレームの映像から得られる視線位置が、一瞬、他の位置にぶれる場合がある。そのようなことが頻繁に生じると、顧客が注視する商品を定めることができなくなる。
そこで、それを防止するには、例えば、視線位置として移動平均値を利用するとよい。すなわち、ステップS31で得られる視線位置をそのまま使用せずに、過去数フレームの処理で取得した視線位置からその平均位置を計算し、ステップS32以下では、その平均位置を視線位置として用いる。こうすることによって、視線位置が、一瞬、他の位置にぶれるようなことがあっても、顧客が注視する商品をうまく定めることができる。
<4.データ分析サーバ装置の機能の詳細>
データ分析サーバ装置5の機能は、その内部に含まれる情報処理装置50によって実現される。以下、情報処理装置50を構成する機能ブロックの機能について、図2および図10〜図12を参照して説明する。ここで、図10は、データ分析サーバ装置5の情報処理装置10がその記憶装置に記憶するデータのレコード構成の例を示した図である。
図2において、注視・販売データ収集部61は、所定の期間ごと、例えば、1日や1週ごとに、通信ネットワーク4を介して接続されている商品販売装置1から、その期間に蓄積された注視履歴データおよび顧客購買データを収集し、それぞれ、注視履歴データ記憶部72および顧客購買データ記憶部73に蓄積する。
このとき、注視履歴データ記憶部72および顧客購買データ記憶部73に蓄積される注視履歴データおよび顧客購買データのレコード構成は、図10(a)、(b)に示すように、商品販売装置1においてその記憶部に蓄積される注視履歴データおよび顧客購買データのレコード構成(図3(a)、(b)参照)と同じである。なお、データ分析サーバ装置5においては、複数の商品販売装置1から収集された注視履歴データおよび顧客購買データが同じ記憶部に混在して蓄積されることになるが、それぞれのレコードには、販売装置IDが含まれているので、その販売装置IDにより商品販売装置1を識別することができる。
また、データ分析サーバ装置5の情報処理装置50は、通信ネットワーク4を介してデータ分析サーバ装置5に接続された各々の商品販売装置1についての領域定義データおよび商品配置データを、領域定義データ記憶部74および商品配置データ記憶部75に記憶している。その記憶するレコードの構成は、図10(c)、(d)に示すように、商品販売装置1においてその記憶部に記憶される領域定義データおよび商品配置データのレコード構成(図3(d)、(e)参照)と同じである。
なお、領域定義データおよび商品配置データは、商品販売装置1で設定され、それをデータ分析サーバ装置5が収集するものとしてもよく、または、データ分析サーバ装置5で各々の商品販売装置1の領域定義データおよび商品配置データ管理し、商品販売装置1では、データ分析サーバ装置5から配信される領域定義データおよび商品配置データに基づき、商品、つまり、サンプル表示部20の配置を決めるようにしてもよい。
再び、図2において、注視・販売データ集計部62は、領域定義データ記憶部74および商品配置データ記憶部75を参照しつつ、注視履歴データ記憶部72および顧客購買データ記憶部73に蓄積されたデータを集計し、注視・販売集計データを作成し、作成した注視・販売集計データを注視・販売集計データ記憶部76に蓄積する。
ここで、注視・販売集計データ記憶部76に蓄積される注視・販売集計データのレコードは、図10(e)に示すように、販売装置ID、領域ID、商品ID、ゾーン有無区分、ゾーンモデルID、販売年月日、注視合計時間、商品販売数などを含んで構成される。このとき、販売装置ID、領域ID、商品ID、ゾーン有無区分、ゾーンモデルIDが意味するデータは、商品配置データの場合(図3(e)参照)と同じである。また、販売年月日は、当該注視・販売集計データが集計の対象とする年月日、注視合計時間は、その販売年月日に、当該商品販売装置1において当該領域IDで指定される領域が注視された注視時間の合計、商品販売数は、当該領域IDで指定される領域に対応する商品ボタン12が押されたことにより販売された商品の数である。
図11は、注視・販売データ集計部62による注視・販売データ集計処理の処理フローの例を示した図である。この注視・販売データ集計処理は、注視・販売データ収集部61が収集し、注視履歴データ記憶部72および顧客購買データ記憶部73に蓄積した注視履歴データおよび顧客購買データについて、商品販売装置1およびサンプル表示部20または広告表示部45が配置された1つの領域を指定し、その指定された商品販売装置1の領域が、ある1日間に注視される注視時間を合計するとともに、その領域に対応付けられた商品の販売数を算出し、算出した注視合計時間および商品販売数を注視・販売集計データ記憶部76に蓄積する処理である。
図11に示すように、データ分析サーバ装置5の情報処理装置50の図示しないCPU(以下、単にCPUという)は、まず、集計対象の販売装置ID、領域ID、年月日を指定する(ステップS41)。
次に、CPUは、その指定した販売装置ID、領域ID、年月日(注視履歴データでは注視年月日に相当)をキーとして、注視履歴データ記憶部72から該当する注視履歴データを抽出し、抽出した注視履歴データの注視時間を集計し、指定された年月日の1日の注視合計時間を算出する(ステップS42)。
次に、CPUは、ステップS42と同じ販売装置ID、領域ID、年月日(顧客購買データでは購買年月日に相当)をキーとして、顧客購買データ記憶部73から該当する顧客購買データを抽出し、抽出した顧客購買データに基づき、指定された年月日の1日の商品販売数を算出する(ステップS43)。
次に、CPUは、ステップS42と同じ販売装置ID、領域ID、年月日(商品配置データでは、適用開始年月日から適用終了年月日までに含まれる年月日に相当)をキーとして、商品配置データ記憶部75から該当する商品配置データを抽出し、抽出した商品配置データから、商品ID、ゾーン有無区分、ゾーンモデルIDを取得する(ステップS44)。
次に、CPUは、ステップS42〜ステップS44でキーとして用いた販売装置ID、領域ID、年月日に、ステップS44で取得した商品ID、ゾーン有無区分、ゾーンモデルID、ステップS42およびステップS43で算出した注視合計時間および商品販売数を付加し、注視・販売集計データを作成し、作成した注視・販売集計データ記憶部76に蓄積する(ステップS45)。
再び、図2の説明に戻る。データ分析サーバ装置5の情報処理装置50において、相関分析部63は、注視履歴データ記憶部72、顧客購買データ記憶部73、領域定義データ記憶部74、商品配置データ記憶部75などを、適宜、参照しつつ、注視・販売集計データ記憶部76に蓄積された注視・販売集計データに基づき、主として、商品、つまり、サンプル表示部20が配置される場所と、その注視合計時間や商品販売数などとの間での相関分析、クロス分析などを行う。
なお、相関分析、クロス分析などを実現するプログラムは、公知の表計算ソフトやデータベース管理システムなどに組み込まれて提供されている。そこで、ここでは、そのプログラムを用い、または、それと同様のプログラムを作成して用いるものとし、その詳細な説明を省略する。
分析データ表示部64は、相関分析部63によって分析された分析結果の一例を表示装置51に表示する。
図12は、相関分析部63による相関分析結果を表示装置51に表示した例を示した図である。図12において、(a)〜(c)および(A)〜(C)のそれぞれは、サンプル表示部20の注視時間または商品販売数の配置位置との相関を分析した結果を表示した例である。その各々において、1つの矩形は、1つのサンプル表示部20が配置される1つの領域を表し、その4段×4列の矩形の配列は、商品販売装置1の前面上に配置されたサンプル表示部20を表している。また、それぞれの矩形には、分析結果の値が与えられ、ここでは、その値の大小を矩形の濃淡によって表している。
図12において、(a)は、訴求ゾーンが設定されない場合について、4段×4列に構成されたサンプル表示部20の注視時間比分布を求め、表示した例である。ここで、領域IDがiのサンプル表示部20の注視時間比Giは、次のようにして求められる。
すなわち、CPUは、注視・販売集計データ記憶部76から、分析対象の商品販売装置1の端末装置IDおよびをゾーン有無区分が“無”のレコードを抽出し、その抽出したレコードから、さらに、領域IDがiのレコードを抽出し、そのレコードに含まれる注視合計時間をgiとする。ただし、この抽出において、購買年月日が異なる複数のレコードが抽出されたときには、giは、それらの複数のレコードに含まれるそれぞれの注視合計時間を合計した時間であるとする。
続いて、CPUは、領域IDがiの領域に配置されたサンプル表示部20の注視時間比Giを、次の式により算出する。ここで、i=1,2,…,16とする。
Gi=gi/(g1+g2+…+g16)
また、図12において、(b)は、訴求ゾーンが設定されない場合について、4段×4列に構成されたサンプル表示部20のそれぞれが表示する商品の販売数の商品販売数比分布を求め、表示した例である。ここで、領域IDがiのサンプル表示部20の商品販売数比Siは、次のようにして求められる。
すなわち、CPUは、注視・販売集計データ記憶部76から、分析対象の商品販売装置1の端末装置IDおよびをゾーン有無区分が“無”のレコードを抽出し、その抽出したレコードから、さらに、領域IDがiのレコードを抽出し、そのレコードに含まれる商品販売数をniとする。ただし、この抽出において、購買年月日が異なる複数のレコードが抽出されたときには、niは、それらの複数のレコードに含まれるそれぞれの商品販売数を合計した数であるとする。
続いて、CPUは、領域IDがiの領域に配置されたサンプル表示部20の商品販売数比Siを、次の式により算出する。ここで、i=1,2,…,16とする。
Si=gi/(n1+n2+…+n16)
また、図12において、(c)は、訴求ゾーンが設定されない場合について、4段×4列に構成されたサンプル表示部20の販売数当りの注視時間比分布を求め、表示した例である。このとき、CPUは、前記の注視合計時間giおよび商品販売数niを用いて、領域IDがiのサンプル表示部20の販売数当りの注視時間比Tiを、次の式により算出する。ここで、i=1,2,…,16とする。
Ti=(gi/ni)/((g1/n1)+(g2/n2)+…+(g16/n16))
また、図12において、(A)〜(C)は、それぞれに訴求ゾーンが設定された場合についての注視時間比分布、商品販売数比分布、販売数当りの注視時間比分布を表示した例であり、訴求ゾーンが設定されない場合の(a)〜(c)に対応する。なお、これら例では、右端1列の領域のサンプル表示部20(破線の矩形で囲まれた部分)に訴求ゾーンが設定されているものとしている。
以上の図12の表示例から、マーケティングデータ分析システム100の管理者は、例えば、次のような知見を得ることができる。ただし、図12の表示例で用いたデータは、説明用のデータであり、現実のデータではない。また、以下の知見も説明用のものであって、現実に得られた知見ではない。
図12(a)によれば、購買者の視線は、上段それも左側寄りに配置されたサンプル表示部20に行き易く、下段の右側寄りに配置されたサンプル表示部20には届きにくい。また、(b)によれば、購買者は、上段中央部に配置されたサンプル表示部20が表示する商品を購買し、下段右側寄りに配置されたサンプル表示部20が表示する商品は購買しない傾向がある。また、(c)によれば、商品販売数当りの注視時間は、注視時間と同様に、上段左側寄りに配置されたサンプル表示部20で大きいが、逆にいえば、注視される割には販売数が少ないことを意味する。
商品の一般的な販売数が同程度の商品について、図12(a)〜(c)の分析データを取得しておくと、サンプル表示部20、つまり、商品の空間的な配列の影響を除去した適正な販売数を取得することができる。例えば、新商品などを初めて販売したとき、その新商品の販売数を、実販売数ではなく、そのサンプル表示部20が配置された位置の影響を除去した販売数として、取得することができる。
また、これらの分析結果を販売戦略に積極的に利用することもできる。例えば、(1)販売数を伸ばそうとする商品は、上段中央部に配置する、(2)下段右側寄りに配置されたサンプル表示部20は、見られもせず、売れもしない、いわゆる、ブラックゾーンになっているので、訴求ゾーンをその最下段に設けて、最下段が目立つようにする、など。
さらに、図12(A)によれば、訴求ゾーンが右端の列に設定された場合には、購買者の視線は、その訴求ゾーンが設定されたサンプル表示部20へ移動する。そして、この場合には、購買者の視線は、下段左側寄りに配置されたサンプル表示部20へ届きにくくなる。また、(B)によれば、そのサンプル表示部20が訴求ゾーンに配置された商品の販売数は、(b)に比べ増加しているので、訴求ゾーン設定の効果は「ある」といえる。また、(C)によれば、訴求ゾーンに配置されたサンプル表示部20の販売数当りの注視時間は、(c)に比べ増加しているので、訴求ゾーン設定の効果は「ある」ことが分かる。
以上の例は、訴求ゾーンを、右端1列の領域のサンプル表示部20に設定した場合であるが、図4で説明したように、訴求ゾーンとしては、多種多様のモデルを設定することができる。そこで、他の訴求ゾーンを設定して同様の分析を行えば、他の分析結果が得られ、それらの結果を比較することによって、例えば、新商品の販売数を伸ばそうとするためには、どのような訴求ゾーンを設定すればよいか、などの知見を得ることができる。
以上に説明したように、訴求ゾーンについては、「訴求ゾーンを設定する位置」が重要であるが、それに劣らず、「訴求ゾーンが全体に占める面積比」も重要といわれている。それは、全体の1/4の面積を用いて訴求ゾーンを設定するよりも、全体の半分の面積を用いて訴求ゾーンを設定するほうが、より目立つからである。しかしながら、今までに、例えば「訴求ゾーンの面積比を大きくすることにより、訴求ゾーンに属するサンプル表示部20について、1表示部当たりの商品販売数が増加する」などといった効果の存在が、現実のデータに即して検証されているわけではない。
本実施形態では、注視・販売集計データ記憶部76に記憶された注視・販売集計データ(図10(e)参照)をさらに集計することにより、サンプル表示部20ごとの商品販売数を取得することができる。また、注視・販売集計データでは、訴求ゾーンに属するサンプル表示部20を識別することができるので、訴求ゾーンに属するサンプル表示部20について、1表示部当たりの商品販売数を容易に算出することができる。
従って、本実施形態においては、その商品販売装置1で、訴求ゾーンの面積比を、例えば、1/2にしたり、1/4にしたりすることができ、そのそれぞれの場合について、訴求ゾーンに属するサンプル表示部20の1表示部当たりの商品販売数を、現実のデータとして取得することができる。すなわち、訴求ゾーンの面積比を大きくしたことの効果の有無を、現実のデータに即して検証することが可能になる。
また、当然ながら、本実施形態では、訴求ゾーンに属するサンプル表示部20についての1表示部当たりの注視時間を、その1表示部当たりの商品販売数と併せて取得することができる。すなわち、訴求ゾーンの面積比を大きくした場合に、その1表示部当たりの注視時間が大きくなるのか、または、小さくなるのかなどの現実のデータを取得することができる。
その結果得られる1表示部当たりの注視時間は、「訴求ゾーンの面積比を大きくしたとき、1表示部当たりの商品販売数が増加する」という効果を裏付けるのに有用な結果であるかも知れないし、または、その逆の結果であるかもしれない。しかしながら、そのいずれの結果であっても、前記の効果などを分析するのに有用な結果であることには間違いなく、それらの結果をさらに分析することよって、訴求ゾーンの面積比を大きくすることについての様々な他の効果や負の効果などの知見を得ることが可能になる。
以上、本実施形態によれば、データ分析サーバ装置5は、商品販売装置1において取得される各サンプル表示部20の注視時間、そのサンプル表示部20が表示する商品の販売数などのデータに基づき、サンプル表示部20の配列、つまり、商品の配列と、その注視時間、販売数などとの相関データを取得することができる。さらに、サンプル表示部20に訴求ゾーンを設定した場合について、同様の相関データを取得することができるとともに、それらの訴求ゾーンの位置や面積比などとの相関データなどについても取得することができる。従って、データ分析サーバ装置5の管理者または利用者は、サンプル表示部20または商品の様々な配列や訴求ゾーンの設定について数値的な評価をすることができるようになり、その結果として、その配列方法や訴求ゾーンの設定方法について、マーケティングに係る様々な知見を得ることができる。
なお、相関分析部63の分析機能は、以上に説明したような分析機能、つまり、単純に商品(サンプル表示部20)の注視時間や販売数とその配置との相関を分析する機能に限定されるのではなく、さらに複雑な相関を分析することができる。
例えば、相関分析部63は、(1)顧客が注視したが購買しなかった商品の注視時間と、顧客が購買した商品の注視時間との相関、(2)顧客が注視したが購買しなかった商品の注視時間と、その商品の配置位置と、顧客が購買した商品の配置位置との相関、(3)顧客が注視したが購買しなかった商品の注視時間と、その商品の配置位置と、訴求ゾーンの位置との相関、などに係る相関データを取得することができる。
とくに、顧客が注視したが購買しなかった商品の注視時間は、顧客のその商品に対する潜在的な興味の程度を表す数値であり、それを他の様々なデータとの間で相関分析をすることにより、将来の商品の販売数を予測するのに有用な様々のマーケティングデータを取得することができる。
<5.実施形態の変形例>
以上に説明した実施形態においては、商品販売装置1は、たばこや飲料などの自動販売機を想定しているが、商品販売装置1は、自動販売機に限定されることなく、商品販売装置1がスーパーやコンビニなどにおける立壁状の商品陳列棚や平面状の商品陳列ケースなどであってもよい。
ただし、その商品陳列棚や商品陳列ケースには、通常、サンプル表示部20ではなく、商品そのものが配置される。その配置領域のデータは、この場合にも、図3(d)の領域定義データを用いて定義することができる。ただし、配置領域を定義するデータは、単なる2次元の矩形のデータではなく、平面状の商品陳列ケースにも対応可能なように、3次元の座標データであるものとする。
また、商品販売装置1は、顧客が商品を購買したのかしなかったのか、あるいは、購買した場合、どの商品を購買したかを検知する手段が必要である。これは、商品ボタン12に対応する。しかしながら、スーパーやコンビニでは、顧客は、通常、レジにて商品を受け取り、その代金を支払うので、その商品陳列棚や商品陳列ケースに、商品ボタン12に厳密に対応する手段を設けることは困難である。
そこで、本実施形態の変形例では、商品陳列棚や商品陳列ケースにおいて販売する商品の領域ごとに、例えば、その領域に陳列された商品の総重量を計測する重量センサを設ける。そして、商品販売装置1は、その重量センサからその重量を取得し、その重量が減少した場合に、その領域に陳列された商品が顧客によって購買されたものと判断する。すなわち、このような手段により、商品ボタン12の代用手段が実現されたことになる。
以上のような手段を講ずることにより、前に詳しく説明した実施形態が、本実施形態の変形例でも、そのまま適用可能となる。