JP4991440B2 - 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム - Google Patents

Description

本発明は、商品サンプルを見ている顧客を撮影した映像に基づき、その顧客の視線を解析して顧客が注視する商品情報を取得する商品販売装置、商品販売管理システム、商品販売管理方法およびプログラムに関する。

一般に、商品の人気度は、その商品の販売数量により判断することができる。しかしながら、新しい商品を市場に投入したような場合には、その商品の人気度は、販売数量だけで判断することはできない。顧客は、しばしば、その新しい商品の売れ行きの様子を眺めることがあるからである。このような場合、商品の販売者が最も知りたい情報は、顧客の心の内にあるその商品への関心度など、その商品の今後の販売量などを予測する上で有用な、つまり、マーケティング上有用なデータである。

商品の顧客の関心度は、例えば、販売店などにおいては、その商品の陳列棚の前に集まる人の数や、その商品を手に取ってみる人の数などにより知ることができる。あるいは、インターネットなどを利用したアンケートなどによって、顧客の関心度を調査することもできる。しかしながら、こういった方法では、顧客がある商品を購入しようとするときに、その商品を購入するに至った顧客の心の内をのぞき見ることはできない。その心の内をのぞき見ることができれば、顧客が購入しなかった商品に対して、顧客の心の内にある関心度を、より正確につかむことができるはずである。

人の心の内、すなわち、その人の意思、または、潜在的な意思を検出する方法として、その人の視線を用いる方法が知られている。その方法によれば、カメラなどで撮影された映像に含まれる人の顔の向きや瞳の位置などを解析することにより、その人の視線を検出し、その視線の先にあるものに対して、その人の意思を見出す。このような技術は、例えば、視線によって操作するタッチパネルなどのコンピュータの入力装置（例えば、特許文献１）、視線の動きなどを解析することにより不審者を検出するシステム（例えば、特許文献２）などに応用されている。
特開２００３−１５０３０６号公報 特開２００７−６４２７号公報

そこで、これらの技術を用いれば、商品の販売店などにおいて、顧客の顔の映像を取得し、その視線を解析することにより、顧客が購入しなかったが心の内で関心を抱いている商品を検知する装置を、構成することができるように考えられる。しかしながら、そのような装置が現実に実施されている例は、見当たらない。

その第１の理由は、販売店の陳列棚などにおいては、多種多様の商品が取り扱われ、また、それらの商品の配置位置や領域が頻繁に変えられるため、顧客の視線の先にある商品を簡単に特定できる状況にないからである。すなわち、販売店などにおいて
は、その商品販売環境の複雑さのゆえに、顧客の視線により顧客が心の内で関心を抱いている商品など検知し、マーケティング上有用なデータを取得できるような装置を実現するのは困難と考えられていた。

また、第２に、顧客の視線を検出することにより、顧客が心の内に関心を抱いている商品が分かったとしても、それだけの情報では、商品の販売者にとって満足できるものではなかったからである。すなわち、商品の販売者が求める情報は、将来にその商品を購入する可能性のある顧客の関心度であって、商品を購入する可能性のない顧客の関心度は不要である。すなわち、顧客の視線を検出することにより得られる情報には、必要な情報にとってノイズとなる不要な情報が含まれており、従来技術では、その不要な情報を除外する技術は提供されていなかった。

以上のような従来技術の問題点に鑑み、本発明の目的は、顧客の視線の先にある商品を容易に特定することが可能な商品販売装置を対象にして、顧客の視線を検出することにより、顧客が購入しなかったが心の内に関心を抱いている商品などマーケティング上有用なデータを取得することができ、さらには、その取得したデータをスクリーニングしてノイズなど不要なデータを除外することが可能な商品販売装置、商品販売管理システム、商品販売管理方法およびプログラムを提供することにある。

以上の従来技術の問題を解決するために、本発明に係る商品販売装置には、販売中の商品を識別可能に表示した商品サンプル表示部と、商品を購入する顧客の少なくとも顔を含んだ部分を撮影するカメラと、そのカメラにより撮影された映像を取得して処理する情報処理装置と、を設けた。そして、その前記情報処理装置が、カメラから取得した映像に含まれる顧客の顔の映像を解析してその顧客の視線を検出する視線検出部と、その視線検出部により検出した前記顧客の視線が指し示す前記商品販売装置の筐体外面上の位置に基づき、その筐体外面に複数個設けられた前記商品サンプル表示部のうち、顧客が注視する商品サンプル表示部を検出するとともに、その商品サンプル表示部に対応付けられた商品の識別情報を取得する注視対象検出部と、カメラから取得した映像において顧客の顔が占める面積に基づき、顧客の購買行動の開始および終了を判定する購買動作判定部と、前記購買動作判定部により判定される顧客の購買行動の開始から終了までの間に前記注視対象検出部により取得された商品の識別情報に基づき、顧客が注視した商品の識別情報の時系列データを取得し、その取得した時系列データに基づき顧客の顧客属性を判定する顧客属性判定部と、前記購買動作判定部により判定された顧客の購買行動の終了時に、その顧客について、顧客が注視した商品の識別情報と顧客が購入した商品の識別情報と顧客属性とを対応付けて構成した顧客購買履歴データを蓄積する顧客購買履歴データ蓄積部と、その蓄積した顧客購買履歴データに基づき、顧客属性および顧客が注視した商品の識別情報ごとに顧客の注視回数を集計して注視商品データを生成する注視商品データ集計部と、を備えたことを特徴とする。

本発明によれば、顧客が購入しなかったが心の内に関心を抱いている商品などマーケティング上有用なデータを取得することができ、さらには、その取得したデータをスクリーニングしてノイズなど不要なデータを除外することが可能な商品販売装置、商品販売管理システム、商品販売管理方法およびプログラムを提供することができる。

以下、図面を参照して本発明の実施形態について詳しく説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る商品販売装置の外観および内部構成の概略を示した図である。図１に示すように、商品販売装置１は、例えば、たばこなど小物商品の自動販売装置であり、その筐体の前面には、サンプル表示部２０、商品ボタン１２、入金口３０、取出口４０などが設けられ、また、その筐体の内部には、情報処理装置１０、カメラ１１、入金センサ１３、人感センサ１６、距離センサ１５などが設けられている。

図１において、サンプル表示部２０は、商品販売装置１の筐体の前面上において、商品販売装置１が販売中の商品の写真、絵、愛称などを表示した部分である。あるいは、サンプル表示部２０の部分には、商品販売装置１の筐体内部に外側から透視可能なボックスが設けられ、そのボックス内に商品を識別可能なサンプル、模型、包装空箱などが配置されていてもよい。

商品ボタン１２は、サンプル表示部２０と対にして設けられ、顧客が購入する商品を選択するとともに、購入を指示する。図１の例では、商品販売装置１の筐体の前面上に、サンプル表示部２０と商品ボタン１２との組が上下方向に４段、各段それぞれに４組ずつ配列されている。すなわち、サンプル表示部２０と商品ボタン１２との組が、商品販売装置１の筐体の前面上に４×４のマトリックス状に配列されている。

顧客は、商品販売装置１が販売している商品を購入するとき、商品販売装置１の前に立って、サンプル表示部２０を見て、購入商品を探し、その購入商品の対価に相当する貨幣を入金口３０から入れ、購入商品の商品ボタン１２を押す。そうすると、商品ボタン１２により選択された商品が取出口４０へ出てくるので、顧客はその商品を入手することができる。

カメラ１１は、商品販売装置１の筐体内部の、例えば、サンプル表示部１２がマトリックス状に配列された部分の中央あたりに設けられ、顧客の顔が含まれるように、顧客が商品を購入する様子を撮影する。なお、カメラ１１は、少なくとも１つあればよいが、図１の例のように、複数のカメラ１１（中央のカメラ１１ａ、左上のカメラ１１ｂ、および、左下のカメラ１１ｃ）が設けられていてもよい。このとき、カメラ１１は、顧客の顔が撮影可能であれば、どこに配置してもよい。

入金センサ１３は、所定の金額の貨幣が入金口３０から入金されたことを検出し、取出口センサ１４は、取出口４０から商品が取り出されたことを検出する。また、距離センサ１５は、商品販売装置１から顧客までの距離を計測し、人感センサ１６は、商品販売装置１の周りに顧客などがいるか否かを検知する。なお、後記するように、距離センサ１５および人感センサ１６は、設けなくてもよい場合もある。

以上のような商品販売装置１において、情報処理装置１０は、カメラ１１を介して顧客の顔を含む映像を取得し、その映像に含まれる顧客の顔の方向や瞳の位置から顧客の視線を検出し、その視線に基づき、顧客が商品販売装置１の筐体の前面のどの領域を注視しているか、つまり、どの商品のサンプル表示部２０を注視しているかを検出する。さらに、情報処理装置１０は、その顧客が注視した商品の時系列データに基づき、その顧客の顧客属性を判定するとともに、顧客が商品を購入するとき、購入には至らなかったが注視した商品についてのマーケティングデータを取得する。なお、これらの情報処理装置１０の動作については、図２以下の図を用いて、詳しく説明する。

なお、ここでいうマーケティングデータとは、商品の販売に係るデータであり、特に、今後の商品販売の予測に有用なデータをいう。

詳細は、後記するところによるが、本実施形態においては、商品販売装置１で販売している商品について、顧客の視線を解析することにより、顧客が購入しなかったが注視した商品の注視数（注視回数）を取得することができる。例えば、このような商品の販売量や注視数は、マーケティングデータといえる。ちなみに、注視数の大きい商品は、顧客の関心が高い商品であると判断されるので、今後販売量が増加すると予測される。

また、本実施形態では、販売した商品ごとに、その商品の販売に際し、他の商品が注視された回数（以下、他商品注視数という）などのデータも併せて取得することができる。このような他商品注視数もマーケティングデータといえる。ちなみに、他商品注視数が大きい商品は、今後販売量が減少すると予測される。

本実施形態では、このほかにもマーケティングデータに相当するデータを取得することが可能であるが、実施形態の説明を複雑にしないために、以下の説明では、特に断らない限り、商品販売装置１は、マーケティングデータとして、顧客が購入しなかったが注視した商品の注視回数を取得するものとする。

図２は、本発明の第１の実施形態に係る商品販売装置およびその商品販売装置に含まれる情報処理装置の機能ブロックの構成の例を示した図である。

図２に示すように、商品販売装置１に収納されている情報処理装置１０には、カメラ１１が接続されるとともに、商品ボタン１２、入金センサ１３、取出口センサ１４、距離センサ１５、人感センサ１６などのセンサ類が接続される。そして、その情報処理装置１０は、映像取得部２１、注視判定部２２、センサデータ取得部２３、人流動線検出部２４、購買動作判定部２５、注視商品データ取得部２６、注視商品データ集計部２７、集計データ出力部２８などの処理機能ブロックと、映像データ記憶部３１、注視履歴データ記憶部３２、顧客履歴データ記憶部３３、注視商品データ記憶部３４などの記憶機能ブロックとを含んで構成される。なお、図２では、カメラ１１や商品ボタン１２は、代表して１つだけを示している。

図２において、注視判定部２２は、さらに、移動体検知部２２１、顔検知部２２２、顔特徴量計算部２２３、視線検出部２２４、注視対象検出部２２５などの下位の処理機能ブロックを含んで構成される。また、注視商品データ取得部２６は、さらに、顧客属性判定部２６１などの下位の処理機能ブロックを含んで構成される。

図２において、情報処理装置１０は、図示しないＣＰＵ（Central Processing Unit）と記憶装置とを少なくとも有する、いわゆる、コンピュータによって構成される。その場合、情報処理装置１０における各処理機能ブロックの機能は、前記ＣＰＵが前記記憶装置に格納されている所定のプログラムを実行することにより実現される。また、情報処理装置１０における各記憶機能ブロックは、前記記憶装置上に構成される。なお、前記記憶装置は、半導体集積回路によるＲＡＭ（Random Access Memory）、フラッシュメモリ、あるいは、磁気記憶装置であるハードディスク装置などからなる。

なお、情報処理装置１０における処理機能ブロックの一部または全部を、コンピュータではなく、半導体の集積回路などを用いた専用の処理回路によって構成してもよい。

続いて、情報処理装置１０の各機能ブロックの機能について、図２および図３を参照して説明する。ここで、図３は、情報処理装置１０の記憶装置に蓄積するデータのレコード構成の例を示した図である。

映像取得部２１は、カメラ１１から入力される動画像の映像データを１フレームごとに取得し、その１フレームごとの映像データに、時間情報などに基づく固有のフレームＩＤとカメラ番号などを付し（図３（ａ）参照）、映像データ記憶部３１に蓄積する。なお、映像取得部２１は、所定フレーム数の映像データバッファを有し、そのフレーム数分の映像データを一時記憶するとともに、その一時記憶している映像データを、適宜、移動体検知部２２１などへ提供する。

注視判定部２２における移動体検知部２２１は、映像取得部２１から提供される所定フレーム数の映像データを解析することにより、移動している物体を検知し、顧客が撮影対象領域に入ったことなどを検知する。また、顔検知部２２２は、移動体検知部２２１によって検知された移動体部分に顔、つまり、目、口、鼻などを有する円形状のものがあるか否かを検知する。

顔特徴量計算部２２３は、顔検知部２２２によって検知された顔の映像から、既存の方法を用いて、所定の顔の特徴量を求める。なお、ここで求めた顔の特徴量は、商品販売装置１を複数回にわたって利用する顧客の同一性を識別するのに利用することができる。ただし、その同一性の識別の程度は、情報セキュリティの分野で個人認証に用いられているような厳密なものである必要はない。

視線検出部２２４は、顔検知部２２２によって検知された顔の映像から、その顔の中心位置、顔が向いている方向、目の中における瞳の位置などを解析し、その解析結果に基づき、顧客の顔の視線方向を計算する。なお、具体的な視線方向の計算は、例えば、特許文献２に記載された既存の方法に従って行うものとし、その計算方法の詳細についての説明を省略する。

注視対象検出部２２５は、視線検出部２２４で求められた視線方向に基づき、その視線が指し示す商品販売装置１の筐体の前面上の位置（以下、視線位置という）を検出し、さらに、その視線が注視する領域に表示されている商品の商品番号を求める。なお、ここで、注視とは、視線が所定の平面上（商品販売装置１の筐体の前面上）の所定の領域（例えば、ある商品のサンプル表示部２０）に所定の時間以上、例えば、０．３秒以上留まることをいう。従って、顧客がある領域を注視した場合には、その領域に顧客の意識を引く何か、この場合は、顧客の意識を引いた商品のサンプルまたはその写真などが存在する。

注視対象検出部２２５は、また、以上のようにして求めた商品番号を注視履歴データのレコードに含めて注視履歴データ記憶部３２に蓄積する。

ここで、注視履歴データのレコードは、図３（ｂ）に示すように、顧客を識別する顧客識別キー、当該注視履歴データのレコードを識別する注視履歴識別キー、顧客が商品を注視したときの映像のフレームＩＤ、そのフレームＩＤの映像に含まれる人の顔の顔特徴量、前回の注視（後記する購買の開始を含む）から当該注視に至るまでの注視検出時間、注視した商品の商品番号などにより構成されている。

なお、ここでの顧客識別キーは、特定の顧客をユニークに識別する必要はなく、購買動作の開始から終了までの顧客の注視履歴データのレコードの同一性を識別できるものであればよい。従って、同じ顧客識別キーが付された注視履歴データは、その顧客についての注視データの履歴データ、つまり、注視データの時系列のデータである。

ただし、図３（ｂ）に示すように、注視履歴データのレコードは、顧客の顔特徴量を含んでいるので、その顔特徴量に基づき、当該商品販売装置１を複数回、または、繰り返し利用する顧客の同一性を高い精度で識別することができる。そこで、顧客識別キーは、顔特徴量によって識別される顧客それぞれに対して付される顧客識別情報である、としてもよい。

また、図３（ｂ）において、注視検出時間は、ここでは、購買の開始またはある商品のサンプル表示部２０の注視の終了から、次の商品のサンプル表示部２０の注視開始までの時間であるが、ある商品のサンプル表示部２０注視している時間としてもよい。あるいは、注視履歴データがその両方の時間を含むものとしてもよい。

再び、図２を参照して説明する。センサデータ取得部２３は、商品ボタン１２、入金センサ１３、取出口センサ１４、距離センサ１５、人感センサ１６などのセンサ類から入力されるデータを取得する。また、人流動線検出部２４は、人感センサ１６や距離センサ１５などにより商品販売装置１の前面の所定の範囲内に顧客が存在することを検出し、商品販売装置１の前面近傍における顧客の出入りを監視する。

なお、人流動線検出部２４により商品販売装置１の前に顧客の存在を検出した後に、映像取得部２１や移動体検知部２２１の処理が開始されるようにしておくことができる。その場合には、顧客が撮影されないような無駄な映像データを映像データ記憶部３１に蓄積することがなくなり、また、情報処理装置１０の処理負荷が軽減される。

また、人流動線検出部２４は、人感センサ１６から得られる情報でなく、映像取得部２１で取得した映像に基づき、商品販売装置１の前面近傍における顧客の出入り監視するようにしてもよい。この場合には、情報処理装置１０の処理負荷は大きくなるが、人感センサ１６を設けなくても済むようになる。

また、人流動線検出部２４は、センサデータ取得部２３を介しての人感センサ１６からの情報と、移動体検知部２２１からの情報とを併せて、顧客の出入りを監視するようにしてもよい。この場合には、より信頼性の高い顧客出入り監視が可能になる。

購買動作判定部２５は、顧客の購買動作の開始と終了とを判定する。ここでは、映像取得部２１で取得された映像中に所定の大きさより大きい顔が検出されるようになったときを、購買動作の開始と判定し、前記映像中から所定の大きさより大きい顔が検出されなくなったときを、購買動作の終了と判定する。

なお、顧客の購買動作の開始と終了は、顔の検出に限らず、他の情報によって定義してもよい。例えば、人流動線検出部２４の出力に基づき、商品販売装置１の前面近傍に顧客が検出されたときを購買動作の開始と判定し、商品販売装置１の前面近傍から顧客が検出されなくなったときを購買動作の終了と判定してもよい。また、商品ボタン１２が押されたとき、あるいは、取出口センサ１４が取出口４０の窓の開閉を検知したときを、購買動作の終了と判定してもよい。

購買動作判定部２５は、以上のような購買動作が終了したときには、押された商品ボタン１２の識別番号を取得し、その識別番号からその識別番号に対応付けられた商品番号を求め、その商品番号を顧客が購入した商品の購入商品番号とする。

注視商品データ取得部２６は、購買動作判定部２５が顧客の購買動作の終了を判定すると、注視履歴データ記憶部３２から当該顧客の顧客識別キーが付された注視履歴データのレコードを抽出し、抽出したレコードをフレームＩＤに従って、つまり、時刻順にソートし、その顧客が注視した商品番号の時系列データを生成する。そして、注視商品データ取得部２６は、その時系列データに基づき、当該顧客の購買動作についての顧客履歴データのレコードを生成し、その生成した顧客履歴データのレコードを顧客履歴データ記憶部３３に蓄積する。

このとき、顧客属性判定部２６１は、その顧客が注視した商品番号の時系列データ（履歴データ）に基づき、顧客の顧客属性を判定し、その判定した顧客の顧客属性を顧客履歴データのレコードに含めて、顧客履歴データ記憶部３３に蓄積する。なお、その場合の顧客属性の種類や顧客属性判定の例については後記する。

ここで、注視商品データ取得部２６が顧客履歴データ記憶部３３に蓄積する顧客履歴データのレコードは、図３（ｃ）に示すように、その顧客を識別する顧客識別キー、購買開始時刻、購買終了時刻、開始注視履歴識別キー、終了注視履歴識別キー、購入商品番号、顧客属性などにより構成されている。

図３（ｃ）において、購買開始時刻は、購買動作判定部２５が顧客の購買動作の開始を判定した時刻、購買終了時刻は、購買動作判定部２５が顧客の購買動作の終了を判定した時刻である。また、開始注視履歴識別キーは、購買開始時刻以降最初に蓄積された注視履歴データのレコードを識別する情報、終了注視履歴識別キーは、購買終了時刻以前最後に蓄積された注視履歴データのレコードを識別する情報である。また、購入商品番号は、購買動作判定部２５により取得された購入商品番号であり、顧客属性は、顧客属性判定部２６１により判定された顧客属性である。

以上の顧客履歴データは、商品販売装置１を利用した顧客ごとに取得された注視商品データということができる。すなわち、情報処理装置１０は、顧客履歴データの顧客識別キーと、開始注視識別キーと、終了注視識別キーと、により注視履歴データを参照すれば、その顧客が注視した商品の商品番号を知ることができる。このとき、その商品番号から、顧客履歴データの購入商品番号を除けば、顧客が購入しなかったが注視した商品、つまり、顧客が心の内で関心を抱いている商品の商品番号を得ることができる。

注視商品データ集計部２７は、例えば、１日１回動作し、顧客履歴データ記憶部３３および注視履歴データ記憶部３２を参照して、その日１日の顧客履歴データを集計し、注視商品データとして注視商品データ記憶部３４に蓄積する。注視商品データのレコードは、図３（ｄ）に示すように、当該商品販売装置１に付された識別情報である販売装置番号、集計対象の期間を示す集計開始日時および集計終了日時、顧客属性、注視商品の商品番号である注視商品番号、注視商品の注視回数などにより構成されている。

ここで、注視回数は、例えば、１日分の顧客履歴データおよび注視履歴データを参照して、顧客が購入しなかったが注視した商品の出現回数を、その注視商品ごとに集計したものである。また、図３（ｄ）の例では、注視商品データが顧客属性を有しているので、注視回数は、さらに、顧客属性でも分類して集計することができる。

なお、注視商品データ集計部２７が顧客履歴データを集計するのは、１日１回に限定されることはなく、１時間に１回でも、半日に１回でも、２日に１回でも、週に１回でも、あるいは、月に１回などであってもよい。

また、集計するデータは、図３（ｄ）の例のように注視商品の注視回数に限定される必要はない。例えば、前記した他商品注視回数（他商品注視数）などを含んでもよく、また、顧客が注視する商品を注視している時間や注視するに至るまでの時間などを、適宜、集計したデータであってもよい。

なお、注視商品の注視回数は、その注視商品に顧客が心の内に抱いている関心度を示すものである。従って、注視商品の注視回数が大きい場合には、その注視商品の販売量は、今後増加すると予想される。

また、前記したように、販売商品に対応付けた他商品注視数は、顧客がその販売商品を購入したときに他の商品を注視した回数を集計したものである。従って、その注視回数が大きい商品は、顧客に飽きられている商品である可能性が高く、その商品の販売量は、今後減少すると予想される。

集計データ出力部２８は、注視商品データ記憶部３４に蓄積されている注視商品データを、商品販売装置１の管理者の要求に応じて、その外部へ出力する。ここでは、その外部に接続される装置についてはとくに限定していないが、有線の通信回線や、携帯電話などの無線の通信回線などを介して管理コンピュータなどにデータを転送してもよく、また、オフライン的には、例えば、ＵＳＢ（Universal Serial Bus）メモリなどの可搬型記憶メディアを介して管理コンピュータなどにデータを転送してもよい。なお、通信回線を介してセンタの管理コンピュータに接続する構成の例については、後記する第２の実施形態で説明する。

図４は、顧客の購買行動の類型に基づき分類した顧客属性の例を示した図である。図４の注視履歴の例において、（開始）および（終了）は、顧客による購買の開始および終了を意味し、アルファベットの記号は、顧客が注視した商品の商品番号または商品名称を意味する。また、矢印は、（開始）から注視、または、注視から注視に至るまでの経過時間を表し、複数の矢印が続いているのは、その経過時間が長いことを表している。

長期固定客は、購入する商品がいつも同じで、また、その購入に利用する商品販売装置１もいつも同じで、サンプル表示部２０および商品ボタン１２の配置を熟知している顧客をいう。従って、長期固定顧客は、いつも購入する商品Ａをすぐに見つけて購入する。通常、わき目を振って他の商品を注視することはない。

固定客は、いつも同じ商品を購入するが、購入に利用する商品販売装置１がとくに固定していない顧客をいう。この場合、サンプル表示部２０および商品ボタン１２の配置が商品販売装置１によって異なっていることが多い。従って、固定客は、いつも購入する商品Ａを探すのにやや時間を要するが、その商品Ａを見つけるとすぐに購入する。固定客も、通常、わき目を振って他の商品を注視することはない。

これに対し、流動客は、購入する商品が定まっていない顧客をいう。従って、流動客は、購入する商品だけでなくいろいろな商品を注視する。

コンバート客は、固定客と流動客の中間層に位置する客であり、長期固定客または固定客といってもよいが、多少他の商品にも興味を持っている顧客をいう。従って、コンバート客は、いつも購入する商品Ａを注視する以外に、他の商品Ｂをも注視する。このような顧客は、いつも購入する商品Ａを、場合によっては、商品Ｂへ替える（コンバートする）こともある。

顧客属性判定部２６１は、それぞれの顧客について、注視履歴データ記憶部３２からその顧客の顧客識別キーが付された注視履歴データを取り出し、それを時刻順にソートすることによって作成する。このとき、フレームＩＤに時刻情報が含まれているものとする。また、図４の（開始）および（終了）の情報は、顧客履歴データ記憶部３３からその顧客の顧客識別キーが付された顧客履歴データを参照し、その購買開始時刻および購買終了時刻により得ることができる。

顧客属性判定部２６１は、このようにして作成した顧客履歴が、図４に示した長期固定客、固定客、コンバート客および流動客のいずれの顧客属性に適合するかを判定する。

すなわち、顧客属性判定部２６１は、注視履歴データの注視商品番号に基づき、顧客が購入した商品以外の商品を注視しなった場合には、長期固定客または固定客と判定し、顧客が購入した商品と異なる１つの商品に注視した場合には、コンバート客と判定し、顧客が購入した商品と異なる複数の商品に注視した場合には、流動客と判定する。なお、長期固定客と固定客とは、注視履歴データの注視検出時間を参照することにより識別する。

なお、顧客属性が長期固定客または固定客と判定された場合には、顧客が注視する商品は、その顧客が購入する商品だけであるので、顧客属性が長期固定客または固定客の注視履歴データからは、注視商品および注視回数のデータは得られないことになる。従って、注視商品データ集計部２７が注視回数の集計をするときには、長期固定客および固定客のデータは不要なデータであり、注視商品データ集計部２７は、顧客属性がコンバート客と流動客のデータについてのみ集計をすればよい。

また、今後の商品の販売量を予測する上で、コンバート客のデータは信頼できるが、流動客のデータは信頼できないと仮定した場合には、顧客属性を分類せずに注視回数を集計すると、流動客のデータはいわばノイズに相当する。この場合には、注視商品データ集計部２７は、コンバート客のデータだけを用いて集計をするようにすれば、流動客のデータによるノイズを除去した注視回数のデータを得ることができる。

このように、顧客属性を利用すれば、顧客の視線を検出することによって得られた原データをスクリーニングして、ノイズデータなど不要なデータを除去し、そのデータの信頼性を向上させることができる。

図５は、購買動作判定部２５における購買動作判定処理の処理フロー例を示した図である。この購買動作判定処理は、所定の時間ごとに、例えば、映像取得部２１により、カメラ１１から１フレームの映像が取得されるたびに実行される。

なお、図５において、販売中フラグは、商品販売装置１が商品を販売中、つまり、顧客が商品を購入中であることを示すフラグである。すなわち、販売中フラグは、初期状態でクリアされており、顧客が商品販売装置１の前に立って、その購買動作が開始したときセットされ、購買動作が終了したときクリアされる。

図５に示すように、情報処理装置１０のＣＰＵ（以下、単にＣＰＵという）は、映像取得部２１を介して、カメラ１１から１フレームの映像データを取得する（ステップＳ０１）。次に、ＣＰＵは、移動体検知部２２１で検知した移動体領域を除外して背景領域を検出する（ステップＳ０２）。次に、ＣＰＵは、販売中フラグがオンか否かを判定する（ステップＳ０３）。

その判定の結果、販売中フラグがオンでなかったときには（ステップＳ０３でＮｏ）、ＣＰＵは、ステップＳ０１で取得した映像データでその背景領域の面積が所定の閾値Ａより小さいか否かを判定する（ステップＳ０４）。そして、背景領域の面積が所定の閾値Ａより小さいときには（ステップＳ０４でＹｅｓ）、ＣＰＵは、顔検知部２２２の処理結果に基づき、前記取得した映像に顔を検知したか否かを判定する（ステップＳ０５）。

次に、ステップＳ０５の判定において、顔を検知したときには（ステップＳ０５でＹｅｓ）、ＣＰＵは、顧客が購買動作を開始したものと判断し、販売中フラグをセットして（ステップＳ０６）、当該１フレームの映像データについての顧客の購買動作判定処理を終了する。

また、ステップＳ０４の判定で、背景領域の面積が所定の閾値Ａより小さくなかったとき（ステップＳ０４でＮｏ）、または、ステップＳ０５の判定で、顔を検知しなかったときには（ステップＳ０５でＮｏ）、ＣＰＵは、顧客が購買動作を未だ開始していないと判断して、当該１フレームの映像データについての顧客の購買動作判定処理を終了する。

また、ステップＳ０３の判定で、販売中フラグがオンであったときには（ステップＳ０３でＹｅｓ）、ＣＰＵは、顔検知部２２２の処理結果に基づき、ステップＳ０１で取得した映像に顔を検知したか否かを判定する（ステップＳ０７）。その判定の結果、顔を検出しなかったときには（ステップＳ０７でＮｏ）、ＣＰＵは、前記取得した映像データでその背景領域の面積が所定の閾値Ｂより小さいか否かを判定する（ステップＳ０８）。

次に、ステップＳ０８の判定において、背景領域の面積が所定の閾値Ｂより小さくなかったときには（ステップＳ０８でＮｏ）、ＣＰＵは、顧客が購買動作を終了したものと判断して、販売中フラグをクリアし（ステップＳ０９）、顧客属性判定部２６１における顧客属性判定処理を起動して（ステップＳ１０）、当該１フレームの映像データについての顧客の購買動作判定処理を終了する。

また、ステップＳ０７の判定で、顔を検知したとき（ステップＳ０７でＹｅｓ）、または、ステップＳ０８の判定で、背景領域の面積が所定の閾値Ｂより小さかったときには（ステップＳ０８でＹｅｓ）、ＣＰＵは、顧客が購買動作を未だ終了していないと判断して、当該１フレームの映像データについての顧客の購買動作判定処理を終了する。

なお、以上の処理において、閾値Ａは、閾値Ｂよりも小さく設定するものとする。そうしておけば、販売中フラグがいったんセットされると、顧客の動きによって背景領域の面積が多少変動しても、販売中フラグがすぐにクリアされるようなことはなくなる。

図６は、視線検出部２２４における視線検出処理の処理フローの例を示した図である。図６に示すように、ＣＰＵは、顔検知部２２２により、まず、顔を検知する（ステップＳ１１）。次に、ＣＰＵは、その顔の中で瞳（黒目）を探し、瞳を検出したときには（ステップＳ１２でＹｅｓ）、さらに、目領域を探す。そして、目領域を検出したときには（ステップＳ１３でＹｅｓ）、ＣＰＵは、さらに、両目を探す。

次に、ＣＰＵは、両目を検出したときには（ステップＳ１４でＹｅｓ）、両目についてそれぞれの目の視線方向を計算する（ステップＳ１５）。このとき、その視線方向は、前記したように、例えば、特許文献２に記載されている方法に基づき計算する。両目の場合には、視線方向が２つ得られるので、ＣＰＵは、その両目の視線方向を加算して（ステップＳ１６）、１つの視線方向にまとめる。一方、両目を検出しなかったときには（ステップＳ１４でＮｏ）、検出した片目の視線方向を計算する（ステップＳ１７）。

なお、視線方向は、例えば、瞳の位置を始点とするベクトルとして表されるので、両目の場合、そのベクトル加算をすればよい。また、視線の始点の位置は、両目の平均の位置（中間の位置）に定める。その場合、ベクトル加算や始点の平均位置の計算に際しては、顔の向きや視線の方向に応じて、視線ベクトルの大きさなどに、適宜、加重を付してもよい。

以上のようにして、視線方向が得られると、ＣＰＵは、注視対象検出部２２５の処理として、その視線方向の先にある視線位置を検出する（ステップＳ１８）。ここで、視線位置とは、商品販売装置１の筐体の前面上で当該視線が指している位置をいう。なお、視線位置の検出処理については、次に、図７および図８を用いて詳しく説明する。

また、ステップＳ１２で瞳を検出しなかったとき（ステップＳ１２でＮｏ）、または、ステップＳ１３で目領域を検出しなかったときには（ステップＳ１３でＮｏ）、ＣＰＵは、そのまま何もせずに処理を終了する。

なお、以上の視線検出処理は、少なくとも顔が検知された映像について、１フレームごとに行われる。

続いて、図７および図８を参照して、視線位置検出処理の詳細について説明する。ここで、図７は、視線位置を求める方法を説明するための図、図８は、注視対象検出部２２５における視線位置検出処理の処理フローの例を示した図である。

図７には、顧客が商品販売装置１の前面に立って、その筐体の前面を見ている様子が上面図で示されている。ここで、商品販売装置１の内部には、カメラ１１が商品販売装置１の筐体の前面に垂直な方向を向いて設けられている。このとき、カメラ１１の方向（カメラ視線）をｘ軸とし、商品販売装置１の筐体の前面上でｘ軸に交わる水平方向の直線をｙ軸とし、垂直方向の直線をｚ軸とする。このとき、ｘ軸は、カメラ視線となるので、撮影された映像の中心になる。また、カメラ１１が撮影可能な角度の範囲を画角と呼び、これをθで表す。

そこで、図８に示すように、情報処理装置１０のＣＰＵは、距離センサ１５などを介して商品販売装置１の筐体の前面から顧客までの距離（ｄ）を取得する（ステップＳ２１）。次に、ＣＰＵは、カメラ１１から得られる映像に基づき、ｙ軸方向およびｚ軸方向それぞれについて、顔中心の映像中心からの差分量（δ_ｙ，δ_ｚ）を計算する（ステップＳ２２）。

なお、ここでいう顔中心とは、顧客の視線の始点をいい、両目の場合には、両目（瞳）の位置の平均位置（適宜、加重平均でもよい）であり、片目の場合には、その目（瞳）の位置をいう。また、その差分量（δ_ｙ，δ_ｚ）の計算に際しては、画角（θ）および顧客までの距離（ｄ）を考慮するものとする。なお、商品販売装置１が一般的な自動販売機である場合には、顧客までの距離（ｄ）は、顧客によらず概ね一定なので、距離センサ１５から得られる値ではなく、所定の定数としてもよい。

次に、ＣＰＵは、視線検出処理（図６参照）で計算された視線方向、ステップＳ２１で取得された顧客までの距離（ｄ）、ステップＳ２２で計算された差分量（δ_ｙ，δ_ｚ）に基づき、視線位置を計算する（ステップＳ２３）。このとき、視線の始点位置は、座標点（ｄ，δ_ｙ，δ_ｚ）と表すことができるので、求める視線位置は、視線方向と同じ方向の直線で、座標位置（ｄ，δ_ｙ，δ_ｚ）を通る直線がｙｚ平面（ｘ＝０の平面）と交わる点として求めることができる。

図９は、注視対象検出部２２５における注視対象検出処理の処理フローの例を示した図である。この処理では、注視対象が何であったか、つまり、本実施形態に即していえば、顧客が商品販売装置１のどのサンプル表示部２０を注視していたかを検出する。

なお、この注視対象検出処理は、カメラ１１から得られる１フレームの映像ごとに行われる処理である。従って、注視したことは、顧客の視線方向が指し示す視線位置が、所定時間以上、つまり、所定フレーム数以上、特定のサンプル表示部２０に連続して滞在したことを判定することによって検出することができる。

情報処理装置１０のＣＰＵは、まず、図８に示した視線位置検出処理により、視線位置を検出すると（ステップＳ３１）、今回検出した視線位置が前回と同じサンプル表示部２０の領域に含まれるか否かを判定する（ステップＳ３２）。

なお、ここでいう今回とは、そのとき実行中の処理をいい、前回とは、今回の処理対象フレームの１つ前のフレームについて行った処理をいう。また、領域とは、商品販売装置１の筐体の前面においていずれかのサンプル表示部２０が占める領域部分を指す。また、図９では、紛れない範囲で、視線位置を単に位置と記載している。

そこで、今回の視線位置が前回と同じ領域に含まれていた場合には（ステップＳ３２でＹｅｓ）、ＣＰＵは、視線位置がその領域に滞在する時間、つまり、注視時間をカウントアップして（ステップＳ３９）、当該フレームに対する処理を終了する。また、今回の視線位置が前回と同じ領域に含まれていなかった場合には（ステップＳ３２でＮｏ）、ＣＰＵは、さらに、前回の視線位置がサンプル表示部２０のいずれかの領域に含まれているか否かを判定する（ステップＳ３３）。

そして、前回の視線位置がサンプル表示部２０のいずれかの領域に含まれていた場合には（ステップＳ３３でＹｅｓ）、視線位置は、前回まで含まれていた領域の外に移動したことになるので、ＣＰＵは、そのとき示されている注視時間が所定の閾値時間、例えば、０．３秒以上であるか否かを判定する（ステップＳ３５）。

そこで、その注視時間が所定の閾値時間以上であった場合には（ステップＳ３５でＹｅｓ）、ＣＰＵは、前回の注視位置が含まれる領域を顧客が注視したものと判定して、その前回の注視位置が含まれる領域に基づき、注視対象を取得する（ステップＳ３６）。なお、この場合の注視対象とは、その領域に対応付けられたサンプル表示部２０に表示または展示されている商品であり、ＣＰＵは、その商品を識別する商品番号を取得する。

次に、ＣＰＵは、図３に示した注視履歴データを作成し、その注視履歴データを注視履歴データ記憶部３２に蓄積する（ステップＳ３７）。続いて、ＣＰＵは、注視時間をクリアして（ステップＳ３８）、当該フレームに対する処理を終了する。また、注視時間が所定の閾値時間以上でなかった場合には（ステップＳ３５でＮｏ）、顧客がその領域を注視したことにはならないので、ＣＰＵは、注視時間をクリアして（ステップＳ３８）、当該フレームに対する処理を終了する。

一方、ステップＳ３３で、前回の視線位置がサンプル表示部２０のいずれの領域にも含まれていなかった場合には（ステップＳ３３でＮｏ）、ＣＰＵは、さらに、今回の視線位置がサンプル表示部２０のいずれかの領域に含まれているか否かを判定する（ステップＳ３４）。そして、今回の視線位置がサンプル表示部２０のいずれかの領域に含まれていた場合には（ステップＳ３４でＹｅｓ）、注視時間をカウントアップして（ステップＳ３９）、当該フレームに対する処理を終了する。また、今回の視線位置がサンプル表示部２０のいずれの領域にも含まれていなかった場合には（ステップＳ３４でＮｏ）、そのまま当該フレームに対する処理を終了する。

以上のようにして、ＣＰＵは、顧客が注視する商品を知ることができる。ただし、以上の処理においては、各フレームの映像から得られる視線位置が、一瞬、他の位置にぶれる場合がある。そのようなことが頻繁に生じると、顧客が注視する商品を定めることができなくなる。

そこで、それを防止するには、例えば、視線位置として移動平均値を利用するとよい。すなわち、ステップＳ３１で得られる視線位置をそのまま使用せずに、過去数フレームの処理で取得した視線位置からその平均位置を計算し、ステップＳ３２以下では、その平均位置を視線位置として用いる。こうすることによって、視線位置が、一瞬、他の位置にぶれるようなことがあっても、顧客が注視する商品をうまく定めることができる。

図１０は、顧客属性判定部２６１における顧客属性判定処理の例を示した図である。顧客属性判定処理は、購買動作判定部２５により顧客の購買動作が終了したと判定されたときに実行される。

顧客の購買動作が終了したときには、当該顧客についての注視履歴データが注視履歴データ記憶部３２に蓄積されているので、ＣＰＵは、当該顧客の注視履歴データに基づき、顧客属性を判定する（ステップＳ４１）。ここでは、図４で説明したように、当該顧客の注視履歴データの注視商品番号を参照して、その注視商品番号に、顧客が購入した商品の商品番号と異なるものがなかったときは、長期固定客または固定客と判定し、１つだけ異なるものがあったときには、コンバート客と判定し、複数異なるものがあったときには、流動客と判定する。なお、長期固定客と固定客とは、注視履歴データ（図３（ｂ）参照）の注視検出時間を参照することにより識別することができる。

次に、ＣＰＵは、その判定した顧客属性に基づき、顧客履歴データを作成し、作成した顧客履歴データを顧客履歴データ記憶部３３に蓄積する（ステップＳ４２）。

以上、本発明の第１の実施形態によれば、視線検出部２２４、注視対象検出部２２５などを含む注視判定部２２の処理により、顧客が購入しなかったが注視する商品についての注視履歴データを取得することができ、また、顧客属性判定部２６１の処理により、顧客の購買特徴を表す顧客属性を取得することができる。従って、注視商品データ集計部２７は、顧客属性ごとに、顧客が購入しないが注視する商品の注視回数などの注視商品データを生成することができる。

よって、商品販売装置１の管理者は、集計データ出力部２８を介して、顧客が購入しなかったが注視する商品、つまり、顧客が心の内に抱いている商品についての関心度を知ることができ、さらには、その情報を将来の商品販売の計画などに利用することができる。

また、注視商品データ集計部２７により集計された注視商品データは、顧客属性ごとに集計されているので、商品販売装置１の管理者は、その顧客属性によりマーケティングデータとして不要なデータやノイズとなるデータを容易に除外することができる。すなわち、商品販売装置１の管理者は、マーケティングデータとして、より信頼性のあるデータを得ることができる。

続いて、以上に説明した第１の実施形態の一部を変形することによって、さらに、他の効果が得られることを補足しておく。

第１の実施形態では、図２および図３に示したように、映像取得部２１により取得された顧客の顔を含む映像データは、映像データ記憶部３１に蓄積されるとした。この場合には、蓄積された映像データは、例えば、何らかの犯罪が生じたときなどに、その犯罪の捜査に活用することができる。しかしながら、一方で、顧客の顔を含む映像データを顧客の承諾なしに蓄積することには、個人情報の保護の上から問題がないとはいいきれない。そこで、本実施形態の変形例では、ハードディスク装置など不揮発性記憶装置上に構成された映像データ記憶部３１を設けないものとする。

すなわち、情報処理装置１０のＣＰＵは、カメラ１１から取得した映像をＲＡＭなどの揮発性記憶装置上に構成されたフレームバッファに一時記憶するにとどめる。ここで、一時記憶とは、記憶されたデータが用済みになった後、消去することを意味する。

本実施形態では、フレームバッファに一時記憶された映像は、注視判定部２２において、顔を検知したり、視線を検知したり、顔特徴量を計算したりするときに用いられるが、遅くとも、注視対象検出部２２５における注視対象検出処理が行われた後は、使用されることはない。そこで、ＣＰＵは、その注視対象検出処理が終了したとき、そのフレームバッファを解放する。そうすると、そのフレームバッファには、新たに取得された他の映像データが記憶される（つまり、上書きされる）ので、それまで記憶されていた映像データは消去される。すなわち、ＣＰＵは、フレームバッファに記憶した映像データをその用済み後、消去したことになる。

なお、顧客の映像をフレームバッファに一時記憶する場合、次に新たな映像が取得されないときには、その最後の映像がフレームバッファに残ったままになるが、本実施形態の場合、顧客の映像は、顧客の顔が検出されなくなるまで撮影されるので、顔の判別が可能な顧客の映像が残ることはない。また、残ったとしても、フレームバッファをＲＡＭなどの揮発性記憶装置上に構成する限りにおいては、情報処理装置１０への電源供給が遮断されたとき、その映像も消去される。

さらに、フレームバッファを厳格に消去しようとするなら、ＣＰは、注視対象検出処理が終了したとき、そのフレームバッファを解放するだけでなく、そのフレームバッファに記憶されている映像データを消去するようにすればよい。その場合には、フレームバッファとして、ＲＡＭなどの揮発性記憶装置に限定されることなく、ハードディスク装置など不揮発性記憶装置を利用することもできる。

以上のように、映像取得部２１により取得した顧客の顔を含む映像データをその用済み後に消去するとすることによって、そのような映像を蓄積する場合に生じる個人情報の保護の上の問題を回避することができる。

＜第２の実施形態＞
図１１は、本発明の第２の実施形態に係る商品販売管理システムの構成の例を示した図である。図１１に示すように、商品販売管理システム７は、商品販売装置１ａが通信ネットワーク４を介して、販売管理センタ装置５に接続されて構成される。このとき、通信ネットワーク４には、通常、１つの販売管理センタ装置５と、複数の商品販売装置１ａとが接続される。

商品販売装置１ａは、第１の実施形態における商品販売装置１に通信ネットワーク４に接続するための通信装置１７を追加した構成となっている。ここで、通信ネットワーク４は、ＬＡＮ（Local Area Network）、インターネット、公衆電話回線網などにより構成される。また、通信装置１７は、イーサネット（登録商標）などの有線通信のアダプタであってもよく、ＩＥＥＥ８０２．１１規格の無線ＬＡＮの子機であってもよく、携帯電話装置であってもよい。

一方、販売管理センタ装置５は、図示しないＣＰＵと記憶装置とを少なくとも有する、いわゆるコンピュータによって構成され、注視商品データ収集・管理部５１、表示装置５２などを含んで構成される。

注視商品データ収集・管理部５１は、通信ネットワーク４を介して、その通信ネットワーク４に接続されている商品販売装置１ａから、その商品販売装置１ａが集計した注視商品データを収集し、図示しない記憶装置に蓄積して管理する。さらに、注視商品データ収集・管理部５１は、その管理している注視商品データを、適宜、集計して、例えば、週ごと、月ごとなどに、商品販売装置１ａが設置されている地域別などに分別して集計したレポートを作成し、その集計レポートを、表示装置５２や図示しないプリント装置などに出力する。

図１２は、販売管理センタ装置５の表示装置５２に出力される注視商品の集計レポートの例を示した図である。図１２に示すように、注視商品の集計レポートは、商品販売装置１ａで販売対象となっている商品ごとに顧客が購入しなかった商品の月間の注視数（注視回数）を、地域別に集計したものである。これにより、商品の販売者は、これから将来売れる可能性のある商品が何であるかを知ることができる。

以上、第２の実施形態によれば、販売管理センタ装置５により、商品の販売者は、広い範囲に設置された商品販売装置１ａから得られる情報に基づき、例えば、地域ごとの商品の注視度などオンラインで知ることができるので、その商品の今後の販売数などの予測が容易になり、従って、それに応じた販売計画、配送計画、生産計画などの立案が容易になる。

本発明の第１の実施形態に係る商品販売装置の外観および内部構成の概略を示した図。 本発明の第１の実施形態に係る商品販売装置およびその商品販売装置に含まれる情報処理装置の機能ブロックの構成の例を示した図。 情報処理装置の記憶装置に蓄積するデータのレコード構成の例を示した図。 顧客の購買行動の類型に基づき分類した顧客属性の例を示した図。 購買動作判定処理部における購買動作判定処理の処理フロー例を示した図。 視線検出部おける視線検出処理の処理フローの例を示した図。 視線位置を求める方法を説明するための図。 注視対象検出部における視線位置検出処理の処理フローの例を示した図。 注視対象検出部における注視対象検出処理の処理フローの例を示した図。 顧客属性判定部における顧客属性判定処理の例を示した図。 本発明の第２の実施形態に係る商品販売管理システムの構成の例を示した図。 販売管理センタ装置の表示装置に出力される注視商品の集計レポートの例を示した図。

符号の説明

１，１ａ 商品販売装置
４ 通信ネットワーク
５ 販売管理センタ装置
７ 商品販売管理システム
１０ 情報処理装置
１１ カメラ
１２ 商品ボタン
１３ 入金センサ
１４ 取出口センサ
１５ 距離センサ
１６ 人感センサ
１７ 通信装置
２０ サンプル表示部
２１ 映像取得部
２２ 注視判定部
２３ センサデータ取得部
２４ 人流動線検出部
２５ 購買動作判定部
２６ 注視商品データ取得部
２７ 注視商品データ集計部
２８ 集計データ出力部
３０ 入金口
３１ 映像データ記憶部
３２ 注視履歴データ記憶部
３３ 顧客履歴データ記憶部
３４ 注視商品データ記憶部
４０ 取出口
５１ 注視商品データ収集部
５２ 集計レポート作成部
５３ 集計レポート出力部
５４ 注視集計データ記憶部
５５ 集計レポート記憶部
２２１ 移動体検知部
２２２ 顔検知部
２２３ 顔特徴量計算部
２２４ 視線検出部
２２５ 注視対象検出部
２６１ 顧客属性判定部

Claims (13)

1. 販売中の商品を識別可能に表示した商品サンプル表示部と、前記商品を購入する顧客の少なくとも顔を含んだ部分を撮影するカメラと、前記カメラに接続され、前記カメラにより撮影された映像を取得して処理する情報処理装置と、を備えた商品販売装置であって、
   前記情報処理装置が、
   前記カメラから取得した映像に含まれる前記顧客の顔の映像を解析して前記顧客の視線を検出する視線検出部と、
   前記視線検出部により検出した前記顧客の視線が指し示す前記商品販売装置の筐体外面上の位置に基づき、前記筐体外面に複数個設けられた前記商品サンプル表示部のうち、前記顧客が注視する前記商品サンプル表示部を検出するとともに、前記商品サンプル表示部に対応付けられた前記商品の識別情報を取得する注視対象検出部と、
   前記カメラから取得した映像において前記顧客の顔が占める面積に基づき、前記顧客の購買行動の開始および終了を判定する購買動作判定部と、
   前記購買動作判定部により判定される前記顧客の購買行動の開始から終了までの間に前記注視対象検出部により取得された前記商品の識別情報に基づき、前記顧客が注視した商品の識別情報の時系列データを取得し、前記取得した時系列データに基づき前記顧客の顧客属性を判定する顧客属性判定部と、
   前記購買動作判定部により判定された前記顧客の購買行動の終了時に、前記顧客について、前記顧客が注視した商品の識別情報と前記顧客が購入した商品の識別情報と前記顧客の顧客属性とを対応付けて構成した顧客購買履歴データを蓄積する顧客購買履歴データ蓄積部と、
   前記蓄積した顧客購買履歴データに基づき、前記顧客属性および前記顧客が注視した商品の識別情報ごとに前記顧客の注視回数を集計して注視商品データを生成する注視商品データ集計部と、
   を備えたこと
   を特徴とする商品販売装置。
2. 前記情報処理装置は、
   前記顧客属性判定部で前記顧客の顧客属性を判定するときには、前記顧客がいつも同じ商品を購買する固定客、購買する商品を変えることを考えているコンバート客またはその両方を少なくとも含む複数の顧客属性のうち、いずれの顧客属性に属するかを判定すること
   を特徴とする請求項１に記載の商品販売装置。
3. 前記情報処理装置は、
   前記カメラから前記顧客の顔を含む映像を取得したとき、前記映像のデータを記憶装置に記憶し、前記注視対象検出部により前記顧客の注視対象を検出した後に、前記映像のデータを前記記憶装置から消去すること
   を特徴とする請求項１または請求項２に記載の商品販売装置。
4. 前記情報処理装置を所定の通信ネットワークに接続するための有線または無線の通信装置を備えたこと
   を特徴とする請求項１ないし請求項３のいずれか１項に記載の商品販売装置。
5. 販売中の商品を識別可能に表示した商品サンプル表示部と、前記商品を購入する顧客の少なくとも顔を含んだ部分を撮影するカメラと、前記カメラに接続され、前記カメラにより撮影された映像を取得して処理する情報処理装置と、を備えた商品販売装置が、通信ネットワークを介して販売管理センタ装置に接続されて構成される商品販売管理システムであって、
   前記商品販売装置の前記情報処理装置は、
   前記カメラから取得した映像に含まれる前記顧客の顔の映像を解析して前記顧客の視線を検出する視線検出部と、
   前記視線検出部により検出した前記顧客の視線が指し示す前記商品販売装置の筐体外面上の位置に基づき、前記筐体外面に複数個設けられた前記商品サンプル表示部のうち、前記顧客が注視する前記商品サンプル表示部を検出するとともに、前記商品サンプル表示部に対応付けられた前記商品の識別情報を取得する注視対象検出部と、
   前記カメラから取得した映像において前記顧客の顔が占める面積に基づき、前記顧客の購買行動の開始および終了を判定する購買動作判定部と、
   前記購買動作判定部により判定される前記顧客の購買行動の開始から終了までの間に前記注視対象検出部により取得された前記商品の識別情報に基づき、前記顧客が注視した商品の識別情報の時系列データを取得し、前記取得した時系列データに基づき前記顧客の顧客属性を判定する顧客属性判定部と、
   前記購買動作判定部により判定された前記顧客の購買行動の終了時に、前記顧客について、前記顧客が注視した商品の識別情報と前記顧客が購入した商品の識別情報と前記顧客の顧客属性とを対応付けて構成した顧客購買履歴データを蓄積する顧客購買履歴データ蓄積部と、
   前記蓄積した顧客購買履歴データに基づき、前記顧客属性および前記顧客が注視した商品の識別情報ごとに前記顧客の注視回数を集計して注視商品データを生成する注視商品データ集計部と、
   を備え、
   前記販売管理センタ装置は、
   前記商品販売装置から、その商品販売装置の前記情報処理装置が生成した前記注視商品データを収集し、前記収集した注視商品データを所定の期間ごとに所定の形式で集計したレポートを出力する注視商品データ管理部
   を備えたこと
   を特徴とする商品販売管理システム。
6. 前記情報処理装置は、
   前記顧客属性判定部で前記顧客の顧客属性を判定するときには、前記顧客がいつも同じ商品を購買する固定客、購買する商品を変えることを考えているコンバート客またはその両方を少なくとも含む複数の顧客属性のうち、いずれの顧客属性に属するかを判定すること
   を特徴とする請求項５に記載の商品販売管理システム。
7. 前記情報処理装置は、
   前記カメラから前記顧客の顔を含む映像を取得したとき、前記映像のデータを記憶装置に記憶し、前記注視対象検出部により前記顧客の注視対象を検出した後に、前記映像のデータを前記記憶装置から消去すること
   を特徴とする請求項５または請求項６に記載の商品販売管理システム。
8. 販売中の商品を識別可能に表示した商品サンプル表示部と、前記商品を購入する顧客の少なくとも顔を含んだ部分を撮影するカメラと、前記カメラに接続され、前記カメラにより撮影された映像を取得して処理する情報処理装置と、を備えた商品販売装置における商品販売管理方法であって、
   前記情報処理装置が、
   前記カメラから取得した映像に含まれる前記顧客の顔の映像を解析して前記顧客の視線を検出する第１の処理と、
   前記第１の処理で検出した前記顧客の視線が指し示す前記商品販売装置の筐体外面上の位置に基づき、前記筐体外面に複数個設けられた前記商品サンプル表示部のうち、前記顧客が注視する前記商品サンプル表示部を検出するとともに、前記商品サンプル表示部に対応付けられた前記商品の識別情報を取得する第２の処理と、
   前記カメラから取得した映像において前記顧客の顔が占める面積に基づき、前記顧客の購買行動の開始および終了を判定する第３の処理と、
   前記第３の処理で判定される前記顧客の購買行動の開始から終了までの間に前記第２の処理で取得された前記商品の識別情報に基づき、前記顧客が注視した商品の識別情報の時系列データを取得し、前記取得した時系列データに基づき前記顧客の顧客属性を判定する第４の処理と、
   前記第３の処理で判定された前記顧客の購買行動の終了時に、前記顧客について、前記顧客が注視した商品の識別情報と前記顧客が購入した商品の識別情報と前記顧客の顧客属性とを対応付けて構成した顧客購買履歴データを記憶装置に蓄積する第５の処理と、
   前記蓄積した顧客購買履歴データに基づき、前記顧客属性および前記顧客が注視した商品の識別情報ごとに前記顧客の注視回数を集計して注視商品データを生成する第６の処理と、
   を実行すること
   を特徴とする商品販売管理方法。
9. 販売中の商品を識別可能に表示した商品サンプル表示部と、前記商品を購入する顧客の少なくとも顔を含んだ部分を撮影するカメラと、前記カメラに接続され、前記カメラにより撮影された映像を取得して処理する情報処理装置と、を備えた商品販売装置が、通信ネットワークを介して販売管理センタ装置に接続されて構成され、
   前記商品販売装置の前記情報処理装置が、
   前記情報処理装置が、
   前記カメラから取得した映像に含まれる前記顧客の顔の映像を解析して前記顧客の視線を検出する第１の処理と、
   前記第１の処理で検出した前記顧客の視線が指し示す前記商品販売装置の筐体外面上の位置に基づき、前記筐体外面に複数個設けられた前記商品サンプル表示部のうち、前記顧客が注視する前記商品サンプル表示部を検出するとともに、前記商品サンプル表示部に対応付けられた前記商品の識別情報を取得する第２の処理と、
   前記カメラから取得した映像において前記顧客の顔が占める面積に基づき、前記顧客の購買行動の開始および終了を判定する第３の処理と、
   前記第３の処理で判定される前記顧客の購買行動の開始から終了までの間に前記第２の処理で取得された前記商品の識別情報に基づき、前記顧客が注視した商品の識別情報の時系列データを取得し、前記取得した時系列データに基づき前記顧客の顧客属性を判定する第４の処理と、
   前記第３の処理で判定された前記顧客の購買行動の終了時に、前記顧客について、前記顧客が注視した商品の識別情報と前記顧客が購入した商品の識別情報と前記顧客の顧客属性とを対応付けて構成した顧客購買履歴データを記憶装置に蓄積する第５の処理と、
   前記蓄積した顧客購買履歴データに基づき、前記顧客属性および前記顧客が注視した商品の識別情報ごとに前記顧客の注視回数を集計して注視商品データを生成する第６の処理と、
   を実行し、
   前記販売管理センタ装置が、
   前記商品販売装置から、その商品販売装置の前記情報処理装置が生成した前記注視商品データを収集し、前記収集した注視商品データを所定の期間ごとに所定の形式で集計したレポートを出力する第７の処理
   を実行すること
   を特徴とする商品販売管理方法。
10. 前記情報処理装置は、
    前記第４の処理で前記顧客の顧客属性を判定するときには、前記顧客がいつも同じ商品を購買する固定客、購買する商品を変えることを考えているコンバート客またはその両方を少なくとも含む複数の顧客属性のうち、いずれの顧客属性に属するかを判定すること
    を特徴とする請求項８または請求項９に記載の商品販売管理方法。
11. 前記情報処理装置は、
    前記カメラから前記顧客の顔を含む映像を取得したとき、記憶装置に記憶した前記映像のデータを、前記注視対象検出部により前記顧客の注視対象を検出した後に、前記記憶装置から消去すること
    を特徴とする請求項８ないし請求項１０のいずれか１項に記載の商品販売管理方法。
12. 販売中の商品を識別可能に表示した商品サンプル表示部と、前記商品を購入する顧客の少なくとも顔を含んだ部分を撮影するカメラと、前記カメラに接続され、前記カメラにより撮影された映像を取得して処理する情報処理装置と、を備えた商品販売装置のプログラムであって、
    前記情報処理装置に、
    前記カメラから取得した映像に含まれる前記顧客の顔の映像を解析して前記顧客の視線を検出する第１の処理と、
    前記第１の処理で検出した前記顧客の視線が指し示す前記商品販売装置の筐体外面上の位置に基づき、前記筐体外面に複数個設けられた前記商品サンプル表示部のうち、前記顧客が注視する前記商品サンプル表示部を検出するとともに、前記商品サンプル表示部に対応付けられた前記商品の識別情報を取得する第２の処理と、
    前記カメラから取得した映像において前記顧客の顔が占める面積に基づき、前記顧客の購買行動の開始および終了を判定する第３の処理と、
    前記第３の処理で判定される前記顧客の購買行動の開始から終了までの間に前記第２の処理で取得された前記商品の識別情報に基づき、前記顧客が注視した商品の識別情報の時系列データを取得し、前記取得した時系列データに基づき前記顧客の顧客属性を判定する第４の処理と、
    前記第３の処理で判定された前記顧客の購買行動の終了時に、前記顧客について、前記顧客が注視した商品の識別情報と前記顧客が購入した商品の識別情報と前記顧客の顧客属性とを対応付けて構成した顧客購買履歴データを記憶装置に蓄積する第５の処理と、
    前記蓄積した顧客購買履歴データに基づき、前記顧客属性および前記顧客が注視した商品の識別情報ごとに前記顧客の注視回数を集計して注視商品データを生成する第６の処理と、
    を実行させるためのプログラム。
13. 前記情報処理装置に、
    前記第４の処理において前記顧客の顧客属性を判定させるときには、前記顧客がいつも同じ商品を購買する固定客、購買する商品を変えることを考えているコンバート客またはその両方を少なくとも含む複数の顧客属性のうち、いずれの顧客属性に属するかを判定させること
    を特徴とする請求項１２に記載のプログラム。

Images