以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
(商品販売装置)
図1は、本発明の実施形態に係る商品販売装置の一種である自動販売機の構成を説明する図である。本発明において、商品販売装置とは、ユーザが商品を選択して購入するまでの一連の動作を対面型で実施することが可能な装置のことをいう。このような商品販売装置としては、例えば、飲料製品又は食料製品等の自動販売機、デジタルサイネージ等が挙げられる。特に、本実施形態に係る商品販売装置は、ユーザがディスプレイに出力された商品画像を閲覧しながら商品を選択する構成を備える。ここで、「ユーザが商品を選択して購入するまでの一連の動作」とは、商品販売装置をユーザが操作をすることで、ユーザが商品一覧の中から特定の商品を選択し、代金の支払い等を終えるまでの一連の動作を指す。また、以下の実施形態で説明する自動販売機は、ユーザが自動販売機を操作することで、商品を選択して代金の支払いを終えると、自動販売機からユーザが購入した商品を排出し、ユーザがその場で商品を手に取ることができる装置をいう。このように、商品販売装置は、購入後の商品を排出する機能を含んでいてもよい。なお、以下の実施形態において、ユーザとは商品を購入する人に限定されず、商品を購入する可能性のある人についてもユーザという。
図1に示すように、本実施形態に係る商品販売装置の1種である自動販売機1は、直方体状の筐体10と、筐体10の前面に取り付けられたディスプレイ11(画像表示領域を有する出力手段、購入情報取得手段)、入金口12、取出口13、返金口114、スピーカ15(出力手段)及びカメラ16(視線情報取得手段)と、を含んで構成される。
筐体10の内部には、自動販売機1にて販売される商品が収容される。ディスプレイ11は、販売する商品に係る情報を表示する機能を有する。また、自動販売機1では、ユーザがディスプレイ11を参照して購入する商品を選択すると共に入金口12から商品の購入に係る代金を投入することで、選択された商品が取出口13に移動される。これによって、ユーザは商品を入手することができる。また、投入された代金の返金や釣銭の返却は返金口14から行われる。
自動販売機1のディスプレイ11は、画像表示領域において、商品の画像を陳列して表示することのほか、商品に係る情報、及び、商品購入に際しての金銭収受に係る情報等を表示することができる。また、商品等の広告等を表示することもできる。また、本実施形態に係る自動販売機1のディスプレイ11は所謂タッチパネルであり、ディスプレイ11の特定の位置をユーザがタッチすることで、商品購入に係るユーザからの指示(商品の選択等)を自動販売機1側で認識することができる。すなわち、ユーザの商品に係る情報を取得する機能を有する。なお、ディスプレイ11がタッチパネルではない場合には、別途商品選択用のボタン等が設けられ、ユーザがボタンを操作することで、商品購入に係るユーザの指示を自動販売機1側で認識することができる。ディスプレイ11は、ユーザが何らかの動作を行わない場合は、初期状態として、自動販売機1が販売する複数の商品の商品画像を配列して表示している。その後、ユーザが何らかの動作を行ったことを自動販売機1側で検知した場合には、ディスプレイ11は、ユーザの動作に応じて表示する内容を変更することができる。
スピーカ15は、音声を出力する機能を有し、例えばユーザが商品の購入動作を行っている際等に動作に対応させて予め設定された音声を出力することができる。
カメラ16は、ディスプレイ11の上方に設けられ、周辺を撮像することで、ユーザの行動を検出する機能を備える。特に、自動販売機1の筐体10の前面に対向している場合には、カメラ16は、ユーザの視線に係る情報(視線情報)を取得する。自動販売機1では、カメラ16によって取得された視線情報に基づいてディスプレイ11に表示する内容等を変更する。この点は後述する。
次に、自動販売機1の機能について図2に示す機能ブロック図を参照しながら説明する。図2に示すように、自動販売機1は、近隣情報取得部21、視線情報取得部22(視線情報取得手段)、出力情報生成部23(出力情報変更手段)、出力情報格納部24、出力部25(出力手段、出力情報変更手段)、及び、購入情報取得部26(購入情報取得手段)を含んで構成される。また、自動販売機1は、物理的には、図1で説明した各部の他に、CPU、主記憶装置であるRAM及びROM、ハードディスク、フラッシュメモリ等に例示される補助記憶装置、データ送受信デバイスである通信モジュール、タッチパネル及びボタン等に例示される入力装置、ディスプレイ等の出力装置などを含むコンピュータシステムとして構成されていて、CPU、RAM等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPUの制御のもとで通信モジュール、入力装置、出力装置を動作させるとともに、RAMや補助記憶装置におけるデータの読み出し及び書き込みを行うことで、各装置における一連の機能が実現される。以下、図2に戻り、自動販売機1の各部の機能について詳細を説明する。
近隣情報取得部21は、自動販売機1の設置位置の近隣の情報を取得する機能を有する。自動販売機1の設置位置の近隣の情報とは、例えば、商品を購入する可能性のあるユーザが近隣にいるかどうかを示す情報であり、ユーザが自動販売機1に近付いた場合にはこれを検知する。自動販売機1にユーザが近付いたか否かは、例えば、カメラ16にて撮像された画像(動画又は静止画)に基づいて、ユーザが自動販売機1の半径2m以内に近付いたか否かに基づいて判断される。また、ユーザが自動販売機1の半径5m以内に近付き、且つ、所定の時間(例えば2秒)以上立ち止まった場合としてもよい。このように、予め設定した条件に基づいて、ユーザが近付いたか否かをカメラ16で撮像された画像から判断し、ユーザが近付いた場合には、この情報を出力情報生成部23に通知する。なお、近隣情報取得部21が取得する自動販売機1の設置位置の近隣の情報は画像情報である必要はない。すなわち、カメラ16に代えて赤外光や超音波等を用いるセンサ等を設けることで近隣の情報を取得する構成としてもよい。
視線情報取得部22は、自動販売機1の前面にいるユーザの視線情報を取得する機能を有する。視線情報取得部22は、アイトラッキング装置等の公知の視線情報取得装置によって実現される。なお、カメラ16に代えて赤外光や超音波等を用いるセンサ等を設けることによって、ユーザの視線情報を視線情報取得部22が取得する構成としてもよい。本実施形態では、カメラ16を用いて視線情報を取得する場合について説明する。
ここで視線情報とは、ユーザがディスプレイ11のどの領域を見たか等を示す情報であり、特にユーザが注視した領域を特定する情報である。ここで、「注視」とは、特にユーザが興味を持ってディスプレイ11を見ている状態を指す。視線情報取得部22は、具体的には、近隣情報取得部21によって検知されたユーザに関して、カメラ16にて撮像された画像(動画又は静止画)に基づいて、ユーザが自動販売機1のディスプレイ11を見ているか、見ている場合にはディスプレイ11のどの領域を注視しているか等を判断する。なお、カメラ16にて撮像された画像から、ユーザが特定の領域を注視しているか否かは、例えば、ユーザの視線が所定の半径(例えば5cm)の円内に所定時間(例えば、0.2秒)以上留まっているか否かで判断することができる。また、その他の方法としては、ユーザがディスプレイ11を見始めてから所定の時間(例えば、3秒)の視線情報を取得し、当該所定時間のうちユーザが最も長い時間見ていた領域を注視していた領域と判断することができる。また、ユーザの瞳孔に係る情報を取得し、ユーザの瞳孔に何らかの変化が生じた場合に、ユーザが注視した状態と判断する構成とすることもできる。
視線情報取得部22が取得する視線情報において、ユーザが注視したか否かを判断する方法は、上記に限定されない。例えば、ユーザが特定の領域を見た回数をカウントし、回数が予め定めた閾値を超えた場合に特定の領域を注視したと判断する方法が挙げられる。また、ユーザが見た回数と当該領域を見た時間とを組み合わせて判断する(例えば、2回以上、合計0.5秒以上見た場合に注視したと判断する)等の方法が挙げられる。このように、ユーザが注視したか否かを判断する方法は、適宜選択及び変更することができる。また、ディスプレイ11での表示内容等に応じてユーザが注視したか否かを判断する方法としてもよい。例えば、初期画面でユーザが注視したか否かを判断する場合には特定の領域ユーザが見た時間に基づいて注視したか否かを判断する方法を用い、表示を変更した後にはユーザが特定の領域を見た回数をカウントして判断する方法を用いるという構成とすることもできる。
このように、視線情報取得部22では、予め設定した条件に基づいて、ユーザがディスプレイ11を注視しているか否か及びどの領域を注視しているか、をカメラ16で撮像された画像から判断し、ユーザが注視している領域が特定できた場合にはこの情報を出力情報生成部23に通知する。
なお、ユーザがディスプレイ11のどこを見ているかを視線情報取得部22が判断する場合、視線情報取得部22では、ディスプレイ11を複数の領域に区画すると共にユーザの視線が区画された領域のうちどの領域を注視しているかを判断する構成とすることができる。図3は、ユーザが購入動作を行う前の初期状態における自動販売機1のディスプレイ11を9つの区画(3行×3列)に区切った例を示している。図3に示す例では9つの領域をそれぞれ領域A〜領域Iとする。ディスプレイ11を複数の領域に区画すると共にそのうちのどの領域をユーザが注視したかに係る情報を視線情報取得部22において取得することで、ユーザの関心がどのような製品にあるか等の情報を取得することができる。
ユーザの関心について、具体的に説明する。ユーザがディスプレイ11を注視する際、ユーザは、表示されている商品画像に対して興味を持つ場合が多いと考えられる。例えば、図3に示すディスプレイ11では、領域A〜Cではお茶・水系商品に係る画像が複数配列されているとして、領域D〜Fでは果汁系商品に係る画像が複数配列されているとして、領域G〜Iではコーヒー系に係る画像が複数配列されているとする。ここで、ユーザがお茶・水系の商品の購入を検討している場合、ユーザはまず領域A〜Cを注視する可能性が高い。したがって、ディスプレイ11に複数の商品画像が配列して表示されている場合に、ユーザが最初に注視する領域に基づいて、ユーザに提示する情報を変化させることで、ユーザの関心に対応した情報を提示することができる。
また、特定の商品の購入をユーザが予め決めている場合を除くと、ユーザがディスプレイ11を見る場合には、購入検討の対象商品を、いくつかのカテゴリの組み合わせで認識している場合が多いと考えられる。具体的には、ユーザは、購入検討の対象を、例えば『「お茶・水系」の「あたたかい」商品』又は『「コーヒー系」の「微糖」の「ペットボトル」』というように認識している。したがって、商品の属するカテゴリ(例えば、「あたたかい/つめたい」、「お茶・水系/果汁系/コーヒー系」、「ペットボトル/缶」等)のいくつかを組み合わせて、商品を分類し、分類された商品毎に商品画像を近接して配列する(例えば、領域Aにはお茶・水系のペットボトル商品を配置する、領域Bにはお茶・水系の缶商品を配置する、等)と共に、当該領域に対応させてディスプレイ11を区画して視線情報を取得することで、ユーザが関心を持っている商品のカテゴリを推定しやすくなる。
出力情報生成部23は、近隣情報取得部21及び視線情報取得部22において取得された情報に基づいて、ディスプレイ11及びスピーカ15から出力する情報を生成する機能を有する。すなわち、ディスプレイ11における表示内容を変更する場合に、変更するための情報を生成する。
近隣情報取得部21からの情報に基づいて出力情報生成部23において生成される出力情報とは、例えば、ユーザが遠方から自動販売機1に近付いたことを近隣情報取得部21において検知した場合に、当該ユーザに対して自動販売機1の存在を知らせるための音声情報(例えば、「いらっしゃいませ」とのアナウンス)等が挙げられる。また、特定の商品の販促キャンペーンを行っている場合は、ユーザが近付いた場合に出力する販促キャンペーンに係る画像及び音声を出力情報とすることができる。なお、ユーザの接近に伴って何らかの情報を出力する場合、出力後に再び初期状態の表示販売商品一覧に戻る仕様として、ユーザによる選択肢を狭めることなく商品販売を行うことが、ユーザに対する利便性の観点から好ましい。
また、近隣情報取得部21によって、ユーザが自動販売機1の近傍にいることを検知している間は、ユーザが自動販売機1で商品を購入したか否かに関わらず何らかの情報を出力する構成とすることもできる。例えば、ユーザが商品を購入した後にも販促キャンペーンに係る画像及び音声を出力情報として出力する構成としてもよい。また、ユーザに対して自動販売機1で販売している商品及びその関連商品に係る質問を表示して、ユーザから何らかの情報(例えば、ユーザの興味の有無を尋ねる等)を取得するような構成としてもよい。
また、視線情報取得部22からの情報に基づいて出力情報生成部23において生成される出力情報とは、例えば、図4に示すように、視線情報取得部22によって取得された情報に基づいてユーザが領域Aを見たと判断された場合に、ディスプレイ11における表示内容を変更して、領域Aに表示されていた情報に対応して領域A1に表示する情報のことをいう。このような情報としては、例えば、領域Aと同じお茶・水系商品一覧、領域Aにおいて表示されていた商品の詳細、及び、関連商品一連等が挙げられる。その他、領域Aに表示されていた商品に関連する広告等を表示することもできる。また、必要に応じて、表示内容を変更することに加えて音声出力を行う構成とすることもできる。なお、変更後の内容を表示する領域A1の大きさ、形状等は適宜変更することができる。
なお、ユーザの視線が定まらない(特定の領域を注視しない)場合等、視線情報取得部22によって、ユーザが注視する領域が検知できない場合がある。この場合は、出力情報生成部23によって、ユーザが興味を持つような情報を出力情報として生成して、出力部25に送る構成としてもよい。ユーザが興味を持つような情報とは、例えば販促キャンペーンの広告の画像や音声等が挙げられる。また、ユーザの視線がディスプレイ11から外れてしまった場合には、ユーザが再びディスプレイ11に対して視線を向けるように、何らかの音声出力等を行うような構成とすることも考えられる。
その他、ユーザの視線が定まらない(特定の領域を注視しない)等によりユーザが関心を持つ表示内容を特定できない場合に、ユーザの嗜好等を尋ねる質問内容を出力情報として生成する構成とし、ユーザの視線又はユーザによるディスプレイ11の操作(タッチパネルによる選択肢からの選択)によってユーザからの回答を取得する構成とすることで、ユーザとの対話によりユーザが関心を持つ商品を提示する態様とすることもできる。この場合には、ユーザが回答しやすいようにYES/NO形式での質問を作成すると、ユーザの回答率が高くなる可能性が考えられる。このように、近隣情報取得部21及び視線情報取得部22からの情報に基づいて、出力情報生成部23において生成される出力情報としては種々の態様が考えられる。
出力情報格納部24では、ユーザの視線情報と、領域A1に表示する内容との対応関係を格納する機能を有する。出力情報格納部24に格納される情報の例を図5及び図6に示す。図5では、図3に示す初期状態のディスプレイ11をユーザが見た場合に、ユーザがどの領域を注視したか(注視対象)と、ユーザが注視した領域に対応付けて、領域A1(図4参照)に表示する情報の内容と、を対応付けている。例えば、視線情報取得部22においてユーザが領域A(お茶・水系)を注視したことを検出場合には、ディスプレイ11の領域A1に、お茶・水系商品一覧を表示することが示されている。このように、出力情報格納部24ユーザの視線情報と、表示変更後のディスプレイでの表示内容とが対応付けて格納されている。また、図5に示すように、ユーザがいずれの領域も注視しない場合に表示する出力情報(ここでは、10秒後に広告Xを表示する)についても対応付けて格納することもできる。なお、初期状態にディスプレイ11に表示される内容は、ユーザが特定のカテゴリ又は商品に関心を示していない状態で表示するものである。このような特定の関心に対応したものではない表示内容を以下の実施形態では「第1階層表示」という。
出力情報格納部24に格納される情報は、過去のユーザの購入行動等に基づいて作成することができる。例えば、図5では、領域G〜Iのコーヒー系商品をユーザが注視した場合、注視後にコーヒー系商品だけではなくお茶系商品も領域A1に表示することとされている。これは、過去のユーザの購入行動によれば、領域G〜Iを最初に注視したユーザは、領域G〜Iに表示されるコーヒー系商品に限らず、お茶系商品を購入する可能性があることが判明しているからである。このように、自動販売機1で販売する商品の販売者側で、ユーザの視線情報に対応して領域A1に表示する内容は適宜変更することができる。
図6は、複数の商品画像(ここでは商品01〜03)を領域A1に表示した後に、ユーザが領域A1に表示された商品のうちどの商品を注視したかに基づいて、表示内容を再度変更する場合にその対応関係を示したものである。このように、注視する商品画像によって表示内容を変更する場合には、視線情報取得部22は、1商品の画像毎に領域を区画し、各商品に対する視線情報を区別して取得することで、どの商品を注視したかに係る情報を取得する構成とされる。また、図6に示すように、ユーザがいずれの領域も注視しない場合に表示する出力情報(ここでは、初期画面に戻る)についても対応付けて格納することもできる。なお、ディスプレイ11の領域A1に表示される内容は、第1階層表示を見たユーザが特定のカテゴリ又は商品に関心を示している状態で表示するものである。このような特定の関心に対応した表示内容を以下の実施形態では「第2階層表示」という。
また、図4に示すように、領域A1内には、表示内容を前画面へ戻すことを示すアイコンA2等を表示し、アイコンA2をユーザが注視した場合には、前画面(領域A〜Iに商品が示されている初期状態の表示等の第1階層表示)に戻す構成としてもよい。
このように、出力情報生成部23では、近隣情報取得部21又は視線情報取得部22で取得された情報に基づいて、出力情報格納部24を参照して、出力する情報(ディスプレイに表示する情報及び音声情報)を生成する。
出力部25は、ディスプレイ11の画像表示領域に画像を表示させると共に、スピーカ15から音声を出力させる機能を有する。出力部25は、出力情報生成部23からの指示がない場合には、初期状態の画像をディスプレイ11に表示させる。そして、ディスプレイ11の表示内容を変更する場合には、出力情報生成部23によって生成された出力情報を出力する機能を有する。具体的には、ディスプレイ11の表示内容を変更すると共に音声情報が含まれる場合にはスピーカ15による音声出力を実行する。これにより、出力情報生成部23で生成された情報が外部に出力される。
また、出力部25は、ユーザが商品を購入する等何らかの動作を行った場合には、当該動作に対応付けて表示内容を変更することができる。例えば、購入動作を行った場合には再び初期状態に戻すことができる。また、視線情報に基づいてディスプレイ11の表示内容を変更したものの、所定時間ユーザが購入動作を行わなかった場合には、ディスプレイ11の表示内容を初期状態に戻すこともできる。
購入情報取得部26は、視線情報取得部22によって視線情報を取得したユーザによる商品の購入結果を、画像表示領域に表示した表示内容及び視線情報に対応付けて購入情報として取得する機能を有する。購入情報取得部26で取得する購入情報とは、ディスプレイ11の表示内容に対してユーザがどの領域を注視したかを示す情報と、ユーザによる商品の購入結果と、が含まれる。ここで、ユーザによる商品の購入結果とは、ユーザが選択し購入した商品を特定する情報のほか、ユーザが購入をしなかった場合の情報も含まれる。また、ユーザの視線は、ディスプレイ11の表示内容と対応するものであるから、購入情報としては、ディスプレイ11の表示内容、すなわち、出力情報生成部23により生成される出力情報も含まれる。また、購入情報取得部26により取得された購入情報は、自動販売機1内で蓄積する態様としてもよいし、自動販売機1とは異なる外部装置にて保持する態様としてもよい。
購入情報取得部26により取得される購入情報の例を図7に示す。図7(a)〜(c)はそれぞれ3人のユーザ01〜03についての購入情報を示すものである。図7に示す購入情報の例では、各ユーザについて、ユーザを特定する情報(例えばユーザ番号)、近隣情報取得部21においてユーザの接近を検知した時刻、ユーザの接近を検知して視線情報取得部22によって視線情報の取得を開始してからの経過時間、ディスプレイ11にて表示している表示内容の階層及び表示内容、表示内容に対してユーザが注視した対象を示す情報、ユーザの一連の行動においてユーザが特に注視した領域の度合いを示す注視ランク、及び購入した商品(又は購入なしを示す情報)が対応付けられている。なお、購入情報として図7に示す項目全てを取得する必要はなく、このうちの一部の情報を取得する構成とすることもできる。なお、注視ランクとは、ユーザが注視した対象(領域)が複数ある場合に、例えばユーザの注視時間及び視線を向けた回数等予め決められた方法によってユーザがより注視した領域から順にランクを付与したものである。
購入情報取得部26により取得される購入情報は、自動販売機1に接近したユーザがディスプレイ11で注視した表示内容と実際の購入行動との関係を示す情報となる。例えば、図7(a)では、ユーザ01が、まず「第1階層表示」の「初期画面」を見た際に、領域Aを注視していることが示されている。そして、ユーザ01が領域Aを注視したことに基づいてディスプレイ11の表示内容が変更され、領域A1(図4参照)に「第2階層表示」である「お茶・水系商品一覧」が表示されたことが示されている。これに対してユーザ01は、商品01を注視した後に商品02を注視し、結果的に商品02を購入したことが示されている。さらに、ディスプレイ11では、ユーザによる商品購入後に「第1階層表示」の「購入者用キャンペーン広告」が表示されると共に、ユーザは広告内の「商品一覧」を注視したことが示されている。また、図7(a)では、それぞれの動作に対してユーザの視線情報の取得開始からの経過時間が記録されている。
図7(b)では、ユーザ02が、「第2階層表示」の「コーヒー系商品一覧」を参照し、商品31及び商品32を注視したものの、「第1階層表示」の「初期画面」に戻った後に、何も購入せずに自動販売機1付近から立ち去ったことを示している。また、図7(c)では、ユーザ03が、「第2階層表示」の「コーヒー系商品一覧」を参照し、商品32及び商品34を注視したものの、「第1階層表示」の「初期画面」に戻った後に、「お茶・水系商品一覧」を参照して、最終的に商品01を購入したことを示している。
このように、購入情報取得部26により取得される購入情報は、ユーザの視線(ユーザが注視した情報)とユーザの購入行動との対応関係を示す情報であるため、自動販売機1に接近したユーザ毎に収集して蓄積し、これを利用することで、ユーザの関心に応じた商品提案等が可能となる。購入情報取得部26により取得される購入情報の使用方法については後述する。
(画像表示方法を含む出力方法)
次に、上記の自動販売機による画像表示方法を含む出力方法について、図8及び図9を参照しながら説明する。まず、図8を参照しながら、自動販売機1にユーザが接近している間の画像表示方法を説明する。次に、図9を参照しながら、ユーザの行動に応じた画像表示の変更について説明する。
まず、自動販売機1が第1階層表示である初期状態の場合(S01:出力ステップ)には、出力部25によって、複数の商品の商品画像が配列されてディスプレイ11に表示されている。このとき、カメラ16は、継続して撮像を行い、ユーザが近付いた場合には近隣情報取得部21において検知する状態とされている。すなわち、近隣情報取得部21においてユーザが接近することを検知するまでは(S02−NO)、ディスプレイ11は初期状態が継続される。
次に、近隣情報取得部21においてユーザが近付いたことが検知された場合(S02−YES)、近付いたユーザの視線情報を取得する状態に変更される。すなわち、近隣情報取得部21が、ユーザの接近を検知すると、その情報が視線情報取得部22及び出力情報生成部23に通知されることで、視線情報取得部22は、ユーザの視線情報の取得を開始する(S03:視線情報取得ステップ)。このとき、購入情報取得部26では、接近したユーザに係る購入情報の取得を開始する。具体的には、図7に示す購入情報の1行目に記載されているユーザの情報(ユーザ01等)と、接近時刻(視線情報取得開始時刻)を記録する。以下、購入情報取得部26では、ユーザの視線に係る情報と、ディスプレイ11での表示内容(切替)、及びユーザの行動について情報を取得することで、図7に示す購入情報の作成が行われる。また、出力情報生成部23では、出力情報格納部24を参照して、ユーザが接近した場合に出力する情報が格納されている場合には、当該情報に基づいて出力情報を生成する。そして、出力部25によってディスプレイ11及びスピーカ15から出力させる。ユーザの接近に伴って何らかの情報を出力した場合、出力後に再び初期状態の表示販売商品一覧に戻る仕様とした場合、ユーザによる選択肢を狭めることなく商品販売をできるため、好ましい。
視線情報取得部22では、カメラ16により撮像された画像に基づいて、ユーザが注視状態であるかを確認し(S04)、ユーザがディスプレイ11のいずれかの領域を注視するまでは(S04−NO)、注視状態の確認を継続する。なお、所定の時間(例えば15秒)ユーザがディスプレイ11のいずれの領域も注視しない場合には、ユーザが関心を持つ表示内容が初期状態では生じされていないと判断して、強制的に販促広告等に画像表示を変更する(S07)構成とすることもできる。このような処理を行う方法としては、例えば、図5に示すように出力情報格納部24において、ユーザがいずれの領域も注視しない場合に表示する出力情報が対応付けて格納されている場合には、特定の表示内容を所定の時間出力した後に表示内容を変更するという構成にする方法が挙げられる。
一方、ユーザがいずれかの領域を注視したことを視線情報取得部22で検知した場合には(S04−YES)、ユーザが注視した領域を確認し(S05)、出力情報生成部23に通知する。出力情報生成部23では、視線情報取得部22から通知される情報に基づいて、出力情報格納部24を参照して、ユーザが注視した領域に対応して、変更後のディスプレイ11に表示する出力情報を生成し(S06:出力情報変更ステップ)、出力部25によってディスプレイ11の表示内容が変更される(S07:出力情報変更ステップ)。これにより、ディスプレイ11には、第2階層表示に係る表示内容が出力される。このとき、音声情報等も同時に出力することができる。
この後、自動販売機1では、視線情報取得部22によって表示内容を変更した後のディスプレイ11に対するユーザの視線に係る情報を第2視線情報として取得して、第2視線情報に基づいて再度表示内容を変更する構成(S04〜S07)としてもよいし、ユーザの行動を待機する状態に変更してもよい(S08)。第2視線情報を用いて表示内容を変更する場合、ユーザの関心に応じてより細かい情報をユーザに対して提示することができる。また、ユーザが初期状態の表示内容の閲覧を希望した場合には(例えば、図4に示す「戻る」アイコンを選択する等)、第1階層表示である初期状態の表示を再度行う構成とすることもできる。いずれの場合でも、視線情報の取得を継続して、ユーザの注視状態を検知する状態(S04)に戻る構成とすることができる。
一方、ユーザの行動を待機する状態に変更した場合(S08)、ユーザが行動するまでは(S08−NO)、変更後の出力内容を継続する。一方、ユーザが購入行動を行うか、自動販売機1前から立ち去る(所定時間商品の購入を行わない)場合(S08−YES)には、自動販売機1はディスプレイ11の表示内容を待機時(初期状態)の商品一覧へ切り替えて(S09)、新たなユーザの接近まで初期状態を継続する。
ユーザが行動を起こした場合(S08−YES)に、待機状態へ切り替える(S09)までの間にディスプレイ11の表示内容を変更する場合の表示内容の変更例について、図9を参照しながら説明する。
まず、ユーザが商品を購入したか(S21)に応じて表示内容を変更する。例えば、商品を購入した場合には(S21−YES)、購入後の表示内容に変更する(S22)。購入後の表示内容としては、例えば、自動販売機1で販促を行っている他の商品の紹介、購入した商品の詳細情報(原材料、製造方法等)、購入者向けキャンペーン広告等が挙げられる。また、商品を購入したユーザに対して何らかの提案を行う場合には、この提案に対応した表示内容に変更することが考えられる。例えば、ユーザからの情報収集を目的として、ユーザを自動販売機1前から移動させないような表示内容(購入した商品のイメージ画像等)を採用することが挙げられる。これらの情報をディスプレイ11に表示しながら、視線情報取得部22においてユーザの視線情報を取得することで、商品を購入したユーザが購入商品に関するどのような情報に関心を持つかという観点で情報の収集が可能となる。
また、ユーザが購入しない場合(S21−NO)は、未購入時の表示が行われる(S23)。この未購入時の表示とは、表示内容をユーザの行動を待機する状態(S08)から変更しない構成とすることもできるし、所定時間経過した場合に強制的に表示内容を変更する構成としてもよい。
その後、ユーザが移動した(自動販売機1から離れた)ことを近隣情報取得部21にて検知した場合(S24−YES)には、ディスプレイ11を待機状態へ切り替える(S25=S09)。また、ユーザが移動しない間は(S24−NO)、ディスプレイ11の表示内容は変更しない。ユーザが移動した後に、自動販売機1のディスプレイ11を待機状態へ切り替えた後、購入情報取得部26によって取得していた特定のユーザに係る一連の購入情報の取得が終了される。
このように、本実施形態に係る商品販売装置(自動販売機1)及び画像表示方法によれば、視線情報取得部22でユーザの視線情報を取得し、これに基づいてディスプレイ11に表示する表示内容を変更する構成とすることで、ユーザの関心を示す情報である視線情報に対応して、表示内容を変更することができる。したがって、ユーザの関心に沿った商品表示が可能となる。
また、ユーザはディスプレイ11において表示される画像の中に興味を持つ画像があれば、その画像を最初に注視することが多いと考えられる。したがって、自動販売機1のように、ユーザが最初に注視した領域に係る情報に基づいて、表示内容を変更することで、よりユーザの関心に沿った商品表示が可能となる。
そして、ユーザがいずれの領域も注視しない場合には、ユーザが特定の商品に興味を持っていない可能性がある。そこで上記の自動販売機1のように、ユーザがいずれの領域も注視しない場合には、販促キャンペーンの広告を表示する等、表示内容を変更する構成とすることで、商品の販売者側からユーザに対して積極的な商品の売り込みが可能となる。なお、ユーザに対して売り込む商品(広告)の数やディスプレイ11における広告の表示時間等、ディスプレイ11における表示については種々の変更を加えることができる。また、販促キャンペーンの広告を表示する場合にも視線情報取得部22ではユーザが視線情報を取得することで、ユーザが特定の領域を注視した場合には表示内容を変更する等の構成とすることもできる。
また、商品の属するカテゴリ毎に画像表示領域を区画して、区画された領域のうちどの領域を注視したかに基づいて表示内容を変更することで、特定の商品ではなく特定のカテゴリの商品の購入を検討しているユーザの関心に沿った商品表示が可能となる。このとき、共通するカテゴリの商品は近くになるように配置することが好ましい。
また、ディスプレイ11の表示内容のうち、特定の商品又はカテゴリに対してユーザの関心が高まっている場合にはユーザの視線が所定の時間以上留まるため、これに基づいてユーザが注視したと判断し、表示内容を変更する構成とすることで、よりユーザの関心に沿った商品表示が可能となる。
そして、表示内容を変更した後のディスプレイ11の画像表示領域に対するユーザの視線に係る第2視線情報を取得し、第2視線情報に基づいて、表示内容を再度変更する構成を備えることで、ユーザの視線に応じてより細かく表示内容を変更することが可能となるため、よりユーザの関心に沿った商品表示が可能となる。
(購入情報の利用方法)
次に、図7(a)〜(c)を参照しながら、購入情報取得部26により取得された購入情報の利用方法について説明する。上述したように、自動販売機1で取得される購入情報は、ユーザの関心とユーザの購入行動との関係性を示すものである。視線情報取得部22により取得された視線情報と、ユーザの購入行動(特に購入結果)との関係性を購入情報として取得することによって、ユーザの視線に応じて商品購入がより促進される表示内容に変更することもできる。また、自動販売機1において陳列する商品の種類の見直し等も可能となる。このような購入情報の活用の仕方について説明する。
例えば、図7(a)のように、ユーザが最も注視した(注視ランク1である)注視対象が商品02であって、ユーザが購入した商品が商品02である場合には、ユーザが注視した商品=ユーザが購入した商品であるため、自動販売機1がユーザの関心に基づいた商品の提案を行うことができている状況であると考えられる。また、図7(a)では、購入者用キャンペーン広告の表示をした際に、ユーザが賞品一覧を注視している情報が示されている。このように、広告等を表示した場合にもユーザの視線情報を取得する構成とすることで、自動販売機1に陳列される商品に限らずユーザが関心を示しやすい内容等に係る情報を自動販売機1側で取得することができる。
次に、図7(b)では、ユーザが第1階層表示の初期画面から特定の領域(領域G)を注視して、第2階層表示のコーヒー系商品一覧をディスプレイ11の領域Aに表示させ、商品31、商品32を注視したにもかかわらず、ユーザは最終的に商品を購入しなかった例が示されている。この例は、ユーザはコーヒー系商品に関心を持っていた(購入意図があった)が、ユーザが購入したいコーヒー系商品が自動販売機1の陳列商品には無かったということを示している。すなわち、自動販売機1の陳列商品は、コーヒー系商品に関心を持っているユーザの購買意欲を高めることができていないと考えられることから、陳列商品を見直すことで、購買意欲を高める工夫をすることが考えられる。
このような場合に、ユーザの購買意欲を高める方法としては、例えば、現状の自動販売機1において陳列しておらず、他の自動販売機等では売り上げが伸びている商品を新たに陳列する方法が挙げられる。また、コーヒー系商品一覧を見たが、商品購入に至らない(購入に係る行動に移らない)ユーザに対して、他のカテゴリの製品を提案する(「こちらの商品はいかがですか?」と示す)方法や、「戻る」アイコンA2にユーザが注視した段階でユーザに対して質問を投げかける(「コーヒー系で好みの商品をお知らせください。加糖/微糖/無糖」)ことでユーザの嗜好等の情報をユーザから直接取得する方法等が挙げられる。さらに、ユーザの嗜好等の情報をユーザから取得した結果、ユーザの嗜好に対応した商品を自動販売機1で陳列していない場合には、例えばユーザの嗜好に沿った商品を陳列している近隣の自動販売機を案内することも可能となる。ただし、当然ながら、事前に近隣の自動販売機の情報等を取得し、自動販売機1又は自動販売機1と通信可能な外部装置において保持しておく必要がある。このように、視線情報取得部22により視線情報を取得しながら、購入情報取得部26によってユーザによる購入結果を取得することで、ユーザが何に関心を持っている(いた)か、と、それに対するユーザの購入結果との関係性に基づいて、自動販売機1における商品販売の方法を検討し変更することができ、ユーザの関心に沿った商品の陳列・提案を行うことが可能となる。
さらに、図7(c)では、ユーザが第1階層表示の初期画面から特定の領域(領域G)を注視して、第2階層表示のコーヒー系商品一覧をディスプレイ11の領域Aに表示させ、商品32及び商品34を注視したにもかかわらず、第1階層表示の初期画面から別の領域(領域A)を注視して、最終的に第2階層表示のお茶・水系商品一覧に含まれる商品01を注視して購入している例が示されている。また、この例では、ユーザが最も興味を示した(注視ランク1)商品32とは異なる注視ランク2の商品を購入している。このようなユーザの購入情報を取得することで、図7(a)のユーザ01のように注視ランク1の商品を購入しなかったことが分かる。そのため、「ユーザはなぜコーヒー系商品一覧から商品を選択しなかったか」「商品32ではなくカテゴリが異なる商品01を購入したのはなぜか」等を検討することができる。
例えば、ユーザがコーヒー系商品一覧から商品を購入しなかった理由としては、自動販売機1におけるコーヒー系商品の品揃えがユーザの関心と一致しなかったことが推測でき、ユーザが次に見たお茶・水系商品一覧から商品を購入した理由としては、自動販売機1のコーヒー系商品には含まれなかったユーザの関心を満たす商品がお茶・水系商品として陳列されていたことが推測できる。このようなケースとしては、自動販売機1ではコーヒー系商品の中に無糖コーヒーが含まれていなかった場合、ユーザの関心はコーヒー系商品の中でも特に「無糖」であったものの、無糖コーヒーがなかったため、他の無糖の商品としてお茶・水系の商品を選択した可能性が考えられる。そのため、このような関心を持つユーザが購買者層にいることを考慮して、例えば陳列する商品を入れ替える方法や、第2階層表示として、コーヒー系商品一覧を表示する際に、お茶系商品も選択肢として表示する等表示方法を改善する方法等を採ることができる。
従来の自動販売機では、陳列している商品の種類毎に売上数を求めることは行われていたが、ユーザが商品の購入に至るまでにどの商品(カテゴリ)に関心を示したか等の情報を取得することはできなかった。そのため、特にユーザが商品を購入しなかった場合に係る情報(例えば、なぜユーザが商品を購入しなかったかに係る情報)を自動販売機1側で取得することはできなかった。これに対して、上記のように、視線情報とユーザの購入結果とを対応付けたユーザの購入情報を取得する構成とした場合、ユーザの関心に係る情報をより多く取得することができるため、取得した購入情報に基づいて、ユーザの関心に沿った商品を提示することが可能となる。特に、複数のユーザに係る購入情報をより多く取得して活用することで、一部の限られたユーザの関心ではなくより一般的なユーザの関心に係る情報を取得できるため、よりユーザの関心に応じた効果的な商品表示を行うことができる。
なお、購入情報取得部26により取得された購入情報の活用方法は上記に限定されない。例えば、ユーザが自動販売機1に近付いたことを近隣情報取得部21が検知してからの経過時間等を利用してユーザの購入速度等に係る分析を行うこともできる。また、注視ランクを利用して、商品毎の関連性等に係る分析を行うこともできる。
以上、本発明の実施形態について説明したが、本発明に係る商品販売装置(自動販売機1)及び画像表示方法は種々の変更を行うことができる。
例えば、上記実施形態では、視線情報取得部22によってカメラ16の画像からユーザの視線を検出し、これに基づいてユーザの関心を推定してディスプレイ11における表示内容を変更する構成について説明したが、これに加えて、カメラ16の画像から顔認識等によってユーザを特定すると共に、特定されたユーザに応じて表示内容を変更する構成としてもよい。このような例としては、最初に注視する領域と購入する商品とが一致しないことが多いユーザに対しては、最初に注視する領域に対応した表示内容とそのユーザがよく購入する製品の画像とを同時に表示する等の方法が挙げられる。また、ユーザに応じて初期状態における商品の配列順序を変更し、例えば、特定のユーザの場合には領域Aにコーヒー系商品を配列する構成としてもよい。
また、上記実施形態の自動販売機1では、出力情報格納部24を自機に備えた構成について説明したが、出力情報格納部24が自動販売機1とは異なる外部装置に設けられ、自動販売機1との間で無線通信を行うことで、情報を取得する構成としてもよい。
また、本発明に係る商品販売装置の構成は上記実施形態に限定されない。例えば、上記実施形態では、自動販売機1の視線情報取得部22によってカメラ16の画像からユーザの視線を検出する構成について説明したが、カメラ16とは異なる手段を用いてユーザの視線を検出する構成としてもよい。また、ディスプレイ11、入金口12、取出口13、返金口114、及び、スピーカ15等についてもその構成を適宜変更することができる。
また、上記実施形態で説明した自動販売機1に含まれる近隣情報取得部21、視線情報取得部22(視線情報取得手段)、出力情報生成部23、出力情報格納部、及び出力部25で行われる各処理のうちの一部を自動販売機とは別体の装置等(クラウド上のサーバ等)で実施する構成としてもよい。すなわち、商品販売装置は、必ずしも一体の装置で実現されていなくてもよく、複数の装置を組み合わせたシステムとして実現されてもよい。
また、上記実施形態で説明した自動販売機1では、購入情報取得部26においてユーザ毎の購入情報を取得する構成を備えている場合について説明したが、購入情報取得部26を備えていなくてもよい。自動販売機1が購入情報取得部を備えていない場合であっても、ユーザの視線情報に基づいて出力情報を変更する構成とすることで、ユーザの関心を示す情報である視線情報に対応して、ユーザの関心に沿った商品表示が可能となる。