以下、実施形態につき、図面を参照して説明する。
(第1実施形態)
図1から図13は、第1実施形態を示す図である。図1は、本実施形態の商品陳列棚を介した人型ロボットによる購買支援システム(以下、購買支援システムと称する)の構成図である。購買支援システムは、商品陳列棚システム100と人型ロボット(接客ロボットに相当する)200と管理装置(購買支援管理装置に相当する)300とを含んで構成される。商品陳列棚システム100と人型ロボット200とは、有線又は無線で接続される。商品陳列棚システム100と管理装置300とは、IP網などのネットワークを介して、有線又は無線で接続される。
図1に示すように、商品陳列棚システム100は、高さ(Z方向)に延びる棚本体部1と、棚本体部1から前方に延設された商品陳列部2A,2B,2Cとで構成される商品陳列棚をベースとしている。複数の商品陳列部2A,2B,2Cは、所定の間隔で高さ方向に離間して配置されている。商品陳列部2A,2B,2Cは、所定の横幅(X方向)及び奥行き(Y方向)を有し、棚本体部1からY方向に突出している。なお、商品陳列部2A,2B,2Cは、商品陳列部2A,2B,2Cの上面が高さ方向に対して下方に傾くように設けることもできる。図1に示す商品陳列棚は一例であり、少なくとも所定の横幅及び奥行きを有する商品陳列エリアが形成された棚であればよい。
商品陳列棚システム100は、図1に例示するように、カメラ110A(第1センサ機器に相当する),モーションセンサ110B(第2センサ機器に相当する)、静電容量センサ110C(第3センサ機器に相当する)などのセンシングユニット110と、ディスプレイ装置120A,モニタユニット120B、スピーカ120C、香発生装置120Dなどの出力ユニット120と、コントロールユニット130と、が設けられている。
カメラ110Aは、棚前のユーザ(消費者)を撮影する撮影装置であり、ユーザの静止画や動画を撮影する。モーションセンサ110Bは、赤外線やレーザーを利用した距離画像センサを備えた非接触型のモーションセンサであり、画像内の物体までの距離を検出することができる。距離画像センサとしては、「Light Coding(パターン照射方式)」方式や「TOF(Time of Flight)」方式などがあり、赤外線やレーザーを照射してその反射を読み取ることで距離を測定する。距離画像センサとは別に物体の位置を検出するカメラと組み合わせて、例えば、位置及び距離に基づいて、人物の動きを検出する。
カメラ110A及びモーションセンサ110Bは、少なくとも棚前に位置するユーザの上半身を撮影するために、商品陳列棚の上部に設けられている。一方、静電容量センサ110Cは、商品陳列部2A,2B,2Cにおいて商品が載置される上面に設けられる。静電容量センサ110Cは、静電容量形近接センサであり、静電容量センサ110C上に商品が置かれる。ユーザが置かれた商品を手に取ると、静電容量が変化するので、商品陳列棚に置かれた商品の有無を検知することができる。
本実施形態では、モーションセンサ110Bと静電容量センサ110Cとの組み合わせにより、棚前行動として、ユーザが商品を手に取ったことを精度良く把握することができる。なお、カメラ110A、モーションセンサ110B、又は静電容量センサ110Cのいずれか1つを利用して、ユーザが商品を手に取ったことを把握することも可能である。例えば、カメラ110Aで撮影されたユーザの画像において手に取った商品を検出したり、モーションセンサ110Bで物体として商品を検出しつつ、商品がユーザと共に移動するアクションを検出したり、静電容量センサ110Cで商品の有無を検出したりして、棚前においてユーザが商品を手に取ったことを把握することができる。また、センシングユニット110のセンサ検出情報を任意に組み合わせてユーザが商品を手に取ったことを把握することも可能である。
次に、ディスプレイ装置120Aは、商品陳列棚の上部に設けられ、管理装置300から配信(送信)されるコンテンツを表示する。一方、モニタユニット120Bは、例えば、複数の小型ディスプレイ装置を横並びに並べてユニット化したものである。モニタユニット120Bは、図1に示すように、商品陳列部2A,2B,2Cの端面に設けられ、棚前に位置するユーザに面して配置されている。
スピーカ120Cは、再生された音声データ(音楽、BGM、効果音など)を出力する。音声データは、ディスプレイ装置120Aやモニタユニット120Bに表示されるコンテンツ(映像、画像、文字情報、広告情報)に付随する音声やコンテンツとは関係のない音声が含まれる。香発生装置120Dは、化粧品や香水などの香りや食品の香りなどを出力する。例えば、香りのもととなる香料(原料)を設置すると共に、ファン等の送風装置で香りを送り出すように構成することができる。複数の香料(原料)を予め設置して、例えば、後述するユーザの棚前心理や棚前行動、購買意欲の分析結果に対して、複数の香りを切り替えて送出するようにしてもよい。
コントロールユニット130は、管理装置300とネットワークを介して接続し、センシングユニット110のセンサ検出情報を管理装置300に伝送し、管理装置300から提供されるコンテンツ(出力制御情報を含む)を受信する。
人型ロボット200は、頭部201と、右腕部202A及び左腕部202Bを含む上半身部202と、下半身部203とを有し、それぞれ、人間の身体の各部に対応する。例えば、右腕部202Aと左腕部202Bは、それぞれ、右手部又は左手部を備え、物を指し示したり、掴んだりすることができる。また、下半身部203は、例えば走行機構や歩行機構を備え、人型ロボット200本体を移動させることができる。
表示入力装置274は、例えばタッチパネルディスプレイであり、ユーザに対し各種情報を表示したり、ユーザによる情報入力を受け付けたりすることができる。表示入力装置274は、上半身部202に据え付けることができる。また、右腕部202Aや左腕部202Bで、表示入力装置274を人型ロボット200に持たせることもできる。
人型ロボット200は、発話することができる。例えば、発話により、ユーザの購買意欲を高めるための商品紹介を行うことができる。また、人型ロボット200は、各部を動作させることにより、人間のような身振り手振りを行うことができる。人型ロボット200は、発話及び/又は動作による販促活動(接客行動)を店頭で行うことができる。販促活動は、例えば、商品の説明やガイダンス、顧客の呼び込み等である。
以下、発話及び/又は動作によって消費者に対する接客を行うことを「接客行動」として記載する場合がある。また、発話及び/又は動作による接客行動は、接客制御情報に規定されている。接客制御情報は、発話音声を規定した発話情報と、動作内容を規定した動作情報とを関連付けたものである。人型ロボット200は、接客制御情報に基づいて接客行動を行う。なお、接客行動を「発話/動作」として記載する場合があるが、人型ロボット200が発話と動作の両方を行う場合と、少なくとも一方を行う場合とが含まれるものとする。
人型ロボット200は、商品陳列棚システム100のコントロールユニット130と有線又は無線で接続される。これにより、人型ロボット200は、商品陳列棚100を介して管理装置300と接続される。人型ロボット200は、後述するユーザ言語情報を、商品陳列棚100を介して管理装置300に伝送する。人型ロボット200は、商品陳列棚100を介して接客制御情報を受信する。
言い換えると、コントロールユニット130は、人型ロボット200からユーザ言語情報を受信し、管理装置300に伝送する。また、コントロールユニット130は、管理装置300から提供される接客制御情報を受信し、接客制御情報を人型ロボット200に伝送する。
図2は、購買支援システムを構成する商品陳列棚システム100、人型ロボット200及び管理装置300の構成ブロック図である。なお、本実施形態の管理装置300は、ネットワークを介して1つ又は複数の商品陳列棚システム100と接続可能である。
商品陳列棚システム100は、上述のようにセンシングユニット110、出力ユニット120及びコントロールユニット130を含んで構成され、コントロールユニット130は、制御装置131、通信装置132、記憶装置133を備えている。通信装置132は、管理装置300との間の通信制御を行うとともに、人型ロボット200との間の通信制御を行う。記憶装置133は、コントロールユニット130での制御に必要な情報や人型ロボット200から伝送される各種情報、管理装置300から伝送される各種情報を記憶する。
制御装置131のセンサ制御部131Aは、センシングユニット110の各センサ機器を制御し、センサ機器それぞれから出力されるセンサ検出情報を収集する。センサ検出情報は、通信装置132を介して管理装置300に送信される。
出力制御部131Bは、管理装置300から送信されるコンテンツ及び出力制御情報を受信し、出力ユニット120の各出力機器に対する出力制御を行う。また、出力制御部131Bは、ロボット連携部131Cを備える。ロボット連携部131Cは、管理装置300から提供される接客制御情報を受信し、人型ロボット200に出力するための出力制御を行う。
人型ロボット200は、ロボットシステム220を備える。ロボットシステム220は、制御装置230、通信装置240、記憶装置250、センサ装置(第5センサ機器に相当する)260、入出力ユニット270を含んで構成される。通信装置240は、有線又は無線の通信手段により、商品陳列棚システム100との間の通信制御を行う。
記憶装置250は、制御装置230での制御に必要な情報、商品陳列棚システム100から伝送される各種情報、商品陳列棚システム100を介して管理装置300から提供される各種情報を記憶する。また、記憶装置250は、例えば、人型ロボット200の発話において出力する音声(発話情報)を、使用言語毎に格納した言語データベース(後述)を記憶する。
センサ装置260は、例えばモーションセンサ110Bと同様の機能を備え、人型ロボット200に対するユーザの位置や動きを検出する。これにより、人型ロボット200はユーザの位置や動きを把握して接客を行うことができる。また、センサ装置260をモーションセンサ110Bと同様に用いて商品陳列棚に対するユーザの位置や動きを検出することができる。
入出力ユニット270は、スピーカ271、マイク272、カメラ273(第4センサ機器に相当する)及び表示入力装置274を備える。スピーカ271は、人型ロボット200の発話において音声を出力する。マイク272は、ユーザの発話による音声を収集する。カメラ273は、人型ロボット200の前のユーザを撮影する撮影装置であり、カメラ110Aと同様の機能を備える。
制御装置230のセンサ制御部231は、カメラ273、センサ装置260を制御し、それぞれから出力されるセンサ検出情報を収集する。センサ検出情報は、通信装置240から商品陳列棚システム100を介して管理装置300に送信される。
制御装置230のロボット制御部232は、商品陳列棚システム100を介して管理装置300から提供される接客制御情報に基づいて、人型ロボット200の接客行動を制御する。また、ロボット制御部232は、マイク272で収集されたユーザの音声に基づいて、ユーザの使用言語を特定する音声認識処理を実行する。ユーザの使用言語が特定されると、ユーザの使用言語を示す情報であるユーザ言語情報が通信装置240から商品陳列棚システム100を介して管理装置300に送信される。これにより、後述するように、特定されたユーザの使用言語に対応する音声を含む接客制御情報が管理装置300から提供される。ロボット制御部232は、接客制御情報に基づいて、ユーザの使用言語に対応する音声を出力して人型ロボット200の発話を制御するとともに、出力音声に対応する人型ロボット200の動作を制御する。
管理装置300は、通信装置310、制御装置320及び記憶装置330を備えている。通信装置310は、商品陳列棚システム100との間の通信制御を行う。記憶装置330は、制御装置320での制御に必要な情報や商品陳列棚システム100から伝送される各種情報、商品陳列棚システム100を介して人型ロボット200から伝送される各種情報を記憶する。
制御装置320は、分析制御部321、コンテンツ制御部322、及び学習制御部323を含んで構成されている。図3は、本実施形態の購買支援方法に含まれるセンシングユニット機能、アナリティクスユニット機能、出力ユニット機能及び接客機能(発話/動作機能)を説明するための図である。センシングユニット機能及び出力ユニット機能は、商品陳列棚システム100によって実現され、アナリティクスユニット機能は、管理装置300で実現される。接客機能は、人型ロボット200で実現される。
図3に示すように、分析制御部321は、ユーザ特定処理、棚前心理分析処理、棚前行動分析処理、購買意欲分析処理の各処理を行う。
ユーザ特定処理は、ユーザプロファイル登録・更新処理であり、カメラ110Aで撮影されたユーザの画像データを用いて顔認識処理を行い、ユーザを特定(登録)する。例えば、ユーザの性別や年齢層を顔認識技術で分析し、ユーザプロファイルとして登録することができる。このとき、既に登録されたユーザプロファイルの顔画像とパターンマッチングを行い、新規ユーザかリピーターかを判別することができる。リピーターの場合、来店回数など来店履歴が、ユーザプロファイルとして登録・更新される。
また、ユーザ特定処理では、顔画像データ以外にも、例えばユーザの全身を撮影したり、複数のユーザを撮影したりした画像データを用いて、服装、体型、身長、眼鏡の着用の有無、グループ構成などの外見的特徴を分析し、ユーザプロファイルとして登録・更新することができる。さらに、ユーザ特定処理では、マイク272で収集されたユーザの音声に基づいて音声認識処理を行い、ユーザの使用言語を特定することができる。
音声認識処理は、例えば、人型ロボット200の記憶装置250に予め記憶させた、接客制御情報に含まれる音声(発話情報)を使用言語別に格納した言語データベースに基づいて、言語データベースに含まれる音声とユーザの音声をマッチングすることにより、ユーザの使用言語を特定(判別)することができる。例えば、言語データベースには「こんにちは」、「Hello(ハロー)」、「(にんべんに「尓」)好(ニーハオ)」など、同じ意味で使用言語が異なる複数の音声(又は、音声を基にしたテキスト情報)が用意されており、その中からユーザの音声をマッチングし、ユーザの音声により近い音声を選択することで使用言語を特定する。特定されたユーザの使用言語(ユーザ言語情報)は、ユーザプロファイルとして登録することができる。
また、音声認識処理によって使用言語を特定することにより、後述するように、特定された使用言語に応じた出力音声(発話情報)を含む接客制御情報を選択し、使用言語に応じた接客制御を行うことができる。
図4は、ユーザプロファイルの一例を示す図である。ユーザプロファイルは、ユーザの顔画像データ、性別、年齢層、言語(ユーザ言語情報)、外見的特徴、表情、視線、商品手に取り情報、滞在時間、来店回数、購買履歴などを含んでいる。分析制御部321は、顔認識技術でユーザの性別、年齢層、表情、視線を把握し、ユーザプロファイルに登録する。また、分析制御部321は、上述のように、特定されたユーザの使用言語を把握し、ユーザプロファイルに登録することができる。さらに、後述する棚前行動分析に基づく商品手に取り情報、センシングユニット110を人感センサとして利用して検出した棚前滞在時間、上述した来店回数を登録することができる。
分析制御部321で実行される顔認識技術は、既知の手法を適用することができる。例えば、特徴点やパターンを用いて顔画像を解析して性別、年齢層、表情などを検出することができる。また、可視カメラや赤外線カメラで撮影されたユーザの顔画像の目(虹彩、角膜、瞳孔)の位置を検出し、検出された目の位置に基づいて、商品陳列部2A,2B,2Cに陳列されたユーザが見ている特定の商品を把握することができる。なお、商品陳列部2A,2B,2Cに陳列された各商品及びその商品の位置情報は、予め記憶装置330に格納しておくことができる。
購買履歴は、販売管理システム(POSシステム)から取得することができる。例えば、レジ清算時にユーザの顔画像を取得し、販売管理システムは、レジ清算結果(購買した商品を識別する情報)とユーザの顔画像をセットにして、商品陳列棚システム100を介してまたは直接に、管理装置300に送信することができる。なお、ユーザの顔画像は、販売管理システムとは別に管理装置300に送信してもよい。例えば、レジ清算時にレジから販売管理システムにPOS情報が送信されるタイミングに同期させて、レジにてユーザの顔画像を撮影し、管理装置300に送信することができる。管理装置300は、販売管理システムから取得したPOS情報のタイムスタンプと、取得されたユーザの顔画像のタイムスタンプとに基づいて両者を紐付けることができる。
分析制御部321は、レジ清算結果(POS情報)に付随するユーザの顔画像を用いてユーザプロファイルを検索し、該当するユーザプロファイルに、購買した商品を購買履歴として記憶することができる。
棚前心理分析処理は、上述した顔認識処理によって特定されたユーザの表情や視線の動きに基づいて商品陳列棚システム100の商品に対するユーザの棚前心理を分析する。
棚前行動分析処理は、モーションセンサ110Bで検出されたユーザ行動と、静電容量センサ110Cで検出された商品の移動とを組み合わせて、ユーザが商品を手に取ったこと(商品手に取り情報)を分析する。商品手に取り情報は、棚前行動として把握される。また、上述のように、商品陳列棚システム100に置かれた商品の位置情報は、予め記憶装置330に記憶しておくことができ、静電容量センサ110Cで検出される商品の位置情報も予め記憶されている。このため、実際に手に取られた商品がどの商品なのかを特定することができる。ユーザプロファイルに登録される商品手に取り情報としては、例えば、「商品Aを手に取った」など、特定商品に対する手に取り行動を把握することができる。
購買意欲分析処理は、棚前心理分析処理による棚前心理分析結果と、棚前行動分析処理による棚前行動分析結果とを用いて、ユーザの購買意欲を分析する処理である。なお、棚前心理、棚前行動及び購買意欲の各分析処理の詳細については、後述する。
図5は、ユーザ行動(消費者行動)に基づくコンテンツの配信制御及び人型ロボット200の接客制御の例を示す図である。コンテンツの配信制御及び人型ロボット200の接客制御は、第1~第3フェーズの段階で制御が進行する。第1フェーズは、棚前に来たユーザを特定し、ユーザ特定結果(ユーザ特性)に基づく制御を行う段階である。第2フェーズは、ユーザの棚前心理及び棚前行動を分析し、棚前心理分析結果及び棚前行動分析結果に基づく制御を行う段階である。第3フェーズは、購買意欲分析結果に基づく制御を行う段階である。
コンテンツ制御部322は、ユーザ特性、棚前心理分析結果、棚前行動分析結果、購買意欲分析結果を複合的に用いて、商品陳列棚システム100に提供するコンテンツ及び出力制御情報と、人型ロボット200に提供する接客制御情報とを抽出して送信する。
図5に示すように、ユーザが商品陳列棚システム100の前(棚前)に来ると、モーションセンサ110Bのセンサ検出情報に基づいて、ユーザが棚前に存在していることを把握する。このとき、カメラ110Aでユーザの顔画像を撮影し、顔認識情報を用いてユーザを特定しつつ、ユーザの表情及び視線を把握する。また、上述したようにカメラ110Aによる撮影でユーザの外見的特徴を把握する。一方、人型ロボット200は、発話促進アクション(後述)により、ユーザの発話を促進し、発話したユーザの使用言語を音声認識処理で把握する。
第1フェーズでは、ユーザの顔画像に基づくマッチングによりユーザプロファイルを特定する。ユーザプロファイルが存在する場合、既知のユーザとして、ユーザプロファイルの購買履歴を用いて商品候補を抽出し、抽出された商品候補に関係するコンテンツ(商品情報)と接客制御情報を選択する。コンテンツは、商品陳列棚システム100に送信され、接客制御情報は商品陳列棚システム100を介して人型ロボット200に送信される。
一方、ユーザプロファイルが存在しない場合、新規ユーザであるとして、撮影画像(ユーザの顔画像、全身画像を含む)から把握される性別、年齢層、外見的特徴、人型ロボット200によって把握されるユーザの使用言語に適した商品候補を抽出し、抽出された商品候補に関係するコンテンツと接客制御情報を選択する。上記と同様に、コンテンツは、商品陳列棚システム100に送信され、接客制御情報は商品陳列棚システム100を介して人型ロボット200に送信される。
このように、特定されたユーザプロファイルに基づくコンテンツ及び接客制御情報の送信は、ユーザプロファイルに基づく消費者(ユーザ)の性別、年齢層、外見的特徴、言語、来店履歴及び購買履歴のいずれか1つ又は2以上の組み合わせに基づいて、コンテンツと接客制御情報を選択し、コンテンツを出力ユニットに表示させたり、人型ロボット200の接客行動を制御したりするための送信処理を行うように構成することができる。例えば、来店回数が5回以上の女性リピーターの場合、来店回数が5回未満の女性リピーターや男性ユーザよりも、限定商品の優先予約情報を提供したり、高い割引が受けられるお得情報を提供したりすることができる。
また、管理装置300の記憶部330には、商品陳列棚システム100に提供する情報及び人型ロボット200に提供する情報が格納されており、それぞれ、コンテンツ及び接客制御情報として提供される。例えば、購買履歴に商品に対して候補の商品を予め選定しておいたり、性別、年齢層、外見的特徴、言語毎に候補商品を予め選定しておいたりして、コンテンツと接客制御情報を蓄積しておくことができる。
第2フェーズでは、ユーザの視線情報に基づいて、例えば、商品Bを見ていると把握することができる。そこで、視線情報に基づいてユーザが見ている商品を特定し、特定された商品Bの商品説明情報や広告情報を抽出して商品陳列棚システム100に送信することができる。このとき、実際にユーザが見ている商品Bに関連する商品説明情報や広告情報の表示において、エフェクト(強調や装飾)表示を行うように、出力(表示)制御情報を商品陳列棚システム100に送信することができる。
また、第2フェーズでは、棚前のユーザ行動として、商品を手に取ったかを把握することができる。商品手に取り情報に基づいて、手に取った商品Aに関連するコンテンツを抽出して商品陳列棚システム100に送信したり、手に取った商品Aに関連するお得情報を抽出して商品陳列棚システム100に送信したりすることができる。お得情報とは、例えば、商品Aと同時購入するとお得な(割引適用を受けることができたり、組み合わせ効果が高い)商品Cを推薦する情報である。
第3フェーズでは、表情及び視線による棚前心理及び商品手に取り情報による棚前行動に基づいて、ユーザの購買意欲を分析し、分析された購買意欲に関連するコンテンツを抽出して商品陳列棚システム100に送信する。ユーザの購買意欲に基づくコンテンツ配信及び表示制御は、例えば表示中のコンテンツを、購買意欲を後押しするようなコンテンツに切り替えたり、表示中のコンテンツをエフェクト処理して表示したり、音楽や音声を流したり、お得情報の追加表示したりなどが含まれる。
このように本実施形態では、商品陳列棚システム100の棚前ユーザアクションに基づいて、単に広告やお得情報を表示するだけではなく、ユーザの棚前心理及び棚前行動を把握して、ユーザの購買意欲に適したきめ細やかなコンテンツ配信及び表示制御を行う。
ユーザの棚前心理や購買意欲を総合的に把握するためには、1つのセンサ機器では不十分であり、本実施形態の商品陳列棚システム100は、複数のセンサ機器を含むセンシングユニット110を備えており、ユーザの棚前心理や購買意欲を総合的に把握している。
本実施形態の購買支援システムは、1つのセンサ機器に依存せずに、複数のセンサ機器を備えるセンシングユニット110で、消費者の属性(プロファイル)、棚前心理(心理状況)及び棚前行動を把握して管理装置300に送信し、管理装置300のアナリティクスユニットで、商品陳列棚システム100の棚前のユーザの心理状況及び行動を分析してユーザの購買意欲を総合的に抽出する。そして、ユーザの心理状況や行動から総合的に把握された購買意欲に対して購買を促すコンテンツを、商品陳列棚システム100の出力ユニット120を介して提供し、ユーザの購買行動を促進させることができる。
一方、ロボット制御部232は、商品陳列棚システム100を介して管理装置300から提供される接客制御情報に基づいて、人型ロボット200を制御する。接客制御情報は、ユーザ特性、棚前心理分析結果、棚前行動分析結果、購買意欲分析結果のそれぞれに対応する人型ロボット200の発話/動作を制御するための情報であり、管理装置300の記憶装置330に格納された接客制御情報データベースから抽出される。
第1フェーズでは、ユーザが棚前に存在していることが把握されると、人型ロボット200は、ユーザに発話させるための発話促進アクションを行う。発話促進アクションでは、例えば、人型ロボット200がユーザに対し「喋って下さい」等と発話し、ユーザの発話を待機する。
ユーザが発話すると、人型ロボット200は、音声認識処理により、ユーザの使用言語を特定し、ユーザの使用言語に対応する音声で発話を行う。また、音声認識処理以外の方法でユーザの使用言語を特定してもよい。例えば、表示入力装置274に使用言語一覧を表示させ、ユーザに選択させることによってユーザの使用言語を特定してもよい。
人型ロボット200は、ユーザ言語情報を、商品陳列棚システム100を介して管理装置300に提供する。これにより、管理装置300がユーザの性別、年齢層、外見的特徴に加え、言語を把握し、上述のように抽出された接客制御情報を人型ロボット200に提供する。これにより、人型ロボット200は、ユーザ特性に対応する発話/動作を行うことができる。
なお、接客制御情報に含まれる動作の内容は、使用言語ごとに設定することもできる。例えば、特定された言語が日本語である場合、人型ロボット200がユーザを誘導する際の動作を、手の甲を上に向けて手首を動かす動作に設定し、一方、特定された言語が英語である場合は、手の平を上に向けて手首を動かす動作に設定することができる。このように、特定された言語により、同じ意味を表す動作でも違う動作を設定することができ、ユーザに応じた動作を行うことができる。
第2フェーズでは、人型ロボット200は、ユーザの表情及び視線情報による棚前心理分析結果に対応する発話/動作を行う。例えば、上述のように視線情報に基づいて特定された商品Bの商品説明情報や広告情報とともに、人型ロボット200による商品Bの説明のための接客制御情報を抽出し、抽出された接客制御情報を人型ロボット200に提供することができる。このようにして、棚前心理分析結果に基づいて、商品陳列棚100で商品Bの商品説明情報が強調表示されるのと連動して、人型ロボット200は、棚前心理分析結果に対応する発話/動作で商品Bの商品紹介を行う。
また、第2フェーズでは、人型ロボット200は、ユーザの商品手に取り情報による棚前行動分析結果に対応する発話/動作を行う。例えば、上述のようにユーザが手に取った商品Aに関連するコンテンツや手に取った商品Aに関連するお得情報の抽出とともに、人型ロボット200によって商品Aの説明を行ったり、商品Aに関連するお得情報を伝えたりするための接客制御情報を抽出し、抽出された接客制御情報を人型ロボット200に提供することができる。このようにして、棚前行動分析結果に基づいて、商品陳列棚100で商品Aのコンテンツが表示されたり、手に取った商品Aに関連するお得情報が表示されたりするのと連動して、人型ロボット200は、棚前行動分析結果に対応する発話/動作で商品Aの商品紹介やお得情報の宣伝を行う。
第3フェーズでは、人型ロボット200は、表情及び視線情報による棚前心理及び商品手に取り情報による棚前行動に基づく購買意欲分析結果に対応する発話/動作を行う。例えば、上述のように分析された購買意欲に関連するコンテンツの抽出とともに、人型ロボット200が、購買を後押しする割引情報や、他店舗で売り切れが続出している旨を発話/動作で伝えるための接客制御情報を抽出し、抽出された接客制御情報を人型ロボット200に提供することができる。このようにして、購買意欲分析結果に基づいて、商品陳列棚でユーザの購買意欲を後押しするコンテンツが表示されるのと連動して、人型ロボット200は、購買意欲分析結果に対応する発話/動作でユーザの購買を後押しする。
このように、本実施形態では、ユーザの棚前心理、棚前行動及び購買意欲に応じた接客制御情報に基づいて接客制御を行うことにより、人型ロボットによる接客サービスを提供し、ユーザの購買行動を促進させることができる。
図6は、本実施形態の棚前心理分析及び棚前行動分析の一例を示す図である。棚前心理分析は、撮影画像を用いてユーザの表情解析及び視線解析を行い、ユーザの表情と視線の両者から、ユーザの棚前心理を分析する。表情解析は、例えば、明るい、迷い、無表情といった表情の特徴点を予めパターン化しておき、ユーザの表情が「明るい」、「迷い」、「無表情」であるかを判別する。この他に「喜び」、「驚き」、「怒り」、「悲しみ」など、多様な表情解析も行うこともできる。
視線解析は、上述したように検出されるユーザの顔画像の目(虹彩、角膜、瞳孔)の位置が、所定の時間、所定範囲内に位置していれば、視線が一点に集中していると判別したり、所定の時間、所定範囲から外れて位置が上下左右に変動していれば、分散していると判別したりすることができる。
棚前心理は、表情解析結果と視線解析結果の組み合わせにより、予めパターン化されており、図6(a)に示すように、棚前心理パターンA~Eが、予め記憶装置330に記憶されている。分析制御部321は、表情解析結果及び視線解析結果を用いて、予め設定された棚前心理パターンを抽出し、ユーザの棚前心理を特定する。
棚前行動分析は、上述したように、モーションセンサ110Bで検出されたユーザ行動と、静電容量センサ110Cで検出された商品の移動とを組み合わせて、ユーザの商品手に取り行動(棚前行動パターン)を特定する。例えば、商品を手に取っていない、特定の商品を手に取った、手に取った特定の商品を棚に戻した、などを特定することができる。
図7Aは、本実施形態の棚前心理及び棚前行動に基づく購買意欲分析結果と、購買意欲分析結果に対応する配信コンテンツパターンの一例を示す図である。図7Aに示すように、購買意欲は、特定された棚前心理パターン及び棚前行動パターンの組み合わせにより、予めパターン化されており、パターン化された各分析結果が予め記憶装置330に記憶されている。分析制御部321は、棚前心理パターン及び棚前行動パターンを用いて、予め設定された購買意欲分析結果パターンを抽出し、ユーザの購買意欲を特定する。
コンテンツ制御部322は、分析制御部321で特定されたユーザの購買意欲に対応するコンテンツをコンテンツ群から抽出して、商品陳列棚システム100に伝送する。記憶装置330には、購買意欲分析結果と配信するコンテンツとが紐付けられた配信コンテンツパターン(購買支援情報)が予め記憶されており、コンテンツ制御部322は、購買意欲分析結果を用いて配信コンテンツパターンを特定し、該当するコンテンツを記憶装置330に記憶されているコンテンツ群から抽出して商品陳列棚システム100に送信する。
なお、コンテンツ群に含まれる各コンテンツは、例えば、商品毎にコンテンツ1を複数用意することができ、分析結果1に対応する配信コンテンツパターンは、各商品に個別に設定することができる。したがって、コンテンツ制御部322は、例えば、分析結果1に対応するコンテンツ1を抽出するが、分析制御部321で特定されるユーザが手に取った特定の商品に対応するコンテンツ1をコンテンツ群から抽出して商品陳列棚システム100に送信することができる。
図7Bは、棚前心理及び棚前行動に基づく購買意欲分析結果と、購買意欲分析結果に対応する発話/動作パターンの一例を示す図であり、図7Aと対応している。したがって、商品陳列棚システム100で配信するコンテンツと、接客制御情報に基づいて実行される人型ロボット200の発話/動作は、後述するように連動して行うことができる。
コンテンツ制御部322は、分析制御部321で特定されたユーザの購買意欲に対応する接客制御情報(発話/動作)を接客制御情報データベースから抽出して、商品陳列棚システム100を介して人型ロボット200に伝送する。記憶装置330には、購買意欲分析結果と人型ロボット200の発話/動作とが紐付けられた発話/動作パターンが予め記憶されており、コンテンツ制御部322は、購買意欲分析結果を用いて発話/動作パターンを特定し、該当する接客制御情報を記憶装置330に記憶されている接客制御情報データベースから抽出して人型ロボット200に送信する。
なお、接客制御情報データベースに含まれる各接客制御情報(発話/動作)は、コンテンツ群に含まれる各コンテンツ同様に、例えば商品ごとに発話/動作1(接客制御情報1)を複数で用意することができ、分析結果1に対応する発話/動作パターンは、各商品に個別に設定することができる。すなわち、コンテンツ制御部322は、例えば、分析結果1に対応する発話/動作1を抽出するが、分析制御部321で特定されるユーザが手に取った特定の商品に対応する発話/動作1をコンテンツ群から抽出して商品陳列棚システムを介して人型ロボット200に送信することができる。
図8~図10は、第1~3フェーズにおける人型ロボット200の接客制御及び配信コンテンツの制御の例を示す図である。
図8は、第1フェーズにおけるユーザ特性に基づく人型ロボット200の接客制御及び配信コンテンツの制御の例を示す図である。分析制御部321は、性別、年齢層、言語及び外見的特徴の情報を用いて、予め設定されたユーザ特性パターンの中から、ユーザ特性を特定する。
コンテンツ制御部322は、分析制御部321で特定されたユーザ特性にマッチングする接客制御情報を抽出する。人型ロボット200は、抽出された接客制御情報に基づいて発話/動作を行い、ユーザに対し、商品の興味を喚起する。
例えば、特定されたユーザ特性の性別が男性、年齢層が25~29歳、言語が日本語、外見的特徴がスーツである場合、人型ロボット200は、ユーザ特性パターンを「仕事帰りの男性」パターンとして、対応する発話/動作を行う。このとき、人型ロボット200による発話/動作は、管理装置300の記憶装置330に予め使用言語別に用意された接客制御情報から抽出・送信された、ユーザの使用言語に対応する接客制御情報に基づいて行われる。例えば、特定されたユーザの使用言語が日本語である場合は、日本語に対応する接客制御情報に基づいて発話/動作が行われる。
また、分析制御部321は、上述したように、棚前のユーザについて、既存のユーザプロファイルを参照するか、新規のユーザプロファイルを作成する。コンテンツ制御部322は、ユーザプロファイルに含まれる情報にマッチングする配信コンテンツを抽出する。商品陳列棚100は、抽出された配信コンテンツにより購買促進を行う。
図9は、第2フェーズにおける棚前心理及び棚前行動に基づく人型ロボット200の接客制御及び配信コンテンツの制御の例を示す図である。分析制御部321は、図6に示すように、予め設定された棚前心理パターンの中から、ユーザの棚前心理を特定する。同様に、分析制御部321は、予め設定された棚前行動パターンの中から、ユーザの棚前行動を特定する。
コンテンツ制御部322は、分析制御部321で特定された棚前心理にマッチングする接客制御情報を抽出する。同様に、コンテンツ制御部322は、特定された棚前行動にマッチングする接客制御情報を抽出する。人型ロボット200は、それぞれ抽出された接客制御情報に基づいて発話/動作を行い、ユーザに対し、商品の興味を喚起する。
例えば、ユーザの視線が特定商品に集中しており、ユーザの表情が迷っている表情のとき、視線解析結果は「集中」、表情解析結果は「迷い」であるとき、棚前心理パターンBが特定され(図6(a)参照)、棚前心理パターンBに対応する接客制御情報が抽出される。これにより、人型ロボット200は、棚前心理パターンBに対応する発話/動作を行う。
例えば、ユーザの棚前行動(商品手に取り行動)が「商品を手に取った」と判断された場合は、棚前行動パターンYが特定され(図6(b)参照)、棚前行動パターンYに対応する接客制御情報が抽出される。これにより、人型ロボット200は、棚前行動パターンYに対応する発話/動作を行う。
また、コンテンツ制御部322は、特定された棚前心理にマッチングする配信コンテンツを抽出し、商品陳列棚100は、抽出された配信コンテンツにより購買促進を行う。同様に、コンテンツ制御部322は、特定された棚前行動にマッチングする配信コンテンツを抽出し、商品陳列棚100は、抽出された配信コンテンツにより購買促進を行う。
図10は、第3フェーズにおける購買意欲に基づく人型ロボット200の接客制御及び配信コンテンツの制御の例を示す図である。分析制御部321は、図7A及び図7Bに示すように、予め設定された購買意欲パターンの中から、ユーザの購買意欲を特定する。
コンテンツ制御部322は、分析制御部321で特定された購買意欲にマッチングする接客制御情報を抽出する。人型ロボット200は、抽出された接客制御情報に基づいて発話/動作を行い、ユーザに対し、商品の興味を喚起する。
例えば、棚前心理パターンA及び棚前行動パターンZに基づく購買意欲分析が行われると、ユーザの購買意欲は分析結果3として特定され(図7B参照)、分析結果3に対応する接客制御情報(発話/動作4)が抽出される。これにより、人型ロボット200は、分析結果3に対応する発話/動作を行うことができる。
同様に、コンテンツ制御部322は、特定された購買意欲にマッチングする配信コンテンツを抽出する。商品陳列棚100は、抽出された配信コンテンツにより購買促進を行う。
なお、図8に示すように、第1フェーズでは、特定されたユーザの使用言語に応じた発話/動作を行っているが、図9,図10の第2フェーズ及び第3フェーズでも同様に、使用言語別に用意された接客制御情報ユーザの使用言語に応じた接客を行うことができる。言い換えると、特定されたユーザの棚前心理、棚前行動、購買意欲のそれぞれについて、特定された使用言語に応じて、接客を行うことができる。
接客制御情報を使用言語別に用意することにより、上述したように、ユーザの使用言語に応じた接客を行うことができる。また、使用言語毎に用意した接客制御情報では、それぞれ、出力する音声と対応する動作の内容を設定することができる。このような設定を可能にすることにより、上述したように、特定されたユーザの使用言語が日本語であったり英語であったりする場合に、特定された言語に応じて、人型ロボット200の動作の内容を様々に設定することができる。
図11は、本実施形態の商品陳列棚システム100と管理装置300の処理フローを示す図である。図11に示すように、商品陳列棚システム100は、センシングユニット110の動作制御を行い、センサ検出結果をリアルタイムに収集(取得)し(S101)、センシング情報(センサ検出情報)として管理装置300に送信する(S102)。
なお、商品陳列棚システム100(コントロールユニット130)は、商品陳列棚システム100に近づいてきたユーザが所定範囲内に入ったことを検出し、棚前にユーザがいることが検知されたことをトリガーに、センシングユニット110の動作制御や人型ロボット200及び/又は管理装置300へのセンシング情報の送信制御を行うように構成することもできる。
管理装置300は、商品陳列棚システム100から受信したユーザの撮影画像を用いて、既に記憶(登録)されているユーザプロファイルの顔画像とマッチングして(S301)、ユーザプロファイルの登録有無を判別する(S302)。ユーザプロファイルが存在しない場合(S302のNO)、管理装置300は、新規ユーザであるとして、ユーザの顔画像から性別、年齢層を算出し(S303)、プロファイルを新規登録する(S304)。また、ステップS303で顔画像以外にもユーザの全身画像を用いて外見的特徴を算出し、ステップS304で外見的特徴をプロファイルとして登録することもできる。また、後述するように、人型ロボット200から提供されたユーザ言語情報をプロファイルとして登録することもできる。
既にユーザプロファイルが存在するとき(S302のYES)及びユーザプロファイルが新規に登録されたとき、管理装置300は、ユーザプロファイル(ユーザ特性)に基づいてコンテンツ及び接客制御情報を抽出する(S311)。
次に、ステップS305において上述したユーザの棚前心理を特定し、特定された棚前心理に対応するコンテンツ及び接客制御情報を抽出する(S306)。棚前心理が特定された後に又は棚前心理の特定と共に棚前行動が検知されたとき(S307のYES)、ユーザの棚前行動を特定する(S308)。その後、特定された棚前心理及び棚前行動に基づくユーザの購買意欲を判別し(S309)、判別された購買意欲に基づくコンテンツ及び接客制御情報を抽出する(S310)。このとき、上述したように、ステップS308において特定された棚前行動のみに関連するコンテンツ及び接客制御情報を抽出することもできる。
管理装置300は、ユーザプロファイル、棚前心理、棚前行動、及び購買意欲に関連して抽出された各コンテンツ及び各接客制御情報の送信処理(配信処理)を行う(S312)。例えば、抽出されたコンテンツを単一で、又は複数のディスプレイに表示させるための送信処理を行う。また、抽出された接客制御情報に基づいて人型ロボット200に発話/動作を実行させるための送信処理を行う。このとき、接客制御情報は商品陳列棚システム100を介して人型ロボット200に送信される。
具体的には、モニタユニット120Bの各小型ディスプレイ装置に、各コンテンツを個別に表示したり、図5で説明したように、時系列にユーザプロファイル、棚前心理、棚前行動、及び購買意欲の順に、各コンテンツを切り替えて表示したりすることができる。また、ディスプレイ装置120Aとモニタユニット120Bのそれぞれに、異なるコンテンツを表示することもでき、さらには、モニタユニット120Bを構成する複数の小型ディスプレイ装置それぞれに、異なるコンテンツを表示したり、複数の小型ディスプレイ装置を1つの表示部として、コンテンツを各小型ディスプレイ装置に区画して表示したりすることもできる。
また、モニタユニット120Bは、複数の小型ディスプレイ装置が横並びに配置されているので、各小型ディスプレイ装置に物語性のある複数のコンテンツを表示したりすることもできる。
商品陳列棚システム100は、管理装置300から受信したコンテンツを出力ユニット120に表示したり、スピーカ120Cから音楽、音声、効果音などの音を出力させたり、香発生装置120Dから香りを出力させたりする制御(ユーザフェイシング処理)を行う(S103)。これらの表示及び出力制御の制御情報は、管理装置300から送信されるコンテンツと共に又は単独で受信することができる。
管理装置300は、ステップS312における送信処理後、商品陳列棚システム100から受信するセンシング情報に基づいて、商品陳列棚前のユーザが所定の棚前エリアから離脱しているか否かを判別し(S313)、離脱していない場合(S313のNO)、ステップS305に戻り、リアルタイムで変化するセンシング情報に基づいて、棚前心理、棚前行動及び購買意欲に基づくコンテンツ及び接客制御情報の抽出と送信処理を繰り返し行う。なお、モーションセンサ110Bを人感センサとして用いているが、これに限らず別途の赤外線センサ等の人感センサを備えるように構成してもよい。
一方、商品陳列棚前のユーザが所定の棚前エリアから離脱していると判別された場合(S313のYES)、ステップS301で特定されたユーザのユーザプロファイルを更新する。例えば、ステップS305で特定された棚前心理、ステップS308で特定された棚前行動をユーザプロファイルに登録する(S314)。また、販売管理システムから取得された商品購入情報に基づいて、ユーザプロファイルの購買履歴に購入した商品を登録する(S315)。そして、ユーザプロファイルの登録・更新後に、センシング情報に基づいて棚前エリアでユーザ(消費者)が検出されるまで待機する(S316)。なお、棚前エリアは、上述したように、棚前にユーザがいることが検知可能な範囲である。
また、ステップS314,S315におけるユーザプロファイルの更新処理では、実際に商品陳列棚システム100に送信されたコンテンツや出力制御情報(コンテンツ配信結果)、人型ロボット200に送信された接客制御情報(人型ロボットによる接客結果)を、ユーザプロファイルに関連付けて記憶装置330に記憶することができる。この処理は、コンテンツ制御部322が行うことができる。
図12及び図13を参照して、本実施形態の商品陳列棚及び人型ロボットを介した購買支援システム全体の処理フローについて説明する。以下、商品陳列棚システム100は、上述の通り、センサ検出及びセンシング情報の送信(S101,S102)をリアルタイムで行っているものとして説明する。図11と同一のステップ番号を付したものについては上記説明に代えるが、必要に応じて説明を補う。なお、ステップS103A~Dは、図11のS103に対応している。また、ステップS312A~Dは、図11のS312に対応している。
図12は、本実施形態の購買支援システムの第1フェーズ及び第2フェーズにおける処理フローを示す図である。第1フェーズでは、商品陳列棚システム100は、商品陳列棚システム100に近づいてきたユーザが所定範囲内に入ったことを検知し、センシング情報として管理装置300及び人型ロボット200に送信する。
人型ロボット200は、ユーザが所定範囲内に入ったことを示すセンシング情報を受信すると、発話促進アクションを実行する(S201)。ユーザの発話により、マイク272にユーザの音声が入力されると、人型ロボット200は、音声認識処理を行い、ユーザの使用言語を特定する(S202)。人型ロボット200は、使用言語の特定結果をユーザ言語情報として商品陳列棚システム100を介して管理装置300に送信する。なお、上述したように、表示入力装置274でユーザに使用言語を特定させてもよい。
管理装置300は、人型ロボット200から提供された言語情報をユーザプロファイルに登録・更新することができる(S304)。なお、言語情報は、新規のユーザプロファイルでも、既存のユーザプロファイルでも登録・更新することができる。
ユーザの使用言語の特定により、以降のステップでは特定された使用言語に応じた接客制御情報が抽出され(S311,S306,S309,S310)、人型ロボット200に送信される(S312A~D)。これにより、人型ロボット200は特定した使用言語に対応する音声を出力して発話するとともに、出力音声に対応する動作を行うことができる。
送信処理(S312A)により、商品陳列棚システム100はコンテンツを受信する。これにより、商品陳列棚システム100は、ユーザプロファイル(ユーザ特性)に基づくユーザフェイシング処理を行う(S103A)。一方、人型ロボット200は接客制御情報を受信する。これにより、人型ロボット200は、ユーザ特性に基づく発話/動作で接客を行う(S203A)。その後、本実施形態の購買支援システムは第2フェーズに移行する。
なお、ユーザによる発話がない場合は、ステップS202を省略して、言語情報をユーザプロファイルとして登録しなくてもよい。また、ステップS201を省略してステップS202を実行してユーザの発話を待機したり、ステップS201とともにステップS202を省略し、送信処理(S312A)を待機したりすることもできる。
第2フェーズでは、商品陳列棚システム100は、商品を見ているユーザの表情及び視線を検出し、センシング情報として管理装置300に送信する。その後、送信処理(S312B)により、上記と同様に、商品陳列棚システム100はコンテンツを、人型ロボット200は接客制御情報を受信する。これにより、商品陳列棚システム100は、ユーザの棚前心理に基づくユーザフェイシング処理を行う(S103B)。また、人型ロボット200はユーザの棚前心理に基づく発話/動作で接客を行う(S203B)。
さらに、第2フェーズでは、商品陳列棚システム100は、ユーザの商品手に取り行動(棚前行動)を検出し(S307のYES)、センシング情報として管理装置300に送信する。その後、送信処理(S312C)により、上記と同様に、商品陳列棚システム100はコンテンツを、人型ロボット200は接客制御情報を受信する。これにより、商品陳列棚システム100は、ユーザの棚前行動に基づくユーザフェイシング処理を行う(S103C)。また、人型ロボット200はユーザの棚前行動に基づく発話/動作で接客を行う(S203C)。
ユーザの棚前心理及び棚前行動が特定されると、本実施形態の購買支援システムは、第3フェーズに移行する。
図13は、本実施形態の購買支援システムの第3フェーズにおける処理フローを示す図である。第3フェーズでは、第2フェーズに引き続き、管理装置300が特定したユーザの棚前心理及び棚前行動に基づいて、ユーザの購買意欲の判別を行い(S310)、更に、判別された購買意欲に基づく抽出処理を行う(S311)。
その後、送信処理(S312D)により、上記と同様に、商品陳列棚システム100はコンテンツを、人型ロボット200は接客制御情報を受信する。これにより、商品陳列棚システム100は、ユーザの購買意欲に基づくユーザフェイシング処理を行う(S103D)。また、人型ロボット200はユーザの購買意欲に基づく発話/動作で接客を行う(S203D)。
商品陳列棚システム100は、ユーザが所定範囲から離脱したり、所定範囲から離脱して一定時間が経過したりするのを検出する。これにより、商品陳列棚システム100は、ユーザが棚前から離脱したと判断し(S313のYES)、ユーザが所定範囲から離脱したことを示すセンシング情報を管理装置300及び人型ロボット200に送信する。その後、商品陳列棚システム100は棚前エリア内(所定範囲内)でユーザが検知されるまで待機する(S316)。
人型ロボット200は、ユーザが所定範囲から離脱したことを示すセンシング情報を受信すると、棚前エリア内(所定範囲内)でユーザが検知されるまで待機する(S316)。管理装置300は、ユーザが所定範囲から離脱したことを示すセンシング情報を受信すると、ステップS314及びS315の処理を行い、同様に待機する(S316)。商品陳列棚システム100により、所定範囲内にユーザが入ったことが検知されると、本実施形態の購買支援システムは、第1フェーズに移行する。
また、第3フェーズにおいて、ユーザが所定範囲内から離脱しない場合(S313-NO)は、第2フェーズに戻り、上記と同様の処理を続ける。
なお、図11~13ではコンテンツとともに接客制御情報を抽出し、それぞれ商品陳列棚システム100と、人型ロボット200とに送信しているが、必要に応じていずれか一方のみを抽出して送信してもよい。また、人型ロボット200の各発話/動作処理(S203A~D)と商品陳列棚システム100の各ユーザフェイシング処理(S103A~D)は、連動して行うことができるが、必ずしも同時に行う必要はない。例えば、必要に応じて人型ロボット200の発話/動作処理のみを行ったり、商品陳列棚システム100のユーザフェイシング処理のみを行ったりすることもできる。
次に、図4に戻り、本実施形態の機械学習機能について説明する。学習制御部323は、記憶装置330に蓄積されたユーザプロファイルの購買履歴、コンテンツ配信結果、人型ロボットによる接客結果を用いて、商品の購買に繋がったコンテンツパターンや商品の購買に繋がったユーザの行動パターン、商品の購買に繋がった人型ロボットの接客パターン、商品の購買につながったコンテンツパターンと人型ロボット200の接客パターンの組み合わせなどを抽出することができる。
例えば、商品Aを見ていたユーザに対して提供したコンテンツAと、商品Aの購買数を比較し、購買数が所定数以上である場合に、コンテンツAは購買促進に効果があると判別することができる。一方、購買数が所定数未満である場合、コンテンツAは購買促進に効果がないと判別(評価)することができる。
同様に、商品Aを見ていたユーザに対する人型ロボット200の接客行動を制御するために送信した接客制御情報Aと、商品Aの購買数を比較し、購買数が所定数以上である場合に、接客制御情報Aによる人型ロボット200の接客行動は、購買促進に効果があると判別することができる。一方、購買数が所定数未満である場合、接客制御情報Aによる人型ロボット200の接客行動は購買促進に効果がないと判別(評価)することができる。
さらに、コンテンツの提供と人型ロボット200の接客行動を連動して行った場合には、提供したコンテンツAと接客制御情報Aの組み合わせを、商品Aの購買数と比較し、上記と同様に購買数が所定数以上であるか所定数未満であるか分析し、購買促進への効果の有無を判別(評価)することができる。
また、学習制御部323は、音声認識処理で特定された消費者の使用言語別に、上記と同様に、商品の購買に繋がった各パターンや、パターンの組み合わせを抽出することができる。さらに、学習制御部323は上記と同様にして、使用言語ごとに、各コンテンツや各接客制御情報、コンテンツと接客制御情報の各組み合わせが、購買促進に効果があるか否かを判別することができる。
また、表情や視線、商品手に取り情報、性別、年齢層、外見的特徴、言語、滞在時間と組み合わせて、各コンテンツの効果及び各接客行動(各接客制御情報)を細かく分析し、学習制御部323は、ユーザプロファイル、棚前心理、棚前行動、及び購買意欲に関連して抽出される各コンテンツの組み合わせや、各接客制御情報の組み合わせや、コンテンツと接客制御情報の各組み合わせを変更するなどの機械学習を行うことができる。また、購買意欲分析結果を更新・削除したり、新たな購買分析結果を生成して追加したりすることができる。
以上、実施形態について説明したが、商品陳列棚システム100のコントロールユニット130は、有線又は無線でセンシングユニット110及び出力ユニット120と接続して、商品陳列棚に対して物理的に外部に設けることも可能である。
また、管理装置300が、ネットワークを介して商品陳列棚システム100にコンテンツを送信しているが、これに限らず、例えば、所定のタイミングで管理装置300から商品陳列棚システム100にコンテンツデータを一括して送信し、コントロールユニット130側にコンテンツを予め記憶しておくことができる。この場合、管理装置300は、コンテンツデータ(画像、映像、文字情報等の実データ)は送信せずに、各コンテンツの出力制御情報を生成・抽出して商品陳列棚システム100に送信することができる。コントロールユニット130は、受信した出力制御情報に基づいて記憶装置133に予め記憶されたコンテンツを抽出して出力ユニット120の出力制御を行うことができる。
また、管理装置300は、ハードウェア構成として上述以外にも、液晶ディスプレイなどの表示装置、装置全体(各部)の制御を司るCPU、メモリ(主記憶装置)、マウス、キーボード、タッチパネル、スキャナー等の操作入力手段、プリンタ、スピーカなどの出力手段、補助記憶装置(ハードディスク等)等を備えることができる。
また、上記実施形態では人型ロボット200による接客を例に説明したが、例えば他にも犬などの動物を模したロボットによる接客を行ってもよい。その他、何らかの身振り手振りによる接客を行うことができるロボットであればよい。
また、上記実施形態では人型ロボット200は、商品陳列棚システム100を介して管理装置300と接続しているが、有線又は無線により管理装置300と直接接続して各種情報の送受信を行うこともできる。
また、制御装置230は、有線又は無線で通信装置240、記憶装置250、センサ装置260及び入出力ユニット270と接続して人型ロボット200に対して物理的に外部に設けることもできる。例えば、制御装置230は商品陳列棚に設けてもよい。同様に、マイク272を商品陳列棚に設けてもよい。また、商品陳列棚システム100のロボット連携部131Cの機能をロボット制御部232の機能に含めることで、ロボット連携部131Cを省略してもよい。すなわち、ロボット制御部232のみで接客制御情報を受信して、人型ロボット200の接客行動を制御することもできる。
また、人型ロボット200の記憶装置250が記憶する言語データベースを、商品陳列棚システム100の記憶装置133や、管理装置300の記憶装置330が記憶していてもよい。これにより、例えば商品陳列棚システム100にマイクを設け、商品陳列棚システム100側で音声認識処理を行ったり、商品陳列棚システム100や人型ロボット200で収集した音声を音声データとして管理装置300に受信させ、管理装置300側で音声認識処理を行ったりすることもできる。
また、商品陳列棚システム100のカメラ110Aの代わりに人型ロボット200のカメラ273を利用したり、モーションセンサ110Bの代わりに型ロボット200のセンサ装置260を利用したりしてもよい。言い換えると、カメラ273及びセンサ装置260により、ユーザに関連する情報を検出することもできる(センサ検出情報)。人型ロボット200でのセンサ検出情報は、コントロールユニット130に伝送したり、管理装置300に直接提供したりすることができる。このとき、管理装置300は、センシングユニット110による各センサ検出情報の代わりに、カメラ273及びセンサ装置260による各センサ検出情報に基づいてユーザの購買意欲を判別することができる。
また、所定のタイミングで管理装置300から人型ロボット200に接客制御情報を一括して送信し、記憶装置250に接客制御情報を予め記憶しておくことができる。この場合、管理装置300は、接客制御情報(実際にどのような発話、動作を行うかを定義した実データ)を送信せずに、どの接客制御情報に基づいて接客行動を実行するかを指示するための接客指示情報を生成・抽出して人型ロボット200に送信することができる。ロボット制御部232は、受信した接客指示情報に基づいて記憶装置250に予め記憶されたコンテンツを抽出して人型ロボット200の接客制御を行うことができる。
また、店舗内に複数の商品陳列棚システム100及び人型ロボット200を設置し、これらをネットワークを介して一つの管理装置300に接続して購買支援システムを構成することも可能である。これにより、店舗内で離れた位置に設置された商品陳列棚間での連携ができる。例えば、商品陳列棚Aにおいてユーザが探している商品がない場合、ネットワークを介してユーザが探している商品が配置されている商品陳列棚Bを特定することができる。このとき、人型ロボット200による発話/動作や商品陳列棚システム100のディスプレイ120A及びディスプレイ120Bで商品陳列棚Bにユーザを案内したり、誘導したりすることができる。また、管理装置を複数設置し、ネットワークを介して互いに接続することも可能である。
また、管理装置300は、ネットワークを介して他店舗の商品陳列棚システム100や人型ロボット200と接続し、店舗間で連携することもできる。これにより、購買支援に必要な情報を店舗間で共有することができる。例えば、ユーザプロファイルを店舗間で共有することにより、他店舗でも同様に、ユーザに応じた購買促進を行うことができる。
また、本発明の各機能は、プログラムによって実現可能であり、各機能を実現するために予め用意されたコンピュータプログラムが補助記憶装置に格納され、CPU等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行することで、コンピュータ装置に本発明の各部の機能を動作させることができる。他方、本発明の各機能は、各々個別の制御装置で構成することができ、複数の制御装置を直接に又はネットワークを介して接続して構成することもできる。
また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、CD-ROM等の光ディスク、DVD-ROM等の相変化型光ディスク、MO(Magnet Optical)やMD(Mini Disk)などの光磁気ディスク、フロッピー(登録商標)ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ(登録商標)、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路(ICチップ等)等のハードウェア装置も記録媒体として含まれる。