JP7339092B2 - 情報処理装置及びバーチャル接客システム - Google Patents

情報処理装置及びバーチャル接客システム Download PDF

Info

Publication number
JP7339092B2
JP7339092B2 JP2019171365A JP2019171365A JP7339092B2 JP 7339092 B2 JP7339092 B2 JP 7339092B2 JP 2019171365 A JP2019171365 A JP 2019171365A JP 2019171365 A JP2019171365 A JP 2019171365A JP 7339092 B2 JP7339092 B2 JP 7339092B2
Authority
JP
Japan
Prior art keywords
moving image
display
service
customer service
customer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019171365A
Other languages
English (en)
Other versions
JP2021047369A (ja
Inventor
均 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Priority to JP2019171365A priority Critical patent/JP7339092B2/ja
Publication of JP2021047369A publication Critical patent/JP2021047369A/ja
Application granted granted Critical
Publication of JP7339092B2 publication Critical patent/JP7339092B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、情報処理装置及びバーチャル接客システムに関する。
近年、小売業界では、人手不足が深刻となっており、店舗で接客を行う人員の確保が難しくなってきている。そこで、店舗においてバーチャルな店員による接客を実現する技術が開発されている。
例えば、非特許文献1には、遠隔の人の動きをリアルタイムでバーチャルキャラクターに反映させ、ディスプレイを通して商品紹介などの接客やデモンストレーションを行うことが記載されている。
https://www.dnp.co.jp/news/detail/1191078_1587.html
しかしなら、非特許文献1では、店員はキャラクターで表示されるため、接客対象者に提供されるユーザ体験は、現実の接客とは乖離している。
本発明の目的は、接客対象者に対して、現実の接客と同等のユーザ体験を提供することである。
本発明の一態様は、
ディスプレイと、前記ディスプレイと接客対象者との間の対象距離を検出するセンサと、に接続された情報処理装置であって、
非接客行動中のスタッフの非接客動画像又は接客行動中のスタッフの接客動画像を記憶する手段を備え、
前記記憶された非接客動画像又は接客動画像を前記ディスプレイに表示させる手段を備え、
前記表示させる手段は、
前記対象距離が所定距離以上である場合、前記非接客動画像を前記ディスプレイに表示させ、
前記対象距離が前記所定距離未満である場合、前記接客動画像を前記ディスプレイに表示させる、
情報処理装置である。
本発明によれば、接客対象者に対して、現実の接客と同等のユーザ体験を提供することができる。
本実施形態のバーチャル接客システムの構成を示すブロック図である。 図1のバーチャル接客システムの機能ブロック図である。 本実施形態の概要の説明図である。 本実施形態の非接客動画像データベースのデータ構造を示す図である。 本実施形態の接客動画像データベースのデータ構造を示す図である。 本実施形態のサービス動画像データベースのデータ構造を示す図である。 本実施形態の情報処理のシーケンス図である。 図7の情報処理において表示される画面例を示す図である。 図7の情報処理において表示される画面例を示す図である。 図7の情報処理において表示される画面例を示す図である。 図7の情報処理において表示される画面例を示す図である。 変形例1の概要の説明図である。 変形例2のディスプレイの配置の説明図である。 変形例2のディスプレイの配置の説明図である。 変形例2の情報処理において表示される画面の例を示す図である。 変形例3の接客動画像データベースのデータ構造を示す図である。 変形例4のバーチャル接客システムの機能ブロック図である。 変形例4の情報処理において表示される画面の例を示す図である。 変形例5の概要の説明図である。
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
本実施形態では、Xは水平方向を示している。Yは、鉛直方向を示している。Zは、ディスプレイ30の表示面の法線方向を示している。
(1)バーチャル接客システムの構成
バーチャル接客システムの構成を説明する。図1は、本実施形態のバーチャル接客システムの構成を示すブロック図である。図2は、図1のバーチャル接客システムの機能ブロック図である。
図1に示すように、バーチャル接客システム1は、コントローラ10と、センサ20と、ディスプレイ30と、スピーカ40と、マイクロフォン50と、を備える。
コントローラ10は、情報処理を実行するコンピュータ(「情報処理装置」の一例)である。
センサ20は、接客対象者CUとディスプレイ30との間の距離(以下「対象距離」という)を検知するように構成される。センサ20は、例えば、以下の少なくとも1つを含む。
・赤外線センサ
・イメージセンサ
・反射型光学センサ
・デプスセンサ
ディスプレイ30は、動画像を表示するように構成される。ディスプレイ30は、例えば、以下の何れかである。
・タッチパネル式液晶ディスプレイ
・タッチパネル式有機ELディスプレイ
スピーカ40は、音声を出力するように構成される。スピーカ40は、例えば、指向性スピーカである。
マイクロフォン50は、音声を入力するように構成される。マイクロフォン50は、例えば、指向性マイクロフォンである。
ディスプレイ30を基準として、Z方向に離間した位置には、カウンタCOが配置される。接客対象者CUは、カウンタCO越しでディスプレイ30に表示された画像を視認することができる。
(1-1)コントローラの構成
コントローラ10の構成を説明する。
図2に示すように、コントローラ10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14とを備える。
記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、AM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
プログラムは、例えば、以下のプログラムを含む。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーションのプログラム
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
プロセッサ12は、記憶装置11に記憶されたプログラムを起動することによって、コントローラ10の機能を実現するように構成される。プロセッサ12は、例えば、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、又は、これらの組み合わせである。
入出力インタフェース13は、コントローラ10に接続される入力デバイスからユーザの指示を取得し、かつ、コントローラ10に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、マイクロフォン50、センサ20、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ30及びスピーカ40である。
通信インタフェース14は、コントローラ10と他の装置(例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータ)との間の通信を制御するように構成される。
(2)実施形態の概要
本実施形態の概要を説明する。図3は、本実施形態の概要の説明図である。
図2に示すように、コントローラ10は、ディスプレイ30と、ディスプレイ30と接客対象者CUとの間の対象距離を検出するセンサ20と、に接続された情報処理装置である。
記憶装置11には、店舗のスタッフが接客していないときにとる行動(以下「非接客行動」という)中のスタッフの非接客動画像、又は、店舗のスタッフが接客しているときにとる行動(以下「接客行動」という)中のスタッフの接客動画像が記憶されている。
コントローラ10は、記憶装置11に記憶された非接客動画像又は接客動画像をディスプレイ30に表示させる。具体的には、コントローラ10は、対象距離Dが所定距離Dth以上である場合、非接客動画像をディスプレイ30に表示させる(図3A)。コントローラ10は、対象距離Dが所定距離Dth未満である場合、接客動画像をディスプレイ30に表示させる(図3B)。
このように、対象距離に応じて、非接客動画像又は接客動画像を接客対象者に提示する。これにより、接客対象者に対して、現実の接客と同等のユーザ体験を提供することができる。
(3)データベース
本実施形態のデータベースを説明する。以下のデータベースは、記憶装置11に記憶される。
(3-1)非接客動画像データベース
本実施形態の非接客動画像データベースを説明する。図4は、本実施形態の非接客動画像データベースのデータ構造を示す図である。
図4の非接客動画像データベースには、非接客動画像のデータが格納されている。
非接客動画像データベースは、「非接客動画像ID」フィールドと、「非接客動画像」フィールドと、「非接客音声」フィールドと、「条件」フィールドと、を含む。各フィールドは、互いに関連付けられている。
「非接客動画像ID」フィールドには、非接客動画像を識別する非接客動画像IDが格納される。
「非接客動画像」フィールドには、非接客行動中のスタッフの非接客動画像が格納される。非接客動画像は、例えば、スタッフ(例えば、実際の店舗で業務を行っている実在のスタッフ)の非接客行動を録画することによって得られる。
「非接客音声」フィールドには、非接客行動中のスタッフの非接客音声が格納される。非接客音声は、例えば、スタッフの非接客行動中の音声を録音することによって得られる。
「条件」フィールドには、非接客動画像の表示条件に関する情報が格納される。
非接客行動は、例えば、以下の行動を含む。
・商品を棚に陳列する行動
・レジを使用する行動
(3-2)接客動画像データベース
本実施形態の接客動画像データベースを説明する。図5は、本実施形態の接客動画像データベースのデータ構造を示す図である。
図5の接客動画像データベースには、複数の接客動画像データが格納されている。
接客動画像データベースは、「接客動画像ID」フィールドと、「接客動画像」フィールドと、「接客音声」フィールドと、「条件」フィールドと、を含む。各フィールドは、互いに関連付けられている。
「接客動画像ID」フィールドには、接客動画像を識別する接客動画像IDが格納される。
「接客動画像」フィールドには、接客行動中のスタッフの接客動画像が格納される。接客動画像は、例えば、スタッフの接客行動を録画することによって得られる。
「接客音声」フィールドには、接客行動中のスタッフの接客音声が格納される。接客音声は、例えば、スタッフの接客行動中の音声を録音することによって得られる。
「条件」フィールドには、接客動画像の表示条件に関する情報が格納される。表示条件は、例えば、ディスプレイ30と接客対象者CUとの間の対象距離に関する条件である。
本実施形態では、対象距離Dに応じて、異なる接客動画像及び接客音声が格納されている。例えば、図5において、「10m未満かつ5m以上」の条件(接客動画像ID:V001)には、スタッフが来店の挨拶を行う動画像及び音声が格納されている。「1m未満以内」の条件(接客動画像ID:V002)には、スタッフが具体的なサービス内容の選択を案内する動画像及び音声が格納されている。
(3-3)サービス動画像データベース
本実施形態のサービス動画像データベースを説明する。図6は、本実施形態のサービス動画像データベースのデータ構造を示す図である。
図6のサービス動画像データベースには、サービス動画像(「接客動画像」の一例)のデータが格納されている。
サービス動画像データベースは、「サービス動画像ID」フィールドと、「サービス動画像」フィールドと、「サービス音声」フィールドと、「サービス名」フィールドと、を含む。各フィールドは、互いに関連付けられている。
「サービス動画像ID」フィールドには、サービス動画像を識別するサービス動画像IDが格納される。
「サービス動画像」フィールドには、サービス行動中のスタッフのサービス動画像が格納される。サービス動画像は、例えば、スタッフのサービス行動を録画することによって得られる。
「接客音声」フィールドには、サービス行動中のスタッフのサービス音声が格納される。サービス音声は、例えば、スタッフのサービス行動中の音声を録音することによって得られる。
「サービス名」フィールドには、サービスの名称に関する情報(例えば、テキスト)が格納される。
(4)情報処理
本実施形態の情報処理を説明する。図7は、本実施形態の情報処理のシーケンス図である。図8は、図7の情報処理において表示される画面例を示す図である。図9は、図7の情報処理において表示される画面例を示す図である。図10は、図7の情報処理において表示される画面例を示す図である。図11は、図7の情報処理において表示される画面例を示す図である。
図7に示すように、コントローラ10は、センサ情報の取得(S100)を実行する。
具体的には、プロセッサ12は、センサ20から、ディスプレイ30と接客対象者CUとの間の対象距離に関する距離情報を取得する。
ステップS100の後、コントローラ10は、接客対象者が接客範囲にいるか否かの判定(S101)を実行する。「接客範囲」とは、対象距離Dが所定距離Dth未満である範囲を意味する。
具体的には、プロセッサ12は、ステップS101で得られた距離情報を参照して、対象距離を特定する。
プロセッサ12は、対象距離が所定距離(例えば、10m)未満である場合、「接客対象者CUが接客範囲にいる」と判定する。プロセッサ12は、対象距離が所定距離以上である場合、「接客対象者CUが接客範囲にいない」と判定する。
コントローラ10は、ステップS101において、「接客対象者CUが接客範囲にいない」と判定した場合、非接客動画像の表示(S102a)を実行する。
具体的には、プロセッサ12は、非接客動画像データベース(図4)に格納された非接客動画を用いて、画面P10(図7)をディスプレイ30に表示させる。
プロセッサ12は、非接客動画像データベース(図4)に格納された非接客音声をスピーカ40から出力させる。
画面P10は、画像オブジェクトIMG10と、表示オブジェクトA10と、を含む。
画像オブジェクトIMG10は、非接客動画像である。
表示オブジェクトA10には、日時、気温、湿度、及び、天気に関する情報が表示される。
コントローラ10は、ステップS101において、「接客対象者CUが接客範囲にいる」と判定した場合(つまり、対象距離Dが所定距離Th未満である場合)、接客動画像の表示(S102b)を実行する。
具体的には、プロセッサ12は、接客動画像情報データベース(図5)を参照して、対象距離Dに対応する接客動画像及び接客音声を特定する。例えば、対象距離Dが8mである場合、プロセッサ12は、対象距離「8m」に対応する接客動画像V1及び接客音声A1を特定する。
プロセッサ12は、特定された接客動画像を用いて、画面P11(図8)をディスプレイ30に表示させ、且つ、特定された接客音声(例えば、「いらっしゃいませ」という音声)をスピーカ40から出力させる。
画面P11は、画像オブジェクトIMG11と、操作オブジェクトB11a~B11bと、を含む。
画像オブジェクトIMG11は、接客動画像である。
操作オブジェクトB11a~B11bには、それぞれ、サービス動画像を識別するサービス動画像IDが割り当てられている。操作オブジェクトB11a~B11bは、サービスを指定するためのユーザ指示を受け付けるオブジェクトである。操作オブジェクトB11a~B11bには、それぞれ、サービス名に対応するサービス動画像IDが割り当てられている。
サービスは、例えば、以下のサービスを含む。
・カラー診断(一例として、接客対象者CUに似合う色を診断するサービス)
・メイクレッスン(一例として、接客対象者CUに似合うメーキャップを提案するサービス)
・コスメ情報提供(一例として、流行のコスメ情報を提供するサービス)
・肌解析(一例として、接客対象者CUの肌を解析するサービス)
・顔バランス診断(一例として、接客対象者CUの顔のバランスを診断するサービス)
ステップS102bの後、コントローラ10は、サービス指定の受付(S103)を実行する。
具体的には、プロセッサ12は、画面P11(図8)をディスプレイ30に表示する。
例えば、接客対象者CUが、操作オブジェクトB11aを操作すると、プロセッサ12は、サービス動画像情報データベース(図6)を参照して、操作された操作オブジェクトB11aに割り当てられたサービス動画像ID(例えば、「カラー診断」のサービス動画像ID)に関連付けられたサービス動画像及びサービス音声を特定する。
ステップS103の後、コントローラ10は、サービス動画像の表示(S104)を実行する。
具体的には、プロセッサ12は、特定された接客動画像を用いて、画面P12(図8)をディスプレイ30に表示し、且つ、特定された接客音声(例えば、「カラー診断を始めます。」という特定された接客動画像を用いて、音声)をスピーカ40から出力させる。
画面P12は、画像オブジェクトIMG12a~IMG12cと、操作オブジェクトB12と、を含む。
画像オブジェクトIMG12aは、ステップS103で特定されたサービス動画像である。
画像オブジェクトIMG12bは、パネル画像である。パネル画像は、印字可能なパネルの画像である。パネル画像は、印字可能なパネルを撮影することによって得られる。画像オブジェクトIMG12bには、接客対象者CUに対して提案される商品に関する商品情報(例えば、商品を識別する商品識別情報及び商品の名称)が重畳表示される。
画像オブジェクトIMG12cは、コード画像(例えば、二次元バーコード又は三次元バーコードの画像)である。画像オブジェクトIMG12cには、例えば、画像オブジェクトIMG12bに重畳表示された商品識別情報に対応する商品情報が含まれるウェブサイトのURL(Uniform Resource Locator)が割り当てられる。接客対象者CUは、カメラ(例えば、スマートフォンのカメラ)を用いて画像オブジェクトIMG12cを読み取ることにより、URLに対応するウェブサイトにアクセスすることができる。
操作オブジェクトB12は、サービスを終了させるためのユーザ指示を受け付けるオブジェクトである。
ステップS104の後、コントローラ10は、終了動画像の表示(S105)を実行する。
具体的には、接客対象者CUが操作オブジェクトB12を操作すると、プロセッサ12は、画面P13をディスプレイ30に表示し、且つ、サービスの終了に対応するサービス音声(例えば、「サービスを終了します。」という音声)をスピーカ40から出力する。
画面P13は、画像オブジェクトIMG13と、表示オブジェクトA13と、を含む。
画像オブジェクトIMG13は、サービスの終了に対応するサービス動画像である。
表示オブジェクトA13には、サービスの終了に対応するメッセージが表示される。
コントローラ10は、ステップS101と、ステップS102a、S102b、又は、S104は同時に実行する。
コントローラは、ステップS102aの実行中に接客対象者CUが接客範囲に入ったと判定した場合(つまり、非接客動画像を表示している間に、接客対象者CUがディスプレイ30から所定距離Dth未満になるまで近づいた場合)、ステップS102bを実行する。この場合、ディスプレイ30に表示される動画像は、非接客動画像から接客動画像に切り替わる。
コントローラ10は、ステップS102bの実行中に接客対象者CUが接客範囲から出たと判定した場合(つまり、接客動画像を表示している間に、接客対象者CUがディスプレイ30から所定距離Dth以上になるまで遠ざかった場合)、ステップS102aを実行する。この場合、ディスプレイ30に表示される動画像は、接客動画像から非接客動画像に切り替わる。
コントローラ10は、ステップS102bの実行中に、接客範囲内で対象距離Dが変化した場合(つまり、接客動画像を表示している間に、接客対象者CUが接客範囲内で移動した場合)、変化後の対象距離Dに応じた接客動画像をディスプレイ30に表示し、且つ、且つ、変化後の対象距離Dに応じた接客音声をスピーカ40から出力する。
本実施形態によれば、対象距離Dに応じて、接客対象者CUに対して、非接客動画像又は接客動画像を提示する。これにより、接客対象者CUに対して、現実の接客と同等のユーザ体験を提供することができる。
(5)変形例
本実施形態の変形例を説明する。
(5-1)変形例1
変形例1を説明する。変形例1は、接客対象者CUの目線の高さに応じた接客動画像を表示する例である。図12は、変形例1の概要の説明図である。
センサ20は、対象距離、及び、接客対象者CUの目の位置(例えば、ディスプレイ30の表示面の中心を原点とする座標系における目の3次元座標)を計測するように構成される。
コントローラ10は、センサ20によって得られた目の位置に基づいて、目線の高さ(例えば、接客対象者CUの足元から目までの高さ)を計算する。
コントローラ10は、計算によって得られた目線の高さに応じた接客動画像をディスプレイ30に表示する。
図12Aに示すように、目線の高さがH1である場合、コントローラ10は、スタッフの目線が高さH1に一致するように、接客動画像をディスプレイ30に表示する。
図12Bに示すように、目線の高さがH2である場合、コントローラ10は、スタッフの目線が高さH2に一致するように、接客動画像をディスプレイ30に表示する。
変形例1によれば、接客対象者CUの目線と接客動画像のスタッフの目線が略一致する。これにより、実際のスタッフが目の前に存在するユーザ体験を提供することができる。
(5-2)変形例2
変形例2を説明する。変形例2は、スタッフの全身をディスプレイ30に表示させる例である。
(5-2-1)ディスプレイの配置
変形例2のディスプレイ30の配置を説明する。図13は、変形例2のディスプレイの配置の説明図である。図14は、変形例2のディスプレイの配置の説明図である。
図13及び図14に示すように、ディスプレイ30は、接客対象者CUの足が接地する面(以下「接地面」という)FLに表示面の下端30bが位置するように配置される。つまり、Y方向について、表示面の下端30bの位置は、接客対象者CUの足裏の位置と一致する。
ディスプレイ30のY方向の高さは、一般的な人物の身長よりも十分高い(例えば、200cmである)。
(5-2-2)情報処理
変形例2の情報処理を説明する。図15は、変形例2の情報処理において表示される画面の例を示す図である。
プロセッサ12は、ステップS102a~S102b及びS104~S105において、スタッフの全身を含む非接客動画像又は接客動画像をディスプレイ30に表示する。
例えば、プロセッサ12は、ステップS102bにおいて、画面P20(図15)をディスプレイ30に表示する。
画面P20は、画像オブジェクトIMG20を含む。画像オブジェクトIMG20は、等身大のスタッフの全身を含み、且つ、スタッフが床に立っている様子の接客動画像である。
プロセッサ12は、接客動画像と同様に、非接客動画像及びサービス動画像をディスプレイ30に表示する。
変形例2によれば、スタッフの全身を含む非接客動画像、接客動画像、及び、サービス動画像がディスプレイ30に表示される。これにより、実際のスタッフが目の前に存在するユーザ体験を提供することができる。
(5-3)変形例3
変形例3を説明する。変形例3は、接客対象者CUの属性に応じた接客動画像及びサービス動画像の少なくとも1つを表示する例である。
(5-3-1)接客動画像データベース
変形例3の接客動画像データベースを説明する。図16は、変形例3の接客動画像データベースのデータ構造を示す図である。
図16の接客動画像データベースには、複数の接客動画像データが格納されている。
接客動画像データベースは、「接客動画像ID」フィールドと、「接客動画像」フィールドと、「接客音声」フィールドと、「条件」フィールドと、を含む。各フィールドは、互いに関連付けられている。
「接客動画像ID」フィールド、「接客動画像」フィールド、及び、「接客音声」フィールドは、本実施形態(図6)と同様である。
「条件」フィールドは、複数のサブフィールド(「性別」フィールド及び「年代」フィールド)を含む。
「性別」フィールドには、接客対象者CUの性別に関する条件情報が格納される。
「年代」フィールドには、接客対象者CUの年代に関する条件情報が格納される。
「接客動画像ID」フィールドには、接客動画像を識別する接客動画像IDが格納される。
「接客動画像」フィールドには、接客行動中のスタッフの接客動画像が格納される。接客動画像は、例えば、スタッフの接客行動を録画することによって得られる。
「接客音声」フィールドには、接客行動中のスタッフの接客音声が格納される。接客音声は、例えば、スタッフの接客行動中の音声を録音することによって得られる。
「条件」フィールドには、接客動画像の表示条件に関する情報が格納される。表示条件は、例えば、ディスプレイ30と接客対象者CUとの間の対象距離に関する条件である。
変形例3では、対象距離、及び、接客対象者CUの属性(例えば、性別及び年代)の組合せに応じて、異なる接客動画像及び接客音声が格納されている。例えば、図16において、対象距離「10m未満かつ5m以上」、性別「FEMALE」、及び、年代「20~29」の条件(接客動画像ID:V001)には、20代の女性スタッフが来店の挨拶を行う動画像及び音声が格納されている。対象距離「10m未満かつ5m以上」、性別「FEMALE」、及び、年代「30~39」の条件(接客動画像ID:V003)には、30代の女性スタッフが来店の挨拶を行う動画像及び音声が格納されている。
(5-3-2)情報処理
変形例3の情報処理を説明する。
変形例3のセンサ20は、例えば、イメージセンサである。
ステップS100(図8)において、プロセッサ12は、センサ20から画像情報を取得する。
プロセッサ12は、センサ20から得られた画像情報を解析することにより、対象距離Dと、接客対象者CUの属性(例えば、性別及び年代)を特定する。
プロセッサ12は、ステップS102b(図8)において、接客動画像情報データベース(図16)を参照して、対象距離Dに対応する接客動画像及び接客音声を特定する。例えば、対象距離Dが8mであり、接客対象者CUの性別が「女性」であり、且つ、接客対象者CUの年代が「20代」である場合、プロセッサ12は、対象距離「8m」、性別「FEMALE」、及び、年代「20~29」の組合せに対応する接客動画像V1及び接客音声A1を特定する。
変形例3によれば、対象距離D、並びに、接客対象者CUの性別及び年代の組合せに応じた接客動画像を提示する。これにより、個々の接客対象者CUに最適な接客のユーザ体験を提供することができる。
なお、変形例3は、以下の場合にも適用可能である。
・接客対象者CUの性別及び年代の組合せに応じた非接客対象動画像を提示する場合。
・対象距離D、並びに、接客対象者CUの性別及び年代の組合せに応じたサービス動画像を提示する場合。
(5-4)変形例4
変形例4を説明する。変形例4は、複数のディスプレイの組合せを用いる例である。
(5-4-1)バーチャル接客システムの構成
変形例4のバーチャル接客システム1の構成を説明する。図17は、変形例4のバーチャル接客システムの機能ブロック図である。
図17に示すように、バーチャル接客システム1は、本実施形態(図3)と同様の構成(コントローラ10、センサ20、スピーカ40、及び、マイクロフォン50)に加えて、第1ディスプレイ31と、第2ディスプレイ32と、を備える。
第1ディスプレイ31は、ディスプレイ30と同様である。
第2ディスプレイ32は、第1ディスプレイ31より小型のディスプレイである。第2ディスプレイ32は、通信インタフェース14を介して、コントローラ10と接続される。第2ディスプレイ32は、例えば、以下の少なくとも1つである。
・通信機能を備えるタッチパネルディスプレイ
・接客対象者CUのスマートフォン又はタブレット端末
(5-4-2)情報処理
変形例4の情報処理を説明する。図18は、変形例4の情報処理において表示される画面の例を示す図である。
ステップS102aにおいて、プロセッサ12は、第1ディスプレイ31に画面P31(図18A)を表示し、且つ、第2ディスプレイ32に画面P32(図18B)を表示する。
画面P31は、画像オブジェクトIMG11を含む。
画面P32は、操作オブジェクトB11a~B11bを含む。
変形例4によれば、現実に存在し得るスタッフの動画像と、現実に存在し得ない操作オブジェクトB11a~B11bと、を異なるディスプレイを介して提示する。これにより、実際のスタッフが目の前に存在するユーザ体験のリアリティを向上させることができる。
(5-5)変形例5
変形例5を説明する。変形例5は、接客対象者CUの顔の向きに応じた接客動画像を表示する例である。図19は、変形例5の概要の説明図である。
センサ20は、対象距離を計測し、且つ、接客対象者CUの顔の画像を取得する。
プロセッサ12は、センサ20によって得られた画像に対して画像解析を適用することにより、接客対象者CUの顔の向き及び対象距離(例えば、ディスプレイ30の表示面の中心を原点とする座標系における顔の中心線の3次元ベクトル)を特定する。
プロセッサ12は、特定された顔の向き、及び、対象距離の組合せに応じた接客動画像をディスプレイ30に表示する。
図19Aに示すように、顔の向き及び対象距離を示すベクトルがV1である(例えば、接客対象者CUを基準としてディスプレイ30を向いている)場合、コントローラ10は、接客対象者CUのベクトルVEC1に応じた接客動画像(例えば、ディスプレイ30を基準として接客対象者CUの方向を向く顔の動画像)をディスプレイ30に表示する。
図19Bに示すように、顔の向き及び対象距離を示すベクトルがV2である(例えば、接客対象者CUを基準としてディスプレイ30とは異なる方向を向いている)場合、コントローラ10は、接客対象者CUのベクトルVEC2に応じた接客動画像(例えば、ディスプレイ30を基準として接客対象者CUとは異なる方向を向く顔の動画像)をディスプレイ30に表示する。
変形例5によれば、接客対象者CUの対象距離及び顔の向きの組合せに応じた接客動画像を表示する。これにより、実際のスタッフが目の前に存在するユーザ体験を提供することができる。
(5-6)変形例6
変形例6を説明する。変形例6は、接客対象者CUの表情に応じた接客動画像を表示する例である。
センサ20は、対象距離を計測し、且つ、接客対象者CUの顔の画像を取得するように構成される。
プロセッサ12は、センサ20によって得られた画像に対して画像解析を適用することによって、接客対象者CUの表情を特定する。
プロセッサ12は、特定された表情、及び、対象距離の組合せに応じた接客動画像をディスプレイ30に表示する。
変形例6によれば、接客対象者CUの対象距離及び表情の組合せに応じた接客動画像を表示する。これにより、実際のスタッフが目の前に存在するユーザ体験を提供することができる。
(6)本実施形態の小括
本実施形態について小括する。
本実施形態の第1態様は、
ディスプレイ30と、ディスプレイ30と接客対象者CUとの間の対象距離Dを検出するセンサ20と、に接続された情報処理装置(例えば、コントローラ10)であって、
非接客行動中のスタッフの非接客動画像又は接客行動中のスタッフの接客動画像を記憶する手段(例えば、記憶装置11)を備え、
記憶された非接客動画像又は接客動画像をディスプレイ30に表示させる手段を備え、
表示させる手段は、
対象距離Dが所定距離Dth以上である場合、非接客動画像をディスプレイ30に表示させ、
対象距離Dが所定距離Dth未満である場合、接客動画像をディスプレイ30に表示させる、
情報処理装置(例えば、コントローラ10)である。
第1態様によれば、対象距離Dに応じて、非接客動画像又は接客動画像がディスプレイ30に表示される。これにより、接客対象者CUに対して、現実の接客と同等のユーザ体験を提供することができる。
本実施形態の第2態様では、
接客動画像を記憶する手段(例えば、記憶装置11)は、複数の接客動画像を記憶し、
表示させる手段は、対象距離Dが所定距離Dth未満である場合、複数の接客動画像のうち接客対象者CUに応じた接客動画像をディスプレイ30に表示させる、
情報処理装置(例えば、コントローラ10)である。
第2態様によれば、複数の接客動画像のうち、接客対象者CUに応じた接客動画像が表示される。これにより、ディスプレイ30に表示されたスタッフが、接客対象者CUに応じて行動するユーザ体験を提供することができる。
本実施形態の第3態様では、
表示させる手段は、対象距離Dに応じた接客動画像をディスプレイ30に表示させる、
情報処理装置(例えば、コントローラ10)である。
第3態様によれば、複数の接客動画像のうち、対象距離Dに応じた接客動画像が表示される。これにより、ディスプレイ30に表示されたスタッフが、接客対象者CUとディスプレイ30との間の距離に応じて行動するユーザ体験を提供することができる。
本実施形態の第4態様では、
センサ20は、接客対象者CUの目の位置を検知し、
表示させる手段は、センサ20によって検知された目の位置に応じた接客動画像をディスプレイ30に表示させる、
情報処理装置(例えば、コントローラ10)である。
第4態様によれば、ディスプレイ30に表示されるスタッフの目線の高さと、接客対象者CUの目線の高さと、が略一致する。これにより、実際のスタッフが目の前に存在するユーザ体験を提供することができる。
本実施形態の第5態様では、
表示させる手段は、ディスプレイ30のサイズ及び設置位置を参照して、スタッフの等身大のサイズで、非接客動画像又は接客動画像をディスプレイ30に表示させる、
情報処理装置(例えば、コントローラ10)である。
第5態様によれば、等身大のスタッフがディスプレイ30に表示される。これにより、実際のスタッフが目の前に存在するユーザ体験を提供することができる。
本実施形態の第6態様では、
非接客動画像は、スタッフの非接客行動を録画することによって生成された動画像であり、
接客動画像は、スタッフの非接客行動を録画することによって生成された動画像である、
情報処理装置(例えば、コントローラ10)である。
第6態様によれば、実在のスタッフの行動が録画された動画像がディスプレイ30に表示される。実際のスタッフが目の前に存在するユーザ体験を提供することができる。
本実施形態の第7態様では、
センサ20は、接客対象者の顔の画像を取得し、
顔の画像を解析することにより、接客対象者の顔の向きを特定する手段(例えば、プロセッサ12)を備え、
ディスプレイ30に表示させる手段は、対象距離及び特定された顔の向きの組合せに応じた接客動画像を表示させる、
情報処理装置(例えば、コントローラ10)である。
第7態様によれば、接客対象者CUの対象距離及び顔の向きの組合せに応じた接客動画像を表示する。これにより、接客対象者CUに対して、現実の接客と同等のユーザ体験を提供することができる。
本実施形態の第8態様では、
センサ20は、接客対象者の顔の画像を取得し、
顔の画像を解析することにより、接客対象者の表情を特定する手段(例えば、プロセッサ12)を備え、
ディスプレイ30に表示させる手段は、対象距離及び特定された表情に応じた接客動画像を表示させる、
情報処理装置(例えば、コントローラ10)である。
第8態様によれば、接客対象者CUの対象距離及び表情の組合せに応じた接客動画像を表示させる。これにより、接客対象者CUに対して、現実の接客と同等のユーザ体験を提供することができる。
本実施形態の第9態様では、
情報処理装置(例えば、コントローラ10)を備え、
ディスプレイ30を備える、
バーチャル接客システム1である。
第9態様によれば、対象距離Dに応じて、非接客動画像又は接客動画像がディスプレイ30に表示される。これにより、接客対象者CUに対して、現実の接客と同等のユーザ体験を提供することができる。
本実施形態の第10態様では、
ディスプレイ30は、接客対象者CUの接地面に表示面の下端30bが位置するように配置され、
接客動画像又は非接客動画像は、等身大のスタッフが床に立っている様子の動画像であり、
表示させる手段は、床が表示面の下端30bに位置するように、接客動画像又は非接客動画像をディスプレイ30に表示させる、
バーチャル接客システム1である。
第10態様によれば、スタッフの全身を含む動画像がディスプレイ30に表示される。これにより、実際のスタッフが目の前に存在するユーザ体験を提供することができる。
(7)その他の変形例
その他の変形例を説明する。
記憶装置11は、ネットワークNWを介して、コントローラ10と接続されてもよい。
また、記憶装置11に記憶された情報のうち比較的大容量の情報は、ネットワークNWを介してコントローラ10と接続された記憶装置に記憶されてもよい。比較的大容量の情報は、例えば、以下の少なくとも1つである。
・非接客動画像及び非接客音声の組合せ
・接客動画像及び接客音声の組合せ
・サービス動画像及びサービス音声の組合せ
本実施形態では、Z方向について、ディスプレイ30とカウンタCOが離間する例を示したが、本実施形態の範囲はこれに限られない。本実施形態は、カウンタCO上にディスプレイ30が配置される場合にも適用可能である。
本実施形態では、ディスプレイ30に表示された操作オブジェクトに対する操作を介してユーザ指示を受け付ける例を示したが、本実施形態の範囲はこれに限られない。本実施形態は、マイクロフォン50によって取得された接客対象者CUの音声を介してユーザ指示を受け付ける場合にも適用可能である。
本実施形態では、記憶装置11に記憶された非接客動画像及び接客動画像をディスプレイ30に表示する例を示したが、本実施形態の範囲はこれに限られない。本実施形態は、記憶装置11に記憶された非接客動画像及び接客動画像の少なくとも1つに対して画像処理(例えば、リサイズ処理、及び、トリミング処理の少なくとも1つ)を実行し、且つ、画像処理後の画像をディスプレイ30に表示する場合にも適用可能である。
一例として、プロセッサ12は、ディスプレイ30のサイズ及び設置位置を参照して、スタッフが等身大で表示されるように、非接客動画像、接客動画像、及び、サービス動画像をディスプレイ30に表示させる。
本実施形態では、接客対象者CUがサービスを終了させるためのユーザ指示を与える前に非接客動画像又は接客動画像の再生が終了した場合、コントローラ10は、例えば、接客対象者CUによるユーザ操作に応じて、以下の何れかの処理を実行しても良い。
・所定の差込動画像の表示
・非接客動画像又は接客動画像の巻き戻し
・非接客動画像又は接客動画像のループ再生
本実施形態では、サービス動画像がコード画像を含む例を示したが、本実施形態の範囲はこれに限られない。本実施形態は、サービス動画像は、コード画像に代えて、接客対象者CUを識別するユーザ識別情報を提示しても良い。
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
1 :バーチャル接客システム
10 :コントローラ
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
20 :センサ
30 :ディスプレイ
31 :第1ディスプレイ
32 :第2ディスプレイ
40 :スピーカ
50 :マイクロフォン

Claims (10)

  1. ディスプレイと、前記ディスプレイと接客対象者との間の対象距離を検出するセンサと、に接続された情報処理装置であって、
    非接客行動中のスタッフの非接客動画像及び接客行動中のスタッフの接客動画像を記憶する手段を備え、
    前記記憶された非接客動画像又は接客動画像を前記ディスプレイに表示させる手段を備え、
    前記表示させる手段は、
    前記対象距離が所定距離以上である場合、前記非接客動画像を前記ディスプレイに表示させ、
    前記対象距離が前記所定距離未満である場合、前記接客動画像を前記ディスプレイに表示させる、
    情報処理装置。
  2. 前記接客動画像を記憶する手段は、複数の接客動画像を記憶し、
    前記表示させる手段は、前記対象距離が前記所定距離未満である場合、前記複数の接客動画像のうち前記接客対象者に応じた接客動画像を前記ディスプレイに表示させる、
    請求項1に記載の情報処理装置。
  3. 前記表示させる手段は、前記対象距離に応じた接客動画像を前記ディスプレイに表示させる、
    請求項2に記載の情報処理装置。
  4. 前記センサは、前記接客対象者の目の位置を検知し、
    前記表示させる手段は、前記センサによって検知された目の位置に応じた接客動画像を前記ディスプレイに表示させる、
    請求項2又は3に記載の情報処理装置。
  5. 前記表示させる手段は、前記ディスプレイのサイズ及び設置位置を参照して、前記スタッフの等身大のサイズで、前記非接客動画像又は前記接客動画像を前記ディスプレイに表示させる、
    請求項1~4の何れかに記載の情報処理装置。
  6. 前記非接客動画像は、前記スタッフの非接客行動を録画することによって生成された動画像であり、
    前記接客動画像は、前記スタッフの接客行動を録画することによって生成された動画像である、
    請求項1~5の何れかに記載の情報処理装置。
  7. 前記センサは、前記接客対象者の顔の画像を取得し、
    前記顔の画像を解析することにより、前記接客対象者の顔の向きを特定する手段を備え、
    前記ディスプレイに表示させる手段は、前記対象距離及び前記特定された顔の向きの組合せに応じた接客動画像を表示させる、
    請求項1~6の何れかに記載の情報処理装置。
  8. 前記センサは、前記接客対象者の顔の画像を取得し、
    前記顔の画像を解析することにより、前記接客対象者の表情を特定する手段を備え、
    前記ディスプレイに表示させる手段は、前記対象距離及び前記特定された表情に応じた接客動画像を表示させる、
    請求項1~7の何れかに記載の情報処理装置。
  9. 請求項1~8の何れかに記載の情報処理装置を備え、
    前記ディスプレイを備える、
    バーチャル接客システム。
  10. 前記ディスプレイは、前記接客対象者の接地面に表示面の下端が位置するように配置され、
    前記接客動画像及び前記非接客動画像は、等身大のスタッフが床に立っている様子の動画像であり、
    前記表示させる手段は、前記床が前記表示面の下端に位置するように、前記接客動画像又は前記非接客動画像を前記ディスプレイに表示させる、
    請求項9に記載のバーチャル接客システム。
JP2019171365A 2019-09-20 2019-09-20 情報処理装置及びバーチャル接客システム Active JP7339092B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019171365A JP7339092B2 (ja) 2019-09-20 2019-09-20 情報処理装置及びバーチャル接客システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019171365A JP7339092B2 (ja) 2019-09-20 2019-09-20 情報処理装置及びバーチャル接客システム

Publications (2)

Publication Number Publication Date
JP2021047369A JP2021047369A (ja) 2021-03-25
JP7339092B2 true JP7339092B2 (ja) 2023-09-05

Family

ID=74876305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019171365A Active JP7339092B2 (ja) 2019-09-20 2019-09-20 情報処理装置及びバーチャル接客システム

Country Status (1)

Country Link
JP (1) JP7339092B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022103199A1 (de) 2021-03-22 2022-09-22 Yamada Manufacturing Co., Ltd. Steuerventil

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251300A (ja) 2005-03-10 2006-09-21 Megachips System Solutions Inc 電子広告表示方法および装置
JP2009169109A (ja) 2008-01-16 2009-07-30 Panasonic Electric Works Co Ltd ミラーシステム
JP2010020053A (ja) 2008-07-10 2010-01-28 Seiko Epson Corp 表示システム、表示制御装置、および、表示制御方法
JP2014095853A (ja) 2012-11-12 2014-05-22 Casio Comput Co Ltd 画像処理装置、投影装置、画像処理方法及びプログラム
JP2015064513A (ja) 2013-09-26 2015-04-09 カシオ計算機株式会社 表示装置、コンテンツ表示方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07325868A (ja) * 1994-05-31 1995-12-12 Oki Electric Ind Co Ltd 来訪者案内システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251300A (ja) 2005-03-10 2006-09-21 Megachips System Solutions Inc 電子広告表示方法および装置
JP2009169109A (ja) 2008-01-16 2009-07-30 Panasonic Electric Works Co Ltd ミラーシステム
JP2010020053A (ja) 2008-07-10 2010-01-28 Seiko Epson Corp 表示システム、表示制御装置、および、表示制御方法
JP2014095853A (ja) 2012-11-12 2014-05-22 Casio Comput Co Ltd 画像処理装置、投影装置、画像処理方法及びプログラム
JP2015064513A (ja) 2013-09-26 2015-04-09 カシオ計算機株式会社 表示装置、コンテンツ表示方法及びプログラム

Also Published As

Publication number Publication date
JP2021047369A (ja) 2021-03-25

Similar Documents

Publication Publication Date Title
US20210295025A1 (en) Classifying facial expressions using eye-tracking cameras
US10055894B2 (en) Markerless superimposition of content in augmented reality systems
US10380603B2 (en) Assessing personality and mood characteristics of a customer to enhance customer satisfaction and improve chances of a sale
US20220138994A1 (en) Displaying augmented reality responsive to an augmented reality image
US9058056B2 (en) System and method of dynamically generating a frequency pattern to realize the sense of touch in a computing device
US11003912B2 (en) Systems and methods for personalized augmented reality view
CN105339867A (zh) 使用视觉逼真的对象显示
CN109213310B (zh) 信息互动设备、数据对象信息处理方法及装置
JP7030078B2 (ja) 端末装置に適用される情報生成方法および装置
JPWO2017115453A1 (ja) メイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法およびメイクアップシミュレーション支援プログラム
US20200356934A1 (en) Customer service assistance apparatus, customer service assistance method, and computer-readable recording medium
JP2019192026A (ja) 情報処理装置、情報処理方法、プログラム、コンテンツ表示システム及びコンテンツ配信装置
KR20210030060A (ko) 얼굴 영상 기반의 이벤트 모니터링 시스템 및 방법
JP6593949B1 (ja) 情報処理装置、及び、マーケティング活動支援装置
CA3035773A1 (en) Systems and methods for augmented reality view
CN112990043A (zh) 一种服务交互方法、装置、电子设备及存储介质
JP7339092B2 (ja) 情報処理装置及びバーチャル接客システム
US20150100464A1 (en) Information displaying apparatus and method of object
US20210012371A1 (en) Determining micro-expressions of a user
JP6586706B2 (ja) 画像解析装置、画像解析方法およびプログラム
CN114358822A (zh) 一种广告展示方法、装置、介质及设备
CN114063785A (zh) 信息输出方法、头戴式显示设备及可读存储介质
US20230130735A1 (en) Real-time risk tracking
KR102477231B1 (ko) 응시 대상 관심도 검출 장치 및 방법
US20170083952A1 (en) System and method of markerless injection of 3d ads in ar and user interaction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230824

R150 Certificate of patent or registration of utility model

Ref document number: 7339092

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150