JP6219448B1 - 顧客応対制御システム、顧客応対システム及びプログラム - Google Patents

Abstract

【課題】オペレータが顧客応対装置を通じて顧客に応対するシステムにおいて、オペレータの状態によっては、顧客に対して適切に応対できない場合があること。【解決手段】顧客応対制御システムは、顧客応対装置が応対可能な顧客の情報である顧客情報を取得する顧客情報取得部と、顧客情報を第１のオペレータへ提示させる提示制御部と、第１のオペレータの動作に基づいて、顧客に対して顧客応対装置が応対するべき応対内容を示す第１の応対情報を生成する応対情報生成部と、第１の応対情報に基づいて顧客に応対するよう顧客応対装置に指示することにより、第１のオペレータに、顧客に対して顧客応対装置を通じて応対させる応対制御部と、第１のオペレータの感情を特定するオペレータ感情特定部と、第１のオペレータが顧客応対装置を通じて顧客に応対する状態を継続するか否かを、第１のオペレータの感情に基づいて判断する応対判断部とを備える。【選択図】図２

Description

本発明は、顧客応対制御システム、顧客応対システム及びプログラムに関する。

ユーザと通話相手との会話を学習してユーザの問いかけに対する通話相手の返答を返答テーブルに蓄積する端末が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１１−２５３３８９号公報

オペレータが顧客応対装置を通じて顧客に応対するシステムにおいて、オペレータの状態によっては、顧客に対して適切に応対できない場合がある。

本発明の第１の態様においては、顧客応対装置が応対可能な顧客の情報である顧客情報を取得する顧客情報取得部と、顧客情報を第１のオペレータへ提示させる提示制御部と、第１のオペレータの動作に基づいて、顧客に対して顧客応対装置が応対するべき応対内容を示す第１の応対情報を生成する応対情報生成部と、第１の応対情報に基づいて顧客に応対するよう顧客応対装置に指示することにより、第１のオペレータに、顧客に対して顧客応対装置を通じて応対させる応対制御部と、第１のオペレータの感情を特定するオペレータ感情特定部と、第１のオペレータが顧客応対装置を通じて顧客に応対する状態を継続するか否かを、第１のオペレータの感情に基づいて判断する応対判断部とを備える顧客応対制御システムが提供される。

オペレータ感情特定部は、第１のオペレータの感情の種別及び強さを特定し、応対判断部は、オペレータ感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、第１のオペレータが顧客応対装置を通じて顧客に応対する状態を継続しない旨を判断してよい。

オペレータ感情特定部は、第１のオペレータの怒りの強さを特定し、応対判断部は、怒りの強さが予め定められた値を超えた場合に、第１のオペレータが顧客応対装置を通じて顧客に応対する状態を継続しない旨を判断してよい。

応対判断部が第１の応対情報に基づく応対を顧客応対装置に行わせない旨を判断した場合に、顧客に応対する第２のオペレータを、複数のオペレータの中から選択するオペレータ選択部２２０と、第２のオペレータに、顧客への応対を開始すべき旨を通知する応対通知部とをさらに備えてよい。

応対通知部が顧客への応対を開始すべき旨を第２のオペレータに通知した後に、応対情報生成部は、第２のオペレータの動作に基づいて、顧客に対して顧客応対装置が応対するべき応対内容を示す第２の応対情報を生成し、応対制御部は、第２の応対情報に基づいて顧客に応対するよう顧客応対装置に指示することにより、第２のオペレータに、顧客に対して顧客応対装置を通じて応対させてよい。

第１の応対情報は、オペレータの発話内容を示すテキストデータを含み、応対制御部は、テキストデータを顧客応対装置に送信して、顧客応対装置に発話させてよい。

顧客応対装置は、顧客に対し自律的に応対する第１状態と、オペレータの動作に基づく応対情報に基づいて顧客への応対を行う第２状態とを有し、顧客応対装置が第１状態から第２状態に遷移した場合に、顧客応対装置が第１状態において顧客に自律的に応対した内容を示す応対履歴情報を、オペレータに通知する応対履歴通知部をさらに備えてよい。

顧客応対装置が検出した顧客の状態に基づいて、顧客応対装置が応対している顧客の感情の種別及び強さを特定する顧客感情特定部と、顧客感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、顧客応対装置を第１状態から第２状態に遷移させる遷移制御部とをさらに備えてよい。

顧客感情特定部は、顧客応対装置が応対している顧客の怒りの強さを特定し、遷移制御部は、顧客感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、顧客応対装置を第１状態から第２状態に遷移させてよい。

顧客の感情の種別を示す情報をオペレータに通知する感情通知部をさらに備えてよい。

顧客情報は、顧客応対装置が取得した顧客の画像、顧客応対装置が取得した顧客の発話内容、顧客が過去に購入した商品の購入履歴に関する情報のうちの少なくともいずれか一つを含んでよい。

本発明の第２の態様においては、上記の顧客応対制御システムと、上記の顧客応対装置とを備える顧客応対システムが提供される。

本発明の第３の態様においては、コンピュータを、上記の顧客応対制御システムとして機能させるためのプログラムが提供される。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る顧客応対システム１０の利用場面の一例を概略的に示す。 ロボット４０及びサーバ６０の機能ブロック構成を概略的に示す。 自律動作状態のロボット４０ａが顧客５０ａに応対している場合のシーケンスを概略的に説明する図である。 顧客５０ａへの応対をオペレータ８０ａに依頼するまでのシーケンスを概略的に説明する図である。 オペレータ端末７０ａによる応対通知の表示内容を概略的に示す。 ロボット４０ａがオペレータ応対状態の場合におけるコンピュータ７２ａの表示内容を概略的に示す。 オペレータ８０ａの動作に基づいてロボット４０ａが顧客５０ａに応対している場合のシーケンスを概略的に示す。 顧客５０ａへの応対者をオペレータ８０ｂに切り換えるまでのシーケンスを概略的に説明する図である。 応対モード時のコンピュータ７２ｂによる表示内容を概略的に示す。 ロボット４０ａが自律動作状態に復帰するまでのシーケンスを概略的に示す。 適切なオペレータ８０を選択するために用いられる実績テーブルを概略的に示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る顧客応対システム１０の利用場面の一例を概略的に示す。顧客応対システム１０は、サーバ６０と、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃと、オペレータ端末７０ａ、オペレータ端末７０ｂ及びオペレータ端末７０ｃとを備える。オペレータ端末７０ａ、オペレータ端末７０ｂ及びオペレータ端末７０ｃ並びにサーバ６０を備える構成部分は、顧客応対制御システムとしても機能する。

ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃは、オペレータ端末７０ａ、オペレータ端末７０ｂ及びオペレータ端末７０ｃとは遠隔に設けられる。また、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃは、サーバ６０とも遠隔に設けられる。オペレータ８０ａは、オペレータ端末７０ａを用いて、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃのいずれかを、サーバ６０及び通信ネットワーク９０を通じて操作することができる。同様に、オペレータ８０ｂは、オペレータ端末７０ｂを用いて、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃのいずれかを、サーバ６０及び通信ネットワーク９０を通じて操作することができる。オペレータ８０ｃは、オペレータ端末７０ｃを用いて、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃのいずれかを、サーバ６０及び通信ネットワーク９０を通じて操作することができる。

ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃは、例えば店舗や事務所の受付等に配置されて、来訪した顧客に対して自律的に応対することができる。図１に示す状況において、顧客５０ｂに対しては、ロボット４０ｂが自律的に応対中である。顧客５０ｃに対しては、ロボット４０ｃが自律的に応対中である。

顧客５０ａに対しては、オペレータ８０ａが、オペレータ端末７０ａ、サーバ６０及びロボット４０ａを通じて応対中である。ロボット４０ａは、カメラ機能及びマイク機能を有しており、撮影した顧客５０ａの画像及び音声を、通信ネットワーク９０を通じてサーバ６０に送信する。サーバ６０は、受信した画像及び音声を、通信ネットワーク９０を通じてオペレータ端末７０ａに送信する。

オペレータ端末７０ａは、コンピュータ７２ａ及びヘッドセット７４ａを有する。コンピュータ７２ａは、ロボット４０ａにより取得された顧客５０ａの画像及び音声を、サーバ６０を通じて受信する。コンピュータ７２ａが受信した画像は、コンピュータ７２ａの画面を通じてオペレータ８０ａに提供される。また、コンピュータ７２ａが受信した音声は、ヘッドセット７４ａを通じてオペレータ８０ａに提供される。また、サーバ６０は、顧客５０ａの現在の感情、顧客５０ａの商品の購入履歴等、様々な種別の顧客情報を、コンピュータ７２ａに提供する。

オペレータ端末７０ａにおいて、ヘッドセット７４ａは、マイク機能を有しており、マイク機能で取得したオペレータ８０ａの音声データを、サーバ６０に送信する。サーバ６０は、音声データに基づく発話テキストデータを、通信ネットワーク９０を通じてロボット４０ａに送信する。ロボット４０ａは、受信した発話テキストデータに従って発話する。これにより、オペレータ８０ａは、ロボット４０ａを通じて顧客５０ａに応対することができる。

また、オペレータ端末７０ａは、カメラ機能を有しており、カメラ機能で取得したオペレータ８０ａの画像をサーバ６０に送信する。サーバ６０は、コンピュータ７２ａから受信したオペレータ８０ａの音声及び画像等の情報に基づいて、オペレータ８０ａの感情を特定する。サーバ６０は、オペレータ８０ａの感情が悪化したと判断すると、顧客応対中でないオペレータ８０ｂに、感情が悪化したオペレータ８０ａに代わり、顧客５０ａへの応対を依頼する。オペレータ８０ｂは、オペレータ端末７０ｂ及びロボット４０ａを通じて、顧客５０ａに応対する。これにより、顧客応対システム１０によれば、オペレータ８０ａの感情が悪化する等して、オペレータ８０ａが顧客に対して適切に応対できない状態にある判断した場合に、オペレータを交代することができる。

なお、ロボット４０ｂ及びロボット４０ｃは、ロボット４０ａと略同一の機能を有する。顧客応対システム１０の説明において、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃを、ロボット４０と総称する場合がある。また、オペレータ端末７０ｂは、コンピュータ７２ｂ及びヘッドセット７４ｂを有し、オペレータ端末７０ａと略同一の機能を有する。オペレータ端末７０ｃは、コンピュータ７２ｃ及びヘッドセット７４ｃを有し、オペレータ端末７０ａと略同一の機能を有する。顧客応対システム１０の説明において、オペレータ端末７０ａ、オペレータ端末７０ｂ及びオペレータ端末７０ｃを、オペレータ端末７０と総称する場合がある。

なお、顧客応対システム１０の説明において、特にロボット４０ａとオペレータ端末７０ａとの組み合わせ又はロボット４０ａとオペレータ端末７０ｂとの組み合わせの動作を取り上げる場合がある。しかし、ロボット４０とオペレータ端末７０との組み合わせはこの組み合わせのみに限られず、任意の組み合わせにおいて同様の動作を実現できる。

図２は、ロボット４０及びサーバ６０の機能ブロック構成を概略的に示す。まず、ロボット４０の機能ブロック構成について説明する。ロボット４０は、センサ部１２０と、情報処理部１３０と、制御対象１６０と、通信部１０２とを有する。情報処理部１３０は、ＭＰＵ等のプロセッサであってよい。通信部１０２は、サーバ６０との通信を担う。通信部１０２は、ネットワークＩＦ等の通信デバイスであってよい。

制御対象１６０は、スピーカを含む。制御対象１６０はまた、ロボット４０の肢部や頭部等の可動部を駆動するモータ等を含む。

センサ部１２０は、マイク、ジャイロセンサ、モータセンサ、カメラ等の各種のセンサを有する。センサ部１２０のマイクは、周囲の音声を取得する。例えば、センサ部１２０のマイクは、顧客５０の音声を取得する。センサ部１２０のカメラは、可視光によって撮影して画像情報を生成する。センサ部１２０のジャイロセンサは、ロボット４０全体及びロボット４０の各部の角速度を検出する。センサ部１２０のモータセンサは、ロボット４０の可動部を駆動するモータの駆動軸の回転角度を検出する。

センサ部１２０は、マイクで取得された音声データ、カメラで撮影された画像、ジャイロセンサで検出された角速度、モータセンサで検出された回転角度等の各種のセンサデータを、情報処理部１３０に出力する。情報処理部１３０は、取得したセンサ信号を通信部１０２に供給して、サーバ６０へ送信させる。また、情報処理部１３０は、センサ部１２０で検出された各種のセンサデータに基づいて、ロボット４０の行動を決定する。情報処理部１３０は、決定した行動に基づいて制御対象１６０を制御する。

例えば、情報処理部１３０は、各種のセンサデータやサーバ６０から取得した情報に基づいて、ロボット４０の発話内容や、ロボット４０の肢部の動き等を決定する。具体的には、情報処理部１３０は、センサ部１２０のマイクで取得された音声データを解析して顧客５０の発話内容を特定する。また、情報処理部１３０は、センサ部１２０のカメラで生成された画像情報に基づいて、顧客５０の表情を特定する。情報処理部１３０は、顧客５０の発話内容、顧客５０の表情等に基づいて、ロボット４０の発話内容や、ロボット４０の肢部の動きを決定し、制御対象１６０のスピーカ及びモータを制御して、ロボット４０に発話させ、肢部等を動作させる。これにより、ロボット４０は、顧客５０の発話内容等を理解して、顧客５０と会話したり、顧客５０を案内したりすることができる。このように、ロボット４０は、顧客５０に対し自律的に応対することができる。

なお、ロボット４０は、センサ部１２０で取得した情報等をサーバ６０に送信し、サーバ６０がロボット４０の発話内容や肢部の動き等を決定してもよい。ロボット４０は、サーバ６０で決定された発話内容や肢部の動き等の指示情報を受信して、当該指示情報に基づいて発話や肢部を動作させてよい。このようにサーバ６０がロボット４０の行動を決定する場合も、ロボット４０の行動に人間の指示が実質的に関与していないため、ロボット４０が自律的に応対しているとみなすことができる。

なお、ロボット４０が発話する内容は、サーバ６０において決定されて、ロボット４０に送信されてもよい。この場合、サーバ６０における発話内容を機能部分とロボット４０とを備えるブロックが、顧客応対装置として機能し得る。

次に、サーバ６０の機能ブロック構成について説明する。サーバ６０は、情報処理部２３０と、通信部２０２と、通信部２０４と、格納部２８０とを有する。情報処理部２３０は、応対制御部２４０と、顧客感情特定部２５０と、遷移制御部２５２と、オペレータ感情特定部２１０と、オペレータ選択部２２０と、応対情報生成部２４２と、提示制御部２０８とを有する。情報処理部２３０の機能は、ＭＰＵ等のプロセッサによって実装されてよい。例えば、応対制御部２４０と、顧客感情特定部２５０と、遷移制御部２５２と、オペレータ感情特定部２１０と、オペレータ選択部２２０と、応対情報生成部２４２と、提示制御部２０８の機能は、プロセッサが記録媒体２９０に格納されたプログラムを読み込むことで実現されてよい。

通信部２０２は、ロボット４０との通信を担う。通信部２０２は、顧客情報取得部２００を有する。通信部２０４は、オペレータ端末７０との通信を担う。通信部２０４は、主としてオペレータ８０への通知を担う通知部２７０を有する。通信部２０２及び通信部２０４は、ネットワークＩＦ等の通信デバイスであってよい。格納部２８０は、ハードディスク装置、フラッシュメモリ等の記憶媒体を有する。また、格納部２８０は、ＲＡＭ等の揮発性記憶装置を有する。格納部２８０は、応対制御部２４０が実行時に読み出すプログラムコードや各種の一時データの他、情報処理部２３０の処理の実行に必要なデータ等を格納する。

顧客情報取得部２００は、ロボット４０が応対可能な顧客の情報である顧客情報を取得する。例えば、顧客情報取得部２００は、ロボット４０が取得した顧客の情報を、通信ネットワーク９０を通じて受信する。なお、顧客情報は、ロボット４０が取得した顧客画像、ロボット４０が取得した顧客の発話内容、顧客が過去に購入した商品の購入履歴のうちの少なくともいずれか一つを含んでよい。顧客が過去に購入した商品の購入履歴は、格納部２８０に格納されていてよい。

提示制御部２０８は、顧客情報取得部２００が取得した顧客情報を第１のオペレータへ提示させる。第１のオペレータとは、オペレータ８０のうちの１人のオペレータである。提示制御部２０８は、顧客情報を通信部２０４からオペレータ端末７０に送信させて、オペレータ端末７０のコンピュータ７２に顧客情報を表示させる。

応対情報生成部２４２は、第１のオペレータの動作に基づいて、顧客に対してロボット４０が応対するべき応対内容を示す第１の応対情報を生成する。例えば、応対情報生成部２４２は、オペレータ端末７０から取得した、第１のオペレータの音声データに基づいて、ロボット４０に発話させる発話テキストデータを生成する。

応対制御部２４０は、第１の応対情報に基づいて顧客に応対するようロボット４０に指示することにより、第１のオペレータに、顧客に対してロボット４０を通じて応対させる。具体的には、応対制御部２４０は、発話テキストデータをロボット４０に送信して、ロボット４０に発話させる。

オペレータ感情特定部２１０は、第１のオペレータの感情を特定する。応対判断部２７２は、第１のオペレータがロボット４０を通じて顧客に応対する状態を継続するか否かを、第１のオペレータの感情に基づいて判断する。

具体的には、オペレータ感情特定部２１０は、第１のオペレータの感情の種別及び強さを特定する。応対判断部２７２は、オペレータ感情特定部２１０により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、第１のオペレータがロボット４０を通じて顧客に応対する状態を継続しない旨を判断する。なお、「予め定められた種別の感情について予め定められた値を超える強さが特定された」か否かを、応対停止条件と呼ぶ場合がある。

より具体的には、オペレータ感情特定部２１０は、第１のオペレータの怒りの強さを特定する。そして、応対判断部２７２は、怒りの強さが予め定められた値を超えた場合に、第１のオペレータがロボット４０を通じて顧客に応対する状態を継続しない旨を判断する。

オペレータ選択部２２０は、応対判断部２７２が第１の応対情報に基づく応対をロボット４０に行わせない旨を判断した場合に、顧客に応対する第２のオペレータを、複数のオペレータの中から選択する。そして、通知部２７０は、第２のオペレータに、顧客への応対を開始すべき旨を通知する。具体的には、通知部２７０は、第２のオペレータが操作するオペレータ端末７０に応対通知を送信する。

通知部２７０が顧客への応対を開始すべき旨を第２のオペレータに通知した後、応対情報生成部２４２は、第２のオペレータの動作に基づいて、顧客に対してロボット４０が応対するべき応対内容を示す第２の応対情報を生成する。第２の応対情報は、第２のオペレータの音声データに基づく発話内容を示す発話テキストデータであってよい。応対制御部２４０は、第２の応対情報に基づいて顧客に応対するようロボット４０に指示することにより、第２のオペレータに、顧客に対してロボット４０を通じて応対させる。

ロボット４０は、顧客に対し自律的に応対する自律動作状態と、オペレータの動作に基づく応対情報に基づいて顧客への応対を行うオペレータ応対状態とを有する。通知部２７０は、ロボット４０が自律動作状態からオペレータ応対状態に遷移した場合に、ロボット４０が自律動作状態において顧客に自律的に応対した内容を示す応対履歴情報を、オペレータに通知する。これにより、オペレータは、ロボット４０がどのような応対をしたかを確認して、応対内容を決定することができる。

なお、通知部２７０は、顧客の感情の種別を示す情報をオペレータに通知してよい。これにより、オペレータ８０は、顧客の感情を考慮して適切な応対内容を決定することができる。

顧客感情特定部２５０は、ロボット４０が検出した顧客の状態に基づいて、ロボット４０が応対している顧客の感情の種別及び強さを特定する。遷移制御部２５２は、顧客感情特定部２５０により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、ロボット４０を自律動作状態からオペレータ応対状態に遷移させる。これにより、例えば、ロボット４０が自律応対中に顧客の感情が悪化した場合に、その顧客にオペレータが応対するようにすることができる。一方で、ロボット４０が自律応対中に顧客の感情が悪化しなかった場合には、オペレータに応対させずに済む。

顧客感情特定部２５０は、ロボット４０が応対している顧客の怒りの強さを特定する。遷移制御部２５２は、顧客感情特定部２５０により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、当該顧客に応対しているロボット４０を自律動作状態からオペレータ応対状態に遷移させる。なお、顧客情報は、ロボット４０が取得した顧客の画像、ロボット４０が取得した顧客の発話内容、顧客が過去に購入した商品の購入履歴に関する情報のうちの少なくともいずれか一つを含んでよい。

図３は、自律動作状態のロボット４０ａが顧客５０ａに応対している場合のシーケンスを概略的に説明する図である。ロボット４０ａは、センサ部１２０で検出した音声、画像等のセンサ情報を、サーバ６０に送信する。

ここで、サーバ６０の格納部２８０には、顧客５０ａの顔画像と、顧客５０ａの名前「Ａ男さん」とが既に格納されているとする。例えば、応対制御部２４０が、過去にロボット４０ａと顧客５０ａとの間で交わされた会話等から顧客５０ａの名前を学習しており、格納部２８０には、顧客５０ａの顔画像と名前「Ａ男さん」とが対応づけて格納されている。

この場合において、応対制御部２４０は、ロボット４０ａから受信した顔画像と格納部２８０に格納されている顔画像とを照合して、来客した人物がＡ男さんであり、過去に来客したことがある人であると判断する。これにより、「Ａ男さんが来た。」という情報を生成する。そして、応対制御部２４０は、この状況における適切な応対内容として「また来てくれましたね」と発話することを決定して、ロボット４０ａに当該発話内容のテキストデータを送信して、ロボット４０ａに発話させる。ロボット４０ａは、発話後に顧客５０ａから「うん、携帯カバーを買いに来たよ。」という返事が返って来ると、音声データをサーバ６０に送信する。

顧客感情特定部２５０は、ロボット４０ａから受信した音声、画像等の情報に基づいて、顧客５０ａの感情の強さを、複数の感情の種別毎に特定する。例えば、顧客感情特定部２５０は、「喜」「怒」「哀」「楽」のそれぞれの強さを特定する。一例として、顧客感情特定部２５０は、画像から特定した顔の表情や、音声から特定した声の状態等に基づいて、感情の種別と、その感情の強さを特定する。ここで、声の状態としては、怒気を含むか否か、楽しそうであるか否か等の声の状態を例示できる。なお、顧客感情特定部２５０は、音声から基本周波数等の音声特徴量を抽出して、抽出した音声特徴量に基づいて、声の状態を特定してよい。顧客感情特定部２５０は、最も強い感情を、顧客５０ａの現在の感情として特定してよい。

ここで、顧客５０ａの感情として、「喜怒哀楽」のうち「楽」の感情が特定されると、応対制御部２４０は、「Ａ男さんは楽しそう。」という情報を生成する。遷移制御部２５２は、顧客感情特定部２５０により顧客５０ａの感情が悪化していないと判断されていることから、オペレータ８０に対応を依頼せず、ロボット４０ａの自律動作状態を維持する。なお、サーバ６０において通信部２０２は、ロボット４０ａの発話内容や動作内容等を示す応対履歴をロボット４０ａから受信し続けており、格納部２８０は応対履歴を時刻に対応づけて格納する。

図４は、顧客５０ａへの応対をオペレータ８０ａに依頼するまでのシーケンスを概略的に説明する図である。サーバ６０は、ロボット４０ａに「今日は何を買いに来たのですか？」と発話させた後における、「携帯カバーだよ！！」という顧客５０ａの音声及び顧客５０ａの表情から、「怒」の感情が閾値を超えたと判断して、「Ａ男さんは怒っています。」という情報を生成する。これに応じて、遷移制御部２５２は、ロボット４０ａを自立動作状態からオペレータ応対状態に遷移させる旨を決定する。

この場合、オペレータ選択部２２０は、オペレータ８０の中から、顧客５０ａに応対するべきオペレータ８０を選択する。例えば、オペレータ選択部２２０は、現在他の顧客５０に応対中のオペレータ以外のオペレータを、顧客５０ａに応対するべきオペレータ８０として選択する。なお、オペレータ選択部２２０は、顧客５０ａの感情の強さが強いほど、応対能力がより高いオペレータ８０を選択してよい。オペレータ８０の応対能力を示す情報は、オペレータ８０を識別する情報に対応づけて格納部２８０に格納されており、オペレータ選択部２２０は、格納部２８０に格納されている情報を参照して、顧客５０ａに応対するべきオペレータ８０を選択してよい。オペレータ８０ａの応対能力については、実績テーブルに関連して後述する。

オペレータ選択部２２０が、顧客５０ａへ応対させるべきオペレータとしてオペレータ８０ａを選択すると、通知部２７０は、オペレータ８０ａが操作するオペレータ端末７０ａに、応対通知を送信する。この場合、通知部２７０は、応対通知と共に、顧客５０ａの感情を示す情報、ロボット４０ａと顧客５０ａとの間の応対履歴を示す情報、顧客５０ａの画像、及び顧客５０ａの過去の購入履歴を示す情報を、オペレータ端末７０ａに送信する。

図５は、オペレータ端末７０ａによる応対通知の表示内容を概略的に示す。オペレータ端末７０ａにおいて、コンピュータ７２ａは、サーバ６０から応対通知を受信すると、応対が依頼されたことを示すオブジェクト４１０を、コンピュータ７２ａの画面に表示する。なお、コンピュータ７２ａは、オペレータ８０ａが着用しているヘッドセット７４ａに通知音を出力することにより、オペレータ８０ａに通知する。オペレータ８０ａがオブジェクト４１０を押すことにより、コンピュータ７２ａがオブジェクト４１０が押されたことを検出すると、コンピュータ７２ａは応対モードに遷移する。

図６は、ロボット４０ａがオペレータ応対状態の場合におけるコンピュータ７２ａの表示内容を概略的に示す。オペレータ端末７０ａにおいて、コンピュータ７２ａは、サーバ６０から受信した顧客５０ａの感情を示す情報を、オブジェクト５１０に表示する。また、コンピュータ７２ａは、サーバ６０から受信した顧客５０ａの顔画像を、オブジェクト５２０に表示する。また、コンピュータ７２ａは、サーバ６０から受信した、ロボット４０ａと顧客５０ａとの間の応対履歴を示す情報を、オブジェクト５３０に表示する。また、コンピュータ７２ａは、サーバ６０から受信した、顧客５０ａの購入履歴を示す情報を、オブジェクト５６０に表示する。

また、コンピュータ７２ａは、手動ボタン５６１及び自動ボタン５６２を画面に表示する。自動ボタン５６２は、ロボット４０ａに自律応対状態に遷移することを指示するためのボタンである。手動ボタン５６１は、ロボット４０ａにオペレータ応対状態に遷移することを指示するためのボタンである。図６においては、ロボット４０ａがオペレータ応対状態に遷移した状態であるので、手動ボタン５６１は既に選択された状態にあり、自動ボタン５６２が選択可能な状態にある。

コンピュータ７２ａは、ロボット４０ａにより取得された音声をサーバ６０から取得して、ヘッドセット７４ａに出力して、オペレータ８０ａに音声を提供する。ここで、コンピュータ７２ａは、ヘッドセット７４ａのマイク部が収集した音声を音声データとして取得して、サーバ６０に送信する。

なお、音声データとは、音声波形を表す音声データそのものであってよい。この場合、サーバ６０において音声データがテキスト化されて、発話テキストデータとしてロボット４０ａに送信されてよい。なお、コンピュータ７２ａは、音声データから言語を抽出してテキスト化して、得られたテキストデータを、サーバ６０に送信してよい。この場合、サーバ６０に送信されたテキストデータは、ロボット４０ａから発話させるべきテキストのデータとしてそのまま送信されてよい。

また、コンピュータ７２ａは、コンピュータ７２ａが有するカメラ７６ａにより取得されたオペレータ８０ａの画像をサーバ６０に送信する。サーバ６０のオペレータ感情特定部２１０は、受信したオペレータ８０ａの音声及び画像から、オペレータ８０ａの感情を特定する。オペレータ感情特定部２１０が特定した感情は、サーバ６０の通信部２０４からオペレータ端末７０ａに送信される。コンピュータ７２ａは、サーバ６０から受信したオペレータ８０ａの感情を示す情報をオブジェクト５７０に表示する。

図７は、オペレータ８０ａの動作に基づいてロボット４０ａが顧客５０ａに応対している場合のシーケンスを概略的に示す。

オペレータ８０ａは、図６のオブジェクト５３０内の応対履歴を考慮して、「何度もごめんね」と発話すると、コンピュータ７２ａから「何度もごめんね」という音声データがサーバ６０に送信される。サーバ６０において、通信部２０４が音声データを受信すると、応対情報生成部２４２は、受信した音声データに基づいて、ロボット４０ａに発話させる発話テキストデータを含む応対情報を生成する。応対制御部２４０は、通信部２０２を通じて応対情報をロボット４０ａへ送信させて、発話テキストデータに従ってロボット４０ａに発話させる。これにより、コンピュータ７２ａ及びサーバ６０は、オペレータ８０ａに、ロボット４０ａを通じて顧客５０ａに対して応対させる。

なお、ロボット４０ａは、センサ部１２０で検出したセンサ情報を逐次サーバ６０に送信し、サーバ６０において、顧客５０ａの感情が判断される。そして、顧客の感情を示す情報、ロボット４０ａと顧客５０ａとの間の応対履歴及び顧客画像は、サーバ６０からコンピュータ７２ａに逐次に送信される。

図８は、顧客５０ａへの応対者をオペレータ８０ｂに切り換えるまでのシーケンスを概略的に説明する図である。顧客５０ａの「もういいよ！」という発話が、コンピュータ７２ａに音声データとして送信されてヘッドセット７４ａから出力される。これに対して、オペレータ８０ａが怒って「じゃあな！！」と発話すると、コンピュータ７２ａは、当該発話から生成した音声データをサーバ６０に送信する。また、コンピュータ７２ａは、カメラ７６ａで取得されたオペレータ８０ａの画像をサーバ６０へ送信する。

サーバ６０において、オペレータ感情特定部２１０は、オペレータ８０ａの「じゃあな！！」という音声データと、オペレータ８０ａの顔画像から特定した表情に基づいて、オペレータ８０ａの感情の種別と、その強さを特定する。なお、オペレータ感情特定部２１０は、顧客感情特定部２５０の動作と同様の処理により、顔画像及び音声データから感情を特定してよい。応対判断部２７２がオペレータ８０ａの「怒」の感情の強さが閾値を超えたと判断すると、オペレータ選択部２２０は、オペレータ８０の中から、ロボット４０ａを通じて顧客５０ａへ応答するべきオペレータとして、オペレータ８０ｂを選択する。

オペレータ選択部２２０が、顧客５０ａへ応対させるべきオペレータとしてオペレータ８０ｂを選択すると、通知部２７０は、オペレータ８０ｂが操作するオペレータ端末７０ｂに、応対通知を送信する。この場合、通知部２７０は、応対通知と共に、顧客５０ａの感情を示す情報、ロボット４０ａと顧客５０ａとの間の応対履歴を示す情報、顧客５０ａの画像、及び顧客５０ａの過去の購入履歴を示す情報を、オペレータ端末７０ｂに送信する。

オペレータ端末７０ｂにおいて、コンピュータ７２ｂがサーバ６０から応対通知を受信すると、コンピュータ７２ｂは、図５に示した画面と同様の画面を表示する。応答通知に対するオペレータ端末７０ｂの動作は、図５等に関連して説明した動作と略同一であるので、説明を省略する。コンピュータ７２ｂは、応対モードに遷移すると、図９に示す画面を表示する。

図９は、応対モード時のコンピュータ７２ｂによる表示内容を概略的に示す。図示されるように、コンピュータ７２ｂは、図６に示す表示内容に含まれる情報と同じ種類の情報を表示する。

コンピュータ７２ｂがオブジェクト５３０に表示する応対履歴には、ロボット４０ａが自律動作状態で顧客５０ａに応対した履歴と、オペレータ８０ａがロボット４０ａを通じて顧客５０ａに応対した履歴とが含まれる。これにより、オペレータ８０ｂは、過去のオペレータ８０ａの応対履歴を確認して、顧客５０ａへの応対を開始することができる。

図１０は、ロボット４０ａが自律動作状態に復帰するまでのシーケンスを概略的に示す。オペレータ８０ｂは、図９に示す応対履歴を確認して、「じゃあまた後でね！」という発話をすると、オペレータ８０ｂの音声はヘッドセット７４ｂで取得されて、コンピュータ７２ｂが、当該発話の音声データをサーバ６０に送信する。

サーバ６０において、応対情報生成部２４２は、受信した音声データを発話テキストデータに変換してロボット４０ａに送信して、ロボット４０ａに発話させる。その後、顧客５０ａからの「また後でね！」という音声データが、サーバ６０を通じてオペレータ端末７０ｂに送信される。オペレータ８０ｂは、応対を終了する旨を判断すると、コンピュータ７２ｂの画面上の自動ボタン５６２を押して、コンピュータ７２ｂに、ロボット４０ａを自律動作状態に遷移させる旨の遷移指示をサーバ６０へ送信させる。

サーバ６０において、通信部２０４が、自律動作状態に遷移させる旨の指示を受信すると、応対制御部２４０は、自律動作状態への遷移指示をロボット４０ａに送信する。ロボット４０ａにおいて、通信部１０２が自律応対状態への遷移指示を受信すると、情報処理部１３０及び応対制御部２４０は、センサ部１２０ａのセンサ情報に基づく自律応対処理を再開する。このように、顧客応対システム１０によれば、オペレータ８０による応対とロボット４０の自律応対をシームレスに切り替えることができる。

図１１は、適切なオペレータ８０を選択するために用いられる実績テーブルを概略的に示す。実績テーブルのデータは、サーバ６０の格納部２８０に格納される。具体的には、格納部２８０は、オペレータ８０を識別するオペレータ識別情報に対応付けて、それぞれのオペレータ８０が応対した顧客５０の属性と、オペレータ８０が応対を開始する前の顧客５０の感情の種類と、応対実績値とを対応づけて格納する。

顧客５０の属性は、顧客の年齢層及び顧客の性別等を含む。応対時の顧客の感情の種類は、「怒」や「哀」等、オペレータ８０の応対が必要となる感情の種類を示す。応対実績値は、オペレータ８０の応対によって顧客５０の感情が好転した場合に、加算される。例えば、情報処理部２３０は、オペレータ８０の応対によって顧客５０の怒りの強さが一定値以上減少した場合に、対応する応答実績値に予め定められた値を加算して、格納部２８０に格納する。情報処理部２３０は、オペレータ８０の応対によって顧客５０の感情が「怒」又は「哀」から「喜」又は「楽」に変わった場合に、対応する応答実績値に予め定められた値を加算して、格納部２８０に格納してよい。

例えば上記の例において、オペレータ８０ｂの応対により、顧客５０ａの「怒」の感情の強さが一定値以上減少した場合に、実績テーブルにオペレータ８０ｂのオペレータ識別情報に対応づけて格納されている応答実績値に予め定められた値を加算する。

オペレータ選択部２２０は、顧客５０に応対するべきオペレータ８０を選択する場合に、格納部２８０に格納された実績テーブルのデータを参照して、対象となる顧客５０に適切に応対できるオペレータ８０を選択する。例えば、オペレータ選択部２２０は、対象となる顧客５０の属性と現在の感情の種類とに適合する情報に対応づけられたオペレータ識別情報を、実績テーブル内のデータから検索する。そして、オペレータ選択部２２０は、検索されたオペレータ識別情報のうち、より高い応対実績値が対応づけられているオペレータ識別情報を、より優先して抽出する。例えば、オペレータ選択部２２０は、検索されたオペレータ識別情報のうち、最も高い応対実績値が対応づけられているオペレータ識別情報を抽出する。そして、オペレータ選択部２２０は、抽出したオペレータ識別情報で識別されるオペレータ８０を、対象となる顧客５０に応対すべきオペレータとして選択する。これにより、対象となる顧客５０の属性や感情に対して応対能力が高いオペレータ８０を選択することができる。

以上に説明したように、顧客応対システム１０によれば、オペレータ８０がロボット４０を通じて顧客に応対するシステムにおいて、オペレータ８０が顧客５０に対して適切に応対できない状況と判断された場合に、当該オペレータ８０による応対を停止して、応対者を他のオペレータ８０に切り換えることができる。

なお、サーバ６０において、応対判断部２７２は、「悲」の感情の強さが予め定められた値を超えた場合に、当該オペレータ８０がロボット４０を通じて顧客５０に応対する状態を継続しない旨を判断してよい。他にも、応対判断部２７２は、オペレータ８０の「哀」の感情の強さが予め定められた値を超えた場合に、当該オペレータ８０がロボット４０を通じて顧客５０に応対する状態を継続しない旨を判断してよい。オペレータ８０の応対停止条件に用いる感情の種別は、上述した「怒」、「悲」、「哀」の他に、様々な感情を適用できる。また、オペレータ８０の感情は、応対判断部２７２が、応対停止条件に用いるパラメータの一例である。応対判断部２７２は、オペレータ８０の感情以外に、オペレータ８０の状態が、予め定められた種別の状態に合致すると判断された場合に、オペレータ８０が顧客５０に応対する状態を継続しないと判断してよい。オペレータ８０の状態としては、オペレータ８０の疲れ等を例示できる。サーバ６０において、情報処理部２３０は、オペレータ８０の音声や表情から、オペレータ８０の疲れを特定してよい。

また、応対判断部２７２が、オペレータ８０の応対停止条件を満たすと判断された場合に、情報処理部２３０は、オペレータ８０を切り換えることに替えて又はオペレータ８０を切り換えることに加えて、オペレータ８０の管理者に、応対停止条件が満たされた旨を通知してよい。オペレータ８０の管理者は、オペレータ８０の業務を監督する監督者等であってよい。

なお、図４における説明では主として、サーバ６０は、顧客５０の感情が悪化した場合にオペレータ応対状態に切り替える場合について説明した。その他に、サーバ６０は、ロボット４０が自律動作状態において顧客５０に適切な対応ができないと判断された場合にオペレータ応対状態に切り替えてよい。例えば、サーバ６０は、ロボット４０に発話させる適切な発話内容を決定できなかった場合に、オペレータ応対状態に切り替えてよい。また、サーバ６０は、予め定められた性別の顧客５０が来訪した場合に、オペレータ応対状態に切り替えてもよい。例えば、女性が来訪した場合に、オペレータ応対状態に切り替えて良い。例えば、化粧品等の女性用のグッズ売り場においては、男性にはロボット４０が自律的に応対し、女性にはオペレータ８０が応対するようにしてよい。また、予め定められた特定の顧客５０が来訪した場合に、オペレータ応対状態に切り替えてもよい。例えば、高価な商品を頻繁に購入する顧客５０に対しては、オペレータ８０が応対するようにしてよい。また、過去にロボット４０による応対によって感情が悪化した顧客５０に対しては、オペレータ８０が応対するようにしてよい。また、単に顧客が来訪した場合に、オペレータ８０が応対するようにしてよい。例えば、人が近く存在しない場合には、ロボット４０は自律動作状態で勧誘行動を行い、人が近づいてきた場合に、オペレータ応対状態に遷移してよい。

なお、サーバ６０の機能は、１以上のコンピュータによって実装されてよい。サーバ６０の少なくとも一部の機能は、仮想マシンによって実装されてよい。また、サーバ６０の機能の少なくとも一部は、クラウドで実装されてよい。また、上記の説明では、ロボット４０ａの発話内容を決定する機能をサーバ６０が担うとしたが、サーバ６０の機能のうち、ロボット４０ａの制御に関する機能の少なくとも一部は、ロボット４０ａに実装されてよい。また、サーバ６０の機能のうち、オペレータ端末７０の制御に関する機能の少なくとも一部の機能は、オペレータ端末７０に実装されてもよい。なお、ロボット４０は、顧客応対装置の一例である。顧客応対装置として、ロボット以外の様々な形態を採用し得る。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 顧客応対システム
４０ ロボット
５０ 顧客
６０ サーバ
９０ 通信ネットワーク
７０ オペレータ端末、７２ コンピュータ、７４ ヘッドセット ７６ カメラ
８０ オペレータ
１０２ 通信部
１２０ センサ部
１３０ 情報処理部
１６０ 制御対象
２００ 顧客情報取得部
２０２ 通信部
２０４ 通信部
２０８ 提示制御部
２１０ オペレータ感情特定部
２２０ オペレータ選択部
２３０ 情報処理部
２４０ 応対制御部
２４２ 応対情報生成部
２５０ 顧客感情特定部
２５２ 遷移制御部
２７０ 通知部
２７２ 応対判断部
２８０ 格納部
２９０ 記録媒体
４１０ オブジェクト
５１０、５２０、５３０、５６０、５７０ オブジェクト
５６１ 手動ボタン、５６２ 自動ボタン

Claims (12)

1. 顧客応対装置が応対可能な顧客の情報である顧客情報を取得する顧客情報取得部と、
   前記顧客情報を第１のオペレータへ提示させる提示制御部と、
   前記第１のオペレータの動作に基づいて、前記顧客に対して前記顧客応対装置が応対するべき応対内容を示す第１の応対情報を生成する応対情報生成部と、
   前記第１の応対情報に基づいて前記顧客に応対するよう前記顧客応対装置に指示することにより、前記第１のオペレータに、前記顧客に対して前記顧客応対装置を通じて応対させる応対制御部と、
   前記第１のオペレータの感情を特定するオペレータ感情特定部と、
   前記第１のオペレータが前記顧客応対装置を通じて前記顧客に応対する状態を継続するか否かを、前記第１のオペレータの感情に基づいて判断する応対判断部と
   を備え、
   前記顧客応対装置は、顧客に対し自律的に応対する第１状態と、オペレータの動作に基づく応対情報に基づいて顧客への応対を行う第２状態とを有し、
   前記顧客応対装置が前記第１状態から前記第２状態に遷移した場合に、前記顧客応対装置が前記第１状態において前記顧客に自律的に応対した内容を示す応対履歴情報を、オペレータに通知する応対履歴通知部と、
   前記顧客応対装置が検出した顧客の状態に基づいて、前記顧客応対装置が応対している顧客の感情の種別及び強さを特定する顧客感情特定部と、
   前記顧客感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、前記顧客応対装置を前記第１状態から前記第２状態に遷移させる遷移制御部と
   をさらに備える顧客応対制御システム。
2. 前記第１の応対情報は、前記第１のオペレータの発話内容を示すテキストデータを含み、
   前記応対制御部は、前記テキストデータを前記顧客応対装置に送信して、前記顧客応対装置に発話させる
   請求項１に記載の顧客応対制御システム。
3. 前記顧客感情特定部は、前記顧客応対装置が応対している顧客の怒りの強さを特定し、
   前記遷移制御部は、前記顧客感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、前記顧客応対装置を前記第１状態から前記第２状態に遷移させる
   請求項１又は２に記載の顧客応対制御システム。
4. 前記顧客の感情の種別を示す情報をオペレータに通知する感情通知部
   をさらに備える請求項１から３のいずれか一項に記載の顧客応対制御システム。
5. 顧客応対装置が応対可能な顧客の情報である顧客情報を取得する顧客情報取得部と、
   前記顧客情報を第１のオペレータへ提示させる提示制御部と、
   前記第１のオペレータの動作に基づいて、前記顧客に対して前記顧客応対装置が応対するべき応対内容を示す第１の応対情報を生成する応対情報生成部と、
   前記第１の応対情報に基づいて前記顧客に応対するよう前記顧客応対装置に指示することにより、前記第１のオペレータに、前記顧客に対して前記顧客応対装置を通じて応対させる応対制御部と、
   前記第１のオペレータの感情を特定するオペレータ感情特定部と、
   前記第１のオペレータが前記顧客応対装置を通じて前記顧客に応対する状態を継続するか否かを、前記第１のオペレータの感情に基づいて判断する応対判断部と
   を備え、
   前記顧客応対装置は、顧客に対し自律的に応対する第１状態と、オペレータの動作に基づく応対情報に基づいて顧客への応対を行う第２状態とを有し、
   前記第１の応対情報は、前記第１のオペレータの発話内容を示すテキストデータを含み、
   前記応対制御部は、前記テキストデータを前記顧客応対装置に送信して、前記顧客応対装置に発話させる
   顧客応対制御システム。
6. 前記オペレータ感情特定部は、前記第１のオペレータの感情の種別及び強さを特定し、
   前記応対判断部は、前記オペレータ感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、前記第１のオペレータが前記顧客応対装置を通じて前記顧客に応対する状態を継続しない旨を判断する
   請求項１から５のいずれか一項に記載の顧客応対制御システム。
7. 前記オペレータ感情特定部は、前記第１のオペレータの怒りの強さを特定し、
   前記応対判断部は、前記怒りの強さが予め定められた値を超えた場合に、前記第１のオペレータが前記顧客応対装置を通じて前記顧客に応対する状態を継続しない旨を判断する
   請求項６に記載の顧客応対制御システム。
8. 前記応対判断部が前記第１の応対情報に基づく応対を前記顧客応対装置に行わせない旨を判断した場合に、前記顧客に応対する第２のオペレータを、複数のオペレータの中から選択するオペレータ選択部と、
   前記第２のオペレータに、前記顧客への応対を開始すべき旨を通知する応対通知部と
   をさらに備える請求項１から７のいずれか一項に記載の顧客応対制御システム。
9. 前記応対通知部が前記顧客への応対を開始すべき旨を前記第２のオペレータに通知した後に、前記応対情報生成部は、前記第２のオペレータの動作に基づいて、前記顧客に対して前記顧客応対装置が応対するべき応対内容を示す第２の応対情報を生成し、
   前記応対制御部は、前記第２の応対情報に基づいて前記顧客に応対するよう前記顧客応対装置に指示することにより、前記第２のオペレータに、前記顧客に対して前記顧客応対装置を通じて応対させる
   請求項８に記載の顧客応対制御システム。
10. 前記顧客情報は、前記顧客応対装置が取得した前記顧客の画像、前記顧客応対装置が取得した前記顧客の発話内容、前記顧客が過去に購入した商品の購入履歴に関する情報のうちの少なくともいずれか一つを含む
    請求項１から９のいずれか一項に記載の顧客応対制御システム。
11. 請求項１から１０のいずれか一項に記載の顧客応対制御システムと、
    前記顧客応対装置と
    を備える顧客応対システム。
12. コンピュータを、請求項１から１０のいずれか一項に記載の顧客応対制御システムとして機能させるためのプログラム。

Images