JP6345729B2 - 応対データ収集システム、顧客応対システム及びプログラム - Google Patents

Description

本発明は、応対データ収集システム、顧客応対システム及びプログラムに関する。

ユーザと通話相手との会話を学習してユーザの問いかけに対する通話相手の返答を返答テーブルに蓄積する端末が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１１−２５３３８９号公報

機器がユーザに応対するシステムにおいては、ユーザに対し適切な応対ができない場合がある。例えば、機器が応対内容を決定する際に、どの入力情報が優先的に用いられるべきかを適切に決定できない場合がある。また、機器が応対内容を決定するための学習用データを効率的に収集できないという課題がある。

本発明の第１の態様においては、顧客応対装置が応対可能な顧客の情報である顧客情報を取得する顧客情報取得部と、顧客情報をオペレータへ提示させる提示制御部と、オペレータによって決定された、顧客に対して顧客応対装置が応対するべき応対内容を示す応対情報を取得する応対情報取得部と、オペレータが応対内容を決定するために用いた情報を示す決定情報を取得する応対決定情報取得部と、応対情報と決定情報とを対応づけて記録させる記録制御部とを備える応対データ収集システムが提供される。

応対情報取得部が取得した応対情報に基づいて顧客に応対するよう顧客応対装置に指示する応対制御部をさらに備えてよい。

応対情報は、オペレータの発話内容を示すテキストデータを含み、応対制御部は、テキストデータを顧客応対装置に送信して、顧客応対装置に発話させてよい。

応対決定情報取得部は、オペレータに提示された複数の顧客情報のうち、オペレータが応対内容を決定するために用いた顧客情報の種別を示す情報を取得してよい。

顧客情報は、顧客応対装置が取得した顧客の画像、顧客応対装置が取得した顧客の発話内容、顧客が過去に購入した商品の購入履歴、顧客応対装置が顧客に応対する場所、顧客応対装置が顧客に応対する日に関する情報のうちの少なくともいずれか一つを含んでよい。

顧客応対装置は、顧客に対し自律的に応対する第１状態と、応対情報に基づいて顧客に応対する第２状態とを有し、顧客応対装置が第２状態にある場合に、応対情報取得部が応対情報を取得し、応対決定情報取得部が決定情報を取得し、記録制御部が応対情報と決定情報とを対応づけて記録させてよい。

顧客応対装置は、第１状態において、記録された決定情報と応対情報とに基づいて顧客に対し自律的に応対してよい。

顧客応対装置が第１状態から第２状態に遷移した場合に、顧客応対装置が第１状態において顧客に自律的に応対した内容を示す応対履歴情報を、オペレータに通知する応対履歴通知部をさらに備えてよい。

複数の顧客応対装置がそれぞれ応対可能な複数の顧客のうちオペレータが応対すべき顧客を特定する顧客特定部と、顧客特定部が特定した顧客に応対するオペレータを、複数のオペレータの中から選択するオペレータ選択部と、オペレータ選択部が選択したオペレータに、顧客特定部が特定した顧客への応対を開始すべき旨を通知する応対通知部とをさらに備えてよい。

顧客応対装置が検出した顧客の状態に基づいて、顧客応対装置がそれぞれ応対している顧客の感情の種別及び強さを特定する顧客感情特定部をさらに備え、顧客特定部は、顧客感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された顧客を、オペレータが応対すべき顧客として特定してよい。

感情特定部は、複数の顧客応対装置がそれぞれ応対している顧客の怒りの強さを特定し、顧客特定部は、感情特定部によって予め定められた値を超える怒りの強さが特定された顧客を、オペレータが応対すべき顧客として特定してよい。

応対情報と応対決定情報とを対応づけて格納する格納部をさらに備えてよい。

本発明の第２の態様においては、上記の応対データ収集システムと、上記の顧客応対装置とを備える顧客応対システムが提供される。

本発明の第３の態様においては、コンピュータを、上記の応対データ収集システムとして機能させるためのプログラムが提供される。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る顧客応対システム１０の利用場面の一例を概略的に示す。 ロボット４０及びサーバ６０の機能ブロック構成を概略的に示す。 自律動作状態のロボット４０ａが顧客５０ａに応対している場合のシーケンスを概略的に説明する図である。 顧客５０ａへの応対をオペレータ８０ａに依頼するまでのシーケンスを概略的に説明する図である。 オペレータ端末７０ａによる応対通知の表示内容を概略的に示す。 ロボット４０ａがオペレータ応対状態の場合におけるコンピュータ７２ａの表示内容を概略的に示す。 オペレータ８０ａの動作に基づいてロボット４０ａが顧客５０ａに応対している場合のシーケンスを概略的に示す。 オペレータ端末７０ａにおける更新された表示内容を概略的に示す。 オペレータ８０ａからＡＩ提案の発話が指示された場合のシーケンスを概略的に示す。 ロボット４０ａが自律動作状態に復帰するまでのシーケンスを概略的に示す。 オペレータ端末７０ａで応対学習用情報を登録する場合の表示内容を概略的に示す。 格納部２８０に格納される学習用情報を概略的に示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る顧客応対システム１０の利用場面の一例を概略的に示す。顧客応対システム１０は、サーバ６０と、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃと、オペレータ端末７０ａ及びオペレータ端末７０ｂとを備える。オペレータ端末７０ａ及びオペレータ端末７０ｂ並びにサーバ６０を備える構成部分は、応対データ収集システムとしても機能する。

ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃは、オペレータ端末７０ａ及びオペレータ端末７０ｂとは遠隔に設けられる。また、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃは、サーバ６０とも遠隔に設けられる。オペレータ８０ａは、オペレータ端末７０ａを用いて、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃのいずれかを、サーバ６０及び通信ネットワーク９０を通じて操作することができる。同様に、オペレータ８０ｂは、オペレータ端末７０ｂを用いて、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃのいずれかを、サーバ６０及び通信ネットワーク９０を通じて操作することができる。

ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃは、例えば店舗や事務所の受付等に配置されて、来訪した顧客に対して自律的に応対することができる。図１に示す状況において、顧客５０ａに対しては、ロボット４０ａが自律的に応対中である。顧客５０ｂに対しては、ロボット４０ｂが自律的に応対中である。一方、顧客５０ｃに対しては、オペレータ８０ｃが、オペレータ端末７０ｃ、サーバ６０及びロボット４０ｃを通じて応対中である。

この状況において、顧客５０ａに対してロボット４０ａが適切に応対できない場合を取り上げて、顧客応対システム１０における動作を概略的に説明する。ロボット４０ａは、カメラ機能及びマイク機能を有しており、撮影した顧客５０ａの画像を、通信ネットワーク９０を通じてサーバ６０に送信する。サーバ６０は、ロボット４０ａから受信した顧客５０ａの画像、音声等の情報に基づいて、ロボット４０ａの応対内容を適切に決定できないと判断すると、顧客応対中でないオペレータ８０ａに、顧客５０ａに対する応対を依頼する。オペレータ８０ａは、オペレータ端末７０ａ及びサーバ６０を通じてロボット４０ａを操作して、顧客５０ａに応対する。

ここで、オペレータ端末７０ａによる顧客５０ａに対する応対時の動作を概略的に説明する。オペレータ端末７０ａは、コンピュータ７２ａ及びヘッドセット７４ａを有する。コンピュータ７２ａは、ロボット４０ａにより取得された顧客５０ａの画像及び音声をサーバ６０から受信する。コンピュータ７２ａが受信した画像は、コンピュータ７２ａの画面を通じてオペレータ８０ａに提供される。また、コンピュータ７２ａが受信した音声は、ヘッドセット７４ａを通じてオペレータ８０ａに提供される。また、サーバ６０は、ロボット４０ａと顧客５０ａとの間の対応履歴、顧客顧客５０ａの現在の感情、顧客５０ａの商品の購入履歴等、様々な種別の顧客情報を、コンピュータ７２ａに提供する。

オペレータ端末７０において、オペレータ８０ａが発した音声は、ヘッドセット７４ａで取得されて音声データとしてコンピュータ７２ａに供給される。コンピュータ７２ａは、音声データをテキストデータに変換して、サーバ６０及び通信ネットワーク９０を通じてロボット４０ａに送信する。ロボット４０ａは、受信したテキストデータに従って発話する。これにより、オペレータ８０ａは、ロボット４０ａを通じて顧客５０ａに応対することができる。

ここで、オペレータ８０ａは、サーバ６０から取得してコンピュータ７２ａに表示された顧客の顔画像や過去の対応履歴等から、顧客５０ａに対する適切な発話内容を判断して発話する。例えば、オペレータ８０ａは、マスクをした顧客５０ａに対しては、例えば「花粉症ですか？」という問いかけを行うことができる。これにより、ロボット４０が適切な会話を自律的にできない場面が生じても、顧客５０に対して適切に会話を進めることができる。

オペレータ端末７０において、オペレータ８０ａは、発話内容を決定した際に考慮した情報を登録する。例えば、オペレータ８０ａは、顧客５０ａの顔画像を見て、顧客５０ａがマスクをしていることから「花粉症ですか？」と発話した場合、ロボット４０ａのカメラ画像から発話内容を決定した旨を、コンピュータ７２ａに入力する。この情報はサーバ６０に送信され、サーバ６０が「顧客画像」の情報と「花粉症ですか？」という発話内容とを対応づけて記録する。これにより、サーバ６０は、発話内容と、その発話をした際にオペレータ８０が考慮した情報との組み合わせを収集する。サーバ６０で収集された情報は、ロボット４０が発話内容を判定するための学習用の教師データとして用いられる。これにより、ロボット４０が自律的に応対している場合において、マスクをした顧客の画像が取得されたときに、ロボット４０が「花粉症ですか？」という発話行動が選択される可能性が高まる。

このように、顧客応対システム１０によれば、ロボット４０の応対内容を決定するための学習用データとして、オペレータ８０が判断に用いた情報を効率的に収集できる。また、ロボット４０ａによる応対内容を判定する場合に、オペレータ８０が判断に用いた情報をより大きい重みで考慮することができる。

なお、ロボット４０ｂ及びロボット４０ｃは、ロボット４０ａと略同一の機能を有する。顧客応対システム１０の説明において、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃを、ロボット４０と総称する場合がある。また、オペレータ端末７０ｂは、コンピュータ７２ｂ及びヘッドセット７４ｂを有し、オペレータ端末７０ａと略同一の機能を有する。顧客応対システム１０の説明において、オペレータ端末７０ａ及びオペレータ端末７０ｂを、オペレータ端末７０と総称する場合がある。

なお、顧客応対システム１０の説明において、特にロボット４０ａとオペレータ端末７０ａとの組み合わせの動作を取り上げる場合がある。しかし、ロボット４０とオペレータ端末７０との組み合わせはこの組み合わせのみに限られず、任意の組み合わせにおいて同様の動作を実現できる。

図２は、ロボット４０及びサーバ６０の機能ブロック構成を概略的に示す。まず、ロボット４０の機能ブロック構成について説明する。ロボット４０は、センサ部１２０と、情報処理部１３０と、制御対象１６０と、通信部１０２とを有する。情報処理部１３０は、ＭＰＵ等のプロセッサであってよい。通信部１０２は、サーバ６０との通信を担う。通信部１０２は、ネットワークＩＦ等の通信デバイスであってよい。

制御対象１６０は、スピーカを含む。制御対象１６０はまた、ロボット４０の肢部や頭部等の可動部を駆動するモータ等を含む。

センサ部１２０は、マイク、ジャイロセンサ、モータセンサ、カメラ等の各種のセンサを有する。センサ部１２０のマイクは、周囲の音声を取得する。例えば、センサ部１２０のマイクは、顧客５０の音声を取得する。センサ部１２０のカメラは、可視光によって撮影して画像情報を生成する。センサ部１２０のジャイロセンサは、ロボット４０全体及びロボット４０の各部の角速度を検出する。センサ部１２０のモータセンサは、ロボット４０の可動部を駆動するモータの駆動軸の回転角度を検出する。

センサ部１２０は、マイクで取得された音声データ、カメラで撮影された画像、ジャイロセンサで検出された角速度、モータセンサで検出された回転角度等の各種のセンサデータを、情報処理部１３０に出力する。情報処理部１３０は、取得したセンサ信号を通信部１０２に供給して、サーバ６０へ送信させる。また、情報処理部１３０は、センサ部１２０で検出された各種のセンサデータに基づいて、ロボット４０の行動を決定する。情報処理部１３０は、決定した行動に基づいて制御対象１６０を制御する。

例えば、情報処理部１３０は、各種のセンサデータやサーバ６０から取得した情報に基づいて、ロボット４０の発話内容や、ロボット４０の肢部の動き等を決定する。具体的には、情報処理部１３０は、センサ部１２０のマイクで取得された音声データを解析して顧客５０の発話内容を特定する。また、情報処理部１３０は、センサ部１２０のカメラで生成された画像情報に基づいて、顧客５０の表情を特定する。情報処理部１３０は、顧客５０の発話内容、顧客５０の表情等に基づいて、ロボット４０の発話内容や、ロボット４０の肢部の動きを決定し、制御対象１６０のスピーカ及びモータを制御して、ロボット４０に発話させ、肢部等を動作させる。これにより、ロボット４０は、顧客５０の発話内容等を理解して、顧客５０と会話したり、顧客５０を案内したりすることができる。このように、ロボット４０は、顧客５０に対し自律的に応対することができる。

なお、ロボット４０は、センサ部１２０で取得した情報等をサーバ６０に送信し、サーバ６０がロボット４０の発話内容や肢部の動き等を決定してもよい。ロボット４０は、サーバ６０で決定された発話内容や肢部の動き等の指示情報を受信して、当該指示情報に基づいて発話や肢部を動作させてよい。このようにサーバ６０がロボット４０の行動を決定する場合も、ロボット４０の行動に人間の指示が実質的に関与していないため、ロボット４０が自律的に応対しているとみなすことができる。

なお、ロボット４０が発話する内容は、サーバ６０において決定されて、ロボット４０に送信されてもよい。この場合、サーバ６０における発話内容を機能部分とロボット４０とを備えるブロックが、顧客応対装置として機能し得る。

次に、サーバ６０の機能ブロック構成について説明する。サーバ６０は、情報処理部２３０と、通信部２０２と、通信部２０４と、格納部２８０とを有する。情報処理部２３０は、応対制御部２４０と、顧客感情特定部２５０と、顧客特定部２１０と、オペレータ選択部２２０と、提示制御部２０８と、記録制御部２８２とを有する。情報処理部２３０の機能は、ＭＰＵ等のプロセッサによって実装されてよい。例えば、顧客特定部２１０、オペレータ選択部２２０、応対制御部２４０、顧客感情特定部２５０、提示制御部２０８及び記録制御部２８２の機能は、プロセッサが記録媒体２９０に格納されたプログラムを読み込むことで実装されてよい。

通信部２０２は、ロボット４０との通信を担う。通信部２０２は、顧客情報取得部２００を有する。通信部２０４は、オペレータ端末７０との通信を担う。通信部２０４は、通知部２７０と、応対関連情報取得部２６０とを有する。通信部２０２及び通信部２０４は、ネットワークＩＦ等の通信デバイスであってよい。格納部２８０は、ハードディスク装置、フラッシュメモリ等の記憶媒体を有する。また、格納部２８０は、ＲＡＭ等の揮発性記憶装置を有する。格納部２８０は、応対制御部２４０が実行時に読み出すプログラムコードや各種の一時データの他、情報処理部２３０の処理の実行に必要なデータ等を格納する。

顧客情報取得部２００は、ロボット４０が応対可能な顧客の情報である顧客情報を取得する。例えば、顧客情報取得部２００は、ロボット４０が取得した顧客の情報を、通信ネットワーク９０を通じて受信する。なお、顧客情報は、ロボット４０が取得した顧客画像、ロボット４０が取得した顧客の発話内容、顧客が過去に購入した商品の購入履歴、ロボット４０が顧客に応対する場所、及び、ロボット４０が顧客に応対する日に関する情報のうちの少なくともいずれか一つを含んでよい。

提示制御部２０８は、顧客情報取得部２００が取得した顧客情報をオペレータ８０へ提示させる。具体的には、提示制御部２０８は、顧客情報を通信部２０４からオペレータ端末７０に送信させて、オペレータ端末７０のコンピュータ７２に顧客情報を表示させる。

応対関連情報取得部２６０は、オペレータ８０によって決定された、顧客に対してロボット４０が応対するべき応対内容を示す応対情報を取得する。また、応対関連情報取得部２６０は、オペレータ８０が応対内容を決定するために用いた情報を示す決定情報を取得する。例えば、応対関連情報取得部２６０は、上述した「花粉症ですか？」というオペレータ８０の発話内容と、オペレータ８０がオペレータ端末７０のコンピュータ７２に入力した「顧客画像」を示す情報とを、オペレータ端末７０から取得する。なお、応対関連情報取得部２６０は、提示制御部２０８が顧客へ提示させた複数の顧客情報のうち、オペレータ８０が応対内容を決定するために用いた顧客情報の種別を示す情報を取得してよい。

記録制御部２８２は、応対情報と決定情報とを対応づけて記録させる。具体的には、記録制御部２８２は、応対情報と応対決定情報とを対応づけて格納部２８０に格納させる。

なお、応対制御部２４０は、応対関連情報取得部２６０が取得した応対情報に基づいて顧客に応対するようロボット４０に指示する。例えば、応対情報は、オペレータ８０の発話内容を示すテキストデータを含む。応対制御部２４０は、テキストデータをロボット４０に送信して、ロボット４０に発話させる。このように、サーバ６０は、オペレータ８０がロボット４０を通じて顧客に実際に応対した内容と、オペレータ８０が応対内容を決定する際に考慮した情報との組み合わせを、蓄積することができる。

なお、ロボット４０は、顧客に対し自律的に応対する自律動作状態と、オペレータ８０が決定した応対情報に基づいて顧客に応対するオペレータ応対状態とを有する。応対データ収集システムにおいては、ロボット４０がオペレータ応対状態にある場合に、応対関連情報取得部２６０が応対情報を取得し、応対関連情報取得部２６０が決定情報を取得し、記録制御部２８２が応対情報と決定情報とを対応づけて記録させる。そして、ロボット４０は、自律動作状態において、格納部２８０に記録された決定情報と応対情報とに基づいて顧客に対し自律的に応対する。これにより、例えば上述したように「花粉症ですか？」という発話内容と「顧客画像」を示す情報とが格納部２８０に対応づけられて格納されている場合において、応対制御部２４０は、自律動作状態のロボット４０から受信した顧客の顔画像にマスクが含まれると判断した場合に、「花粉症ですか？」という発話が選択され易くなる。

なお、通知部２７０は、ロボット４０が自律動作状態からオペレータ応対状態に遷移した場合に、ロボット４０が自律動作状態において顧客に自律的に応対した内容を示す応対履歴情報を、オペレータ８０に通知する。これにより、オペレータ８０は、ロボット４０がどのような応対をしたかを確認して、応対内容を決定することができる。

なお、顧客特定部２１０は、複数のロボット４０がそれぞれ応対可能な複数の顧客のうち、オペレータ８０が応対すべき顧客を、顧客情報に基づいて特定する。例えば、顧客特定部２１０は、自律応対状態のロボット４０によって感情が悪化した顧客を、オペレータ８０が応対すべき顧客として特定してよい。オペレータ選択部２２０は、顧客特定部２１０が特定した顧客に応対するオペレータ８０を、複数のオペレータ８０の中から選択する。通知部２７０は、オペレータ選択部２２０が選択したオペレータ８０に、顧客特定部２１０が特定した顧客への応対を開始すべき旨を通知する。これにより、例えば、ロボット４０の自律応対中に顧客の感情が悪化した場合に、その顧客にオペレータが応対するようにすることができる。一方で、ロボット４０の自律応対中に顧客の感情が悪化しなかった場合には、オペレータに応対させずに済む。

なお、顧客感情特定部２５０は、複数のロボット４０がそれぞれ応対している顧客の怒りの強さを特定する。そして、具体的には、顧客特定部２１０は、顧客感情特定部２５０によって予め定められた値を超える怒りの強さが特定された顧客を、オペレータ８０が応対すべき顧客として特定してよい。このように、顧客特定部２１０は、顧客感情特定部２５０により予め定められた種別の感情について予め定められた値を超える強さが特定された顧客を、オペレータ８０が応対すべき顧客として特定してよい。

なお、顧客特定部２１０は、怒り以外の感情の強さを特定してよい。例えば、顧客特定部２１０は、喜怒哀楽等の感情の種別毎に、感情の強さを特定してよい。顧客特定部２１０は、ロボット４０から取得した顧客の顔画像に基づいて表情解析することによって、顧客の感情の強さを特定してよい。また、顧客特定部２１０は、ロボット４０から取得した顧客の音声に基づいて、発話解析や音声強度の解析をすることによって、顧客の感情の強さを特定してよい。そして、顧客特定部２１０は、例えば哀しみの強さが予め定められた値を超えた顧客を、オペレータ８０が応対すべき顧客として特定してよい。

なお、通知部２７０は、顧客感情特定部２５０が特定した顧客の感情の種別を示す情報を、オペレータ選択部２２０が選択したオペレータに通知してよい。これにより、オペレータ８０は、顧客の感情を考慮して適切な応対内容を決定することができる。

また、顧客情報取得部２００は、複数のロボット４０がそれぞれ応対可能な顧客が過去に購入した商品の購入履歴を、顧客情報として取得してよい。顧客特定部２１０は、取得した購入履歴が予め定められた条件を満たす顧客を、オペレータ８０が応対すべき顧客として特定してよい。一例として、顧客特定部２１０は、予め定められた商品を購入したことがある顧客を、オペレータ８０が応対すべき顧客として特定してよい。また、顧客特定部２１０は、予め定められた価格以上の商品を予め定められた回数以上購入したことがある顧客を、オペレータ８０が応対すべき顧客として特定してよい。これにより、特別な応対が必要な顧客に対してはオペレータ８０がロボット４０を通じて応対し、特別な応対が必要でない顧客に対してはロボット４０に自律的に応対させるようにすることができる。

図３は、自律動作状態のロボット４０ａが顧客５０ａに応対している場合のシーケンスを概略的に説明する図である。ロボット４０ａは、センサ部１２０で検出した音声、画像等のセンサ情報を、サーバ６０に送信する。

ここで、サーバ６０の格納部２８０には、顧客５０ａの顔画像と、顧客５０ａの名前「Ａ子さん」とが既に格納されているとする。例えば、応対制御部２４０が、過去にロボット４０ａと顧客５０ａとの間で交わされた会話等から顧客５０ａの名前を学習しており、格納部２８０には、顧客５０ａの顔画像と名前「Ａ子さん」とが対応づけて格納されている。

この場合において、応対制御部２４０は、ロボット４０ａから受信した顔画像と格納部２８０に格納されている顔画像とを照合して、来客したのがＡ子さんであり、過去に来客したことがある人であると判断する。これにより、「Ａ子さんが来た。」という情報を生成する。

また、顧客感情特定部２５０は、ロボット４０ａから受信した音声、画像等の情報に基づいて、顧客５０ａの感情の強さを、複数の感情の種別毎に特定する。例えば、顧客感情特定部２５０は、「喜」「怒」「哀」「楽」のそれぞれの強さを特定する。一例として、顧客感情特定部２５０は、画像から特定した顔の表情や、音声から特定した声の状態等に基づいて、感情の種別と、その感情の強さを特定する。ここで、声の状態としては、怒気を含むか否か、楽しそうであるか否か等の声の状態を例示できる。なお、顧客感情特定部２５０は、音声から基本周波数等の音声特徴量を抽出して、抽出した音声特徴量に基づいて、声の状態を特定してよい。顧客感情特定部２５０は、最も強い感情を、顧客５０ａの現在の感情として特定してよい。

ここで、顧客５０ａの感情として、「喜怒哀楽」のうち「楽」の感情が特定されると、応対制御部２４０は、「Ａ子さんは楽しそう。」という情報を生成する。応対制御部２４０は、この状況における適切な応対内容として「また来てくれましたね」と発話することを決定して、ロボット４０ａに発話内容のテキストデータを送信して、ロボット４０ａに発話させる。また、応対制御部２４０は、発話後に顧客５０ａから肯定的な言葉と「また後でね」という返事が返ってきたことに応じて、この状況における適切な応対内容として「ありがとう！また後でね！」と発話することを決定して、ロボット４０ａに発話させる。

応対制御部２４０は、これらの状況において適正度の高い応対内容を決定できており、顧客感情特定部２５０により顧客５０ａの感情が悪化していないと判断されていることから、オペレータ８０に対応を依頼せず、ロボット４０ａの自律動作状態を維持する。なお、通信部２０２は、ロボット４０ａの発話内容や動作内容等を示す応対履歴をロボット４０ａから受信し続けており、記録制御部２８２は応対履歴を時刻に対応づけて格納部２８０に格納する。

図４は、顧客５０ａへの応対をオペレータ８０ａに依頼するまでのシーケンスを概略的に説明する図である。サーバ６０において、応対制御部２４０は、顧客５０ａが「Ａ子さん」であると認識し、「Ａ子さんが来た。」という情報を生成する。また、応対制御部２４０は、格納部２８０に格納されているＡ子さんの購入履歴から、商品を頻繁に買ってくれる顧客であると認識し、「Ａ子さんは商品をよく買ってくれます。」という情報を生成する。応対制御部２４０は、この状況における適切な応対内容として「今日は何を買いに来たのですか？」と発話することを決定して、ロボット４０ａに発話させる。

次に、応対制御部２４０は、顧客５０ａからの「今日はちょっとね・・・」という返事と、顧客５０ａの画像から、「喜怒哀楽」の感情のうち「哀」の強さが予め定められた閾値を超えたことを検出する。これにより、応対制御部２４０は、「Ａ子さんは哀しそう。」という情報を生成する。応対制御部２４０は、この状況において、「今日はちょっとね・・・」という返事に対して適切な応答を決定できないと判断して、オペレータ８０に応対を依頼する旨を決定する。

この場合、顧客特定部２１０は、オペレータ８０の中から、顧客５０ａに応対するべきオペレータ８０を選択する。例えば、顧客特定部２１０は、現在他の顧客５０に応対中のオペレータ以外のオペレータを、顧客５０ａに応対するべきオペレータ８０として選択する。なお、顧客特定部２１０は、顧客５０ａの感情の強さが強いほど、応対能力がより高いオペレータ８０を選択してよい。オペレータ８０の応対能力を示す情報は、オペレータ８０を識別する情報に対応づけて格納部２８０に格納されており、顧客特定部２１０は格納部２８０に格納されている情報を参照して、顧客５０ａに応対するべきオペレータ８０を選択してよい。

ここで、顧客特定部２１０が、顧客５０ａへ応対させるべきオペレータとしてオペレータ８０ａを選択すると、通知部２７０は、オペレータ８０ａが操作するオペレータ端末７０ａに、応対通知を送信する。この場合、通知部２７０は、応対通知と共に、顧客５０ａの感情を示す情報、ロボット４０ａと顧客５０ａとの間の応対履歴を示す情報、顧客５０ａの画像、及び顧客５０ａの過去の購入履歴を示す情報を、オペレータ端末７０ａに送信する。

図５は、オペレータ端末７０ａによる応対通知の表示内容を概略的に示す。オペレータ端末７０ａにおいて、コンピュータ７２ａは、サーバ６０から応答通知を受信すると、応対が依頼されたことを示すオブジェクト４１０を、コンピュータ７２ａの画面に表示する。なお、コンピュータ７２ａは、オペレータ８０ａが着用しているヘッドセット７４ａに通知音を出力することにより、オペレータ８０ａに通知する。コンピュータ７２ａは、オブジェクト４１０が押されたことを検出すると、応対モードに遷移する。

図６は、ロボット４０ａがオペレータ応対状態の場合におけるコンピュータ７２ａの表示内容を概略的に示す。オペレータ端末７０ａにおいて、コンピュータ７２ａは、サーバ６０から受信した顧客５０ａの感情を示す情報を、オブジェクト５１０に表示する。また、コンピュータ７２ａは、サーバ６０から受信した顧客５０ａの顔画像を、オブジェクト５２０に表示する。また、コンピュータ７２ａは、サーバ６０から受信した、ロボット４０ａと顧客５０ａとの間の応対履歴を示す情報を、オブジェクト５３０に表示する。また、コンピュータ７２ａは、サーバ６０から受信した、顧客５０ａの購入履歴を示す情報を、オブジェクト５６０に表示する。

また、コンピュータ７２ａは、手動ボタン５６１及び自動ボタン５６２を画面に表示する。自動ボタン５６２は、ロボット４０ａに自律応対状態に遷移することを指示するためのボタンである。手動ボタン５６１は、ロボット４０ａにオペレータ応対状態に遷移することを指示するためのボタンである。図６においては、ロボット４０ａがオペレータ応対状態に遷移した状態であるので、手動ボタン５６１は既に選択された状態にあり、自動ボタン５６２が選択可能な状態にある。

なお、コンピュータ７２ａは、応対学習用データを登録するための判断材料ボタン５７０ａ〜判断材料ボタン５７０ｆと、学習ボタン５８０とを、画面に表示する。また、コンピュータ７２ａは、ＡＩ提案ボックス５４０及び発話ボタン５５０を、画面に表示する。判断材料ボタン５７０、学習ボタン５８０、ＡＩ提案ボックス５４０及び発話ボタン５５０については後述する。

コンピュータ７２ａは、ロボット４０ａにより取得された音声をサーバ６０から取得して、ヘッドセット７４ａに出力して、オペレータ８０ａに音声を提供する。ここで、コンピュータ７２ａは、ヘッドセット７４ａのマイク部が収集した音声のデータを取得して、オペレータ８０ａの音声情報を生成し、サーバ６０に送信する。具体的には、コンピュータ７２ａは、音声データから言語を抽出してテキスト化して、得られたテキストデータを、サーバ６０に送信する。サーバ６０に送信されたテキストデータは、ロボット４０ａから発話させるべきテキストのデータとして処理される。なお、コンピュータ７２ａは、音声波形を表す音声データそのものを、音声情報としてサーバ６０に送信してもよい。この場合、サーバ６０においてテキスト化されてよい。

図７は、オペレータ８０ａの動作に基づいてロボット４０ａが顧客５０ａに応対している場合のシーケンスを概略的に示す。

オペレータ８０ａは、図６のオブジェクト５２０内の画像から、顧客５０ａがマスクをしていることと判断して、「花粉症ですか？」と発話すると、コンピュータ７２ａにおいて、「花粉症ですか？」という音声がテキスト化されて、サーバ６０に送信される。サーバ６０において、通信部２０４が発話内容を示すテキストデータを受信すると、応対制御部２４０は、受信したテキストデータをロボット４０ａへ送信して、ロボット４０ａに発話させる。

ロボット４０ａは、テキストデータに基づいて発話した後、センサ部１２０で検出したセンサ情報をサーバ６０に送信する。サーバ６０において、顧客感情特定部２５０により顧客５０ａの感情として「嬉」の感情が最も強くなったことが検出され、顧客５０ａからの「よく分かるのね」という発話内容から、応対制御部２４０は、「Ａ子さんは嬉しそう。」という情報及び「Ａ子さんに褒められた。」という情報を生成する。応対制御部２４０は、この状況における適切な発話内容として、「なんとなく分かったんだ。」という内容を決定する。ここで、ロボット４０ａは現在オペレータ応対状態にあるため、その発話内容をＡＩ提案としてオペレータ端末７０ａに送信する。オペレータ端末７０ａは、受信した情報に基づいて表示内容を更新する。

図８は、オペレータ端末７０ａにおける更新された表示内容を概略的に示す。オペレータ端末７０ａにおいて、コンピュータ７２ａは、サーバ６０から受信した情報に基づいて、オブジェクト５１０、オブジェクト５２０、オブジェクト５３０、ＡＩ提案ボックス５４０の表示を更新する。

オブジェクト５３０において、オペレータ８０ａが応対した「花粉症ですか。」の文字は、例えばオブジェクト８８０に示されるように強調表示されて、オペレータ８０ａの発話内容であることが分かるように表示される。ＡＩ提案ボックス５４０には、サーバ６０から受信したＡＩ提案のテキスト「なんとなく分かったんだ。」が表示される。ここで、オペレータ８０ａが、発話ボタン５５０を押すと、コンピュータ７２ａは、ＡＩ提案どおりに発話を指示する旨の情報をサーバ６０に送信する。

図９は、オペレータ８０ａからＡＩ提案の発話が指示された場合のシーケンスを概略的に示す。サーバ６０において、応対関連情報取得部２６０がＡＩ提案の発話を指示する旨の情報を受信すると、応対制御部２４０は、「なんとなく分かったんだ。」というテキストデータをロボット４０ａに送信して、ロボット４０ａに発話させる。

ロボット４０ａがテキストデータに基づいて発話した後、ロボット４０ａ、サーバ６０及びオペレータ端末７０は、図６から図８等に関連して説明した動作と同様の動作を行い、顧客５０ａに対してオペレータ応対状態で応対する。オペレータ８０ａは、顧客５０ａの感情やＡＩ提案等の情報を考慮して、ロボット４０ａが自律応対できると判断すると、コンピュータ７２ａの画面上の自動ボタン５６２を押して、ロボット４０ａを自律動作状態に遷移させる旨の指示をサーバ６０に送信する。

図１０は、ロボット４０ａが自律動作状態に復帰するまでのシーケンスを概略的に示す。サーバ６０において、応対関連情報取得部２６０が、自律動作状態に遷移させる旨の指示を受信すると、応対制御部２４０は、自律動作状態への遷移指示をロボット４０ａに送信する。ロボット４０ａにおいて、通信部１０２が自律応対状態への遷移指示を受信すると、情報処理部１３０及び応対制御部２４０は、センサ部１２０ａのセンサ情報に基づく自律応対処理を再開する。このように、顧客応対システム１０によれば、オペレータ８０による応対とロボット４０の自律応対をシームレスに切り替えることができる。

図１１は、オペレータ端末７０ａで応対学習用情報を登録する場合の表示内容を概略的に示す。図１１は、オペレータ８０ａが応対している場合に、オペレータ８０ａが「花粉症ですか。」と発話し、ロボット４０ａがその発話に基づいて発話した後の場面を示す。

ここで、オペレータ８０ａは、「花粉症ですか。」という発話内容を何の情報に基づいて決定したかを、判断材料ボタン５７０ａ〜判断材料ボタン５７０ｆを押すことによって選択する。オペレータ８０ａは、マスクをしている顧客５０ａの画像に基づいて決定したことから、判断材料ボタン５７０ｂを押して、顧客５０ａの画像に基づいて決定したことを選択する。その後、学習ボタン５８０を押すと、コンピュータ７２ａは、顧客の画像に基づいて発話内容を決定した旨の決定情報と、「花粉症ですか。」の応対内容を示す情報とを、サーバ６０に送信する。サーバ６０は、受信した情報に基づいて学習用情報を格納部２８０に格納する。

なお、判断材料ボタン５７０ａは、顧客５０の発話内容に基づいて発話内容を決定したことを選択するためのボタンである。また、判断材料ボタン５７０ｃは、顧客５０の性別及び／又は年齢に基づいて発話内容を決定したことを選択するためのボタンである。また、判断材料ボタン５７０ｄは、顧客５０による商品の購入履歴に基づいて発話内容を決定したことを選択するためのボタンである。また、判断材料ボタン５７０ｅは、ロボット４０が顧客５０に応対する場所に基づいて発話内容を決定したことを選択するためのボタンである。また、判断材料ボタン５７０ｆは、ロボット４０が顧客５０に応対した日付、すなわち現在の日付に基づいて発話内容を決定したことを選択するためのボタンである。なお、これらの判断材料ボタン５７０が示す情報は、顧客情報の一例である。決定情報として選択可能な顧客情報は、判断材料ボタン５７０が示す情報に限られない。

なお、複数の判断材料ボタン５７０を押すことにより、複数種類の情報を選択することができる。例えば、オペレータ８０ａが、顧客５０ａがマスクをしている画像だけでなく、目薬の購入履歴も参考にして発話内容を判断した場合は、判断材料ボタン５７０ｄ及び判断材料ボタン５７０ｄを押して、顧客の画像及び購入履歴に基づいて決定したことを選択してよい。

図１２は、格納部２８０に格納される学習用情報を概略的に示す。サーバ６０において、応対関連情報取得部２６０が上述した決定情報及び応対内容情報をコンピュータ７２ａから受信すると、記録制御部２８２は、決定情報としての顧客の画像データと、応対内容としての「花粉症ですか。」のテキストデータとを対応づけて、格納部２８０に格納させる。

なお、記録制御部２８２は、顧客の画像データそのものではなく、顧客の画像から抽出されたデータを決定情報として格納部２８０に格納させてよい。例えば、記録制御部２８２は、画像から抽出した「マスクをしている。」という文字データを、決定情報として格納部２８０に格納させてよい。また、記録制御部２８２は、具体的なデータではなく、「顧客の画像に基づいて決定した」旨の情報を、決定情報として格納部２８０に格納させてもよい。

応対制御部２４０は、格納部２８０に格納された学習用情報を用いて顧客５０に対する応対内容を学習する。例えば、応対制御部２４０は、格納部２８０に格納された学習用情報を教師データとして用いて機械学習を行って、応対内容を決定するための判定ルールを進化させる。

なお、記録制御部２８２は、決定情報及び応対内容に対応づけて、更に他の情報を格納部２８０に格納させてもよい。例えば、記録制御部２８２は、「花粉症ですか。」という発話をする前の顧客５０の感情を、決定情報及び応対内容に対応づけて格納部２８０に格納してもよい。これにより、顧客５０の感情及び決定情報の組み合わせと応対内容とを学習することができる。そのため、応対制御部２４０は、顧客５０の感情も考慮して、応対内容をより適切に決定できる場合がある。

以上に説明したように、顧客応対システム１０によれば、ロボット４０の応対内容を決定する場合にオペレータが判断材料として用いた情報を蓄積できる。また、ロボット４０の応対内容を決定するための学習用データを効率的に収集できる。また、オペレータ８０による応対が必要になった場合にのみロボット４０にオペレータ８０を適切に割り当てることができるので、より多くのロボット４０を少数のオペレータ８０で運用することができる。

なお、図４における説明では主として、ロボット４０が自律動作状態において顧客５０に適切な対応ができないと判断された場合にオペレータ応対状態に切り替える場合について説明した。その他にも、顧客５０の感情が悪化した場合にオペレータ応対状態に切り替えてもよい。また、予め定められた性別の顧客５０が来訪した場合に、オペレータ応対状態に切り替えてもよい。例えば、女性が来訪した場合に、オペレータ応対状態に切り替えて良い。例えば、化粧品等の女性用のグッズ売り場においては、男性にはロボット４０が自律的に応対し、女性にはオペレータ８０が応対するようにしてよい。また、予め定められた特定の顧客５０が来訪した場合に、オペレータ応対状態に切り替えてもよい。例えば、高価な商品を頻繁に購入する顧客５０に対しては、オペレータ８０が応対するようにしてよい。また、過去にロボット４０による応対によって感情が悪化した顧客５０に対しては、オペレータ８０が応対するようにしてよい。また、単に顧客が来訪した場合に、オペレータ８０が応対するようにしてよい。例えば、人が近く存在しない場合には、ロボット４０は自律動作状態で勧誘行動を行い、人が近づいてきた場合に、オペレータ応対状態に遷移してよい。

なお、サーバ６０の機能は、１以上のコンピュータによって実装されてよい。サーバ６０の少なくとも一部の機能は、仮想マシンによって実装されてよい。また、サーバ６０の機能の少なくとも一部は、クラウドで実装されてよい。また、上記の説明では、ロボット４０ａの発話内容を決定する機能をサーバ６０が担うとしたが、サーバ６０の機能のうち、ロボット４０ａの制御に関する機能の少なくとも一部は、ロボット４０ａに実装されてよい。また、サーバ６０の機能のうち、オペレータ端末７０の制御に関する機能の少なくとも一部の機能は、オペレータ端末７０に実装されてもよい。なお、ロボット４０は、顧客応対装置の一例である。顧客応対装置として、ロボット以外の様々な形態を採用し得る。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 顧客応対システム
４０ ロボット
５０ 顧客
６０ サーバ
９０ 通信ネットワーク
７０ オペレータ端末、７２ コンピュータ、７４ ヘッドセット
８０ オペレータ
１０２ 通信部
１２０ センサ部
１３０ 情報処理部
１６０ 制御対象
２００ 顧客情報取得部
２０２ 通信部
２０４ 通信部
２０８ 提示制御部
２１０ 顧客特定部
２２０ オペレータ選択部
２３０ 情報処理部
２４０ 応対制御部
２５０ 顧客感情特定部
２６０ 応対関連情報取得部
２７０ 通知部
２８２ 記録制御部
２８０ 格納部
２９０ 記録媒体
４１０、５１０ オブジェクト
５２０、５３０、５６０ オブジェクト
５４０ ＡＩ提案ボックス、５５０ 発話ボタン
５６１ 手動ボタン、５６２ 自動ボタン、５７０ 判断材料ボタン、５８０ 学習ボタン、８８０ オブジェクト

Claims (14)

1. 顧客応対装置が応対可能な顧客の情報である顧客情報を取得する顧客情報取得部と、
   前記顧客情報をオペレータへ提示させる提示制御部と、
   前記オペレータによって決定された、前記顧客に対して前記顧客応対装置が応対するべき応対内容を示す応対情報を取得する応対情報取得部と、
   前記オペレータに提示された複数の前記顧客情報のうち、前記オペレータが前記応対内容を決定するために考慮した、前記オペレータにより選択された一部の顧客情報を示す決定情報を取得する応対決定情報取得部と、
   前記応対情報と前記決定情報とを対応づけて記録させる記録制御部と
   を備え、
   前記オペレータが前記応対内容を決定するために考慮した顧客情報を選択するためのボタンが、オペレータ端末を通じて前記オペレータに提示され、
   前記応対決定情報取得部は、前記複数の顧客情報のうち、前記オペレータ端末を通じて前記オペレータにより選択された一部の顧客情報を示す情報を、前記決定情報として取得する
   応対データ収集システム。
2. 前記応対情報取得部が取得した前記応対情報に基づいて前記顧客に応対するよう前記顧客応対装置に指示する応対制御部
   をさらに備える請求項１に記載の応対データ収集システム。
3. 前記応対情報は、前記オペレータの発話内容を示すテキストデータを含み、
   前記応対制御部は、前記テキストデータを前記顧客応対装置に送信して、前記顧客応対装置に発話させる
   請求項２に記載の応対データ収集システム。
4. 前記オペレータが前記応対内容を決定するために考慮した顧客情報の種別を選択するためのボタンが、前記オペレータ端末を通じて前記オペレータに提示され、
   前記応対決定情報取得部は、前記複数の顧客情報のうち、前記オペレータ端末を通じて前記オペレータにより選択された一部の顧客情報の種別を示す情報を、前記決定情報として取得する
   請求項１から３のいずれか一項に記載の応対データ収集システム。
5. 前記顧客情報は、前記顧客応対装置が取得した前記顧客の画像、前記顧客応対装置が取得した前記顧客の発話内容、前記顧客が過去に購入した商品の購入履歴、前記顧客応対装置が前記顧客に応対する場所、前記顧客応対装置が前記顧客に応対する日に関する情報のうちの少なくともいずれか一つを含む
   請求項１から４のいずれか一項に記載の応対データ収集システム。
6. 前記顧客応対装置は、顧客に対し自律的に応対する第１状態と、前記応対情報に基づいて顧客に応対する第２状態とを有し、
   前記顧客応対装置が前記第２状態にある場合に、前記応対情報取得部が前記応対情報を取得し、前記応対決定情報取得部が前記決定情報を取得し、前記記録制御部が前記応対情報と前記決定情報とを対応づけて記録させる
   請求項１から５のいずれか一項に記載の応対データ収集システム。
7. 前記顧客応対装置は、前記第１状態において、前記記録された前記決定情報と前記応対情報とに基づいて顧客に対し自律的に応対する
   請求項６に記載の応対データ収集システム。
8. 前記顧客応対装置が前記第１状態から前記第２状態に遷移した場合に、前記顧客応対装置が前記第１状態において前記顧客に自律的に応対した内容を示す応対履歴情報を、前記オペレータに通知する応対履歴通知部
   をさらに備える請求項６又は７に記載の応対データ収集システム。
9. 複数の前記顧客応対装置がそれぞれ応対可能な複数の顧客のうちオペレータが応対すべき顧客を特定する顧客特定部と、
   前記顧客特定部が特定した顧客に応対するオペレータを、複数のオペレータの中から選択するオペレータ選択部と、
   前記オペレータ選択部が選択したオペレータに、前記顧客特定部が特定した顧客への応対を開始すべき旨を通知する応対通知部と
   をさらに備える請求項１から８のいずれか一項に記載の応対データ収集システム。
10. 前記顧客応対装置が検出した前記顧客の状態に基づいて、前記顧客応対装置がそれぞれ応対している顧客の感情の種別及び強さを特定する顧客感情特定部
    をさらに備え
    前記顧客特定部は、前記顧客感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された顧客を、前記オペレータが応対すべき顧客として特定する
    請求項９に記載の応対データ収集システム。
11. 前記顧客感情特定部は、前記複数の顧客応対装置がそれぞれ応対している顧客の怒りの強さを特定し、
    前記顧客特定部は、前記顧客感情特定部によって予め定められた値を超える怒りの強さが特定された顧客を、前記オペレータが応対すべき顧客として特定する
    請求項１０に記載の応対データ収集システム。
12. 前記応対情報と前記決定情報とを対応づけて格納する格納部
    をさらに備える請求項１から１１のいずれか一項に記載の応対データ収集システム。
13. 請求項１から１２のいずれか一項に記載の応対データ収集システムと、
    前記顧客応対装置と
    を備える顧客応対システム。
14. コンピュータを、請求項１から１２のいずれか一項に記載の応対データ収集システムとして機能させるためのプログラム。

Images