JP6267846B2 - 顧客応対制御システム、顧客応対システム及びプログラム - Google Patents

顧客応対制御システム、顧客応対システム及びプログラム Download PDF

Info

Publication number
JP6267846B2
JP6267846B2 JP2016072915A JP2016072915A JP6267846B2 JP 6267846 B2 JP6267846 B2 JP 6267846B2 JP 2016072915 A JP2016072915 A JP 2016072915A JP 2016072915 A JP2016072915 A JP 2016072915A JP 6267846 B2 JP6267846 B2 JP 6267846B2
Authority
JP
Japan
Prior art keywords
customer
operator
unit
response
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016072915A
Other languages
English (en)
Other versions
JP2017182700A (ja
Inventor
孫 正義
正義 孫
康介 朝長
康介 朝長
清 大浦
清 大浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Robotics Corp
Original Assignee
Cocoro SB Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cocoro SB Corp filed Critical Cocoro SB Corp
Priority to JP2016072915A priority Critical patent/JP6267846B2/ja
Priority to PCT/JP2017/012774 priority patent/WO2017170620A1/ja
Publication of JP2017182700A publication Critical patent/JP2017182700A/ja
Application granted granted Critical
Publication of JP6267846B2 publication Critical patent/JP6267846B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Manipulator (AREA)

Description

本発明は、顧客応対制御システム、顧客応対システム及びプログラムに関する。
ユーザと通話相手との会話を学習してユーザの問いかけに対する通話相手の返答を返答テーブルに蓄積する端末が知られている(例えば、特許文献1参照)。
[先行技術文献]
[特許文献]
[特許文献1]特開2011−253389号公報
ユーザに対して機器で応対するシステムにおいては、顧客に対して十分な応対ができない可能性がある。例えば、ユーザの感情が悪化した場合に、機器ではうまく対処することができない場合がある。その対処のために各機器にオペレータを割り当てると、過大な運用コストがかかる。
本発明の第1の態様においては、顧客応対制御システムは、複数の顧客応対装置がそれぞれ応対可能な複数の顧客の情報である顧客情報を取得する顧客情報取得部と、複数の顧客応対装置がそれぞれ応対可能な複数の顧客のうちオペレータが応対すべき顧客を、顧客情報に基づいて特定する顧客特定部と、顧客特定部が特定した顧客である特定顧客に応対するオペレータを、複数のオペレータの中から選択する選択部と、選択部が選択したオペレータである選択オペレータに、特定顧客への応対を開始すべき旨を通知する応対通知部と、複数の顧客応対装置のうち特定顧客に応対可能な顧客応対装置を、選択オペレータの動作に基づいて制御する制御部とを備える。
顧客情報取得部は、複数の顧客応対装置がそれぞれ応対している顧客の状態を示す顧客状態情報を、顧客情報として取得し、顧客特定部は、顧客状態情報に基づいて、複数の顧客応対装置がそれぞれ応対している顧客の感情の種別及び強さを特定し、予め定められた種別の感情の強さが予め定められた値を超えた顧客を、特定顧客として特定してよい。
顧客特定部は、顧客状態情報に基づいて、複数の顧客応対装置がそれぞれ応対している顧客の怒りの強さを特定し、怒りの強さが予め定められた値を超えた顧客を、特定顧客として特定してよい。
顧客状態情報に基づいて特定された特定顧客の感情の種別を示す情報を、選択オペレータに通知する感情通知部をさらに備えてよい。
顧客情報取得部は、複数の顧客応対装置がそれぞれ取得した顧客の声及び画像の少なくとも一方を、顧客情報として複数の顧客応対装置から取得してよい。
顧客情報取得部は、複数の顧客応対装置がそれぞれ応対可能な顧客が過去に購入した商品の購入履歴を顧客情報として取得し、顧客特定部は、当該購入履歴が予め定められた条件を満たす顧客を、特定顧客として特定してよい。
複数の顧客応対装置は、それぞれ顧客に対し自律的に応対し、顧客情報取得部は、複数の顧客応対装置がそれぞれ自律的に応対している顧客の情報である顧客情報を取得し、顧客特定部は、複数の顧客応対装置がそれぞれ自律的に応対している顧客のうちオペレータが応対すべき顧客を、顧客情報に基づいて特定してよい。
特定顧客に対する自律的な応対内容を示す応対履歴情報を、選択オペレータに通知する応対履歴通知部をさらに備えてよい。
制御部は、選択オペレータの発話内容を示すテキストデータを、顧客応対装置に送信して、顧客応対装置に発話させてよい。
本発明の第2の態様においては、上記の顧客応対制御システムと、上記の複数の顧客応対装置とを備える顧客応対システムが提供される。
本発明の第3の態様においては、コンピュータを、上記の顧客応対制御システムとして機能させるためのプログラムが提供される。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る顧客応対システム10の利用場面の一例を概略的に示す。 ロボット40及びサーバ60の機能ブロック構成を概略的に示す。 顧客50aへの応対をオペレータ80aに依頼するまでのシーケンスを概略的に説明する図である。 オペレータ端末70aがオペレータ80aに応対通知を提示している状況を概略的に示す。 オペレータ端末70aが応対モード中に提示している状況を概略的に示す。 オペレータ80aの動作に基づいてロボット40aが顧客50aに応対している状況を概略的に示す。 オペレータ80aが応対を終了する場合のシーケンスを概略的に示す。 適切なオペレータ80を選択するために用いられる実績テーブルを概略的に示す。 応対内容を学習するために用いられる応対学習テーブルを概略的に示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本実施形態に係る顧客応対システム10の利用場面の一例を概略的に示す。顧客応対システム10は、サーバ60と、ロボット40a、ロボット40b及びロボット40cと、オペレータ端末70a及びオペレータ端末70bとを備える。
ロボット40a、ロボット40b及びロボット40cは、オペレータ端末70a及びオペレータ端末70bとは遠隔に設けられる。また、ロボット40a、ロボット40b及びロボット40cは、サーバ60とも遠隔に設けられる。オペレータ80aは、オペレータ端末70aを用いて、ロボット40a、ロボット40b及びロボット40cのいずれかを、サーバ60及び通信ネットワーク90を通じて操作することができる。同様に、オペレータ80bは、オペレータ端末70bを用いて、ロボット40a、ロボット40b及びロボット40cのいずれかを、サーバ60及び通信ネットワーク90を通じて操作することができる。
ロボット40a、ロボット40b及びロボット40cは、例えば店舗や事務所の受付等に配置されて、来訪した顧客に対して自律的に応対することができる。図1に示す状況において、顧客50aに対しては、ロボット40aが自律的に応対中である。顧客50bに対しては、ロボット40bが自律的に応対中である。一方、顧客50cに対しては、オペレータ80cが、オペレータ端末70c及びロボット40cを通じて応対中である。
この状況において、顧客50aに対してロボット40aが適切に応対できていない場合を取り上げて、顧客応対システム10における動作を概略的に説明する。ロボット40aは、カメラ機能及びマイク機能を有しており、撮影した顧客50aの画像を、通信ネットワーク90を通じてサーバ60に送信する。サーバ60は、ロボット40aから受信した顧客50aの画像及び音声に基づいて、顧客50aの感情が悪化したと判断すると、顧客応対中でないオペレータ80aに、感情が悪化した顧客50aに対する応対を依頼する。オペレータ80aは、オペレータ端末70aを通じてロボット40aを操作して、顧客50aに対して応対する。
ここで、オペレータ端末70aによる顧客50aに対する応対時の動作を概略的に説明する。オペレータ端末70aは、コンピュータ72a及びヘッドセット74aを有する。コンピュータ72aは、ロボット40aにより取得された顧客50aの画像及び音声を画像サーバ60から受信する。コンピュータ72aが受信した画像は、コンピュータ72aの画面を通じてオペレータ80aに提供される。また、コンピュータ72aが受信した音声は、ヘッドセット74aを通じてオペレータ80aに提供される。
オペレータ80aが発した音声は、ヘッドセット74aで取得されて音声データとしてコンピュータ72aに供給される。コンピュータ72aは、音声データをテキストデータに変換して、サーバ60及び通信ネットワーク90を通じてロボット40aに送信する。ロボット40aは、受信したテキストデータに従って発話する。これにより、オペレータ80aは、ロボット40aを通じて顧客50aに応対することができる。
オペレータ80aは、感情が悪化した顧客50aに対して、面白いことを言う等して、場を和ませる。これにより、顧客50の感情の悪化を抑える。顧客50aの感情の悪化が収まると、オペレータ80aは、ロボット40aによる自律応対に切り替える。これにより、オペレータによる応対が必要になった場合にオペレータがロボット40aに介入して顧客50aへの応対を行うことができる。これにより、少数のオペレータで顧客応対システム10を運用することができる。
なお、ロボット40b及びロボット40cは、ロボット40aと略同一の機能を有する。顧客応対システム10の説明において、ロボット40a、ロボット40b及びロボット40cを、ロボット40と総称する場合がある。また、オペレータ端末70bは、コンピュータ72b及びヘッドセット74bを有し、オペレータ端末70aと略同一の機能を有する。顧客応対システム10の説明において、オペレータ端末70a及びオペレータ端末70bを、オペレータ端末70と総称する場合がある。
なお、顧客応対システム10の説明において、特にロボット40aとオペレータ端末70aとの組み合わせの動作を取り上げる場合がある。しかし、ロボット40とオペレータ端末70との組み合わせはこの組み合わせのみに限られず、任意の組み合わせにおいて同様の動作を実現できる。
図2は、ロボット40及びサーバ60の機能ブロック構成を概略的に示す。まず、ロボット40の機能ブロック構成について説明する。ロボット40は、センサ部120と、情報処理部130と、制御対象160と、通信部102とを有する。情報処理部130は、MPU等のプロセッサであってよい。通信部102は、サーバ60との通信を担う。通信部102は、ネットワークIF等の通信デバイスであってよい。
制御対象160は、スピーカを含む。制御対象160はまた、ロボット40の肢部や頭部等の可動部を駆動するモータ等を含む。
センサ部120は、マイク、ジャイロセンサ、モータセンサ、カメラ等の各種のセンサを有する。センサ部120のマイクは、周囲の音声を取得する。例えば、センサ部120のマイクは、顧客50の音声を取得する。センサ部120のカメラは、可視光によって撮影して画像情報を生成する。センサ部120のジャイロセンサは、ロボット40全体及びロボット40の各部の角速度を検出する。センサ部120のモータセンサは、ロボット40の可動部を駆動するモータの駆動軸の回転角度を検出する。
センサ部120は、マイクで取得された音声データ、カメラで撮影された画像、ジャイロセンサで検出された角速度、モータセンサで検出された回転角度等の各種のセンサデータを、情報処理部130に出力する。情報処理部130は、取得したセンサ信号を通信部102に供給して、サーバ60へ送信させる。また、情報処理部130は、センサ部120で検出された各種のセンサデータに基づいて、ロボット40の行動を決定する。情報処理部130は、決定した行動に基づいて制御対象160を制御する。
例えば、情報処理部130は、各種のセンサデータに基づいて、ロボット40の発話内容や、ロボット40の肢部の動き等を決定する。具体的には、情報処理部130は、センサ部120のマイクで取得された音声データを解析して顧客50の発話内容を特定する。また、情報処理部130は、センサ部120のカメラで生成された画像情報に基づいて、顧客50の表情を特定する。情報処理部130は、顧客50の発話内容、顧客50の表情等に基づいて、ロボット40の発話内容や、ロボット40の肢部の動きを決定し、制御対象160のスピーカ及びモータを制御して、ロボット40に発話させ、肢部等を動作させる。これにより、ロボット40は、顧客50の発話内容等を理解して、顧客50と会話したり、顧客50を案内したりすることができる。このように、ロボット40は、顧客50に対し自律的に応対することができる。
次に、サーバ60の機能ブロック構成について説明する。サーバ60は、情報処理部230と、通信部202と、通信部204と、格納部280とを有する。情報処理部230は、制御部240と、顧客特定部210と、選択部220とを有する。情報処理部230の機能は、MPU等のプロセッサによって実装されてよい。例えば、顧客特定部210、選択部220、制御部240の機能は、プロセッサが記録媒体290に格納されたプログラムを読み込むことで実装されてよい。
通信部202は、ロボット40との通信を担う。通信部202は、顧客情報取得部200を有する。通信部204は、オペレータ端末70との通信を担う。通信部204は、通知部270を有する。通信部202及び通信部204は、ネットワークIF等の通信デバイスであってよい。格納部280は、ハードディスク装置、フラッシュメモリ等の記憶媒体を有する。また、格納部280は、RAM等の揮発性記憶装置を有する。格納部280は、制御部240が実行時に読み出すプログラムコードや各種の一時データの他、情報処理部230の処理の実行に必要な参照データ等を格納する。
顧客情報取得部200は、複数のロボット40がそれぞれ応対可能な複数の顧客の情報である顧客情報を取得する。例えば、顧客情報取得部200は、ロボット40が取得した顧客の情報を、通信ネットワーク90を通じて受信する。
顧客特定部210は、複数のロボット40がそれぞれ応対可能な複数の顧客のうちオペレータが応対すべき顧客を、顧客情報取得部200が取得した顧客情報に基づいて特定する。選択部220は、顧客特定部210が特定した顧客である特定顧客に応対するオペレータを、複数のオペレータの中から選択する。通知部270は、選択部220が選択したオペレータである選択オペレータに、特定顧客への応対を開始すべき旨を通知する。制御部240は、複数のロボット40のうち特定顧客に応対可能なロボット40を、選択オペレータの動作に基づいて制御する。例えば、制御部240は、選択オペレータの発話内容を示すテキストデータを、ロボット40に送信して、ロボット40に発話させる。
なお、顧客情報取得部200は、複数のロボット40がそれぞれ応対している顧客の状態を示す顧客状態情報を、顧客情報として取得する。例えば、顧客情報取得部200は、複数のロボット40がそれぞれ取得した顧客の声及び画像の少なくとも一方を、顧客情報として複数のロボット40から取得する。
例えば、顧客特定部210は、顧客状態情報に基づいて、複数のロボット40がそれぞれ応対している顧客の感情の種別を特定する。顧客特定部210は、顧客状態情報に基づいて、複数の顧客応対装置がそれぞれ応対している顧客のうち、怒りの感情が特定された顧客を、特定顧客として特定してよい。また、顧客特定部210は、顧客状態情報に基づいて、複数のロボット40がそれぞれ応対している顧客の感情の強さを特定する。例えば、顧客特定部210は、顧客状態情報に基づいて、複数のロボット40がそれぞれ応対している顧客の怒りの強さを特定する。なお、顧客特定部210は、怒り以外の感情の強さを特定してよい。例えば、顧客特定部210は、喜怒哀楽の各感情の種別毎に、感情の強さを特定してよい。顧客特定部210は、ロボット40から取得した顧客の顔画像に基づいて表情解析することによって、顧客の感情の強さを特定してよい。また、顧客特定部210は、ロボット40から取得した顧客の音声に基づいて、発話解析や音声強度の解析をすることによって、顧客の感情の強さを特定してよい。
顧客特定部210は、特定した怒りの強さが予め定められた値を超えた顧客を、特定顧客として特定する。また、顧客特定部210は、特定した哀しみの強さが予め定められた値を超えた顧客を、特定顧客として特定してよい。このように、顧客特定部210は、顧客状態情報に基づいて、複数のロボット40がそれぞれ応対している顧客の感情の種別及び感情の強さの少なくとも一方を特定し、予め定められた種別の感情が特定された顧客及び感情の強さが予め定められた値を超えた顧客の少なくとも一方を、特定顧客として特定する。顧客特定部210は、予め定められた種別の感情の強さが予め定められた値を超えた顧客を、特定顧客として特定してよい。
通知部270は、顧客状態情報に基づいて特定された特定顧客の感情の種別を示す情報を、選択オペレータに通知する。例えば、通知部270は、特定顧客の感情の種別を示す情報を顧客特定部210から取得して、選択オペレータに通知する。
なお、顧客情報取得部200は、複数のロボット40がそれぞれ取得した顧客の声の情報を、顧客情報として複数のロボット40から取得してよい。顧客特定部210は、取得した声の情報に基づいて、複数のロボット40がそれぞれ応対している顧客の声の状態を特定し、予め定められた状態の声が特定された顧客を、特定顧客として特定してよい。例えば、顧客特定部210は、取得した声の状態に基づいて、複数のロボット40がそれぞれ応対している顧客の声が怒気を含むか否かを判断し、声が怒気を含むと判断された顧客を、特定顧客として特定してよい。このように、顧客特定部210は、感情そのものを特定しなくてよく、顧客の感情の強さの影響を受ける他の指標を用いて、特定顧客を選択してよい。
また、顧客情報取得部200は、複数のロボット40がそれぞれ応対可能な顧客が過去に購入した商品の購入履歴を、顧客情報として取得してよい。顧客特定部210は、取得した購入履歴が予め定められた条件を満たす顧客を、特定顧客として特定してよい。一例として、顧客特定部210は、予め定められた商品を購入したことがある顧客を、特定顧客として特定してよい。また、顧客特定部210は、予め定められた価格以上の商品を予め定められた回数以上購入したことがある顧客を、特定顧客として特定してよい。また、通知部270は、顧客の購入履歴を示す情報を、選択オペレータに通知してよい。例えば、通知部270は、取得した購入履歴を示す情報を、オペレータ端末70に送信することにより、選択オペレータに通知してよい。オペレータ端末70は、受信した購入履歴を示す情報を、画面に表示してよい。これにより、オペレータ80は、顧客が購入した商品の購入履歴に基づいて、顧客50と適切な会話をすることができる。
なお、上述したように、複数のロボット40は、それぞれ顧客に対し自律的に応対することができる。この場合において、顧客情報取得部200は、複数のロボット40がそれぞれ自律的に応対している顧客の情報である顧客情報を取得する。顧客特定部210は、複数のロボット40がそれぞれ自律的に応対している顧客のうちオペレータが応対すべき顧客を、顧客情報に基づいて特定する。これにより、例えば、ロボット40の自律応対中に顧客の感情が悪化した場合には、オペレータに特定顧客への応対させることができる。一方で、ロボット40の自律応対中に顧客の感情が悪化しなかった場合には、オペレータに応対させずに済む。
なお、通知部270は、特定顧客に対する自律的な応対内容を示す応対履歴情報を、選択オペレータに通知する。これにより、オペレータは、ロボット40による応対履歴を確認してから、顧客に応対することができる。
図3は、顧客50aへの応対をオペレータ80aに依頼するまでのシーケンスを概略的に説明する図である。ロボット40aは、センサ部120で検出した音声、画像等のセンサ情報を、サーバ60に送信する。サーバ60において、顧客特定部210は、音声、画像等の情報に基づいて、顧客50aの感情の強さを、複数の感情の種別毎に特定する。例えば、「喜」「怒」「哀」「楽」のそれぞれの強さを特定する。一例として、顧客特定部210は、画像から特定した顔の表情や、音声から特定した声の状態等に基づいて、感情の種別と、その感情の強さを特定してよい。ここで、声の状態としては、怒気を含むか否か、嬉しそうであるか否か等を例示できる。なお、顧客特定部210は、音声から基本周波数等の音声特徴量を抽出して、抽出した音声特徴量に基づいて、声の状態を特定してよい。顧客特定部210は、最も強い感情を、顧客50aの現在の感情として特定してよい。
顧客特定部210は、「怒」の強さが予め定められた閾値を超えたことを検出すると、オペレータ80の中から、顧客50aへ応対させるべきオペレータ80を選択する。例えば、顧客特定部210は、現在他の顧客50に応対中のオペレータ以外のオペレータを、顧客50aへ応対させるべきオペレータ80として選択する。顧客特定部210は、顧客50aの感情の強さが強いほど、応対能力がより高いオペレータ80を選択してよい。なお、オペレータ80の応対能力については、応対実績値に関連して後述する。
ここで、顧客特定部210が、顧客50aへ応対させるべきオペレータとしてオペレータ80aを選択すると、通知部270は、オペレータ80aが操作するオペレータ端末70aに、応対通知を送信する。この場合、通知部270は、応対通知と共に、顧客50aの感情を示す情報、及び、ロボット40aと顧客50aとの間の応対履歴を示す情報を、オペレータ端末70aに送信する。
図4は、オペレータ端末70aによる応対通知の表示内容を概略的に示す。オペレータ端末70aにおいて、コンピュータ72aは、サーバ60から応答通知を受信すると、応対が依頼されたことを示すオブジェクト410を、コンピュータ72aの画面に表示する。なお、コンピュータ72aは、オペレータ80aが着用しているヘッドセット74aに通知音を出力することにより、オペレータ80aに通知する。コンピュータ72aは、オブジェクト410がタッチされたことを検出すると、応対モードに遷移する。
図5は、オペレータ端末70aによる応対モード中の表示内容を概略的に示す。オペレータ端末70aにおいて、コンピュータ72aは、サーバ60から受信した顧客50aの感情を示す情報を、オブジェクト510に表示する。また、コンピュータ72aは、サーバ60から受信した顧客50aの顔画像を、オブジェクト520に表示する。また、コンピュータ72aは、サーバ60から受信した、ロボット40aと顧客50aとの間の応対履歴を示す情報を、オブジェクト530に表示する。また、コンピュータ72aは、コメント入力ボックス540及び送信ボタン550を、画面に表示する。また、コンピュータ72aは、応対終了ボタン560を画面に表示する。なお、応対終了ボタン560は、サーバ60から応対を終了することが許可された場合に、有効化される。また、コンピュータ72aは、ロボット40aにより取得された音声をサーバ60から取得して、ヘッドセット74aに出力する。
コンピュータ72aは、ヘッドセット74aが収集した音声のデータを取得して、オペレータ80aの音声情報を生成し、サーバ60に送信する。具体的には、コンピュータ72aは、音声データから言語を抽出してテキスト化して、得られたテキストデータを、サーバ60に送信する。サーバ60に送信されたテキストデータは、ロボット40aから発話させるべきテキストのデータとして処理される。なお、コンピュータ72aは、音声波形を表す音声データそのものを、音声情報としてサーバ60に送信してもよい。この場合、サーバ60においてテキスト化される。
また、コンピュータ72aは、コメント入力ボックス540に文字が入力され、送信ボタン550が押された場合に、コメント入力ボックス540に入力された文字から生成されたテキストデータをサーバ60に送信してもよい。これにより、オペレータ80aは、ロボット40aから発話させるべきテキストを、文字によって入力することができる。
図6は、オペレータ80aの動作に基づいてロボット40aが顧客50aに応対している状況を概略的に示す。サーバ60において、通信部204が顧客50aの発話又は文字入力から生成されたテキストデータを受信すると、制御部240は、当該テキストデータに基づいてロボット40aに発話させてよいか否かを判断する。例えば、制御部240は、予め定められた禁止ワードがテキストデータに含まれていない場合に、テキストデータに基づいてロボット40aに発話させてよいと判断する。制御部240は、ロボット40aに発話させてよいと判断した場合に、当該テキストデータをロボット40aへ送信して、ロボット40aに発話させる。
ロボット40aは、テキストデータに基づいて発話した後、センサ部120で検出したセンサ情報をサーバ60に送信する。サーバ60において、顧客50aの感情が良くなったことが検出されると、オペレータ80aによる応対終了を許可する旨の応対終了許可通知を、オペレータ端末70aに送信する。なお、オペレータ端末70aにおいて、コンピュータ72aは、応対終了許可通知を受信すると、応対終了ボタン560を有効化する。
図7は、オペレータ80aが応対を終了する場合のシーケンスを概略的に示す。オペレータ80aが応対終了ボタン560をタッチすると、コンピュータ72aは応対終了通知をサーバ60に送信する。サーバ60において、通信部204が応対終了通知を受信すると、制御部240は、自律応対を再開する旨の指示をロボット40aに送信する。ロボット40aにおいて、通信部102が自律応対を再開する指示を受信すると、情報処理部130は、センサ部120aのセンサ情報に基づく自律応対処理を再開する。これにより、オペレータ80による応対とロボット40の自律応対をシームレスに切り替えることができる。
図8は、適切なオペレータ80を選択するために用いられる実績テーブルを概略的に示す。実績テーブルのデータは、サーバ60の格納部280に格納される。具体的には、格納部280は、オペレータ80を識別するオペレータ識別情報に対応付けて、それぞれのオペレータ80が応対した顧客50の属性と、オペレータ80が応対を開始する前の顧客50の感情の種別と、応対実績値とを対応づけて格納する。
顧客50の属性は、顧客の年齢層及び顧客の性別等を含む。応対時の顧客の感情の種別は、「怒」や「哀」等、オペレータ80の応対が必要となる感情の種別を示す。応対実績値は、オペレータ80の応対によって顧客50の感情が好転した場合に、加算される。例えば、制御部240は、オペレータ80の応対によって顧客50の怒りの強さが一定値以上減少した場合に、対応する応答実績値に予め定められた値を加算して、格納部280に格納する。また、制御部240は、オペレータ80の応対によって顧客50の感情が「怒」又は「哀」から「喜」又は「楽」に変わった場合に、対応する応答実績値に予め定められた値を加算して、格納部280に格納する。
ここで、顧客50に応対するべきオペレータ80を新たに選択する場合、選択部220は、格納部280に格納された実績テーブルのデータを参照して、対象となる顧客50に適切に応対できるオペレータ80を選択する。例えば、選択部220は、対象となる顧客50の属性と現在の感情の種別とに適合する情報に対応づけられたオペレータ識別情報を、実績テーブル内のデータから検索する。そして、選択部220は、検索されたオペレータ識別情報のうち、より高い応対実績値が対応づけられているオペレータ識別情報を、より優先して抽出する。例えば、選択部220は、検索されたオペレータ識別情報のうち、最も高い応対実績値が対応づけられているオペレータ識別情報を抽出する。そして、選択部220は、抽出したオペレータ識別情報で識別されるオペレータ80を、対象となる顧客50に応対すべきオペレータとして選択する。これにより、対象となる顧客50の属性や感情に対して応対能力が高いオペレータ80を選択することができる。
図9は、応対内容を学習するために用いられる応対学習テーブルを概略的に示す。応対学習テーブルのデータは、サーバ60の格納部280に格納される。応対学習テーブルは、既に応対が終了した顧客50の画像と、顧客50の属性と、オペレータ80が応対を開始する前の顧客50の感情の種別と、オペレータ80がロボット40から発話させた発話内容とを対応づけて格納する。
例えば、サーバ60の制御部240は、オペレータ80の応対によって顧客50の感情が好転した場合に、感情が好転する直前にロボット40から発話させた内容のテキストデータを、応対学習テーブルに格納する。例えば、制御部240は、オペレータ80の応対によって、顧客50の怒りの強さが予め定められた値以上減少した場合に、怒りの強さが予め定められた強さ以上減少する直前にロボット40から発話させた内容のテキストデータを、顧客50の画像と、顧客50の属性と、オペレータ80が応対を開始する前の顧客50の感情の種別に対応づけて格納する。また、制御部240は、オペレータ80の応対によって、顧客50の感情が「怒」又は「哀」から「喜」又は「楽」に変わった場合に、顧客50の感情が「喜」又は「楽」に変わる直前にロボット40から発話させた内容のテキストデータを、顧客50の画像と、顧客50の属性と、オペレータ80が応対を開始する前の顧客50の感情の種別に対応づけて格納する。
これにより、オペレータ80の応対が成功した時の発話内容を応対学習テーブルに蓄積することができる。応対学習テーブルに蓄積されたデータは、オペレータ80の教育用のデータや、ロボット40の学習に入力される教師データとして利用できる。また、サーバ60において、制御部240は、オペレータ80による応対が必要になった顧客50に適合する顧客属性及び顧客感情に対応づけられた発話内容を、オペレータ端末70に送信して、オペレータ80に提案することもできる。
以上に説明したように、顧客応対システム10によれば、オペレータ80による応対が必要になった場合にのみロボット40にオペレータ80を適切に割り当てることができる。そのため、より多くのロボット40を少数のオペレータ80で運用することができる。
なお、以上の説明では、主として、顧客50の感情が悪化した場合や顧客50の声が大きくなった場合にオペレータ80が応対に切り替える場合について説明した。その他にも、予め定められた性別の顧客50が来訪した場合に、オペレータ80による応対に切り替えてもよい。例えば、女性が来訪した場合に、オペレータ80による応対に切り替えて良い。例えば、化粧品等の女性用のグッズ売り場においては、男性にはロボット40が応対して、女性にはオペレータ80が応対するようにしてもよい。また、予め定められた特定の顧客50が来訪した場合に、オペレータ80による応対に切り替えてもよい。例えば、高価な商品を頻繁に購入する顧客50に対しては、オペレータ80による応対に切り替えてよい。また、過去にロボット40による応対によって感情が悪化した顧客50に対しては、オペレータ80による応対に切り替えてよい。また、単に顧客50が来訪した場合に、オペレータ80による応対に切り替えるようにしてもよい。例えば、顧客50がいない場合には、ロボット40は勧誘行動を行い、顧客50が近づいてきた場合に、オペレータ80による応対に切り替えてよい。
なお、サーバ60の機能は、1以上のコンピュータによって実装されてよい。サーバ60の少なくとも一部の機能は、仮想マシンによって実装されてよい。また、サーバ60の機能の少なくとも一部は、クラウドで実装されてよい。なお、ロボット40は、顧客応対装置の一例である。顧客応対装置として、ロボット以外の様々な形態を採用し得る。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 顧客応対システム
40 ロボット
50 顧客
60 サーバ
90 通信ネットワーク
70 オペレータ端末、72 コンピュータ、74 ヘッドセット
80 オペレータ
102 通信部
120 センサ部
130 情報処理部
160 制御対象
200 顧客情報取得部
202 通信部
204 通信部
210 顧客特定部
220 選択部
230 情報処理部
240 制御部
270 通知部
280 格納部
290 記録媒体
410、510 オブジェクト
520、530 オブジェクト
540 コメント入力ボックス、550 送信ボタン
560 応対終了ボタン

Claims (8)

  1. 複数の顧客応対装置がそれぞれ応対可能な複数の顧客の情報である顧客情報を取得する顧客情報取得部と、
    前記複数の顧客応対装置がそれぞれ応対可能な複数の顧客のうちオペレータが応対すべき顧客を、前記顧客情報に基づいて特定する顧客特定部と、
    前記顧客特定部が特定した顧客である特定顧客に応対するオペレータを、複数のオペレータの中から選択する選択部と、
    前記選択部が選択したオペレータである選択オペレータに、前記特定顧客への応対を開始すべき旨を通知する応対通知部と、
    前記複数の顧客応対装置のうち前記特定顧客に応対可能な顧客応対装置を、前記選択オペレータの動作に基づいて制御する制御部と
    を備え、
    前記制御部は、前記選択オペレータの発話内容を示すテキストデータを、前記顧客応対装置に送信して、前記顧客応対装置に発話させ
    前記複数の顧客応対装置は、それぞれ顧客に対し自律的に応対し、
    前記顧客情報取得部は、前記複数の顧客応対装置がそれぞれ自律的に応対している顧客の状態を示す顧客状態情報を、前記顧客情報として取得し、
    前記顧客特定部は、前記顧客状態情報に基づいて、前記複数の顧客応対装置がそれぞれ応対している顧客の感情の種別及び強さを特定し、予め定められた種別の感情の強さが予め定められた値を超えた顧客を、前記特定顧客として特定し、
    前記制御部は、前記特定顧客が特定された場合に、前記特定顧客に応対可能な顧客応対装置の制御を、前記自律的な応対から前記選択オペレータの動作に基づく制御に切り換え、前記特定顧客の感情が良くなったことが検出された場合に、前記選択オペレータの動作に基づく制御の終了を許可する旨を前記選択オペレータに通知し、前記選択オペレータによる応対の終了通知を受信すると、前記自律的な応対を再開する旨の指示を、前記特定顧客に応対可能な顧客応対装置に送信する
    顧客応対制御システム。
  2. 前記顧客特定部は、前記顧客状態情報に基づいて、前記複数の顧客応対装置がそれぞれ応対している顧客の怒りの強さを特定し、前記怒りの強さが予め定められた値を超えた顧客を、前記特定顧客として特定する
    請求項に記載の顧客応対制御システム。
  3. 前記顧客状態情報に基づいて特定された前記特定顧客の感情の種別を示す情報を、前記選択オペレータに通知する感情通知部
    をさらに備える請求項又はに記載の顧客応対制御システム。
  4. 前記顧客情報取得部は、前記複数の顧客応対装置がそれぞれ取得した顧客の声及び画像の少なくとも一方を、前記顧客情報として前記複数の顧客応対装置から取得する
    請求項1からのいずれか一項に記載の顧客応対制御システム。
  5. 前記顧客情報取得部は、前記複数の顧客応対装置がそれぞれ応対可能な顧客が過去に購入した商品の購入履歴を、前記顧客情報としてさらに取得し、
    前記顧客特定部は、前記購入履歴が予め定められた条件を満たす顧客を、前記特定顧客として特定する
    請求項1に記載の顧客応対制御システム。
  6. 前記特定顧客に対する前記自律的な応対内容を示す応対履歴情報を、前記選択オペレータに通知する応対履歴通知部
    をさらに備える請求項1から5のいずれか一項に記載の顧客応対制御システム。
  7. 請求項1からのいずれか一項に記載の顧客応対制御システムと、
    前記複数の顧客応対装置と
    を備える顧客応対システム。
  8. コンピュータを、請求項1からのいずれか一項に記載の顧客応対制御システムとして機能させるためのプログラム。
JP2016072915A 2016-03-31 2016-03-31 顧客応対制御システム、顧客応対システム及びプログラム Active JP6267846B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016072915A JP6267846B2 (ja) 2016-03-31 2016-03-31 顧客応対制御システム、顧客応対システム及びプログラム
PCT/JP2017/012774 WO2017170620A1 (ja) 2016-03-31 2017-03-28 顧客応対制御システム、顧客応対システム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016072915A JP6267846B2 (ja) 2016-03-31 2016-03-31 顧客応対制御システム、顧客応対システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2017182700A JP2017182700A (ja) 2017-10-05
JP6267846B2 true JP6267846B2 (ja) 2018-01-24

Family

ID=59964731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016072915A Active JP6267846B2 (ja) 2016-03-31 2016-03-31 顧客応対制御システム、顧客応対システム及びプログラム

Country Status (2)

Country Link
JP (1) JP6267846B2 (ja)
WO (1) WO2017170620A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6431158B1 (ja) * 2017-10-19 2018-11-28 株式会社 みずほ銀行 来訪者支援システム、来訪者支援方法及び来訪者支援プログラム
JP6934831B2 (ja) * 2018-03-28 2021-09-15 本田技研工業株式会社 対話装置及びプログラム
JP6890746B2 (ja) * 2018-12-10 2021-06-18 楽天グループ株式会社 情報処理装置、情報処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5055486B2 (ja) * 2006-07-19 2012-10-24 株式会社国際電気通信基礎技術研究所 遠隔操作アンドロイドの発話動作制御システム
JP2009241166A (ja) * 2008-03-28 2009-10-22 Advanced Telecommunication Research Institute International ロボット遠隔操作システム
JP2011009902A (ja) * 2009-06-24 2011-01-13 Seiko Epson Corp 顧客対応装置
US9418390B2 (en) * 2012-09-24 2016-08-16 Intel Corporation Determining and communicating user's emotional state related to user's physiological and non-physiological data
JP2015141428A (ja) * 2014-01-27 2015-08-03 株式会社日立システムズ サーバー装置、感情報知システム、感情報知方法、及びプログラム
JP6053847B2 (ja) * 2014-06-05 2016-12-27 Cocoro Sb株式会社 行動制御システム、システム及びプログラム

Also Published As

Publication number Publication date
WO2017170620A1 (ja) 2017-10-05
JP2017182700A (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
JP6219448B1 (ja) 顧客応対制御システム、顧客応対システム及びプログラム
CN105690385B (zh) 基于智能机器人的应用调用方法与装置
CN106658129B (zh) 基于情绪的终端控制方法、装置及终端
US10369699B2 (en) Executing software applications on a robot
EP3436909A1 (en) Augmented imaging assistance for visual impairment
JP2004206704A (ja) ユーザとエージェント間の対話管理方法及び装置
JP6392374B2 (ja) ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイ装置の操作方法
JP6267846B2 (ja) 顧客応対制御システム、顧客応対システム及びプログラム
US10929600B2 (en) Method and apparatus for identifying type of text information, storage medium, and electronic apparatus
KR102490916B1 (ko) 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체
JP2017151517A (ja) ロボット制御システム
KR102222911B1 (ko) 로봇 상호작용 시스템 및 그를 위한 프로그램
US20180101236A1 (en) Method, non-transitory computer-readable medium, and device for controlling a user-interface
JP6345729B2 (ja) 応対データ収集システム、顧客応対システム及びプログラム
JP7439826B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20210166685A1 (en) Speech processing apparatus and speech processing method
JP6929960B2 (ja) 情報処理装置及び情報処理方法
KR101411039B1 (ko) 음성인식을 이용한 발음 평가 방법 및 이를 적용한 전자기기
US12001808B2 (en) Method and apparatus for providing interpretation situation information to one or more devices based on an accumulated delay among three devices in three different languages
EP4131130A1 (en) Method and device for providing interpretation situation information
JP6006737B2 (ja) 表示制御方法、表示制御装置、表示制御端末及び表示制御プログラム
CN112784610A (zh) 自然语言处理方法及装置
CN108873757A (zh) 一种辅助学习的控制方法及系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170728

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171107

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

R150 Certificate of patent or registration of utility model

Ref document number: 6267846

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250