JP7146373B2 - 接客サービスシステム - Google Patents

Description

本発明は、サービス享受者に対して接客サービスを行うための接客サービスシステムに関するものである。

昨今、ロボットや人工知能等の情報処理技術の発展が目覚ましく、従来機械化が困難であった分野にもロボットや情報処理技術が取り入れられている。例えば、来客対応等の接客に人工知能を搭載したロボットを採用することが提案されている（例えば、特許文献１参照）。

ロボットが行う接客にも、従来人が行っていた接客と同様に、サービス提供、マナー（礼儀）、ホスピタリティが求められる。ここで、サービス提供とは、接客の主目的であり、例えば会社受付での来客対応の場合には、客を案内して客と会社の担当者を引き合わせることがこれに該当する。マナーとは、単にサービスを提供するだけでなく、接客サービス時に人がするのと同様の礼節を表現することであり、例えば会社受付での来客対応の場合には、ロボットが客に対して挨拶、お辞儀等（それがサービス提供には必ずしも必要でないもの）をすることがこれに該当する。ホスピタリティとは、目配り、気配り、心配りを通じて、個々の状況に応じた対応をすることで客に心地よさを提供することであり、単に定型の挨拶をするだけでなく、例えば雨天の際には足元の悪い中来て頂いたことに対する感謝を表し、傘の置き場所を案内する等の気配りがこれに該当する。特に、日本における接客のホスピタリティは、「おもてなし」（Ｏｍｏｔｅｎａｓｈｉ）という言葉で海外にも紹介されるように、繊細できめ細かいものである。

従来、ロボットによる接客は、サービス提供者である接客スタッフが行っていたことをロボットに代替させることで無人化や自動化を目指すものが多い（例えば、特許文献２）。このように、ロボットが人に変わって接客をする場合にも、単にマナーを備えてサービスを提供するだけでなく、ホスピタリティないし「おもてなし」（以下、「接客ホスピタリティ」ともいう。）を実現することが望まれる。

特開２００９－２４８１９３号公報 特開２０１７－１１１４８９号公報

業態、価格、企業能力などに応じて客の期待度は異なるが、いずれにしても接客ホスピタリティの質を向上させるために重要な視点は、客の満足度を高める（より消極的には、負の満足度を低下させる）ために、商品、サービス、施設環境、五感に訴える品質に加えて、さらにおもてなしによって、対価以上の満足を多くの客に感じてもらう仕組みや組織能力を提供することである。

接客ホスピタリティの重要な要素は、観察・洞察力及びアクションである。接客スタッフは、客が滞在する間（例えば、飲食店の場合には２時間、旅館ならば１泊２日の間）に、その時々の環境（込み具合む含む）と客の状況（過去の知見や常連ならば個人情報等を含む）を観察・洞察し、その客にとって最適なおもてなしのストーリを描き、それに従ってアクションを起こす。

接客スタッフによるアクションが逆効果となる場合もあるが、その場合にも、接客スタッフは、実行したアクションに満足していないという客の反応を観察・洞察して、リカバリのためのアクションを実行する。このように、接客スタッフ（人）であれば、接客サービスを提供した後の客の反応を観察し、客が喜んだか不機嫌になったかを判断することで、その後同様の状況に接したときによりよい接客サービスを提供するよう学習することが可能である。

そこで、本発明の目的は、接客サービスシステムにおいても、従来接客スタッフが行っていたのと同様にして、客の反応に基づいて接客サービスの学習を行うことである。

この目的を達成するために、本願では、上記の観察・洞察のための情報リサーチ及び必要なアクションの分析を人だけでなくロボットも利用して行う。具体的には、客がどのようなアクションに対してどのようなリアクションをしたかという情報を蓄積し、それを機械学習等の学習技術を用いて分析することで、確度の高い接客ホスピタリティを求めることができる接客サービスシステムを提供する。

また、本発明者は、ロボットが接客スタッフの代替をするだけでなく、ロボットと接客スタッフとが協働することで、従来、接客スタッフが行っていた以上の接客ホスピタリティを提供して従来以上の顧客満足度が得られる可能性があることを見出した。観察・洞察すべき客ないし客周辺の状況は、外的要因（環境の温度、湿度、騒音、空間、香り等）と、内的要因（提供する料理、接客サービス、組織能力等）と、さらに、客との価値共創（利用する客の質で同じサービスをしていても、店の雰囲気や感動効果に違いができる）で成り立っている。したがって、接客サービスは接客スタッフが提供したほうがよい場合と、ロボットが提供したほうがよい場合とがある。

そこで、本発明のさらなる目的は、接客サービスへのロボットの導入によって、接客スタッフの工数を削減するだけでなく、ロボットと接客スタッフとの適切な役割分担によって、接客サービスの向上を図ることである。

一態様の接客サービスシステムは、サービス享受者の感情を認識する感情認識手段と、前記サービス享受者又は前記サービス享受者周辺の状況に対する接客サービスを判断する学習モデルを備えた接客サービス判断手段と、前記学習モデルの学習を行う学習手段とを備え、前記学習手段は、前記状況と当該状況に対する接客サービスとの関係を、前記感情認識手段にて認識された感情に基づいて学習する。

この構成により、所定の状況下で接客サービスが実行された場合に、それに対するサービス享受者の感情、即ち反応を認識して、学習にフィードバックするので、状況に応じて提供すべき接客サービスをサービス享受者の反応に基づいて学習できる。

前記学習手段は、前記感情認識手段にて認識された感情に基づいて、状況と当該状況に対する接客サービスとの前記関係が正例であるか負例であるかを判断し、状況と当該状況に対する接客サービスとの前記関係を正例又は負例として学習してよい。

前記学習手段は、前記感情認識手段にて認識された感情に基づいて、状況と当該状況に対する接客サービスとの前記関係が正例であるか負例であるかを判断し、正例であると判断した状況と当該状況に対する接客サービスとの前記関係を学習してもよい。

上記の接客サービスシステムは、さらに、サービス享受者に対して接客サービスを実行するロボットと、前記サービス享受者又は前記サービス享受者周辺の状況を認識する状況認識手段とを備えていてよく、前記ロボットは、前記状況認識手段にて認識された状況に基づいて前記接客サービス判断手段にて求められた、当該状況に対する接客サービスを実行してよく、前記学習手段は、前記状況認識手段にて認識された状況と前記ロボットが実行した接客サービスとの関係を、状況と当該状況に対する接客サービスとの前記関係として学習してよい。

この構成により、認識された状況に応じて学習モデルによって判断された接客サービスをロボットが実行するとともに、サービス享受者の感情を学習モデルの学習にフィードバックするので、状況に対してロボットが実行すべき接客サービスをサービス享受者の反応に基づいて学習できる。

上記の接客サービスシステムは、さらに、サービス提供者が、前記ロボットに実行させるための接客サービス及び自ら実行する接客サービスを入力するためのコントローラを備えていてよく、前記ロボットは、さらに、前記コントローラに入力された、前記ロボットに実行させるための接客サービスを実行してよく、前記学習手段は、さらに、前記状況認識手段にて認識された状況と前記コントローラに入力された接客サービスとの関係を、状況と当該状況に対する接客サービスとの前記関係として学習してよい。

この構成により、ロボットが学習モデルによる判断に従って接客サービスを実行するだけでなく、サービス提供者が必要な接客サービスを判断して、ロボットに実行させ、又は自分で実行することができるので、ロボットとサービス提供者との協働が実現され、学習手段はそのような協働によって実行された接客サービスを学習できる。

前記状況認識手段は、前記サービス享受者又は前記サービス享受者周辺を撮影して撮影画像を生成する撮影手段と、前記撮影画像に対して画像認識を行うことで、前記状況を認識する認識処理手段とを備えていてよい。

前記状況認識手段は、前記サービス享受者又は前記サービス享受者周辺の音声を受けて音声データを生成する収音手段と、前記音声データに対して音声認識を行うことで、前記状況を認識する認識処理手段とを備えていてよい。

前記状況認識手段は、前記サービス享受者の入力を受け付ける入力手段と、前記入力手段にて受け付けた入力に基づいて、前記状況を認識する認識処理手段とを備えていてよい。

前記感情認識手段は、前記サービス享受者を撮影して撮影画像を生成する撮影手段と、前記撮影画像に対して画像認識を行うことで、前記感情を認識する認識処理手段とを備えていてよい。

前記感情認識手段は、前記サービス享受者の音声を受けて音声データを生成する収音手段と、前記音声データに対して音声認識を行うことで、前記感情を認識する認識処理手段とを備えていてよい。

前記感情認識手段は、前記サービス享受者の音声を受けて音声データを生成する収音手段と、前記音声データに対して音声分析を行うことで、前記感情を認識する認識手段とを備えていてよい。

前記感情認識手段は、前記サービス享受者の操作を受け付ける入力手段と、前記入力手段にて受け付けた操作に基づいて、前記感情を認識する認識処理手段とを備えていてよい。

前記接客サービス判断手段は、前記状況に対する前記接客サービスとして、前記ロボットが実行すべき接客サービスであるか、前記サービス提供者が実行すべき接客サービスであるかを判断してよい。この構成により、学習モデルはロボットとサービス提供者との分担を学習できる。

前記コントローラは、前記状況認識手段にて認識された状況に基づいて前記接客サービス判断手段にて求められた、当該状況に対する接客サービスを提示してよい。この構成により、学習モデルが判断した接客サービスをサービス提供者が実行できる。

本発明の実施の形態の接客サービスシステムの全体構成及び配置を示す図 本発明の実施の形態の接客サービスシステムの構成を示すブロック図 本発明の実施の形態の飲食店において実行される接客サービスのフロー図 本発明の実施の形態のロボットと接客スタッフとの協働によって提供される接客サービスの例を示すフロー図 本発明の実施の形態のロボットと接客スタッフとの協働によって提供される接客サービスの例を示すフロー図 本発明の実施の形態のロボットと接客スタッフとの協働によって提供される接客サービスの例を示すフロー図 本発明の実施の形態のロボットと接客スタッフとの協働によって提供される接客サービスの例を示すフロー図 本発明の実施の形態のロボットと接客スタッフとの協働によって提供される接客サービスの例を示すフロー図

以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

図１は、本発明の実施の形態の接客サービスシステム１００の全体構成及び配置を示す図である。図１は、本発明の実施の形態の接客サービスシステム１００１が飲食店に設置される例を示している。図１に示すように、飲食店には、サービス享受者である客Ｃが利用する複数のテーブルＴが設置されており、各テーブルＴにはロボット１０とエージェント２０が備えられている。接客をするサービス提供者としての接客スタッフＳは、コントローラ３０を携帯している。

ロボット１０、エージェント２０、及びコントローラ３０は、各々情報処理装置４０（図２参照）と通信可能であり、本実施の形態では、無線ルータを介して無線通信が可能である。また、同じテーブルＴに設置されているロボット１０とエージェント２０とは互いに近距離無線通信によって通信可能である。

ロボット１０は、手、足、腰、首を駆動可能な人型ロボットである。また、ロボット１０は、テーブルＴに置かれても客Ｃの飲食の邪魔にならない程度の大きさであり、例えば、高さは２０ｃｍ程度である。ロボット１０は、胸部に表示パネル（図２の表示部１２に相当）を備えており、頭部にカメラ（図２の撮影部１４に相当）のレンズを備えており、口の部分にスピーカ（図２の音声出力部１３に相当）を備えており、耳の部分にはマイク（図２の収音部１５に相当）を備えている。

エージェント２０は、ロボット１０とともに各テーブルＴに備えられている。エージェント２０は、スマートフォンないしはタブレットのように、タッチパネル（図２の表示部２１及び入力部２２に相当）を備え、テーブルＴについた客Ｃが手に取って操作をできる形態の装置である。コントローラ３０もスマートフォンのように、タッチパネル（図２の入力部３１及び表示部３２に相当）を備え、接客サービスをする接客スタッフＳが携帯できる装置である。なお、コントローラ３０は、ウェアラブルな形態であってもよい。

図２は、接客サービスシステム１００の構成を示すブロック図である。接客サービスシステム１００は、ロボット１０、エージェント２０、コントローラ３０、及び情報処理装置４０を備えている。ロボット１０、エージェント２０、コントローラ３０、及び情報処理装置４０はいずれも通信部を備えており、ロボット１０、エージェント２０、及びコントローラ３０は、それぞれ情報処理装置４０と通信可能である。

図２には、ロボット１０、エージェント２０、及びコントローラ３０が各々１つ示されているが、実際には、図１に示すように、ロボット１０とエージェント２０の組は複数あり、コントローラ３０も複数あり、各々が情報処理装置４０と通信可能である。

図２に示すように、ロボット１０は、駆動部１１と、表示部１２と、音声出力部１３と、撮影部１４と、収音部１５と、通信部１６とを備えている。また、図示は省略するが、ロボット１０には、上記の各部を含むロボット全体を制御する制御部が設けられている。制御部は、プロセッサとメモリとを含み、プロセッサが本実施の形態の接客プログラムに従って上記の各部を制御する。

駆動部１１は、ロボット１０の手、足、腰、首を駆動する駆動機構及びモータを含む。表示部１２は、画像を表示する表示パネル及びその駆動回路を含む。なお、表示部１２は、タッチセンサを備えたタッチパネルであってもよい。音声出力部１３は、音声を出力するスピーカである。撮影部１４は、撮影をして画像を生成するカメラである。収音部１５は、音声を受けて電気信号に変換するマイクである。通信部１６は、無線通信によりエージェント２０の通信部２３及び情報処理装置４０の通信部と通信をする。

エージェント２０は、表示部２１と、入力部２２と、通信部２３とを備えている。表示部２１は画像を表示する表示パネルである。入力部２２は、客の操作入力を受け付けるタッチセンサであり、表示部２１に重ねられてタッチパネルを構成する。通信部２３は、ロボット１０の通信部１６及び情報処理装置４０の通信部４１と通信する。なお、ロボット１０の通信部１６との通信は近距離無線通信であってよい。また、入力部２２は、音声の入力を受け付けるマイクであってもよい。

コントローラ３０は、入力部３１と、表示部３２と、通信部３３とを備える。入力部３１は、接客スタッフの操作入力を受け付けるタッチセンサである。表示部３２は、画像を表示する表示パネルであり、入力部３１としてのタッチセンサとともに、タッチパネルを構成する。通信部３３は、情報処理装置４０の通信部４１と無線通信をする。

情報処理装置４０は、通信部４１と、状況認識部４２と、接客サービス判断部４３と、学習部４４と、感情認識部４５とを備えている。状況認識部４２、接客サービス判断部４３、学習部４４、感情認識部４５は、プロセッサとメモリを含む汎用のコンピュータが本実施の形態の情報処理プログラムを実行することで構成される。情報認識部４２０、接客サービス判断部４３、及び感情認識部４５は、それぞれ機械学習によって学習された学習モデルが記憶されている。学習モデルは、例えばニューラルネットワークであってよい。学習部４４は、接客サービス判断部４３の学習モデルの学習を行う。学習はディープラーニングであってよい。なお、学習部４４は、状況認識部４２及び感情認識部４５の学習モデルをも学習するものであってよい。

次に、上記のように構成された接客サービスシステム１００の動作を説明する。本実施の形態では、エージェント２０を操作する客、情報処理装置４０における情報処理の結果に従って動作するロボット１０、及びコントローラ３０を操作する接客スタッフの３者によって接客サービスの提供を実現する。

図３は、飲食店において実行される接客サービスのフロー図である。まず、客Ｃ及び客Ｃの周辺が観察されてその状況が認識される（ステップＳ３１）。次に、認識された状況に応じて、どのような接客サービスをすべきかが判断され（ステップＳ３２）、接客サービスが実行される（ステップＳ３３）。そして、そのような接客サービスによって客の感情がどのように変化したかが認識される（ステップＳ３４）。そして、その客の感情（反応）を踏まえて、当該状況で当該接客サービスをしたことが適切であったか否かを学習する（ステップＳ３５）。

ロボットを導入しない従来の飲食店では、図３のフローを個々の接客スタッフが行い、あるいは、経験を有する接客スタッフが経験の浅い接客スタッフをサポートしながら上記のフローを繰り返して、接客スタッフのＯＪＴ教育が行われていた。

昨今、機械学習の発展が目覚ましく、機械学習によって画像、音声、発話内容から人の感情を読み取る技術も提供されている。画像から感情を認識する技術は、例えば特開２００８－１４６３１８号公報や特開２０１２－５９１０７号公報に記載されており、音声分析によって感情を認識する技術は、例えば特開２０１０－１３４９３７号公報や特開２００３－２４８８３７号公報に記載されており、発話内容から感情を認識する技術は、例えば特開２０１６－９２５８２号公報や特開２０１６－９０７７６号公報に記載されている。

本実施の形態では、図３のフローをロボットと接客スタッフ（人）が協働することで、客への接客サービスを提供し、向上させていく。また、その過程で、ロボットと接客スタッフの役割分担についても学習していく。ロボット１０と接客スタッフＳとの協働の例を以下に説明する。

図４～８は、ロボット１０と接客スタッフＳが種々の役割分担をして接客サービスを行うフローを示す図である。図４～８において、左側の工程はロボット１０又はエージェント２０と情報処理装置４０が行う（以下では単にロボットが行うと表記する）ものであり、右側の工程は接客スタッフＳが行うものである。

図４の例では、状況認識はロボット１０が行い（ステップＳ３１ｒ）、ロボット１０で認識された状況に基づいて接客スタッフＳが必要な接客サービスを判断して（ステップＳ３２ｓ）、ロボット１０に指示をする。ロボット１０は、接客スタッフＳから指示された接客サービスを実行する（ステップＳ３３ｒ）。ロボット１０はさらに接客サービスをした後の客Ｃの反応として、客Ｃの感情を認識する（ステップＳ３４ｒ）。ロボット１０は、この客Ｃの感情を踏まえて、認識された状況に対して行った接客サービスを学習する（ステップＳ３５ｒ）。

図５の例では、接客スタッフＳが状況を認識して（ステップＳ３１ｓ）、必要な接客サービスを判断し（ステップＳ３２ｓ）、ロボット１０に指示をする。ロボット１０は、接客スタッフＳから指示された接客サービスを実行する（ステップＳ３３ｒ）。ロボット１０はさらに接客サービスをした後の客Ｃの反応として、客Ｃの感情を認識する（ステップＳ３４ｒ）。ロボット１０は、この客Ｃの感情を踏まえて、認識された状況に対して行った接客サービスを学習する（ステップＳ３５ｒ）。

図６の例では、接客スタッフＳが状況を認識して（ステップＳ３１ｓ）、認識した状況をロボット１０に伝えると、ロボット１０は、必要な接客サービスを判断して（ステップＳ３２ｒ）、接客サービスを実行する（ステップＳ３３ｒ）。ロボット１０はさらに接客サービスをした後の客Ｃの反応として、客Ｃの感情を認識する（ステップＳ３４ｒ）。ロボット１０は、この客Ｃの感情を踏まえて、認識された状況に対して行った接客サービスを学習する（ステップＳ３５ｒ）。

図７の例では、ロボットが状況を認識して（ステップＳ３１ｒ）、必要な接客サービスを判断する（ステップＳ３２ｒ）。接客スタッフＳは、ロボット１０にて判断された接客サービスを実行する（ステップＳ３３ｓ）。ロボット１０は、接客サービスをした後の客Ｃの反応として、客Ｃの感情を認識する（ステップＳ３４ｒ）。ロボット１０は、この客Ｃの感情を踏まえて、認識された状況に対して行った接客サービスを学習する（ステップＳ３５ｒ）。

図８の例では、接客スタッフＳが状況を認識して（ステップＳ３１ｓ）、必要な接客サービスを判断し（ステップＳ３２ｓ）、さらにその接客サービスを実行する（ステップＳ３３ｓ）。ロボット１０は、接客サービスをした後の客Ｃの反応として、客Ｃの感情を認識する（ステップＳ３４ｒ）。ロボット１０は、この客Ｃの感情を踏まえて、認識された状況に対して行った接客サービスを学習する（ステップＳ３５ｒ）。

以上のように、接客サービスシステム１００では、ロボット１０と接客スタッフＳとが役割分担をすることで、図３に示すフローを実行する。この場合に、ロボット１０と接客スタッフＳとの役割分担を固定するのではなく、接客スタッフＳができることややるべきことについては、接客スタッフＳが適宜対応し、ロボット１０ができることややるべきことについては、ロボット１０が適宜対応することで、結果として図４～８のような役割分担が実現される。ロボット１０は、さらに、このような役割分担も含めて学習を行う。これにより、単にロボット１０が接客スタッフＳの代替となるのではなく、ロボット１０と接客スタッフＳとが適切に協働ないし役割分担をすることによる質の高い接客サービスの提供が可能になる。

以下、図４～８の各例について、接客サービスシステム１００の各部の動作とともに、具体的な例を説明する。

図４の例では、まず、ロボット１０が状況を認識する（ステップＳ４３１ｒ）。状況認識部４１は、ロボット１０から得られる画像及び音声、並びにエージェント２０から得られる入力のそれぞれに基づいて状況を認識する。

まず、画像による状況認識について説明する。ロボット１０は、撮影部１４において所定のフレーム間隔で客Ｃないし客Ｃの周辺（例えばテーブルの上）を撮影し、通信部１６を介して撮影によって得られた撮影画像を情報処理装置４０に送信する。情報処理装置４０の通信部４１は撮影画像を受信し、状況認識部４１が学習モデルを用いてこの画像の内容を認識する。

例えば、撮影部１４にて料理を食べ終わった状態の皿の撮影画像が得られた場合に、状況認識部４１は、その撮影画像について画像認識を行い、料理を食べ終わった状態の皿の画像であると認識する。学習モデルには出力として複数の状況があらかじめ用意されており、学習モデルは、用意された各状況に撮影画像が該当する可能性を出力し、状況認識部４１は、その可能性が所定の閾値以上である状況が当該撮影画像に対応する状況であると判断する。

次に、音声による状況認識について説明する。ロボット１０は、収音部１５において、客Ｃの発話を受けて音声データに変換し、通信部１６を介して音声データを情報処理装置４０に送信する。情報処理装置４０の通信部４１は音声データを受信し、状況認識部４１が学習モデルを用いて音声認識を行い、この音声データの内容を認識する。例えば、客Ｃが「この料理のカロリーは高いのかなぁ」と発話して収音部１５にてその音声データが得られた場合に、状況認識部４１は、その音声データについて音声認識を行って、「この料理のカロリーは高いのかなぁ」という発話内容を認識する。

次に、客Ｃの入力による状況認識について説明する。エージェント２０は、入力部２２において、客Ｃの入力を受け付けて入力データを生成し、通信部２３を介して入力データを情報処理装置４４０の通信部４１に送信する。エージェント２０には、あらかじめ入力メニューが用意されており、客Ｃはこれを選択することで入力を行うことができる。また、客Ｃは、エージェント２０にテキストを入力することもできる。

情報処理装置４０の通信部４１は入力データを受信し、状況認識部４１がこの入力データの内容を認識する。例えば、客Ｃがおすすめメニューの紹介を要求する入力を行った場合に、状況認識部４１は、その入力データについて、客Ｃがおすすめメニューの紹介を要求しているという状況を認識する。

図４の例では、次に、接客スタッフＳは、状況認識部４１にて認識された状況を把握して必要な接客サービスを判断する（ステップＳ４３２ｓ）。このために、状況認識部４１は、認識結果を通信部４１に出力し、通信部４１は、認識結果をコントローラ３０に送信する。コントローラ３０の通信部３３は、状況認識部４１による認識結果を受信して、表示部３２に表示する。

例えば、状況認識部４１にて撮影画像から皿が空いているという状況を認識した場合には、コントローラ３０は、表示部３２にてその撮影画像とともに、状況認識部４１で認識された結果である皿が空いているという状況を示すテキストないしラベルを表示する。また、例えば、状況認識部４１にて音声データから「この料理のカロリーは高いのかなぁ」という発話内容を認識したら、コントローラ３０は、表示部３２にてその発話内容をテキストで表示する。また、例えば、状況認識部４１にて入力データからおすすめメニューの紹介を要求しているという状況を認識したら、コントローラ３０は、表示部３２にてその要求をテキスト又はラベルで表示する。

図４の例では、接客スタッフＳは、コントローラ３０の表示部３２に表示された内容を確認して、必要な接客サービスを判断し（ステップＳ４３２ｓ）、コントローラ３０の入力部３１を用いて、ロボット１０に実行させる接客サービスを指示する。ロボット１０が実行するサービスはあらかじめコントローラ３０においてメニューとして用意されており、接客スタッフＳは、それらのメニューの中から選択することでロボット１０に実行させる接客サービスを指示する。また、接客スタッフＳは、コントローラ３０に音声又はタッチ操作で発話内容を入力して、接客サービスとして当該発話内容をロボット１０に発話させることもできる。

コントローラ３０の通信部３３は接客スタッフＳによる指示を情報処理装置４０に送信し、情報処理装置４０の通信部４１はこれを受信する。情報処理装置４０は、コントローラ３０から受けた指示をロボット１０の通信部１６に送信するとともに、当該指示を状況認識部４１で認識された状況と関連付けて学習部４４に記憶する。

ロボット１０は、情報処理装置４０から送信されてきた指示を通信部１６で受信する。ロボット１０の駆動部１１及び音声出力部１３は、受信した指示に従って手足等を駆動し、かつ音声を出力することで接客サービスを実行する（ステップＳ４３３ｒ）。

例えば、接客スタッフＳが撮影画像から認識された皿が空いているという状況を把握した場合には、接客スタッフＳは、ロボット１０に皿を下げるか否かを客Ｃに問うよう指示することができる。また、接客スタッフＳが音声データから認識された「この料理のカロリーは高いのかなぁ」という発話内容を把握した場合には、接客スタッフＳは、ロボット１０に提供した料理のカロリー値を説明するよう指示することができる。また、接客スタッフＳが入力データから認識されたおすすめメニューの紹介を要求しているという状況を把握したら、おすすめメニューを紹介するようにロボット１０に指示をすることができる。

ロボット１０は、接客サービスを実行した後に、客Ｃの感情を認識する（ステップＳ４３４ｒ）。まず、ロボット１０の撮影部１４は、客Ｃの顔を撮影して撮影画像を生成し、通信部１６はこの撮影画像を情報処理装置４０に送信する。情報処理装置４０の通信部４１は撮影画像を受信して、感情認識部４５に出力する。感情認識部４５は、この撮影画像から客Ｃの感情を認識する。感情認識部４５は学習モデルを備えている。学習モデルは、撮影画像を入力として、喜怒哀楽等の感情の可能性（度合）を出力する。

また、ロボット１０の収音部１４０は、客Ｃの音声を入力して音声データを生成し、通信部１６はこの音声データを情報処理装置４０に送信する。情報処理装置４０の通信部４１は音声データを受信して、感情認識部４５に渡す。感情認識部４５は、この音声データから客Ｃの感情を認識する。

感情認識部４５は、客Ｃの音声データについて音声分析を行うことで、当該音声データの音量や周波数等に基づいて喜怒哀楽等の感情を認識する。また、感情認識部４５０は、客Ｃの音声データに対して音声認識を行って、発話内容を認識した上で、当該発話内容に基づいて客Ｃの感情を認識する。この場合にも学習モデルが利用される。学習モデルは音声データを入力として、喜怒哀楽等の感情の可能性（度合）を出力する。感情認識部４５は、認識した感情を学習部４４に渡す。なお、感情認識部４５による感情認識手法として、上掲の特許公報に記載された技術を用いることができる。

次に、学習部４４は、感情認識部４５にて認識された感情に従って、先に記憶されている状況と接客サービスとの関係を学習する（ステップＳ４３５ｒ）。学習部４４には、感情認識部４５にて認識される各感情について、正例又は負例の分類が記憶されている。感情認識部４５は、正例である感情が認識された場合には、状況と接客サービスとの組み合わせを正例として学習し、負例である感情が認識された場合には、状況と接客サービスとの組み合わせを負例として学習する。

このとき、学習部４４は、接客サービスをロボット１０が行ったものとして学習する。例えば、「皿が空いている」という状況について、「ロボット１０が皿を下げるか否かを問う」という接客サービスによって、客Ｃの感情が「喜び」と認識された場合には、「皿が空いている」という状況について、単に「皿を下げるか問う」という接客サービスを学習するのではなく、「ロボット１０が皿を下げるかを問う」という接客サービスを学習する。

このように、同じ接客サービスであっても、ロボット１０が行ったか接客スタッフＳが行ったかの情報（即ち、提供主体の情報）も含めて学習をすることで、学習の成果として、ロボット１０が行うか接客スタッフＳが行うかの提供主体の判断も可能となる学習モデルが得られる。学習部４４は、学習によって得られた学習モデルを接客サービス判断部４３に記憶する。

上記のように、図４の例では、接客スタッフＳが接客サービスの判断を行い、情報処理装置４０では、接客スタッフＳの判断で行った接客サービスによる客Ｃの反応を学習するので、接客スタッフＳの判断を情報処理装置４０にて学習することができる。

図５の例では、まず、接客スタッフＳが状況を認識する（ステップＳ５３１ｓ）。接客スタッフＳは、複数のテーブルが設置されたホールを巡回しており、自らの観察によって状況を認識する。接客スタッフＳは、さらに、認識した状況に対して必要な接客サービスを判断する（ステップＳ５３２ｓ）。接客スタッフＳは、例えば、テーブルＴ上のコップの水がなくなっているという状況を認識して、水を追加するかを客Ｃに問うという接客サービスが必要であると判断する。接客スタッフＳは、テーブルを特定した上で、認識した状況と必要であると判断した接客サービスとをコントローラ３０に入力する。

コントローラ３０の通信部３３は、接客スタッフＳによって入力されたテーブルと当該テーブルについての状況と接客サービスとの組み合わせを情報処理装置４０に送信する。情報処理装置４０の通信部４１は、これを受信して、学習部４４に記憶するとともに、指示された接客サービスの内容を該当するテーブルＴのロボット１０に送信する。ロボット１０の通信部１６は、接客サービスの内容を受信して、駆動部１１及び音声出力部１３を用いて該当する接客サービスを実行する（ステップＳ５３３ｒ）。

接客サービスを実行した後のロボット１０における感情認識（ステップＳ５３４ｒ）及び学習（ステップＳ５３５ｒ）の処理は図４の例と同様である。図５の例の場合には、学習部４４は、接客スタッフＳが認識した状況と判断した接客サービスとの関係を正例又は負例として学習することができる。

図６の例では、まず、接客スタッフＳが状況を認識し（ステップＳ６３１ｓ）、認識した状況を該当するテーブルを特定しつつ、コントローラ３０に入力する。コントローラ３０の通信部３３は、入力された状況を情報処理装置４０に送信する。情報処理装置４０の通信部４１はこれを受信して接客サービス判断部４３に渡す。

接客サービス判断部４３の学習モデルは、状況を入力として、入力された状況に対応して実行すべき接客サービスを出力とする。接客サービス判断部４３は、この学習モデルを用いて実行すべき接客サービスを判断する（ステップＳ６３２ｒ）。このとき、接客サービス判断部４３が判断した接客サービスがロボット１０によって実行されるべきものである場合には、情報処理装置４０の通信部４１は、接客サービス判断部４３で判断された接客サービスを実行する指示をロボット１０に送信する。

ロボット１０は、通信部１６にてこの指示を受信する。ロボット１０の駆動部１１及び音声出力部１３は、指示に従って接客サービスを実行する（ステップＳ６３３ｒ）。その後のロボット１０による感情認識（ステップＳ６３４ｒ）及び学習（ステップＳ６３５ｒ）の処理は、図４の例と同様である。

図６の例の場合には、接客スタッフＳが何らかの対応をすべきと気づいた場合にコントローラ３０に入力するだけで、ロボット１０が必要な接客サービスを自ら判断して実行することができる。また、本例では、ロボット１０が判断した結果を客Ｃの反応を踏まえて学習することができる。すなわち、接客サービス判断部４３がある状況に対してロボット１０がある接客サービスをすべきと判断したが、その接客サービスの結果、客Ｃの感情が悪化したのであれば、学習部４４は、そのような状況と接客サービスとの組み合わせを負例として学習し、そのような学習データが増えると、やがてロボット１０は当該状況に対して当該接客サービスは相応しくないと判断することになる。

図７の例では、ロボット１０が状況を認識し（ステップＳ７３１ｒ）、当該状況に対応する接客サービスを判断する（ステップＳ７３２ｒ）。このとき、接客サービス判断部４３が判断した接客サービスが接客スタッフＳによって実行されるべきものである場合には、情報処理装置４０の通信部４１は、判断された接客サービスを実行する指示をコントローラ３０に送信する。例えば、接客サービス判断部４３が状況に基づいて、接客スタッフＳがコップに水を足すという接客サービスであった場合に、通信部４１はその接客サービスの指示をロボット１０ではなくコントローラ３０に送信する。

コントローラ３０は、通信部３３にて指示を受信し、受信した指示の内容を表示部３２に表示する。接客スタッフＳは、表示部３２に表示された指示の内容を確認して、接客サービスを実行する（ステップＳ７３３ｓ）。その後のロボット１０による感情認識（ステップＳ７３４ｒ）及び学習（ステップＳ７３５ｓ）の処理は図４の例と同様である。

図７の例の場合には、接客スタッフＳによってしか実行できない接客サービスや接客スタッフが行った方が望ましい接客サービスを接客スタッフが行うことができ、この場合にも、状況の認識や認識した状況に対して必要な接客サービスの判断はロボット１０にて行うことができる。よって、接客サービスが気付かない状況についても気づくことができ、未熟な接客スタッフが判断できない接客サービスについてもロボット１０が接客スタッフに指示を与えることができる。

図８の例では、接客スタッフＳが状況を認識し（ステップＳ８３１ｓ）、必要な接客サービスを判断し（ステップＳ８３２ｓ）、接客サービスを実行する（ステップＳ８３３ｓ）。そして、接客スタッフＳは、認識した状況と実行した接客サービスとの組み合わせをコントローラ３００の入力部３１に入力する。コントローラ３００の通信部３３は、入力された状況と接客サービスとの組み合わせを情報処理装置４０に送信する。

情報処理装置４０は、通信部４１にてこれを受信して、学習部４４に記憶する。感情認識部４５は、上記と同様にして感情を認識し（ステップＳ８３４ｒ）、学習部４３０は、認識された感情に従って、コントローラ３００から受信した状況と接客サービスとの組み合わせを正例又は負例として学習する（ステップＳ８３５ｒ）。

図８の例によれば、特に、ロボットの学習が進んでいない場合に、接客スタッフが状況の把握、接客サービスの判断及び実行を行うという従来の接客サービスを行いつつ、その内容をコントローラ３０に入力することで、接客サービス判断部４０の学習モデルにおいて接客スタッフの判断を学習できる。このとき、仮に未熟な接客スタッフが状況に相応しない誤った接客サービスを行った場合にも、客Ｃの感情を認識して当該接客サービスを評価することで、そのような状況と接客サービスを負例として学習するので、接客サービスの判断ミスによって間違った学習がされることを回避できる。

以上説明したように、本実施の形態の接客サービスシステム１００は、接客サービスを受けた客Ｃの感情を感情認識部４４０で認識して、学習モデルの学習に活用するので、接客サービスを実行した後の客Ｃの反応に基づいて、接客サービスを判断する学習モデルの学習を行うことができる。

また、接客サービス判断部４３は、状況に応じた接客サービスを判断するが、その際に当該接客サービスがロボット１０によって提供すべきか接客スタッフＳによって提供すべきかを判断するので、状況処理部４３０の判断に従って接客スタッフＳとロボット１０との適切な協働ないし役割分担が実現される。

なお、上記の実施の形態では、ロボット１０と接客スタッフＳとの協働ないし役割分担について、図４～８の例を説明したが、この他の役割分担であってもよい。例えば、状況認識（ステップＳ３１）から接客サービスの実行（ステップＳ３３）までをすべてロボット１０で行ってもよいし、状況認識（ステップＳ３１）及び接客サービスの実行（ステップＳ３３）を接客スタッフＳが行い、接客サービスの判断（ステップＳ３２）をロボット１０で行うようにしてよい。

また、上記の実施の形態では、ロボット１０と情報処理装置４０とが別の装置として接客サービスシステム１００を構成していたが、情報処理装置４０の機能の一部又は全部が各ロボット１０に備えられていてもよい。この場合には、学習部４４で学習した結果を複数のロボット１０で共有するようにすることが望ましい。また、情報処理装置４０は、広域ネットワークを介して各ロボット１０と通信可能に接続されるものであってもよい。また、エージェント２０とロボット１０が一体となって構成されていてもよい。

さらに、上記の実施の形態における入力部２２、３１は、いずれもタッチパネル等の操作の入力を受け付けるモジュールであってもよいが、音声入力を受け付けるモジュールであってもよい。

また、上記の実施の形態では、ロボット１０と接客スタッフＳとの役割分担が固定されておらず、ロボット１０と接客スタッフＳとが適宜に図３のいずれかのステップを実行したが、ロボット１０と接客スタッフＳの役割が一部において固定されていてもよい。例えば、状況の認識はすべてロボット１０で行うようにしてもよく、あるいは、接客サービスの実行はすべて接客スタッフＳが行うようにしてもよい。このような、役割の一部固定は、例えば、接客サービス判断部４３における学習モデルの学習が進んでいない段階で有効である。

また、上記の実施の形態では、学習部４４において、感情認識部４５で認識される各感情について、それが正例であるか負例であるかが定義されており、認識された感情が正例である判断した場合には、当該感情を認識した状況と接客サービスとの関係を正例として学習し、認識された感情が負例であると判断した場合には、当該感情を認識した状況と接客サービスとの関係を負例として学習した。これに代えて、学習部４４は、認識された感情が正例であると判断した場合にのみ、当該感情を認識した状況と接客サービスとの関係を学習し、認識された感情が負例であると判断した場合には、当該感情を認識した状況と接客サービスとの関係を学習しないようにしてもよい。

上記の実施の形態では、接客サービスシステム１００が飲食店に応用される例を説明したが、接客サービスシステム１００は、例えば、会社やサービス施設（病院等）の受付、宿泊施設の客室内、飛行機等の乗り物内等、接客サービスが提供されるすべての場面に適用可能である。また、上記の実施の形態では、ロボット１０が人型ロボットであったが、ロボット１０の形態はこれに限らない。また、ロボット１０は、駆動部１１を備えていなくてもよい。

また、上記の実施の形態では、接客サービス判断部４３の学習モデルが判断する接客サービスには、当該接客サービスの提供主体（ロボット１０又は接客スタッフＳ）の情報を含むものであったが、提供主体の情報が「ロボット１０又は接客スタッフＳ」であってもよい。すなわち、接客サービス判断部４３が判断する接客サービスには、ロボット１０と接客スタッフＳのいずれが実行してもよいとされる接客サービスが含まれていてもよい。

また、接客サービス判断部４３は、学習モデルによって、提供主体を特定せずに提供すべき接客サービスを判断し、判断された接客サービスについて学習モデルを使わずに、あるいは別の学習モデルを用いて、提供主体を判断してもよい。この場合も、情報処理装置４３は、提供主体を「ロボット」、「接客スタッフ」、又は「ロボット又は接客スタッフ」のいずれかと判断してよい。

また、上記の実施の形態では、接客サービスに対する客の感情を学習したが、同じ人が同じ接客サービスを受けた場合にも、その客のその時の状態（デート、打ち上げ、喧嘩中、個人の生活の中での感情等）によって異なる感情を持つことがある。よって、そのような客のその時の状態も学習して、接客サービスを提供する際には、客の状態も加味して必要な接客サービスを判断するようにしてもよい。また、客の個人的な属性（年齢、性別等）やサービスの利用履歴を含めて学習を行ってもよい。この場合に、客の属性や利用履歴は例えば電子マネーから取得するようにしてよい。

以上のとおり、本発明の接客サービスシステム１００によれば、状況に応じて提供すべき接客サービスをサービス享受者の反応に基づいて学習できるという効果を有し、飲食店等において接客を行う接客サービスシステム等として有用である。

１０ ロボット
１１ 駆動部
１２ 表示部
１３ 音声出力部
１４ 撮影部
１５ 収音部
１６ 通信部
２０ エージェント
２１ 表示部
２２ 入力部
２３ 通信部
３０ コントローラ
３１ 入力部
３２ 表示部
３３ 通信部
４０ 情報処理装置
４１ 通信部
４２ 状況認識部
４３ 接客サービス判断部
４４ 学習部
４５ 感情認識部
１００ 接客サービスシステム
Ｔ テーブル
Ｃ 客
Ｓ 接客スタッフ

Claims (11)

1. サービス享受者に対して接客サービスを実行するロボットと、
   前記サービス享受者及び前記サービス享受者周辺の状況、又は前記サービス享受者周辺の状況を認識する状況認識手段と、
   サービス享受者の感情を認識する感情認識手段と、
   前記サービス享受者及び前記サービス享受者周辺の状況、又は前記サービス享受者周辺の状況に対する接客サービスを判断する学習モデルを備えた接客サービス判断手段と、
   前記学習モデルの学習を行う学習手段と、
   サービス提供者が、前記ロボットに実行させるための接客サービス及び自ら実行する接客サービスを入力するためのコントローラと、
   を備えた接客サービスシステムであって、
   前記ロボットは、前記状況認識手段にて認識された状況に基づいて前記接客サービス判断手段にて求められた、当該状況に対する接客サービスを実行し、
   前記学習手段は、前記状況認識手段にて認識された状況と前記ロボットが実行した接客サービスとの関係を、前記感情認識手段にて認識された感情に基づいて、状況と当該状況に対する接客サービスとの前記関係として学習し、
   前記ロボットは、さらに、前記コントローラに入力された、前記ロボットに実行させるための接客サービスを実行し、
   前記学習手段は、さらに、前記状況認識手段にて認識された状況と前記コントローラに入力された接客サービスとの関係を、状況と当該状況に対する接客サービスとの前記関係として学習し、
   前記接客サービス判断手段は、前記状況に対する前記接客サービスとして、前記ロボットが実行すべき接客サービスであるか、前記サービス提供者が実行すべき接客サービスであるかを判断する、接客サービスシステム。
2. サービス享受者に対して接客サービスを実行するロボットと、
   前記サービス享受者及び前記サービス享受者周辺の状況、又は前記サービス享受者周辺の状況を認識する状況認識手段と、
   サービス享受者の感情を認識する感情認識手段と、
   前記サービス享受者及び前記サービス享受者周辺の状況、又は前記サービス享受者周辺の状況に対する接客サービスを判断する学習モデルを備えた接客サービス判断手段と、
   前記学習モデルの学習を行う学習手段と、
   サービス提供者が、前記ロボットに実行させるための接客サービス及び自ら実行する接客サービスを入力するためのコントローラと、
   を備えた接客サービスシステムであって、
   前記ロボットは、前記状況認識手段にて認識された状況に基づいて前記接客サービス判断手段にて求められた、当該状況に対する接客サービスを実行し、
   前記学習手段は、前記状況認識手段にて認識された状況と前記ロボットが実行した接客サービスとの関係を、前記感情認識手段にて認識された感情に基づいて、状況と当該状況に対する接客サービスとの前記関係として学習し、
   前記ロボットは、さらに、前記コントローラに入力された、前記ロボットに実行させるための接客サービスを実行し、
   前記学習手段は、さらに、前記状況認識手段にて認識された状況と前記コントローラに入力された接客サービスとの関係を、状況と当該状況に対する接客サービスとの前記関係として学習し、
   前記コントローラは、前記状況認識手段にて認識された状況に基づいて前記接客サービス判断手段にて求められた、当該状況に対する接客サービスを提示する、接客サービスシステム。
3. 前記学習手段は、前記感情認識手段にて認識された感情に基づいて、状況と当該状況に対する接客サービスとの前記関係が正例であるか負例であるかを判断し、状況と当該状況に対する接客サービスとの前記関係を正例又は負例として学習する、請求項１又は２に記載の接客サービスシステム。
4. 前記学習手段は、前記感情認識手段にて認識された感情に基づいて、状況と当該状況に対する接客サービスとの前記関係が正例であるか負例であるかを判断し、正例であると判断した状況と当該状況に対する接客サービスとの前記関係を学習する、請求項１又は２に記載の接客サービスシステム。
5. 前記状況認識手段は、
   前記サービス享受者及び前記サービス享受者周辺、又は前記サービス享受者周辺を撮影して撮影画像を生成する撮影手段と、
   前記撮影画像に対して画像認識を行うことで、前記状況を認識する認識処理手段と、
   を備える、請求項１又は２に記載に記載の接客サービスシステム。
6. 前記状況認識手段は、
   前記サービス享受者又は前記サービス享受者周辺の音声を受けて音声データを生成する収音手段と、
   前記音声データに対して音声認識を行うことで、前記状況を認識する認識処理手段と、
   を備える、請求項１又は２に記載の接客サービスシステム。
7. 前記状況認識手段は、
   前記サービス享受者の入力を受け付ける入力手段と、
   前記入力手段にて受け付けた入力に基づいて、前記状況を認識する認識処理手段と、
   を備える、請求項１又は２に記載の接客サービスシステム。
8. 前記感情認識手段は、
   前記サービス享受者を撮影して撮影画像を生成する撮影手段と、
   前記撮影画像に対して画像認識を行うことで、前記感情を認識する認識処理手段と、
   を備える、請求項１～７のいずれかに記載の接客サービスシステム。
9. 前記感情認識手段は、
   前記サービス享受者の音声を受けて音声データを生成する収音手段と、
   前記音声データに対して音声認識を行うことで、前記感情を認識する認識処理手段と、
   を備える、請求項１～７のいずれかに記載の接客サービスシステム。
10. 前記感情認識手段は、
    前記サービス享受者の音声を受けて音声データを生成する収音手段と、
    前記音声データに対して音声分析を行うことで、前記感情を認識する認識処理手段と、
    を備える、請求項１～７のいずれかに記載の接客サービスシステム。
11. 前記感情認識手段は、
    前記サービス享受者の操作を受け付ける入力手段と、
    前記入力手段にて受け付けた操作に基づいて、前記感情を認識する認識処理手段と、
    を備える、請求項１～７のいずれかに記載の接客サービスシステム。

Images