JP6535783B1 - 接客支援システム - Google Patents

Abstract

【課題】客の要望を迅速に把握することを目的とする。【解決手段】本発明の情報処理装置（端末１００）は、ユーザの周囲の場景を撮影する撮影手段（撮影部１８０）と、前記ユーザが発話した内容を取得する音声取得手段（音声入力部１９０）と、該撮影された画像に基づいて、該取得した音声を解析する解析手段（解析部１３０、情報生成部１１０）と前記解析の結果を出力する出力手段（出力部１２０）とを有する。【選択図】図３

Description

本発明は、接客を支援する技術に関する。

客からの商品の注文の受付や会計などを支援するためのシステムがある。このようなシステムを用いれば、接客員に口頭で注文内容を伝えることなく、顧客に注文品を提供することができる。

特開２０１４-６３５１６号公報

しかし、機器の操作に不慣れな客がいた場合、あるいは要望の性質上端末装置の操作によってはその要望に対応することが困難である場合、客は接客員を呼ぶことになる。とはいっても、予算の関係上や人材不足等の要因によって、接客員を配置することはなかなか困難なのが実情である。この結果、客の満足度が下がる懸念がある。あるいは、そもそも接客に不満を持っていても、接客員を呼ぶのに躊躇する客も少なくない。この場合、接客について客が抱く不満を解消することができない。
さらに、接客員が適切な応対を行った結果、客の要望が満たされたとしても、客は接客員を呼ぶ時点では既に一定の不満やストレスを溜めている場合も多く、その店のサービスに対する印象の悪さが完全に払拭されるとは限らない。

このように、従来の接客支援システムには改善の余地があった。本発明は、客の要望を迅速に把握することを目的とする。

本発明は、一の態様において、ユーザの周囲の場景を示す画像を取得する画像取得手段と、前記ユーザの発話に係る音声を取得して当該発話の内容を特定する音声取得手段と、該取得された画像が示す前記ユーザの動作に基づいて、当該ユーザの発話の意図を判定し、該判定の結果に基づいて、従業員の前記ユーザに対する応対の要否または内容を示す応対要否情報を生成する解析手段と、前記応対要否情報を従業員端末へ出力する出力手段とを有する情報処理装置を提供する。

本発明によれば、客の要望を迅速に把握することができる。

接客支援システム１０の概要図。 端末１００の設置状態を示す図。 端末１００の機能ブロック図。 サーバ２００の機能ブロック図。 端末１００の動作例を示す図。 端末１００の画面に表示される内容の例（その１）。 端末１００の画面に表示される内容の例（その２）。 端末１００の画面に表示される内容の例（その３）。 端末１００の画面に表示される内容の例（その４）。 端末１００の画面に表示される内容の例（その５）。 端末１００の画面に表示される内容の例（その６）。 端末１００の画面に表示される内容の例（その７）。 端末１００の画面に表示される内容の例（その８）。

図１は接客支援システム１０の概要を示す。接客支援システム１０は、端末１００とサーバ２００と従業員端末３００とを含む。スタッフＳＴＦ１およびＳＴＦ２は、フロアにいて客にサービスを行う従業員である。従業員には、料理をテーブルまで運ぶウエイトレス、ボーイ、あるいは管理監督するフロアマネージャー等が含まれる。スタッフＳＴＦ３は厨房にいて料理を作る料理人である。なお、従業員の役割が明確となっている必要はない。以下では単に従業員という。

端末１００（端末１００−１、１００−２、１００−３）は、サービス提供を受ける１以上の客に対応して設けられる。また、端末１００の数は例示である。
サーバ２００は、端末１００および従業員端末３００（従業員端末３００−１、３００−２、３００−３）と通信する。
各従業員端末３００（従業員端末３００−１、３００−２、３００−３）は、従業員に携帯されまたは店舗に据え付けられ、サーバ２００と無線通信を行う機能および情報画像または音声により通知する機能を備えた情報処理端末であって、接客員や料理人など従業員に情報を通知する。各従業員端末３００は、サーバ２００と無線通信を行い、接客その他の指示をサーバ２００から受信すると、従業員に情報を通知する。同図に示される従業員端末３００の数は例示である。

図２は端末１００の設置状態を示す。端末１００は、テーブル、カウンター、サービス提供を受ける一人のユーザまたは一つのユーザグループに対して少なくとも一つ以上設けられる。この例では、サービスの提供を受ける４人の客ＣＳＴ１〜客ＣＳＴ４（以下、ユーザという）が着席する一つのテーブルＴＢＬ１の上に置かれたタブレット型情報端末である。端末１００は、マイクカメラ１０１とスピーカ１０２とタッチパネル１０３とを含む。なお、端末１００の形態や設置位置は一例であって、例えば壁掛け等であってもよい。

マイクカメラ１０１は、テーブルＴＢＬ１や客ＣＳＴを含む場景を撮影するとともに、客ＣＳＴの発話を含む環境音を集音する。
スピーカ１０２は、ユーザへの情報を音声により通知するためのスピーカである。
タッチパネル１０３は、タッチパネル付きの表示装置であって、注文や呼出し等のサービス提供を受けるために客ＣＳＴによって操作されて情報や指示が端末１００に入力されるとともに、文字や画像によって客ＣＳＴにサービス内容その他の情報を表示するデバイスである。

なお、テーブル、飲食の内容、飲食物の提供の形態、着席、座席位置、人数は例示である。
なお、マイクカメラ１０１および／またはスピーカ１０２は、タッチパネル１０３と別体として設けられてもよい。スピーカ１０２は省略してもよい。この場合は、情報のユーザへの通知は文字や画像のみによって行われる。要は、端末１００を用いて、ユーザに注文の受付その他のサービスに関する要求に係る入力操作や、メニュー等のサービス内容に関する情報の閲覧をさせる一方、少なくとも一人のユーザの声、およびユーザの周囲の場景を示す画像を端末１００が取得できればよい。ユーザの周囲の場景とは、例えば、提供されている料理の内容、数、料理が消費される状況などが反映されたテーブルの画像およびユーザの状況（飲食などの動作や行為の内容、飲食のスピードなどの行為の態様、表情など）サービスの提供（飲食）を受けている状況を示す画像のうち少なくともいずれかを含む。なお、取得される画像は、静止画であっても動画であってもよい。

図３は端末１００の機能ブロック図である。端末１００は、情報生成部１１０と出力部１２０と解析部１３０と操作部１４０と計時部１５０と記憶部１６０と撮影部１８０と画像処理部１８１と音声入力部１９０と音声信号処理部１９１とを含む。

操作部１４０は、例えばタッチパネル１０３として実現され、ユーザによって操作される。

計時部１５０は、クロック回路等によって実現され、情報生成部１１０によって適宜参照され、現在時刻の情報を提供する。

撮影部１８０および画像処理部１８１は、マイクカメラ１０１として実現される。撮影部１８０は、光学系、レンズ、撮影機構、受光素子、制御機構を含み、端末１００の周囲の（換言するとユーザの周囲の）場景を撮影する。画像処理部１８１は、画像処理プロセッサによって実現され、撮影部１８０にて撮影された画像のデータから、周知のアルゴリズムを用いて、撮影された場景の特徴量を抽出する。特徴量とは、例えば、テーブルの上の皿の有無、皿の料理が消費されている程度、ユーザの表情、ユーザの口の動きや箸の動きを含む各種動作の内容やタイミングである。特徴量の抽出タイミングは、例えば所定フレーム数ごとに実行する。撮影部１８０および画像処理部１８１は、ユーザの周囲の場景を示す画像を取得する画像取得手段として機能する。生成された特徴量は、リアルタイムもしくは所定の時間間隔で、解析部１３０へ供給される。

音声入力部１９０および音声信号処理部１９１は、マイクカメラ１０１として実現される。音声入力部１９０は、コンデンサマイクである。音声信号処理部１９１は、音声入力部１９０にて取得した波形データから、ノイズ除去処理や音声認識処理を行ってテキストデータを生成する音声信号処理プロセッサを含む。音声入力部１９０および音声信号処理部１９１は、ユーザの発話に係る音声を取得する音声取得手段として機能する。すなわち、ユーザの発話が集音されて、発話の内容を付ける情報（単語やフレーズなど）を生成する。生成された発話の内容を特徴づける情報は、解析部１３０へ供給される。

解析部１３０は、汎用又は専用の１以上のプロセッサによって実現され、画像取得手段にて取得された画像と音声取得手段にて取得された音声とを用いて、ユーザの発話を解析する解析手段として機能する。ここで発話を解析するとは、音声解析により抽出された単語の辞書的な意味を特定するにとどまらず、発話がなされた背景や状況、発話の意図等を決定することである。例えば、一般的に、ある単語を発したことを検出したとしても、指示代名詞など意味を一義的に決定することができなかったり、辞書的な意味においては明確だったとしても、独り言なのかあるいは他の人への指示として発言されたなど等の状況や背景を判別できない場合がある。

この点に鑑み、解析部１３０は、場景を示す画像を用いて、発話の内容を特定するほか、意図、背景などのより深いレベルの情報を抽出することを試みる。
例えば、解析部１３０は、撮影された画像に基づいて、該取得した音声内容を解析し、該撮影されたユーザの動作に基づいて、該取得された発話が注文の内容を意味するか否かを判定する。解析の結果は、情報生成部１１０に供給される。あるいは、解析部１３０は、撮影された画像に基づいて決定された飲食の進進行度に応じて、発話が注文の内容を意味するか否かを判定する。この際、音声解析により抽出された語が指示代名詞や感嘆詞など以外の、有意な語である場合、画像に加えて当該語の意味を加味して、発話を解析してもよい。

注文の内容を意味すると判定した場合、当該注文の品を示すテキスト情報に注文品であ
ること示すフラグ情報が付加され、情報生成部１１０へ供給される。情報生成部１１０では供給された情報に基づいて注文情報が生成される。
注文の内容を意味しないと判定した場合は、商品および／またはサービスに対するユーザの感想、評価、不満、要望等（以下、感想等という）を意味するものであるか否かが判定される。具体的には、その発話部分の音声データを切り出してまたはその発話内容を示すテキスト情報に変換して、感想等の情報であることを示すフラグ情報を付加し、情報生成部１１０へ供給する。
注文の内容でも感想等でもないと判定された場合は、情報生成部１１０に供給される情報はない。

情報生成部１１０は、汎用又は専用の１以上のプロセッサによって実現され、記憶部１６０から制御プログラムを読み出して実行することによって端末１００の各部を制御する。具体的には、解析部１３０から供給された情報（解析結果）と、操作部１４０および計時部１５０から供給される信号に基づき、また必要に応じて記憶部１６０から読み出した情報を用いて、出力部１２０へ、通知の実行命令および通知の内容を含む情報を生成して出力部１２０に出力する。
具体的には、解析部１３０にて生成された１回以上の解析結果、操作部１４０から取得した操作内容、解析部１３０にて生成された解析結果および操作部１４０から入力された操作信号、計時部１５０から取得したタイミング情報、および記憶部１６０から読み出したユーザ属性のうち、少なくともいずれか一つに基づいて、上記情報が生成される。

情報生成部１１０にて生成される情報には、以下の４つの種類がある。第１は、操作部１４０またはい音声入力部１９０にて受付けた注文に関する情報（注文の品や提供のタイミングについての情報）であって、主として従業員端末３００−３へ提供されるもの（注文情報という）である。第２は、主として従業員端末３００−１、３００−２へ送信される情報であって、操作部１４０から入力された信号または情報生成部１１０が解析部１３０からの情報に基づいて生成された、従業員の応対の要否や具体的な接客内容（（例えば、ユーザの要望を尋ねる、水を提供する、皿を下げるなど））に関する情報（応対要否情報という）である。第３は、表示部１２１または音声出力部１２２へ供給されて、ユーザへの各種通知や、提案、要求等を行うための情報（ユーザ支援情報という）である。第４は、商品および／またはサービスに対するユーザの感想、評価、不満、要望等（以下、感想等という）の情報（フィードバック情報という）である。

応対要否情報やユーザ支援情報の生成方法については、例えば以下のように実行される。
操作部１４０にて同じような操作をユーザが繰り返していると検知されるなど、撮影されたユーザの動作から注文操作がうまくっていないと推定される場合、「うまくいかないなあ・・」、「あれ？」、「マグロがみつからないな・・・」といった発話があったことが解析部１３０にて検出された場合、あるいは撮影された画像から、空いた皿がテーブルにたまっている、ユーザの表情がこわばっている、ユーザがキョロキョロしている（顔の向きの変化が激しい）といった場景が解析部１３０にて解析された場合、情報生成部１１０は、操作がうまくいっていない、皿を下げて欲しい、会計方法が分からない等、ユーザが何らかの不満や要求を抱えていると推測し、推測の内容に基づいて、操作を支援する画面の生成や従業員による応対の必要性を判定し、該判定の結果や判定結果に基づいて、応対情報やユーザ支援情報を生成する。

ユーザ支援情報には、撮影された場景に対応した商品またはサービス（レコメンドする商品など）を特定するための情報、注文に関する操作を支援するための情報ユーザの感想や評価の提供を促すためのメッセージが含まれてもよい。また、ユーザ支援情報は、情報に対応した画像を含んでいてもよい。場景に対応した画像とは、例えば、ユーザの注文の
内容（量や種類）、注文のスピードやタイミングに応じて決定される商品やサービスに関連する情報であってもよいし、キャラクタの画像やアバター画像などの商品やサービスとは直接関係のない情報であってもよい。このような画像を表示することで、注文操作時のエンターテインメント性が向上する。

ユーザ支援情報のうち商品情報の提案に関しては、ユーザが笑っている、上機嫌である、満足している、皿が空になる（飲食のペース）が標準よりも速いという解析結果を取得した場合、情報生成部１１０は、直前の注文内容と同一の内容の注文を行うように勧めるべきであると判定してもよい。飲食のペースに関しては、例えば一品の飲食に要する標準的な時間を記憶部１６０に記憶しておき、この標準的な時間と解析部１３０の解析結果から算定される時間とを比較することにより、飲食のペースを決定する。
また、記憶部１６０に被写体のユーザについてのユーザ属性に、そのユーザが好んで注文する商品の内容や来店タイミングに関する情報が含まれている場合において、情報生成部１１０は、今回の注文内容がいつもの注文品と異なる場合に、いつもの商品を提案し、あるいは、似たようなユーザ属性を有する他のユーザの注文履歴に基づいて、商品を提案すべきであると判定してもよい。
また、情報生成部１１０は、「これ、すごくおいしい！」、「またこの店にこようね」、「さっきの従業員の態度はどうかな・・・」といった、商品やサービスに対する感想等や評価を意味すると推定される発話が解析部１３０にて確認された場合、その評価の提供を依頼する機会が到来したと判断し、ユーザに対して依頼を実行すべきであると判定してもよい。

注文情報に関し、情報生成部１１０は、操作部１４０から受付けた注文のタイミングと、解析部１３０にて生成された場景の解析結果に基づいて、飲食物を提供するタイミングを調整してもよい。例えば、解析部１３０にてユーザの発話量が多い、テーブル上の料理が消費されるスピードが遅い、橋やフォークを持っている時間が短いといった解析結果が得られた場合、操作部１４０にて受付けた注文の場合、提供タイミングを意図的に遅らせる指示を生成して注文情報に内包させる。逆に、飲食スピードが速いと判断した場合は、この注文に係る品の提供のタイミングを急ぐ（他のユーザの注文よりも優先させることを示すフラグ情報を生成する。提供タイミングは、既に適用されている料理の種類やユーザ属性に基づいて決定してもよい。

フィードバック情報に関し、発話内容（音声データ）や映像（顔の表情など）そのものをフィードバック情報に含ませてもよいし、情報生成部１１０は音声データや画像データを加工して得られた情報を生成してもよい。例えば、注文情報に対応付けて、注文品の識別ＩＤ，注文時刻、満足度の指標（例えば５段階の「２」という情報が生成される。

記憶部１６０は、ハードディスクや半導体メモリ等の記憶デバイスであって、後述する端末１００の動作を実現するためのＯＳプログラムのほか、メニューの表示および注文の受付を行うための画面の生成（ユーザインタフェース）を実現するためのプログラムが記憶される。
加えて、記憶部１６０には、ユーザ属性が記憶される。ユーザ属性とは、ユーザの年齢・性別などの情報ほか、商品へサービスとのユーザの関係（注文内容の履歴、来店の履歴、回数頻度など）を含んでいてもよい。

また、記憶部１６０には、撮影部１８０や音声入力部１９０にて取得され、場景が反映された画像や音声のデータ、または解析部１３０にて生成された解析結果（ユーザの発話の内容を含む）が記憶される。なお、撮影部１８０や音声入力部１９０にて基づいて生成されたデータはユーザのプライバシーに関する情報が含まれている可能性が高いので、一定時間が経過すると削除されるか、解析部１３０にて個人が特定されない情報に加工され
て上で記憶されることが好ましい。

出力部１２０は、表示部１２１と音声出力部１２２と通信部１２３を含み、情報生成部１１０から供給された解析部１３０の解析の結果が反映された情報を出力する。具体的には、表示部１２１及び音声出力部１２２によってユーザへの通知が行われ、通信部１２３によってサーバ２００または従業員端末３００への情報の提供が行われる。

表示部１２１は、液晶パネルや駆動回路を含み、タッチパネル１０３として実現される。表示部１２１は、文字や画像によってユーザに対して情報を通知する。音声出力部１２２は、マイクやＡ／Ｄ変換回路を含み、スピーカ１０２として実現される。音声出力部１２２は、音声によって情報の通知をユーザに対して行う。表示部１２１および音声出力部１２２は同一の情報を通知してもよいし、異なる情報を通知してもよい。前者の場合、表示部１２１および音声出力部１２２の一方を省略してもよい。

通信部１２３は、ＩＥＥＥ等の所定の無線通信規格に従って情報をサーバ２００へ送信するための通信モジュールとして実現され、注文情報、応対情報、フィードバック情報をサーバ２００へ送信する。サーバ２００へ送信される情報は、その情報の送信元の端末１００の各々を識別するための情報と紐づけられて送信され、サーバ２００に記憶される。

図６に出力部１２０によってタッチパネル１０３に表示される画面ＳＣ１を示す。この例では、端末１００は回転寿司店に設置され、ユーザの操作によって注文を受付ける機能を有するものである。具体的には、画面ＳＣ１は、オブジェクトＯＢ１０、オブジェクトＯＢ１１、オブジェクトＯＢ１２、オブジェクトＯＢ１３、オブジェクトＯＢ３０、オブジェクトＯＢ３１、オブジェクトＯＢ４０、オブジェクトＯＢ４１、オブジェクトＯＢ４２によって構成される。ユーザが各オブジェクトをタッチすることで所望のオブジェクトが選択される。

オブジェクトＯＢ１０、オブジェクトＯＢ１１、オブジェクトＯＢ１２、オブジェクトＯＢ１３は、商品の種類を選択するためのものである。オブジェクトＯＢ２０は、商品（この例では寿司）の一覧を表示して、ユーザに注文したいものを選択させる。オブジェクトＯＢ３０は、オブジェクトＯＢ２０にて選択された商品を表示する。オブジェクトＯＢ３１が選択されると、オブジェクトＯＢ３０に表示されている商品の注文が確定する。

オブジェクトＯＢ４０およびオブジェクトＯＢ４１は、画面遷移を行うためのオブジェクト（ソフトボタン）である。オブジェクトＯＢ４２は、従業員を呼出したいときに選択される。
ユーザは、注文を行う場合、オブジェクトＯＢ２０内に表示されたオブジェクトを選択してオブジェクトＯＢ３０内にドラッグし、オブジェクトＯＢ３１を選択すると、情報生成部１１０にて注文情報が生成され、通信部１２３を介してサーバ２００へ送信される。オブジェクトＯＢ４２が選択されると、従業員呼出しの指示が情報生成部１１０にて生成され通信部１２３を介してサーバ２００へ送信される。

図４はサーバ２００の機能ブロック図である。サーバ２００は、通信部２１０と制御部２２０と記憶部２４０とを含む。通信部２１０は、各端末１００および各従業員端末３００との間で情報の送受信を行うための通信インタフェースである。記憶部２４０はハードディスクや半導体メモリ等の情報記憶デバイスであって、後述のサーバ２００の動作を実現させるためのプログラムを記憶する。

制御部２２０は、スタッフ管理部２２１と発注管理部２２２とフィードバック管理部２２３とを含む。スタッフ管理部２２１は、端末１００から受信した通知情報に、ユーザか
ら呼出しがあったことを示す情報や、その他従業員による応対が必要であることを示す情報が内包されている場合、従業員端末３００−１、３００−２、３００−３のうち、通知情報に対応する少なくとも一つ以上の従業員端末３００へ指示を送信する。

スタッフ管理部２２１は、端末１００から注文情報を受信すると、従業員端末３００−３へ送信する。なお、スタッフ管理部２２１は、他のテーブルから受けた注文の状況を加味して、注文情報に内容される注文タイミングに関する情報を書き換えてもよい。

フィードバック管理部２２３は、端末１００から受信した注文の内容や提供のタイミングについての情報および従業員の呼出しに関する情報を従業員端末３００へ送信する。具体的には、注文情報については従業員端末３００−３へ送信し、応対要否情報については従業員端末３００−１および従業員端末３００−２の少なくともいずれかに送信する。

図５に端末１００の動作例を示す。端末１００は、所定のタイミングで、断続的に、画像の取得（Ｓ５０２）および音声の取得（Ｓ５０４）を行って、取得した画像データおよび音声データを解析する（Ｓ５０６）。なお、音声の取得タイミングと映像の取得タイミングとは一致している必要がない。取得した画像と音声とが時間的に対応付けてられていればよい。

情報生成部１１０は、解析部１３０における解析の結果に基づいて、ユーザが注文入力の操作に手間取っているかなど注文の支援が必要か否かを判定し（Ｓ５０８）、必要と判定した場合（Ｓ５０８：ＹＥＳ）、注文操作を支援するための画面を生成する（Ｓ５１０）。

図７は、Ｓ５１０においてタッチパネル１０３に表示される画面ＳＣ２である。画面ＳＣ２においては、オブジェクトＯＢ５０〜オブジェクトＯＢ５３が、通常の画面に重ねて表示される。オブジェクトＯＢ５０〜５３は、例えば、同一ページを閲覧して同一の品を選択しているがオブジェクトＯＢ３０へのドラッグ操作がなされていない、あるいは「マグロ」と発話しながら所定期間以上画面を見つめているなど、マグロを注文したいであろうと推定される場合に、表示される。

オブジェクトＯＢ５０の内容を理解したユーザがオブジェクトＯＢ５１を選択すると、マグロの注文が確定する。これにより、オブジェクトＯＢ３０およびオブジェクトＯＢ３１に対する操作を行うことなく、マグロの注文が確定する。具体的には、情報生成部１１０はマグロの注文が注文されたことを示す注文情報を生成する。

ユーザがオブジェクトＯＢ５２を選択すると、操作を説明するための画面（図示省略）が表示される。ユーザがオブジェクトＯＢ５３を選択すると、オブジェクトＯＢ５０〜５３の表示を終了し、表示内容は図６の画面に戻る。

注文の支援が必要でない場合（Ｓ５０８：ＮＯ）、情報生成部１１０は商品の提案を行うことが妥当か否かを判定する（Ｓ５１２）。妥当と判定された場合（Ｓ５１２：ＹＥＳ）、情報生成部１１０が提案内容を生成し、タッチパネル１０３に当該提案内容が表示される（Ｓ５１４）。

情報生成部１１０は、例えば、テーブルに置かれたグラス内の飲料が残り少なくなった場合、スープ類を除く複数の品を連続してした場合、前回の注文から所定時間が経過しても注文がなされなかった場合、干物などの喉が渇きやすい品を注文した場合など、ユーザが飲み物を欲していると推定される場合、飲み物を提案するべきであると判断する。

図８は、タッチパネル１０３の画面に表示される画面ＳＣ３を示す。画面ＳＣ３はオブジェクトＯＢ５４、オブジェクトＯＢ５５、オブジェクトＯＢ５６、オブジェクトＯＢ５７が重ね表示される。この例では、飲み物を提案するべきと判断された場合を示している。
オブジェクトＯＢ５４の提案内容に興味を持ったユーザがオブジェクトＯＢ５５を選択すると、メニュー（図示省略）が表示される。注文したい品が決まっているユーザがオブジェクトＯＢ５６を選択すると、端末１００は発話内容を受付け、発話内容に含まれる品が注文であると判定し、その注文を確定させる。この提案に興味のないユーザがオブジェクトＯＢ５７を選択すると、オブジェクトＯＢ５４~オブジェクトＯＢ５７が消去され、表示内容は直前の画面に戻る。

あるいは、情報生成部１１０はこれまで注文品の傾向および／またはユーザ属性に記述される嗜好情報に基づいて、提案する品を決定してもよい。
図９は端末１００の画面に表示される内容の画面ＳＣ４である。画面ＳＣ４では、オブジェクトＯＢ５８、オブジェクトＯＢ５９、オブジェクトＯＢ６０が重ね表示される。オブジェクトＯＢ５８のメッセージに興味を持ったユーザがオブジェクトＯＢ５９を選択すると、お勧め品の一覧（図示省略）が表示される。このメッセージに興味がないユーザがオブジェクトＯＢ６０を選択すると、オブジェクトＯＢ５８〜オブジェクトＯＢ６０が消去され、表示内容は直前の画面に戻る。
あるいは、お勧め品の存在が通知されるのではなく、図１０に示すように、おすすめの内容が提示されてもよい（オブジェクトＯＢ６１）。

情報生成部１１０は、現状では提案が妥当でないと判定した場合（Ｓ５１２：ＮＯ）、音声入力部１９０にて取得した発話の内容が提供品やサービスに関する感想等を述べてものであるか否かを判定する（Ｓ５１６）。具体的には、情報生成部１１０は、発話内容から、接客態度や、注文した料理についての感想等であると推測される発言がなされたか否かを判定する。感想等であると判定された場合、ユーザに端末１００が取得した感想等が反映された音声や画像を接客支援システム１０の運営者あるいは端末１００が設定された店舗の運営側へ提供することについての承諾を求める（Ｓ５１８）。

ユーザが承諾した場合（Ｓ５２０：ＹＥＳ）、情報生成部１１０は一時的に記憶部１６０に記憶しておいた発話内容を、発話を取得したタイミングや発話したユーザ（あるいは当該ユーザと同一の場景を共有しているユーザ）の属性に対応付けて、サーバ２００に送信する。発話内容を受信したサーバ２００は、記憶部２４０に記憶する（Ｓ５２２）。

Ｓ５１８において端末１００に表示される画面ＳＣ６を図１１に示す。画面ＳＣ６において、オブジェクトＯＢ６２、オブジェクトＯＢ６３、オブジェクトＯＢ６４が重ね表示される。画面ＳＣ６において、オブジェクトＯＢ６２の内容を確認し感想等の提供を承諾したユーザが、オブジェクトＯＢ６３を選択すると、情報生成部１１０は、当該感想等を示す音声または映像データそのもの、あるいは当該音声または映像データから生成された記憶部１６０から読み出してフィードバック情報を生成し、通信部１２３を介してサーバ２００へ送信する。感想等の提供に承諾しなかったユーザがオブジェクトＯＢ６４を選択すると（Ｓ５２０：ＮＯ）、オブジェクトＯＢ６２〜オブジェクトＯＢ６４が消去され、直前の画面に戻る。

感想等が検出されていなかった場合（Ｓ５１６：ＮＯ）、続いて情報生成部１１０は、従業員の応対の要否を判定する（Ｓ５２４）。例えば、情報生成部１１０は発話内容に従業員の対応を希望するような表現がある、あるいはユーザ同士の声が大きい、喧嘩しているような動作が検出された場合に、従業員の応対が必要であると判定する。
応対が必要と判定された場合（Ｓ５２４：ＹＥＳ）、情報生成部１１０は応対要否情報
を生成し、通信部１２３を介してサーバ２００へ送信する。対応不要と判定した場合（Ｓ５２４：ＮＯ）、処理はＳ５０２へ戻る。

図１２は、対応が必要と判定された場合に、端末１００に表示される画面ＳＣ７である。画面ＳＣ７において、オブジェクトＯＢ６５、オブジェクトＯＢ６６、オブジェクトＯＢ６７が重ね表示される。ユーザがオブジェクトＯＢ６を選択すると、応対要否情報の生成およびサーバ２００への提供が実行される（Ｓ５２６）。

従業員への要求内容が具体的に情報生成部１１０にて特定された場合は、図１３に示すような画面ＳＣ８を表示してもよい。画面ＳＣ８において、オブジェクトＯＢ６６が選択されると、サーバ２００を介して従業員端末３００−１または従業員端末３００−２へ、テーブルの片付けを指示する情報が送信される。オブジェクトＯＢ６８が選択されると、オブジェクトＯＢ６８〜オブジェクトＯＢ７０が消去されて直前の画面に戻る。
以後、Ｓ５０２〜Ｓ５２６を繰り返す。

上記実施例によれば、音声および映像という観点から場景が分析される。そして、この分析の結果に基づいて、商品やサービスに対する客の要望が推定でき、推定された要望に沿ったサービスを提供することができる。この要望には接客についてのものが含まれている場合、応対の必要性が自動的に判定され、必要のときのみ従業員に応対させるように指示が通知される。これにより、サービス品質を保つために接客員を過剰に配置する必要がない。
加えて、上記実施例によれば、客の事前の承諾を得たのち客のサービスに関する感想等が取得される。この際、承諾の要求が、場景に基づいて適切であると判定されたタイミングで実行されるので、客の気分を害す虞が軽減され、アンケートに協力してもらえる可能性が高まる。

なお、図６のＳ５０８、Ｓ５１２、Ｓ５１６、Ｓ５２４の各判定ステップは、全て実行される必要はなく、少なくとも一つが実行されればよい。また、各判断ステップを実行するタイミングや順序は任意である。

端末１００は、ユーザが着席した時など、ユーザが注文を行う準備が整ったか否かを判定し、準備が整ったと判定した場合、その旨をユーザに通知してもよい。
具体的には、解析部１３０において、取得した映像データに基づいてユーザが到来したことを検知し、加えてそのユーザの属性情報（人数や性別、年齢等）を判定する。情報生成部１１０は、当該判定の内容に基づいて、表示部１２１および音声出力部を制御する。例えば、予め記憶されたウエイトレスの画像およびウエイターの画像のうち、ユーザの性別に応じたいずれか一方を選択して表示する。
そして、ユーザの年齢に応じて「いらっしゃいませ。ご注文が決まりましたらお話し下さい。タッチパネルでも大丈夫です」といった案内メッセージまたは「いらっしゃい。注文が決まったらこの端末に話しかけてね。代わりにタッチパネルで入力してもＯＫ！」のうちいずれかを選択し、選択されたメッセージの合成音声を放音する。これにより、ユーザに、自己の存在がサービス提供者に確かに把握されているという安心感を与えることができる。そして、初来店であっても注文操作をスムーズに行うことができる。また、ユーザの属性に応じて案内方法を変えることができる。
なお、撮影対象に年齢や性別などのユーザ属性が異なる複数のユーザが存在する場合は、例えば、属性値の共通度や優位性に基づいて一の属性を決定してもよいし（例えば男性3人、女性２のグループならユーザ属性は男性であるとするなど）、統計処理（年齢の平均値を算出するなど）を行って一の属性を決定してもよい。

また、端末１００は、ユーザを検知していないときは表示部１２１や音声出力部１２２
の注文を受け付けるために必要な機能が実現されない省電力モードで動作し、ユーザを検知したことを契機として、表示部１２１や音声出力部１２２を作動させてもよい。この場合、ユーザが端末１００を作動させるための操作を行う必要がない。

サーバ２００は、発注情報を記憶部２４０に蓄積し、蓄積された情報に基づいて、制御部２２０は、季節毎あるいは曜日毎の注文傾向に関する情報を生成し、この情報に基づいて材料の発注タイミングや人員配置計画を決定してもよい。これにより、提供される料理の鮮度の向上、廃棄物の削減、注文品が品切れとなる事態の防止、人員配置（アルバイトの増減）の効率化に寄与することが期待される。

上記実施例においては、注文内容の指定は、主にタッチ操作によって行い、音声による注文は補助的役割であったが、音声による注文指示を主に受け付け、必要な時だけタッチパネル１０３を用いた入力を促してもよい。あるいは、タッチ操作による注文の受付と音声入力による注文の受け付けのいずれか一方のみを受付けてもよい。

あるいは、タッチ操作と音声入力のいずれかまたは両方をユーザに指定させてもよい。例えば、画面にタッチ操作による注文と音声入力による注文のいずれかまたは両方を有効にする指定を受付けるためのオブジェクトを表示し、ユーザに所望の注文方法を選択ないし選択の切替えを行わせる。例えば、端末１００は音声による注文を主とする動作を行っている場合、解析部１３０にて発話内容の意味（注文内容）が聞き取れない場合は、ユーザに再度の発話を促す。ここで、滑舌が悪いため、あるいは発話された単語が音声信号処理部に登録されていない単語であった等の要因によって、発話を複数回取得しても依然として注文内容が判別できない場合、情報生成部１１０は、表示部１２１や音声出力部１２２を用いて、タッチパネル１０３を用いて注文内容を入力するように促す。情報生成部１１０は、音声による注文の受付がうまくいっていないと判定した場合、応答情報をサーバ２００へ送信して、従業員を当該ユーザへ向かわせて注文を直接口頭で受けるように指示してもよい。
この結果、ユーザの満足度が向上することが期待される。

本発明を適用する対象のサービスは、飲食物の提供に限らない。例えば、物品の販売であってもよい。また、サービス提供場所は、店舗内に限らず、例えば旅客機や列車内であってもよい。例えば、端末１００を航空機や車両などの各座席の前面（前の座席の背もたれの背面）に設け、機内や車内における乗務員による飲食物の提供サービスに提供してもよい。

サービスを受ける対価（料金）の支払いを行う機能を端末１００に設けてもよい。例えば、端末１００にクレジットカードのカード読取り機構を設け、複数の決済方法から一つをユーザに選択させ、現金支払いを希望するユーザに対してはレジへ案内する画面を生成する一方、カード支払いを希望するユーザに対してはカードの挿入操作などを案内する画面を生成する。

このような支払処理に誘導にするまたは支払処理を支援するタイミングは、場景情報に基づいて決定されもよい。例えば、最後に受け付けた注文から所定時間が経過しても注文が入力されない場合、箸やフォークの動きが一定時間以上確認されない場合、デザートなどの一般的に最後に注文される料理が注文された場合、「満腹、満腹」または「もう終わりかな」、「さて会計するか・・・」といった注文の終了を示唆するような発話が確認された場合、情報生成部１１０は食事が終了したと判定する。あるいは、ユーザが椅子から立ち上がったことが解析部１３０にて検出された場合に、食事終了と判定してもよい。この際、例えば注文品が提供されていない場合、テーブルの上に料理が残っている場合、かばんなどのユーザの携行品が検出されている場合は、食事終了ではなく一時的な離席であ
ると判定してもよい。

食事が終了したと判定すると、情報生成部１１０は、画面にウエイトレス又はウエイターの画像を表示し、「本日は有難う御座いました。又のお越しをお待ちしております」などと合成音声を放音するよう、出力部１２０を制御する。あるいは、表示部１２１に「最後にお茶はいかがですか？」といったメッセージを表示させてもよい。これにより、サービス提供者側は注文が終了したと認識していることをユーザに伝えることができる。

続いて、端末１００は、会計に誘導するための処理を行う。例えば、ユーザがお茶の提供に同意した場合またはお茶が提供されたタイミングで、表示部１２１および／または音声出力部１２２に「清算する際はこのテーブルのカード読み取り機でも、レジでのお支払いも可能です」といった、支払処理を支援するためのメッセージを映像または音声によって出力させる。

レジでの支払いが選択された場合は、例えば、端末１００は「レジでテーブル番号をお伝え下さい」と通知し、そのテーブル番号に対応付けられた端末１００によって受け付けられた注文内容および請求金額をサーバ２００から取得し、取得した情報に基づいて伝票を生成し、ユーザに提示する。あるいは、端末１００は「レジでご清算をお願い致します」と通知し、そのユーザの顔を撮影した画像または当該画像からユーザを識別するための情報を抽出して、その端末１００の識別情報と対応付けて、レジ端末（店舗内に備え付けられ、従業員によって操作されるキャッシュレジスタその他の支払用端末；図示省略）へ無線送信する。

そして、このユーザがレジを訪れ、レジに設置されたレジ端末が有するカメラで撮影した画像が、当該レジ端末にて受信されたユーザのものと一致するか否かを判定し、一致した場合は、そのユーザの認証情報に対応付けて受信した端末１００の識別子をサーバ２００へ照会し、その端末１００に対応付けてサーバ２００に記憶されていうる注文内容（提供したサービスの内容）および請求金額をサーバ２００から取得する。
これにより、従業員が伝票をテーブルまで持っていくことや、その伝票を会計時にユーザがレジまで伝票を持っていく必要がなくなる。

また、図３に示した端末１００の機能の一部をサーバ２００で実行してもよい。例えば、情報生成部１１０の機能をサーバ２００に持たせる。この場合、解析部１３０にて生成された情報は逐次サーバ２００に送信され、２００において注文情報、ユーザ支援情報、応対要否情報およびフィードバック情報が生成され、端末１００はサーバ２００からユーザ支援情報を受信してユーザに通知することになる。
要するに、１以上の情報処理装置から構成される情報処理システムにおいて、ユーザの周囲の場景を撮影するステップと、当該ユーザが発話した内容を取得するステップと、該撮影された画像に基づいて、該取得した音声を解析するステップと、解析の結果を出力するステップとが実行されればよい。

１００・・・端末、１０１・・・マイクカメラ、１０２・・・スピーカ、１０３・・・タッチパネル、１８０・・・撮影部、１８１・・・画像処理部、１９０・・・音声入力部、１９１・・・音声信号処理部、１３０・・・解析部、１４０・・・操作部、１５０・・・計時部、１１０・・・情報生成部、１６０・・・記憶部、１２０・・・出力部、１２１・・・表示部、１２２・・・音声出力部、１２３・・・通信部、２００・・・サーバ、２１０・・・通信部、２４０・・・記憶部、２２０・・・制御部、２２１・・・スタッフ管理部、２２３・・・フィードバック管理部、２２２・・・発注管理部

Claims (4)

1. ユーザの周囲の場景を示す画像を取得する画像取得手段と、
   前記ユーザの発話に係る音声を取得して当該発話の内容を特定する音声取得手段と、
   該取得された画像が示す前記ユーザの動作に基づいて、当該ユーザの発話の意図を判定し、該判定の結果に基づいて、従業員の前記ユーザに対する応対の要否または内容を示す応対要否情報を生成する解析手段と、
   前記応対要否情報を従業員端末へ出力する出力手段と
   を有する情報処理装置。
2. 前記解析手段は、該特定された内容の商品を前記ユーザが注文したいと判定する、
   請求項１に記載の情報処置装置。
3. 提供可能な商品またはサービスに関する情報を表示する表示部を備え、
   前記解析手段は、前記ユーザに対し、注文に関する支援が必要かを判定し、
   前記表示部は、当該支援が必要な場合、注文操作を支援するための情報を表示する、
   請求項１または２に記載の情報処理装置。
4. コンピュータに、
   ユーザの周囲の場景を撮影するステップと、
   前記ユーザが発話した内容を取得するステップと、
   該取得された画像が示す前記ユーザの動作に基づいて、当該ユーザの発話の意図を判定し、該判定の結果に基づいて、従業員の前記ユーザに対する応対の要否または内容を示す応対要否情報を生成するステップと、
   前記応対要否情報を従業員端末へ出力するステップと
   を実行させるためのプログラム。

Images