JP6903629B2 - 評価システム、評価方法及びプログラム - Google Patents

Description

本発明は、評価システム、評価方法及びプログラムに関する。

従来、飲食店等の店舗では、商品やサービスを改善するために、顧客に商品やサービスに関するアンケートを依頼することが行われている（例えば、特許文献１参照）。飲食店等の店舗は、アンケートに対する顧客の回答に基づいて、商品やサービスに対する顧客の評価を推定することができる。

特開２０１４−２０９３６０号公報

しかしながら、アンケートに回答することは顧客にとって煩雑な作業であり、アンケートに回答してもらえないという問題がある。そこで、アンケートを依頼することなく顧客による評価を推定することが求められている。

そこで、本発明はこれらの点に鑑みてなされたものであり、アンケートを依頼することなく顧客による評価を推定することができる評価システム、評価方法及びプログラムを提供することを目的とする。

本発明の第１の態様に係る評価システムは、端末と、商品を評価する評価装置とを備える評価システムであって、前記端末は、店舗において顧客が位置するエリアを撮像した画像を取得する画像取得部と、前記顧客の音声を示す音声情報を取得する音声情報取得部と、を有し、前記評価装置は、前記画像取得部が取得した画像と、前記音声情報取得部が取得した音声情報との少なくともいずれかに基づいて、前記店舗が前記顧客に提供する評価対象の商品を特定する商品特定部と、前記画像取得部が取得した画像と、前記音声情報取得部が取得した音声情報との少なくともいずれかに基づいて、前記商品特定部が特定した前記評価対象の商品に対する前記顧客の評価を特定する評価特定部と、を有する。

前記顧客は、所定のコミュニティに属しており、前記評価特定部は、前記画像取得部が取得した画像と、前記音声情報取得部が取得した音声情報との少なくともいずれかに基づいて、前記店舗にいる前記顧客の前記評価対象の商品に対する評価を特定し、当該評価に基づいて、前記所定のコミュニティの前記評価対象の商品に対する評価を特定してもよい。

前記評価装置は、前記画像取得部が取得した前記画像を、前記所定のコミュニティに属し、前記店舗にいないユーザの端末に表示させる表示制御部と、前記ユーザの端末から、前記画像の表示後に前記ユーザの端末に入力されたテキスト情報を取得するテキスト情報取得部と、をさらに有し、前記評価特定部は、前記画像取得部が取得した画像と、前記音声情報取得部が取得した音声情報との少なくともいずれかと、前記テキスト情報取得部が取得した前記テキスト情報とに基づいて、前記店舗にいる前記顧客及び前記店舗にいないユーザの前記評価対象の商品に対する評価を特定し、当該評価に基づいて、前記所定のコミュニティの前記評価対象の商品に対する評価を特定してもよい。

前記評価特定部は、複数の時刻のそれぞれにおいて前記画像取得部が取得した画像に基づいて、前記評価対象の商品の変化状況を特定し、当該変化状況に基づいて前記評価対象の商品に対する評価を特定してもよい。

前記評価特定部は、前記評価対象の商品が注文された時刻を示す注文時刻と、前記評価対象の商品が前記顧客に提供された時刻を示す提供時刻とを特定し、前記注文時刻から前記提供時刻までの期間に前記音声情報取得部が取得した音声に基づいて、前記店舗に関するサービス及び前記評価対象の商品の少なくともいずれかに対する評価を特定してもよい。

前記評価特定部は、前記評価対象の商品が前記顧客に提供された時刻を示す提供時刻を特定し、前記提供時刻以降に前記画像取得部が取得した画像及び前記音声情報取得部が取得した音声の少なくともいずれかに基づいて、前記店舗に関するサービス及び前記評価対象の商品の少なくともいずれかに対する評価を特定してもよい。
前記評価特定部は、前記音声情報取得部が取得した音声に基づいて、前記評価対象の商品の提供状態に対する前記顧客の評価を特定してもよい。

前記評価装置は、前記評価特定部が特定した前記評価対象の商品の提供状態に対する前記顧客の評価に基づいて前記評価対象の商品の提供状態を変化させ、変化させた後の提供状態に対応する前記評価対象の商品を含むメニューを前記端末に表示させるメニュー表示部をさらに有してもよい。

前記評価装置は、前記評価対象の商品に対する前記顧客の評価に基づいて商品を選択し、選択された商品を含むメニューを前記端末に表示させるメニュー表示部をさらに有してもよい。

前記評価装置は、前記評価対象の商品に対する前記顧客の評価と、前記商品に対応する食材の在庫状況とに基づいて商品を選択し、選択された商品を含むメニューを表示するメニュー表示部をさらに有してもよい。

前記評価装置は、前記評価対象の商品に対する前記顧客の評価と、現在時刻から前記商品が注文されてから提供されるまでにかかる時間とに基づいて商品を選択し、選択された商品を含むメニューを表示するメニュー表示部をさらに有してもよい。

前記評価装置は、メニューに掲載されている前記評価対象の商品の前記評価特定部による評価が相対的に低い評価であることを特定すると、当該評価対象の商品を含まないメニューを表示するメニュー表示部をさらに有してもよい。

前記評価装置は、前記端末にメニューを表示させるメニュー表示部と、前記端末から、前記メニューの操作状況を示す操作状況情報と、前記メニューを介した商品の注文状況を示す注文状況情報とを取得する取得部と、前記取得部が取得した前記操作状況情報と前記注文状況情報との関係を特定する関係特定部と、をさらに有してもよい。

前記評価装置は、前記評価特定部が特定した前記評価対象の商品に対する評価に基づいて前記顧客に特典を提供する特典提供部をさらに有してもよい。

本発明の第２の態様に係る評価方法は、端末が、店舗において顧客が位置するエリアを撮像した画像を取得するステップと、前記端末が、前記顧客の音声を示す音声情報を取得するステップと、前記店舗において提供される商品を評価する評価装置が、取得された画像と、取得された音声情報との少なくともいずれかに基づいて、前記店舗が前記顧客に提供する評価対象の商品を特定するステップと、前記評価装置が、取得された画像と、取得された音声情報との少なくともいずれかに基づいて、特定された前記評価対象の商品に対する前記顧客の評価を特定するステップと、を有する。

本発明によれば、アンケートを依頼することなく顧客による評価を推定することができるという効果を奏する。

本実施形態に係る評価システムの概要を示す図である。 本実施形態に係る店舗設置端末の構成を示す図である。 本実施形態に係るユーザ端末の構成を示す図である。 ユーザ端末の表示部に表示用情報が表示された例を示す図である。 本実施形態に係る評価装置の構成を示す図である。 本実施形態に係る評価装置が評価対象の商品を特定して評価を行うまでの処理の流れを示すフローチャートである。

［評価システムＳの概要］
図１は、本実施形態に係る評価システムＳの概要を示す図である。本実施形態に係る評価システムＳは、店舗設置端末１と、ユーザ端末２と、評価装置３とを備える。評価システムＳは、店舗におけるサービス及び店舗において顧客に提供される商品を評価するシステムである。

店舗設置端末１は、例えば、店舗において顧客が位置するエリアＡ１に設置されており、当該エリアＡ１を撮像した画像を取得するとともに、当該顧客の音声を示す音声情報を取得する。店舗設置端末１は、インターネット等の通信ネットワークを介して評価装置３と接続されており、取得した画像と音声情報とを評価装置３に送信する。

評価装置３は、店舗におけるサービス及び店舗において顧客に提供される商品を評価するサーバである。評価装置３は、店舗設置端末１から送信された画像と音声情報とを受信すると、当該画像と音声情報との少なくともいずれかに基づいて、店舗が顧客に提供する評価対象の商品を特定する。ここで、評価対象の商品は、例えば、店舗において新たに提供される商品や試作品、又は店舗設置端末１を介して注文された商品であるが、これに限らず、店舗の運営者が指定した商品や、店舗において提供される全ての商品であってもよい。

評価装置３は、店舗設置端末１から受信した画像と音声情報との少なくともいずれかに基づいて、特定した評価対象の商品に対する顧客の評価を特定する。このようにすることで、評価システムＳは、顧客に対してアンケートを依頼することなく顧客による評価を推定することができる。

また、評価装置３は、エリアＡ１とは異なるエリアＡ２に存在し、エリアＡ１に存在する顧客とコミュニティを形成するユーザが使用するユーザ端末２に、店舗設置端末１から送信された画像と音声情報とを送信し、エリアＡ１の状況を当該ユーザに伝える。エリアＡ２は、例えば、店舗の外部の任意のエリアである。また、評価装置３は、ユーザ端末２から、ユーザが入力したテキスト情報を取得し、当該テキスト情報を店舗設置端末１に表示させる。このようにすることで、評価システムＳは、エリアＡ１に存在する顧客と、エリアＡ２に存在するユーザとのコミュニケーションを支援することができる。
以下、店舗設置端末１、ユーザ端末２及び評価装置３の構成を説明する。

［店舗設置端末１の構成］
まず、店舗設置端末１の構成について説明する。図２は、本実施形態に係る店舗設置端末１の構成を示す図である。店舗設置端末１は、図２に示すように、撮像部１１と、集音部１２と、操作部１３と、表示部１４と、通信部１５と、記憶部１６と、制御部１７とを備える。

撮像部１１は、例えばカメラであり、店舗設置端末１の周囲として、店舗において顧客が位置するエリアＡ１を撮像することにより撮像画像を生成する。撮像画像には、例えば、顧客に対して提供される商品が載置されるテーブルと、顧客とが映るものとする。撮像部１１は、生成した撮像画像を制御部１７に出力する。

集音部１２は、例えばマイクであり、エリアＡ１における音声を集音することにより音声情報を生成する。集音部１２は、生成した音声情報を制御部１７に出力する。

操作部１３は、例えば、ボタンや、表示部１４に重畳して配置される接触センサ等により構成されており、顧客から操作入力を受け付ける。
表示部１４は、例えば、液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイ等により構成される。表示部１４は、制御部１７の制御に応じて各種情報を表示する。

通信部１５は、評価装置３との間でデータを送受信するための通信インターフェースである。
記憶部１６は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を含む記憶媒体である。記憶部１６は、制御部１７を、認証部１７１、画像取得部１７２、音声情報取得部１７３、送信部１７４、受信部１７５、及び表示制御部１７６として機能させるプログラムを記憶している。

制御部１７は、例えばＣＰＵ（Central Processing Unit）である。制御部１７は、記憶部１６に記憶されたプログラムを実行することにより、認証部１７１、画像取得部１７２、音声情報取得部１７３、送信部１７４、受信部１７５、及び表示制御部１７６として機能する。

認証部１７１は、顧客から、顧客を識別するユーザ識別情報及びパスワードの入力を受け付け、ユーザ識別情報に基づいて顧客を認証する。例えば、評価装置３において、ユーザ識別情報と、コミュニティを識別するコミュニティ識別情報と、パスワードとが関連付けられて記憶されており、認証部１７１は、入力されたユーザ識別情報及びパスワードが、評価装置３においてコミュニティ識別情報と関連付けて記憶されている場合、認証に成功したと判定する。認証部１７１は、複数の顧客のそれぞれから認証を受け付ける。

画像取得部１７２は、店舗において顧客が位置するエリアＡ１を撮像した画像を取得する。具体的には、画像取得部１７２は、所定時間おきにエリアＡ１を撮像する撮像部１１が撮像した複数の撮像画像を取得する。なお、画像取得部１７２は、複数の撮像画像から構成される映像を取得してもよい。

音声情報取得部１７３は、店舗に来店している顧客の音声を示す音声情報を取得する。具体的には、集音部１２は、エリアＡ１における音声をリアルタイムで取得することにより、エリアＡ１に存在する顧客のリアルタイムの音声を取得し、取得した音声を示す音声情報を生成する。音声情報取得部１７３は、集音部１２が生成した顧客の音声を示す音声情報を取得する。

送信部１７４は、画像取得部１７２が取得した撮像画像と、音声情報取得部１７３が取得した音声情報とを、通信部１５を介して評価装置３に送信する。

受信部１７５は、評価装置３から送信された情報を受信する。例えば、受信部１７５は、評価装置３から、ユーザ端末２において入力されたテキスト情報を受信する。
表示制御部１７６は、受信部１７５が評価装置３から受信した情報を表示部１４に表示させる。例えば、表示制御部１７６は、受信部１７５が受信した、ユーザ端末２において入力されたテキスト情報を表示する。

［ユーザ端末２の構成］
続いて、ユーザ端末２の構成について説明する。図３は、本実施形態に係るユーザ端末２の構成を示す図である。ユーザ端末２は、図３に示すように、通信部２１と、操作部２２と、表示部２３と、記憶部２４と、制御部２５とを備える。

通信部２１は、評価装置３との間でデータを送受信するための通信インターフェースである。
操作部２２は、例えば、ボタンや、表示部２３に重畳して配置される接触センサ等により構成されており、ユーザ端末２のユーザから操作入力を受け付ける。
表示部２３は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等により構成される。表示部２３は、制御部２５の制御に応じて各種情報を表示する。

記憶部２４は、ＲＯＭ及びＲＡＭ等を含む記憶媒体である。記憶部２４は、制御部２５を、表示用情報取得部２５１、表示制御部２５２、入力受付部２５３、及び送信部２５４として機能させるプログラムを記憶している。

制御部２５は、例えばＣＰＵである。制御部２５は、記憶部２４に記憶されたプログラムを実行することにより、表示用情報取得部２５１、表示制御部２５２、入力受付部２５３、及び送信部２５４として機能する。

表示用情報取得部２５１は、評価装置３から、表示部２３に表示する情報としての表示用情報を取得する。例えば、表示用情報は、店舗設置端末１が撮像した撮像画像と、店舗設置端末１が取得した音声情報から変換されたテキスト情報とを含む情報である。

表示制御部２５２は、表示用情報取得部２５１が取得した表示用情報を表示部２３に表示させる。例えば、表示制御部２５２は、店舗設置端末１が撮像した撮像画像を背景画像とし、店舗設置端末１が取得した音声情報から変換されたテキスト情報を当該背景画像の前面に表示させる。

図４は、ユーザ端末２の表示部２３に表示用情報が表示された例を示す図である。図４に示されるように、表示部２３には、店舗設置端末１が撮像した撮像画像が背景画像であり、店舗設置端末１が取得した音声情報から変換されたテキスト情報が表示されていることが確認できる。図４に示すように、背景画像には、顧客と、顧客に提供される商品とが映っていることが確認できる。また、背景画像は、表示用情報取得部２５１が撮像画像を取得するたびに、取得した撮像画像に更新される。これにより、ユーザ端末２のユーザは、エリアＡ１の状況をリアルタイムで把握することができる。

入力受付部２５３は、操作部２２を介してユーザからテキスト情報の入力を受け付ける。例えば、表示制御部２５２は、図４に示すように、表示用情報と、ユーザからテキスト情報の入力を受け付けるメッセージ入力欄とを表示部２３に表示させる。入力受付部２５３は、メッセージ入力欄を介して、ユーザ端末２のユーザからテキスト情報の入力を受け付ける。

表示制御部２５２は、入力受付部２５３がテキスト情報の入力を受け付けると、当該テキスト情報を、店舗設置端末１が取得した音声情報から変換されたテキスト情報とともに背景画像の前面に表示させる。
送信部２５４は、入力受付部２５３がテキスト情報の入力を受け付けると、通信部２１を介して当該テキスト情報を評価装置３に送信する。

［評価装置３の構成］
続いて、評価装置３の構成について説明する。図５は、本実施形態に係る評価装置３の構成を示す図である。評価装置３は、図５に示すように、通信部３１と、記憶部３２と、制御部３３とを備える。

通信部３１は、店舗設置端末１及びユーザ端末２との間でデータを送受信するための通信インターフェースである。
記憶部３２は、ＲＯＭ及びＲＡＭ等を含む記憶媒体である。記憶部３２は、制御部３３を、取得部３３１、表示制御部３３２、商品特定部３３３、評価特定部３３４、メニュー表示部３３５、特典提供部３３６、及び関係特定部３３７として機能させるプログラムを記憶している。

制御部３３は、例えばＣＰＵである。制御部３３は、記憶部３２に記憶されたプログラムを実行することにより、取得部３３１、商品特定部３３３、評価特定部３３４、表示制御部３３２、メニュー表示部３３５、特典提供部３３６、及び関係特定部３３７として機能する。

取得部３３１は、店舗設置端末１から送信された撮像画像と音声情報とを取得する。取得部３３１は、取得した音声情報をテキスト情報に変換する。また、取得部３３１は、ユーザ端末２から、ユーザを識別するユーザ識別情報を含み、表示用情報の取得を要求する要求情報を取得する。

表示制御部３３２は、店舗設置端末１の画像取得部１７２が取得した撮像画像と、店舗設置端末１の音声情報取得部１７３が取得した音声情報を示すテキスト情報とを、所定のコミュニティに属し、店舗にいないユーザが使用するユーザ端末２に表示させる。

例えば、記憶部３２には、ユーザ識別情報と、コミュニティを識別するコミュニティ識別情報と、パスワードとが関連付けられて記憶されている。表示制御部３３２は、取得部３３１が、表示用情報の取得を要求する要求情報を取得すると、当該要求情報に含まれるユーザ識別情報と関連付けられているコミュニティ識別情報を特定する。表示制御部３３２は、店舗設置端末１において認証された顧客が、当該コミュニティ識別情報と関連付けられている場合、画像取得部１７２が取得した複数の撮像画像と、音声情報取得部１７３が取得した音声情報から変換されたテキスト情報とを含む表示用情報をユーザ端末２に送信することにより、図４に示すように、表示用情報をユーザ端末２に表示させる。

取得部３３１は、テキスト情報取得部として機能し、図４に示すようにユーザ端末２において店舗設置端末１が撮像した撮像画像が表示された後に、当該ユーザ端末２に入力されたテキスト情報を取得する。

商品特定部３３３は、店舗設置端末１の画像取得部１７２が取得した一以上の撮像画像と、店舗設置端末１の音声情報取得部１７３が取得した音声情報との少なくともいずれかに基づいて、店舗が顧客に提供する評価対象の商品を特定する。

例えば、商品特定部３３３は、画像取得部１７２が取得した撮像画像と、音声情報取得部１７３が取得した音声情報とを取得部３３１が取得すると、撮像画像を解析し、当該撮像画像に評価対象の商品が含まれているか否かを判定する。また、商品特定部３３３は、取得部３３１が音声情報から変換したテキスト情報を解析することにより、評価対象の商品を示すテキスト情報が含まれているか否かを判定する。商品特定部３３３は、撮像画像に評価対象の商品が含まれているか、テキスト情報に評価対象の商品を示すテキスト情報が含まれていると判定すると、評価対象の商品が顧客に提供されていることを特定する。

ここで、商品特定部３３３は、顧客が注文した商品と、顧客に提供された商品とが一致しているか否かを判定してもよい。例えば、商品特定部３３３は、店舗において注文を管理する管理装置（不図示）から、顧客が注文した商品のうち、顧客に提供されていない商品を示す未提供情報を取得する。そして、商品特定部３３３は、自身が特定した評価対象の商品が、未提供情報に含まれていない場合に、顧客が注文した商品と、顧客に提供された商品とが一致していないと判定する。この場合、商品特定部３３３は、顧客が注文していない商品が顧客に提供されたことを示す警告情報を管理装置に送信する。このようにすることで、店舗側に、顧客が注文していない商品が顧客に提供されたことを通知することができる。

評価特定部３３４は、店舗設置端末１の画像取得部１７２が取得した撮像画像と、店舗設置端末１の音声情報取得部１７３が取得した音声情報との少なくともいずれかに基づいて、商品特定部３３３が特定した評価対象の商品に対する顧客の評価を特定する。評価特定部３３４は、当該評価対象の商品に対する顧客の評価に基づいて、当該顧客が属する所定のコミュニティの当該評価対象の商品に対する評価を特定する。

具体的には、評価特定部３３４は、評価対象の商品が顧客に提供されたことを商品特定部３３３が特定した時刻である提供時刻を特定する。評価特定部３３４は、特定した提供時刻以降に画像取得部１７２が取得した撮像画像及び音声情報取得部１７３が取得した音声から変換されたテキスト情報の少なくともいずれかに基づいて、店舗に関するサービス及び評価対象の商品の少なくともいずれかに対する評価を特定する。

まず、評価特定部３３４は、評価対象の商品の提供時刻から所定期間内に音声情報取得部１７３が取得した音声情報から変換されたテキスト情報を解析することにより、顧客による評価対象が、店舗に関するサービスであるか、評価対象の商品であるかを特定する。例えば、評価特定部３３４は、顧客の音声に、店舗の名称、「この店」又は「サービス」といった、店舗又はサービスに対応するキーワードが含まれている場合には、顧客の表情に基づく評価及び顧客の音声に基づく評価がサービスに対するものであると特定する。また、評価特定部３３４は、顧客の音声に、評価対象の商品の名称や「この品」といった、評価対象の商品に対応するキーワードが含まれている場合には、顧客の表情に基づく評価及び顧客の音声に基づく評価が評価対象の商品に対するものであると特定する。

評価特定部３３４は、評価対象の商品の提供時刻から所定期間内に画像取得部１７２が取得した撮像画像に含まれている顧客の表情を解析することにより、評価対象（店舗に関するサービス又は評価対象の商品）に対する顧客の評価を特定する。評価特定部３３４は、例えば、評価値を特定することにより、評価対象に対する顧客の評価を特定する。本実施形態では、評価対象に対する評価値が高ければ高いほど、評価対象に対する顧客の評価が高いものとする。

評価特定部３３４は、顧客の表情を解析した結果、顧客の表情に笑顔が含まれている場合には、評価対象に対する顧客の評価を示す評価値を相対的に高い値に特定する。また、評価特定部３３４は、顧客の表情に怒りを示す表情や困っていることを示す表情が含まれている場合には、評価対象に対する顧客の評価を示す評価値を相対的に低い値に特定する。

また、評価特定部３３４は、評価対象の商品の提供時刻から所定期間内に音声情報取得部１７３が取得した音声情報から変換されたテキスト情報を解析することにより、評価対象の商品に対する顧客の評価を特定する。例えば、評価特定部３３４は、テキスト情報を解析した結果、顧客の音声に、「おいしい」や「いいね」といった、肯定的な内容を示すキーワードが含まれている場合には、評価対象に対する顧客の評価値を相対的に高い値に特定する。また、評価特定部３３４は、顧客の音声に「だめ」や「まずそう」といった、否定的な内容を示すキーワードが含まれている場合には、評価対象に対する顧客の評価値を相対的に低い値に特定する。

ここで、評価特定部３３４は、音声情報取得部１７３が取得した音声に含まれる肯定的な内容を示すキーワードの発生頻度、否定的な内容を示すキーワードの発生頻度に基づいて、評価値の重み付けを行ってもよい。例えば、音声情報取得部１７３が取得した音声に含まれる肯定的な内容を示すキーワードの発生頻度が大きい場合には、評価値をより高くする。また、音声情報取得部１７３が取得した音声に含まれる否定的な内容を示すキーワードの発生頻度が大きい場合には、評価値をより低くする。

また、評価特定部３３４は、肯定的な内容を示すキーワードを発した顧客の人数、否定的な内容を示すキーワードを発した顧客の人数に基づいて、評価値の重み付けを行ってもよい。また、評価特定部３３４は、肯定的な内容を示すキーワードの発生音量、否定的な内容を示すキーワードの発生音量に基づいて、評価値の重み付けを行ってもよい。

また、評価特定部３３４は、音声情報取得部１７３が取得した音声に基づいて、評価対象の商品の提供状態に対する顧客の評価を特定してもよい。例えば、評価特定部３３４は、テキスト情報を解析した結果、顧客の音声に、「盛り付け」や「ｎ人前」（ｎは整数）といった、評価対象の商品の提供状態に対応するキーワードが含まれている場合には、顧客の表情に基づく評価及び顧客の音声に基づく評価が、評価対象の商品の提供状態に対するものであると特定する。

また、評価特定部３３４は、店舗設置端末１の画像取得部１７２が取得した撮像画像と、店舗設置端末１の音声情報取得部１７３が取得した音声情報と、取得部３３１が取得したユーザ端末２に入力されたテキスト情報に基づいて、店舗にいないユーザの評価対象の商品に対する評価を特定してもよい。

例えば、評価特定部３３４は、取得部３３１が取得したユーザ端末２に入力されたテキスト情報に、「おいしそう」や「いいね」といった、肯定的な内容を示すキーワードが含まれている場合には、評価対象の商品に対する、店舗にいないユーザの評価値を相対的に高い値に特定する。また、評価特定部３３４は、当該テキスト情報に「だめ」や「まずそう」といった、否定的な内容を示すキーワードが含まれている場合には、評価対象の商品に対する、店舗にいないユーザの評価値を相対的に低い値に特定する。そして、評価特定部３３４は、店舗にいないユーザの評価対象の商品に対する評価にさらに基づいて、当該ユーザ及び店舗に存在する顧客が属する所定のコミュニティの当該評価対象の商品に対する評価を特定する。

また、評価特定部３３４は、複数の時刻のそれぞれにおいて画像取得部１７２が取得した画像に基づいて、評価対象の商品の変化状況を特定し、当該変化状況に基づいて評価対象の商品に対する評価を特定してもよい。具体的には、評価特定部３３４は、商品特定部３３３が、評価対象の商品が顧客に提供されたことを特定した時刻である提供時刻を特定する。評価特定部３３４は、提供時刻以降の複数の時刻のそれぞれにおいて画像取得部１７２が取得した撮像画像に基づいて、評価対象の商品の変化状況を特定する。ここで、評価対象の商品の変化状況は、当該商品の消費状況である。評価特定部３３４は、評価対象の商品の消費が早いほど、当該評価対象の商品の評価が高評価であると特定する。このようにすることで、評価システムＳは、評価対象の商品の実際の消費状況に基づいて評価を行うことができる。

また、評価特定部３３４は、評価対象の商品が注文された時刻を示す注文時刻をさらに特定してもよい。そして、評価特定部３３４は、注文時刻から提供時刻までの期間に音声情報取得部１７３が取得した音声に基づいて、店舗に関するサービス及び評価対象の商品の少なくともいずれかに対する評価を特定してもよい。

例えば、評価特定部３３４は、注文時刻から提供時刻までの期間に音声情報取得部１７３が取得した音声情報から変換されたテキスト情報に、「おいしそう」や「いいね」といった、肯定的な内容を示すキーワードが含まれている場合には、評価対象に対する顧客の評価値を相対的に高い値に特定する。また、評価特定部３３４は、当該テキスト情報に「遅い」や「まだ？」といった、否定的な内容を示すキーワードが含まれている場合には、評価対象に対する顧客の評価値を相対的に低い値に特定する。

評価特定部３３４は、評価の特定を行うと、評価対象（サービス又は評価対象の商品）を示す情報と、当該評価を示す情報と、当該評価に対応する顧客が属するコミュニティを識別するコミュニティ識別情報とを関連付けて評価履歴情報として記憶部３２に記憶させる。

メニュー表示部３３５は、店舗設置端末１に、店舗において提供される評価対象の商品を含むメニューを表示させる。例えば、メニュー表示部３３５は、店舗設置端末１においてメニューの表示要求が行われたことに応じて、メニューを示すメニュー情報を店舗設置端末１に送信することにより、店舗設置端末１にメニューを表示させる。

メニュー表示部３３５は、評価対象の商品に対する顧客の評価に基づいて商品を選択し、選択した商品を含むメニューを店舗設置端末１に表示させてもよい。例えば、メニュー表示部３３５は、顧客の評価が相対的に低い評価対象の商品を選択せず、顧客の評価が相対的に高い評価対象の商品を選択し、選択した商品を含むメニューを店舗設置端末１に表示させてもよい。このようにすることで、評価装置３は、相対的に評価が低い商品をメニューから除外し、当該商品が注文されることを防ぐことができる。これにより、評価装置３は、結果として店舗に対し顧客の評価が低下することを抑制することができる。

また、メニュー表示部３３５は、評価対象の商品に対する顧客の評価と、商品に対応する食材の在庫状況とに基づいて商品を選択し、選択された商品を含むメニューを表示してもよい。例えば、メニュー表示部３３５は、顧客の評価が相対的に低い商品であっても、当該商品に対応する食材の在庫が所定量よりも多い場合には、当該商品を選択してメニューに表示させる。このようにすることで、評価装置３は、在庫状況に基づいて、メニューを柔軟に変更することができる。

また、メニュー表示部３３５は、評価対象の商品に対する顧客の評価と、現在時刻から商品が注文されてから提供されるまでにかかる時間とに基づいて商品を選択し、選択された商品を含むメニューを表示してもよい。例えば、メニュー表示部３３５は、商品が注文されてから提供されるまでにかかる時間が所定時間以上である場合、顧客の評価が相対的に低い評価対象の商品を選択せず、当該商品をメニューに含めないようにしてもよい。このようにすることで、評価装置３は、評価が相対的に低い商品について、店舗内の混雑等により提供されるまで時間がかかることにより、さらに評価が低下してしまうことを抑制することができる。

また、メニュー表示部３３５は、メニューに掲載されている評価対象の商品の評価特定部３３４による評価が相対的に低い評価であることを特定すると、当該評価対象の商品を含まないメニューを表示するようにしてもよい。

例えば、評価特定部３３４は、メニューが表示されている状態において音声情報取得部１７３が取得した音声に基づいて、メニューに含まれる評価対象の商品に対する顧客の評価を特定する。評価特定部３３４が、メニューに含まれる評価対象の商品に対する顧客の評価が低評価であると特定すると、メニュー表示部３３５は、メニューから当該評価対象の商品を消去する。例えば、メニュー表示部３３５は、メニューが遷移可能な複数の画面により構成されている場合、低評価の評価対象の商品が含まれている画面から、他の画面に遷移したことを条件として、当該評価対象の商品をメニューから消去する。このようにすることで、評価装置３は、提供後の評価が低評価であることが予想される評価対象の商品についてメニューから消去し、顧客が当該商品を注文することにより不満が発生することを抑制することができる。

また、メニュー表示部３３５は、評価特定部３３４が特定した評価対象の商品の提供状態に対する顧客の評価に基づいて評価対象の商品の提供状態を変化させ、変化させた後の提供状態に対応する評価対象の商品を含むメニューを店舗設置端末１に表示させてもよい。

例えば、メニュー表示部３３５は、評価特定部３３４が特定した評価対象の商品の提供状態に対する顧客の評価が低評価である場合に、評価対象の商品の提供状態を変化させてもよい。例えば、評価対象の商品「刺身盛り合わせ」において、それぞれの種類の刺身の盛り付け数が３つずつである場合に、評価特定部３３４が、当該商品に対する顧客の評価が低評価であると判定したとする。この場合、メニュー表示部３３５は、当該商品の盛り付け数を変化させ、評価対象の商品の変化後の盛り付け数を示す情報が掲載されたメニューを店舗設置端末１に表示させる。ここで、メニュー表示部３３５は、店舗設置端末１の画像取得部１７２が取得した撮像画像に映っている顧客の人数に基づいて当該商品の盛り付け数を変化させてもよい。このようにすることで、評価装置３は、商品の提供状態を改善することができる。

特典提供部３３６は、評価特定部３３４が特定した評価対象の商品に対する評価に基づいて顧客に特典を提供する。特典提供部３３６は、評価特定部３３４が評価対象の商品に対する評価が高評価であると特定したことに応じて、当該商品又は当該商品に関連する商品の新規注文に対する価格を割り引くクーポンを店舗設置端末１に表示させる。

また、特典提供部３３６は、記憶部３２に記憶されている評価履歴情報を参照し、顧客が属するコミュニティに関連付けられている、高評価の評価対象の商品を特定してもよい。そして、特典提供部３３６は、特定した高評価の商品又は当該商品に関連する商品の新規注文に対する価格を割り引くクーポンを店舗設置端末１に表示させる。このようにすることで、評価装置３は、低評価の商品に関する特典情報が提供される場合に比べて有効な特典情報を顧客に提供することができるので、顧客の満足度を向上させることができる。

なお、特典提供部３３６は、特典を提供する対象となる顧客を限定してもよい。例えば、特典提供部３３６は、店舗に来店してからの滞在時間が長い顧客に限定して特典を付与したり、顧客単価が高い顧客に限定して特典を付与したりしてもよい。このようにすることで、評価装置３は、店舗にとって重要な顧客を優遇して当該顧客の満足度を向上させ、当該顧客が再来店等する可能性を高めることができる。

関係特定部３３７は、メニューの操作状況を示す操作状況情報と、メニューを介した商品の注文状況を示す注文状況情報との関係を特定する。具体的には、まず、取得部３３１は、メニュー表示部３３５により店舗設置端末１にメニューが表示されている場合に、店舗設置端末１から、当該メニューの操作状況を示す操作状況情報と、メニューを介した商品の注文状況を示す注文状況情報とを取得する。

続いて、関係特定部３３７は、例えば、メニューが複数の画面から構成されている場合、複数の画面のそれぞれにおける操作状況として、画面のタッチ回数及び表示回数を特定するとともに、当該画面に含まれる商品の注文状況とを特定する。そして、関係特定部３３７は、複数の画面のそれぞれにおける操作状況と、商品の注文状況とに基づいて、例えば、商品ごとに、注文頻度及び操作頻度を特定する。このようにすることで、例えば、店舗の運営者は、商品ごとの注文頻度及び操作頻度に基づいて、操作が多いものの注文されない商品や、操作が少ないにも関わらず注文される商品を特定し、メニューの改善を行うことができる。

［評価対象の商品の評価に係る処理の流れ］
続いて、評価対象の商品の評価に係る処理の流れについて説明する。図６は、本実施形態に係る評価装置３が、評価対象の商品を特定して評価を行うまでの処理の流れを示すフローチャートである。

まず、取得部３３１は、店舗設置端末１から送信された撮像画像及び音声情報を取得する（Ｓ１）。
続いて、取得部３３１は、取得した音声情報をテキスト情報に変換する（Ｓ２）。

続いて、表示制御部３３２は、Ｓ１において取得した撮像画像と、Ｓ２において音声情報から変換されたテキスト情報とを含む表示用情報をユーザ端末２に送信し、ユーザ端末２に表示用情報を表示させる（Ｓ３）。

続いて、取得部３３１は、ユーザ端末２において、表示用情報の表示に対して入力を受け付けたテキスト情報を、ユーザ端末２から取得する（Ｓ４）。なお、Ｓ４に係る処理は、ユーザ端末２からテキスト情報が送信された場合のみ行われるものとする。

続いて、商品特定部３３３は、店舗が顧客に提供する評価対象の商品を特定済であるか否かを判定する（Ｓ５）。商品特定部３３３は、店舗が顧客に提供する評価対象の商品を特定済であると判定すると、Ｓ７に処理を移し、店舗が顧客に提供する評価対象の商品を特定済ではないと判定すると、Ｓ６に処理を移す。

Ｓ６において、商品特定部３３３は、Ｓ１において取得した一以上の撮像画像と、Ｓ２において音声情報から変換されたテキスト情報との少なくともいずれかに基づいて、店舗が顧客に提供する評価対象の商品を特定する。

続いて、評価特定部３３４は、Ｓ１において取得した一以上の撮像画像と、Ｓ２において音声情報から変換されたテキスト情報との少なくともいずれかに基づいて、特定された評価対象の商品に対する顧客の評価の特定を試行する（Ｓ７）。

続いて、評価特定部３３４は、評価対象の商品を評価できたか否かを判定する（Ｓ８）。評価特定部３３４は、評価対象の商品を評価できたと判定すると、本フローチャートに係る処理を終了し、評価対象の商品を評価できていないと判定すると、Ｓ１に処理を移す。

［本実施形態における効果］
以上説明したように、本実施形態に係る評価システムＳにおいて、店舗設置端末１は、店舗において顧客が位置するエリアを撮像した画像を取得し、顧客の音声を示す音声情報を取得する。評価装置３は、店舗設置端末１が取得した画像と、音声情報との少なくともいずれかに基づいて、店舗が顧客に提供する評価対象の商品を特定し、当該画像と、音声情報との少なくともいずれかに基づいて、特定した評価対象の商品に対する顧客の評価を特定する。このようにすることで、評価システムＳは、顧客に対してアンケートを依頼することなく顧客による評価を推定することができる。

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えたり、上記実施形態を組み合わせたりすることが可能であることが当業者に明らかである。

例えば、店舗設置端末１の制御部１７は、店舗の繁忙時に、音声入力に基づいて店員の代わりとなる顧客アシストを行ってもよい。例えば、制御部１７は、音声情報が示す音声をテキスト情報に変換し、当該テキスト情報に基づいて、顧客の要望を特定する。記憶部１６には、顧客の要望と、当該要望に対する回答を示す回答情報とを関連付けて記憶しておき、制御部１７は、特定した顧客の要望に関連付けられている回答情報を顧客に通知する。

また、評価装置３の制御部３３は、管理部として機能し、取得部３３１が取得した撮像画像を解析することにより、顧客の席に予め設けられている調味料等の物品の使用状況を管理してもよい。例えば、制御部３３は、取得部３３１が取得した撮像画像を解析することにより、物品の使用状況を特定し、当該使用状況に基づいて当該物品の消費量を特定する。制御部３３は、物品の消費量の累計を算出し、当該累計が所定量以上である場合、店舗側に、当該物品の交換を促すようにしてもよい。

また、評価装置３は、複数の店舗のそれぞれに対する、顧客が属する所定のコミュニティによる評価を管理してもよい。例えば、記憶部３２は、店舗を識別する店舗識別情報と、所定のコミュニティを識別するコミュニティ識別情報と、当該店舗に対する所定のコミュニティによる評価を示す評価値とを関連付けて記憶する。評価装置３は、所定のコミュニティに属するユーザに対して、記憶部３２において、相対的に高い評価値に関連付けられている店舗識別情報が示す店舗をレコメンドしてもよい。

また、表示制御部３３２は、商品特定部３３３が評価対象の商品を特定したことに応じて、当該商品に関する情報を店舗設置端末１に表示させてもよい。例えば、表示制御部３３２は、商品特定部３３３が、評価対象の商品が顧客に提供されたことを特定すると、当該商品に関する情報を店舗設置端末１に表示させてもよい。例えば、商品に関する情報は、当該商品に関する会話を促す画像やテキスト情報である。このようにすることで、評価装置３は、顧客における会話を、当該商品に対する会話に誘導することができる。

また、表示制御部３３２は、評価特定部３３４が評価対象の商品に対する顧客の評価を特定すると、当該評価結果を店舗設置端末１及びユーザ端末２に表示させてもよい。そして、制御部３３は、店舗設置端末１及びユーザ端末２の少なくともいずれかから、当該評価結果の修正を受け付けてもよい。このようにすることで、評価装置３は、顧客から評価結果の修正を受け付けることができ、顧客からの評価結果を適切な内容に修正することができる。

また、表示制御部３３２は、評価対象の商品の評価結果を店舗設置端末１に表示して顧客に提示する場合に、他の顧客の当該商品に対する評価結果も店舗設置端末１に表示させ、顧客に、他の顧客の商品に対する評価結果を通知してもよい。このようにすることで、評価装置３は、評価対象の商品に対する他の顧客からの評価結果と、顧客からの評価結果との関係に基づいて、顧客自身の評価結果が妥当であるか否かを顧客に検討させることができる。また、表示制御部３３２は、他の顧客の当該商品に対する評価結果を店舗設置端末１に表示させる場合に、顧客から、当該評価結果の訂正を受け付けるようにしてもよい。この場合に、表示制御部３３２は、最初の評価結果と、評価結果の訂正履歴と、評価結果を訂正した顧客を識別する顧客識別情報とを表示させるようにしてもよい。このようにすることで、評価装置３は、評価結果を正しい評価結果に修正することができるとともに、正しい評価を不正な評価に訂正させにくくすることができる。

また、評価特定部３３４は、評価対象の商品に対する複数の顧客からの評価結果に基づいて、当該商品に対する一般的な評価結果を推定してもよい。そして、メニュー表示部３３５は、メニューを店舗設置端末１に表示させる場合に、推定された一般的な評価結果を、評価対象の商品に関連付けて表示させてもよい。ここで、メニュー表示部３３５は、推定された一般的な評価結果が高評価であることを示している場合に限定して、メニューにおいて、評価対象の商品と、推定された一般的な評価結果とを関連付けて表示させてもよい。このようにすることで、評価特定部３３４は、新規の顧客等に、当該商品の評価結果が高いことを通知し、当該商品の注文を促すことができる。

また、特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

１・・・店舗設置端末、１１・・・撮像部、１２・・・集音部、１３・・・操作部、１４・・・表示部、１５・・・通信部、１６・・・記憶部、１７・・・制御部、１７１・・・認証部、１７２・・・画像取得部、１７３・・・音声情報取得部、１７４・・・送信部、１７５・・・受信部、１７６・・・表示制御部、２・・・ユーザ端末、２１・・・通信部、２２・・・操作部、２３・・・表示部、２４・・・記憶部、２５・・・制御部、２５１・・・表示用情報取得部、２５２・・・表示制御部、２５３・・・入力受付部、２５４・・・送信部、３・・・評価装置、３１・・・通信部、３２・・・記憶部、３３・・・制御部、３３１・・・取得部、３３２・・・表示制御部、３３３・・・商品特定部、３３４・・・評価特定部、３３５・・・メニュー表示部、３３６・・・特典提供部、３３７・・・関係特定部、Ｓ・・・評価システム

Claims (14)

1. 端末と、商品を評価する評価装置とを備える評価システムであって、
   前記端末は、
   店舗において、所定のコミュニティに属する顧客が位置するエリアを撮像した画像を取得する画像取得部と、
   前記顧客の音声を示す音声情報を取得する音声情報取得部と、
   を有し、
   前記評価装置は、
   前記画像取得部が取得した前記画像を、前記所定のコミュニティに属し、前記店舗にいないユーザの端末に表示させる表示制御部と、
   前記ユーザの端末から、前記画像の表示後に前記ユーザの端末に入力されたテキスト情報を取得するテキスト情報取得部と、
   前記画像取得部が取得した画像と、前記音声情報取得部が取得した音声情報との少なくともいずれかに基づいて、前記店舗が前記顧客に提供する評価対象の商品を特定する商品特定部と、
   前記画像取得部が取得した画像と、前記音声情報取得部が取得した音声情報との少なくともいずれかと、前記テキスト情報取得部が取得した前記テキスト情報とに基づいて、前記店舗にいる前記顧客及び前記ユーザの前記評価対象の商品に対する評価を特定し、当該評価に基づいて、前記所定のコミュニティの前記評価対象の商品に対する評価を特定する評価特定部と、
   を有する評価システム。
2. 前記評価特定部は、複数の時刻のそれぞれにおいて前記画像取得部が取得した画像に基づいて、前記評価対象の商品の変化状況を特定し、当該変化状況に基づいて前記評価対象の商品に対する評価を特定する、
   請求項１に記載の評価システム。
3. 前記評価特定部は、前記評価対象の商品が注文された時刻を示す注文時刻と、前記評価対象の商品が前記顧客に提供された時刻を示す提供時刻とを特定し、前記注文時刻から前記提供時刻までの期間に前記音声情報取得部が取得した音声に基づいて、前記店舗に関するサービス及び前記評価対象の商品の少なくともいずれかに対する評価を特定する、
   請求項１又は２に記載の評価システム。
4. 前記評価特定部は、前記評価対象の商品が前記顧客に提供された時刻を示す提供時刻を特定し、前記提供時刻以降に前記画像取得部が取得した画像及び前記音声情報取得部が取得した音声の少なくともいずれかに基づいて、前記店舗に関するサービス及び前記評価対象の商品の少なくともいずれかに対する評価を特定する、
   請求項１から３のいずれか１項に記載の評価システム。
5. 前記評価特定部は、前記音声情報取得部が取得した音声に基づいて、前記評価対象の商品の提供状態に対する前記顧客の評価を特定する、
   請求項１から４のいずれか１項に記載の評価システム。
6. 前記評価装置は、
   前記評価特定部が特定した前記評価対象の商品の提供状態に対する前記顧客の評価に基づいて前記評価対象の商品の提供状態を変化させ、変化させた後の提供状態に対応する前記評価対象の商品を含むメニューを前記端末に表示させるメニュー表示部をさらに有する、
   請求項５に記載の評価システム。
7. 前記評価装置は、
   前記評価対象の商品に対する前記顧客の評価に基づいて商品を選択し、選択された商品を含むメニューを前記端末に表示させるメニュー表示部をさらに有する、
   請求項１から６のいずれか１項に記載の評価システム。
8. 前記評価装置は、
   前記評価対象の商品に対する前記顧客の評価と、前記商品に対応する食材の在庫状況とに基づいて商品を選択し、選択された商品を含むメニューを表示するメニュー表示部をさらに有する、
   請求項１から７のいずれか１項に記載の評価システム。
9. 前記評価装置は、
   前記評価対象の商品に対する前記顧客の評価と、現在時刻から前記商品が注文されてから提供されるまでにかかる時間とに基づいて商品を選択し、選択された商品を含むメニューを表示するメニュー表示部をさらに有する、
   請求項１から８のいずれか１項に記載の評価システム。
10. 前記評価装置は、
    メニューに掲載されている前記評価対象の商品の前記評価特定部による評価が相対的に低い評価であることを特定すると、当該評価対象の商品を含まないメニューを表示するメニュー表示部をさらに有する、
    請求項１から９のいずれか１項に記載の評価システム。
11. 前記評価装置は、
    前記端末にメニューを表示させるメニュー表示部と、
    前記端末から、前記メニューの操作状況を示す操作状況情報と、前記メニューを介した商品の注文状況を示す注文状況情報とを取得する取得部と、
    前記取得部が取得した前記操作状況情報と前記注文状況情報との関係を特定する関係特定部と、
    をさらに有する、
    請求項１から１０のいずれか１項に記載の評価システム。
12. 前記評価装置は、
    前記評価特定部が特定した前記評価対象の商品に対する評価に基づいて前記顧客に特典を提供する特典提供部をさらに有する、
    請求項１から１１のいずれか１項に記載の評価システム。
13. 端末が、店舗において、所定のコミュニティに属する顧客が位置するエリアを撮像した画像を取得するステップと、
    前記端末が、前記顧客の音声を示す音声情報を取得するステップと、
    前記店舗において提供される商品を評価する評価装置が、前記画像を、前記所定のコミュニティに属し、前記店舗にいないユーザの端末に表示させるステップと、
    前記評価装置が、前記ユーザの端末から、前記画像の表示後に前記ユーザの端末に入力されたテキスト情報を取得するステップと、
    前記画像と、前記音声情報との少なくともいずれかに基づいて、前記店舗が前記顧客に提供する評価対象の商品を特定するステップと、
    前記評価装置が、前記画像と、前記音声情報との少なくともいずれかと、前記テキスト情報とに基づいて、特定された前記評価対象の商品に対する、前記店舗にいる前記顧客及び前記ユーザの第１評価を特定するステップと、
    前記評価装置が、特定された前記第１評価に基づいて、前記所定のコミュニティの前記評価対象の商品に対する第２評価を特定するステップと、
    を有する評価方法。
14. コンピュータに、
    店舗において所定のコミュニティに属する顧客が位置するエリアを端末が撮像した画像を、前記端末から取得するステップと、
    前記端末が取得した前記顧客の音声を示す音声情報を、前記端末から取得するステップと、
    前記端末から取得した前記画像を、前記所定のコミュニティに属しており、かつ前記店舗にいないユーザの端末に表示させるステップと、
    前記ユーザの端末から、前記画像の表示後に前記ユーザの端末に入力されたテキスト情報を取得するステップと、
    前記画像と、前記音声情報との少なくともいずれかに基づいて、前記店舗が前記顧客に提供する評価対象の商品を特定するステップと、
    前記画像と、前記音声情報との少なくともいずれかと、前記テキスト情報とに基づいて、特定された前記評価対象の商品に対する、前記店舗にいる前記顧客及び前記ユーザの第１評価を特定するステップと、
    前記第１評価に基づいて、前記所定のコミュニティの前記評価対象の商品に対する第２評価を特定するステップと、
    を実行させるプログラム。

Images