JP6610992B2 - 接客態度評価システム及び接客態度評価方法 - Google Patents

Description

本発明は、従業員の音声を用いて従業員の接客態度を評価する接客態度評価システム及び接客態度評価方法に関する。

従来、各種の接客業務では、顧客満足度が売上実績に大きく影響することが知られており、店舗の責任者（例えば店長）には、顧客満足度を定量的に測定することが必要とされるようになっている。

顧客満足度を測定する方法の一例として、調査員による覆面調査という手法がある。しかしながら、調査員による臨店調査では、臨店調査が行われる環境の違いにより得られる調査結果が異なり、調査結果に基づいて行われる改善アドバイスが的確なものとならないおそれがある。なお、調査が行われる環境の違いとは、例えば臨店調査が行われた時間帯毎の臨店対象店舗内の混雑度や店員数の違いや、調査員の調査技術や臨店調査を受ける従業員の接客技術の熟練度（例えば勤務年数の長短による差異）の違いである。

そこで、特許文献１には、臨店調査が実施された環境の違いに基づく臨店調査結果への影響を修正した上で、修正後の調査結果に基づく現実に即したアドバイス情報を提示するサービス評価診断システムが開示されている。特許文献１では、店舗調査（例えば臨店調査）の調査結果は、携帯情報端末を操作する調査員により入力される。

特許第５３３６６７５号公報

しかしながら、特許文献１では、臨店調査を行う調査員が携帯情報端末を操作しながら調査結果を入力するので、調査員の裁量の範囲に差異があると、公平性に配慮した調査結果が得られない場合がある。このため、調査習熟度が均等な調査員の人的リソースを確保することが求められる。

本発明は、上記に鑑みてなされたものであり、調査員のような人的リソースを用いず、顧客（来訪者）に対する各種の接客イベント時における各従業員（公共機関等の職員を含む）の状況および発話内容をモニタリングすることにより、各従業員の接客態度を的確かつ客観的に評価することができる接客態度評価システム及び接客態度評価方法を提供することを目的とする。

本発明は、所定の収音領域に居る各従業員の音声を収音する収音部と、前記収音領域の顧客に対する接客イベントの発生を検出する検出部と、前記接客イベントの発生時において、前記各従業員が発話可能な状況であるか否かを判定する判定部と、前記接客イベントにおいて発話可能な状況であった各従業員について、前記接客イベントの発生時における当該従業員の音声データと、前記接客イベントに対応する発話キーワードのモデル音声データとの、発話長さ又は各音素の周波数特性の対比を行い、前記対比の結果により接客発話評価値を算定する算定部と、前記接客発話評価値に関する情報を、前記従業員の情報と関連付けて表示部に表示させる出力部と、を具備する接客態度評価システムである。

本発明は、所定の収音領域に居る各従業員の音声を収音するステップと、前記収音領域の顧客に対する接客イベントの発生を検出するステップと、前記接客イベントの発生時において、前記各従業員が発話可能な状況であるか否かを判定するステップと、前記接客イベントにおいて発話可能な状況であった各従業員について、前記接客イベントの発生時における当該従業員の音声データと、前記接客イベントに対応する発話キーワードのモデル音声データとの、発話長さ又は各音素の周波数特性の対比を行い、前記対比の結果により接客発話評価値を算定するステップと、前記接客発話評価値に関する情報を、前記従業員の情報と関連付けて表示部に表示させるステップと、を具備する接客態度評価方法である。

本発明によれば、調査員のような人的リソースを用いず、顧客（来訪者）に対する各種の接客イベント時における各従業員の状況および発話内容をモニタリングすることにより、各従業員の接客態度を的確かつ客観的に評価することができる。

本実施の形態の接客態度評価システムが設置された室内のイメージの一例を示す図 本実施の形態の接客態度評価システムのシステム構成例を示すブロック図 本実施の形態の接客態度評価システムの全体の動作手順の一例を説明するフローチャート イベント検出可否判定処理の詳細な動作手順の一例を説明するフローチャート 接客イベント検出処理の詳細な動作手順の一例を説明するフローチャート 接客イベント情報処理の詳細な動作手順の一例を説明するフローチャート 接客イベント情報ＤＢの一例を示す図 接客状況ＤＢの一例を示す図 接客発話評価処理の動作手順の一例を説明するフローチャート 騒音レベル判定処理の動作手順の一例を説明するフローチャート 接客キーワードの発話判定処理の動作手順の一例を説明するフローチャート 接客キーワードの発話判定処理の動作手順の一例を説明するフローチャート 従業員の業務状況を示すタイムチャートの一例を示す図 スコアリング処理の動作手順の一例を説明するフローチャート （Ａ）発話長さの判定処理の動作手順の一例を説明するフローチャート、（Ｂ）周波数特性の判定処理の動作手順の一例を説明するフローチャート モデル音声を用いた発話長さの判定処理の具体例を示す図 モデル音声の各音素の基本周波数を用いた周波数特性の判定処理の具体例を示す図 （Ａ）接客発話評価ＤＢの一部を構成する発話想定キーワード表の一例を示す図、（Ｂ）接客発話評価ＤＢの一部を構成する接客発話モデル一覧表の一例を示す図 発話評価結果の表示例を示す図

以下、本発明に係る接客態度評価システム及び接客態度評価方法を具体的に開示した実施の形態（以下、「本実施の形態」という）について、図面を参照して説明する。本実施の形態の接客態度評価システムは、接客業務が行われる室内（例えば、公共機関、小売店、卸売店、百貨店、コンビニエンスストア、スーパーマーケット、飲食店、金融機関）に設置され、従業員（これ以降、「従業員」には公共機関等の職員も含まれるものとして説明する）の状況および発話内容をモニタリングし、顧客に対して各種の接客イベント（例えば来退室挨拶等）を行う従業員の接客態度を客観的に評価する。以下の説明において、従業員の顧客に対する接客態度を客観的に評価した結果の定量的な指標（値）を「接客発話評価値」という。

なお、本発明は、接客態度評価システムを構成する各装置（例えば後述する接客評価装置）、当該接客態度評価システムを構成する各装置が行う動作を含む方法、又は、当該方法をコンピュータである接客評価装置に実行させるためのプログラムとして表現することも可能である。

（接客態度評価システムの概略）
図１は、本実施の形態の接客態度評価システム１００（図２参照）が設置された室内のイメージの一例を示す図である。図１は、接客業務が行われる室内において、窓口業務を行う従業員が顧客（これ以降、「顧客」には公共機関の来訪者も含まれるものとして説明する）に応対している状況を示している。室内には、窓口業務以外の業務を行う従業員も在籍している。これらの従業員にも、顧客に対して「いらっしゃいませ」等の発話を行うことが求められる。

室内には、各従業員の音声を収音するためのマイクアレイ装置ＡＭ１が少なくとも１個設置され、各従業員を撮像するカメラ装置Ｃ１が少なくとも１個設置され、更に、顧客の入退室を検出するためのセンサ装置Ｓ１が室内の入り口付近に設置されている。

接客態度評価システム１００は、後述する種々の接客イベント毎に接客イベントの有無を検出するための接客イベント判定条件を含む接客イベントデータを基に、従業員による接客イベントを検出する。

接客態度評価システム１００は、接客イベントを検出した場合には、例えばマイクアレイ装置ＡＭ１、カメラ装置Ｃ１、センサ装置Ｓ１又はこれらの組み合わせにより得られたデータを基に、所定の発話想定キーワードに対応する接客発話評価値（言い換えると、発話想定キーワードを発話した従業員に対する接客発話評価値）を算定する。また、接客態度評価システム１００は、算定された接客発話評価値を、従業員の識別情報と従業員の位置及び接客時刻により特定される従業員の音声データに対応付けて記憶する。

（接客態度評価システムの構成例）
次に、本実施の形態の接客態度評価システムのシステム構成例について、図２を参照して説明する。図２は、本実施の形態の接客態度評価システム１００のシステム構成例を示すブロック図である。

図２に示す接客態度評価システム１００は、少なくとも１個のマイクアレイ装置ＡＭ１，…，ＡＭＬ（Ｌは１以上の整数）と、少なくとも１個のカメラ装置Ｃ１，…，ＣＭ（Ｍは１以上の整数）と、少なくとも１個のセンサ装置Ｓ１，…，ＳＮ（Ｎは１以上の整数）と、管理サーバ２と、接客評価装置３と、レコーダ装置４と、を含む。マイクアレイ装置ＡＭ１，…，ＡＭＬ、カメラ装置Ｃ１，…，ＣＭ、センサ装置Ｓ１，…，ＳＮ、管理サーバ２、接客評価装置３およびレコーダ装置４は、ネットワークＮＷを介して相互に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でもよく、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でもよい。

収音部の一例としてのマイクアレイ装置ＡＭ１，…，ＡＭＬは、例えば天井面に固定して設置され、収音領域の従業員の音声を収音する。マイクアレイ装置ＡＭ１，…，ＡＭＬは、具体的には収音素子の一例としてのマイクロホンを複数含み、複数のマイクロホンを用いて、マイクアレイ装置ＡＭ１，…，ＡＭＬの設置位置を中心として３６０°の方向（全方位）からの音声（例えば従業員の音声）を収音する。マイクアレイ装置ＡＭ１，…，ＡＭＬは、各々のマイクロホンにより収音された音声データを含む音声パケット（不図示）を、ネットワークＮＷを介して、レコーダ装置４に送信する。

撮像部の一例としてのカメラ装置Ｃ１，…、ＣＭは、例えば室内の天井面に固定して設置され、監視カメラ又は防犯カメラとしての機能を有し、ネットワークＮＷに接続された接客評価装置３からの遠隔操作によって、ズーム機能（例えばズームイン処理、ズームアウト処理）や光軸移動機能（パン、チルト）を用いて、それぞれのカメラ装置Ｃ１，…，ＣＭの画角内の映像を撮像する。カメラ装置Ｃ１，…、ＣＭは、各々、撮像した映像データを含む映像パケット（不図示）を、ネットワークＮＷを介して、レコーダ装置４に送信する。

各カメラ装置Ｃ１，…，ＣＭの設置位置や方向は、例えば接客評価装置３のメモリ３２に予め登録されている。パン、チルト、ズームに関する制御情報は、接客評価装置３に随時送信され、映像を構成する各画像位置と指向方向との位置関係は常に関連付けが行われている。また、各カメラ装置Ｃ１，…，ＣＭは、例えば全方位カメラである場合には、収音領域の全方位の映像を示す映像データ（即ち、全方位映像データ）、又は全方位映像データに所定の歪み補正処理を施してパノラマ変換して生成した平面映像データを、ネットワークＮＷを介して接客評価装置３に送信する。なお、それぞれのカメラ装置Ｃ１，…，ＣＭの画角及び光軸は固定でもよい。

顧客検出部の一例としてのセンサ装置Ｓ１，…，ＳＮは、顧客の来室又は退室を検出し、検出結果に関する情報をセンサデータとしてレコーダ装置４に送信する。なお、センサ装置Ｓ１，…，ＳＮは、接客態度評価システム１００が検出可能な接客イベントの種類や数に応じて、複数設けられてもよい。

管理サーバ２は、各従業員の接客発話評価値の算定または閲覧の際に必要となる各種データを管理ＤＢ（Database）２ａとして格納（保存）している。また、管理サーバ２は、接客評価装置３において算定された接客イベント毎の各従業員の接客発話評価値を管理ＤＢ２ａに格納している。

管理ＤＢ２ａは、接客イベント情報ＤＢと、接客発話評価ＤＢと、接客状況ＤＢと、を有する。各々のＤＢの内容の詳細については後述する。なお、管理サーバ２は、接客態度評価システム１００が設置される室内自体に配置されなくてもよく、例えばネットワークＮＷを介して接続されるオンラインストレージ（例えばクラウドサービスにおいて使用されるストレージ）でもよい。

接客評価装置３は、接客イベントを検出し、検出した接客イベント中の従業員の音声データを基に、接客イベント中の各従業員の所定の発話想定キーワードに対応する接客発話評価値を算定する。接客評価装置３は、例えばＰＣ（ラップトップやデスクトップも含む）、スマートフォン、タブレット端末、携帯電話機又はＰＤＡ（Personal Digital Assistant）等のデータ通信機器により構成され、操作部３１と、メモリ３２と、接客発話評価部３３と、出力部３４と、表示装置３５と、スピーカ装置３６と、を有する。

操作部３１は、ユーザ（例えば責任者・評価者）の操作内容を接客発話評価部３３又は出力部３４に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部３１は、例えば表示装置３５の画面に対応して配置され、ユーザの指ＦＧ又はスタイラスペンによって操作が可能なタッチパネル又はタッチパッドにより構成されてもよい。また、操作部３１は、表示装置３５に表示された画面上の画像（例えばカメラ装置Ｃ１，…，ＣＭのうちいずれかのカメラ装置により撮像された画像）に対し、ユーザの操作によって指定された画面上の画像の位置を示す座標データを取得して接客発話評価部３３又は出力部３４に出力する。

メモリ３２は、例えばＲＡＭ（Random Access Memory）により構成され、接客評価装置３の各部の動作時のワークメモリとして機能し、更に、接客評価装置３の各部の動作時に必要なデータを記憶する。

接客発話評価部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）により構成され、接客イベント検出部３３１と、接客発話評価値算定部３３２と、発話可否判定部３３３と、を有する。

検出部の一例としての接客イベント検出部３３１は、管理サーバ２の管理ＤＢ２ａの接客イベント情報ＤＢ（接客イベントデータ、後述参照）に基づいて接客イベントを検出する。接客イベントの検出方法の詳細については後述する。

算定部の一例としての接客発話評価値算定部３３２は、接客イベント検出部３３１により検出された接客イベントにおいて、レコーダ装置４に格納（記憶）された従業員の音声データを基に、所定の発話想定キーワードに対応する接客発話評価値を算定する。接客発話評価値の算定方法の詳細については後述する。

判定部の一例としての発話可否判定部３３３は、接客イベント検出部３３１により検出された接客イベントにおいて、各従業員が、発話可能な状況であったか否かを、従業員の業務状況に基づいて判定する。判定の基準となる業務状況として、例えば、（１）従業員が離席していたか否か、（２）従業員が電話対応中であったか否か、（３）従業員が他の従業員と会話中であったか否か、等が挙げられる。なお、発話可否判定部３３３は、接客イベント時に従業員が離席していたか否かを、カメラ装置Ｃ１，…，ＣＭによって撮像された映像データに基づいて判定する。また、発話可否判定部３３３は、接客イベント時に従業員が他の従業員と会話中であったか否かを、カメラ装置Ｃ１，…，ＣＭによって撮像された映像データおよびマイクアレイ装置ＡＭ１，…，ＡＭＬにより収音された音声データに基づいて判定する。

そして、（１）従業員が離席していない、（２）従業員が電話対応中ではない、かつ、（３）従業員が他の従業員と会話中でない、という業務状況の場合、発話可否判定部３３３は、当該従業員が発話可能な状況であったと判定する。一方、（１）従業員が離席している、（２）従業員が電話対応中である、および、（３）従業員が他の従業員と会話中である、のいずれかの業務状況である場合、発話可否判定部３３３は、当該従業員が発話可能な状況ではなかったと判定する。

出力部３４は、例えばＣＰＵ、ＭＰＵ又はＤＳＰにより構成され、接客発話評価値算定部３３２により算定された接客発話評価値を、従業員の識別情報及び接客時刻により特定される従業員の音声データに対応付けてメモリ３２又は管理サーバ２の管理ＤＢ２ａに記憶させる。

また、出力部３４は、接客態度評価システム１００の各装置との間のネットワークＮＷを介した通信機能（有線通信機能、無線通信機能）を有するとともに、表示装置３５やスピーカ装置３６の動作を制御し、ユーザの所定の入力操作に応じて、接客態度評価システム１００に関する各種画面を表示装置３５に表示させたり、マイクアレイ装置ＡＭ１，…，ＡＭＬから送信された音声パケット（不図示）を受信してスピーカ装置３６から出力させたりする。

また、出力部３４は、例えばユーザの入力操作に応じて、カメラ装置Ｃ１，…，ＣＭのうちいずれかのカメラ装置から送信された映像データを表示装置３５に表示させる。

表示部の一例としての表示装置３５は、例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electroluminescence）により構成され、ユーザの入力操作に応じて、出力部３４の制御の下で、接客態度評価システム１００に関する各種画面を表示する。

スピーカ装置３６は、マイクアレイ装置ＡＭ１，…，ＡＭＬから送信された音声パケットに含まれる音声データを出力する。なお、表示装置３５及びスピーカ装置３６は、接客評価装置３と一体に構成されてもよいし、接客評価装置３と異なる装置でもよい。

指向性制御部３７は、表示装置３５の画面上に表示された映像からユーザの位置の指定操作に応じて、その映像を撮像したカメラ装置に対応付けられたいずれかのマイクアレイ装置ＡＭ１，…，ＡＭＬから、指定位置に対応する音声位置に向かう指向方向を示す座標を算定する。指向性制御部３７の指向方向を示す座標の算定方法は公知技術であるため、その詳細な説明を省略する。

レコーダ装置４は、マイクアレイ装置ＡＭ１，…，ＡＭＬにより収音された各従業員の接客イベントの際に発話した音声データ、接客イベントの際にカメラ装置Ｃ１，…，ＣＭにより撮像された各従業員の映像データ、および、センサ装置Ｓ１，…，ＳＮにより検出されたセンサデータを、モニタリングデータ４ａとして格納（保存）している。

なお、接客態度評価システム１００において、室内の既定位置（プリセット位置）を収音するマイクアレイ装置ＡＭ１，…，ＡＭＬと既定位置を撮像するカメラ装置Ｃ１，…，ＣＭとは予め対応付けされている。このため、プリセット位置の識別情報であるプリセットＩＤとそのプリセット位置を撮像するカメラ装置Ｃ１，…，ＣＭの識別情報であるカメラＩＤとは予め対応づけられる。

それぞれのカメラ装置Ｃ１，…，ＣＭは、撮像した映像データが表示装置３５の画面上に表示された状態でユーザの指ＦＧ又はスタイラスペンによって任意の位置が指定されると、指定位置の座標データを接客評価装置３から受信し、自装置から、指定位置に対応する実空間上の位置（以下、単に「音声位置」と略記する）までの距離、方向（水平角及び垂直角を含む）のデータを算定して接客評価装置３に送信する。なお、カメラ装置による、距離、方向のデータ算定処理は公知技術であるため、その詳細な説明を省略する。

指向性制御部３７は、例えばカメラ装置Ｃ１の設置位置から音声位置までの距離、方向のデータをカメラ装置Ｃ１から取得し、これらのデータを用いて、例えばマイクアレイ装置ＡＭ１（例えばカメラ装置Ｃ１とマイクアレイ装置ＡＭ１とが予め対応付けられているとする）の設置位置から音声位置に向かう指向方向を示す座標を算定する。例えばカメラ装置Ｃ１の筐体を囲むようにマイクアレイ装置ＡＭ１の筐体とカメラ装置Ｃ１とが一体的に取り付けられている場合には、カメラ装置Ｃ１から音声位置までの方向（水平角，垂直角）は、マイクアレイ装置ＡＭ１から音声位置までの指向方向を示す座標として用いることができる。

カメラ装置Ｃ１の筐体とマイクアレイ装置ＡＭ１の筐体とが離れて取り付けられている場合には、指向性制御部３７は、事前に算定されたキャリブレーションパラメータのデータと、カメラ装置Ｃ１から音声位置までの方向（水平角，垂直角）のデータとを用いて、マイクアレイ装置ＡＭ１から音声位置までの指向方向を示す座標を算定する。なお、キャリブレーションとは、接客評価装置３の指向性制御部３７が指向方向を示す座標を算定するために必要となる所定のキャリブレーションパラメータを算定又は取得する動作であり、公知技術である。

指向方向を示す座標は、マイクアレイ装置ＡＭ１から音声位置に向かう指向方向の水平角と垂直角とにより示される。なお、音声位置は、操作部３１が表示装置３５の画面上に表示された映像においてユーザの指ＦＧ又はスタイラスペンによって指定された指定位置に対応する実際の監視対象又は収音対象となる現場の位置である。

また、指向性制御部３７は、例えばマイクアレイ装置ＡＭ１から送信された音声パケットに含まれる従業員の音声データを用いて、算定した座標に対応する指向方向の音声データを強調処理し、強調処理後の音声データを生成して出力部３４に出力する。言い換えると、指向性制御部３７は、マイクアレイ装置ＡＭ１から送信された音声パケットに含まれる音声データを用いて、算定した座標に対応する指向方向に音声データの指向性を形成する。なお、指向性制御部３７における強調処理は、ユーザが選択した映像を撮像したカメラ装置Ｃ１，…，ＣＭに対応するいずれかのマイクアレイ装置ＡＭ１，…，ＡＭＬにより行われてもよい。

（接客態度評価システム全体の動作手順）
次に、本実施の形態に係る接客態度評価システム１００全体の動作手順について、図３を参照して説明する。図３は、本実施の形態の接客態度評価システムの全体の動作手順の一例を説明するフローチャートである。

図３において、接客評価が終了する場合には（Ｓ１、ＹＥＳ）、図３に示す接客態度評価システム１００の動作は終了する。なお、接客評価が終了する場合とは、例えば接客評価装置３にインストールされている接客評価用のアプリケーションの「終了」ボタンが押下された場合や、接客評価装置３がシャットダウンした場合が挙げられるが、これらの場合に限定されない。

一方、接客評価が終了しない場合には（Ｓ１、ＮＯ）、接客評価装置３は、接客発話評価部３３の接客発話評価値算定部３３２が従業員の接客発話評価値を算定するために、レコーダ装置４から取得するモニタリングデータ４ａを所定時間間隔（例えば１０秒程度）毎に切り取るための起点となる開始時刻を所定時間（例えば１秒程度）シフト処理することにより開始時刻を設定する（Ｓ２）。但し、接客評価装置３は、初回のモニタリングデータ４ａの切り取り時にはシフト処理を行わない。ステップＳ２の処理は、ステップＳ３において取得されるモニタリングデータ４ａの所定時間間隔の境界時点に接客イベントがあると、モニタリングデータ４ａの中から接客イベントの検出が困難になってしまうことを回避するために設けられる。

ステップＳ２の後、接客評価装置３は、設定された開始時刻から所定時間間隔（例えば１０秒程度）毎のモニタリングデータ４ａをレコーダ装置４から取得し（Ｓ３）、取得したモニタリングデータ４ａとモニタリングデータ４ａ（具体的には、モニタリングデータ４ａに含まれる従業員の音声データ）の開始時刻及び終了時刻とを対応付けてメモリ３２に保持する（Ｓ４）。なお、終了時刻は、開始時刻から所定時間間隔の時間を加算した時刻である。

ステップＳ４の後、接客評価装置３の接客発話評価部３３において、イベント検出可否判定処理が行われ（Ｓ５）、イベント検出可否フラグが「可」に設定されていれば（Ｓ６、ＹＥＳ）、接客評価装置３の出力部３４は、ステップＳ４においてメモリ３２に保持した所定時間間隔毎のモニタリングデータ４ａを接客発話評価部３３の各部（つまり、接客イベント検出部３３１，接客発話評価値算定部３３２、発話可否判定部３３３）に出力する（Ｓ７）。ステップＳ７の後、接客発話評価部３３の接客イベント検出部３３１において、接客イベント検出処理が行われる（Ｓ８）。

一方、イベント検出可否フラグが「否」に設定されている場合（Ｓ６、ＮＯ）又はステップＳ８の後、接客態度評価システム１００の動作はステップＳ１に戻る。

（イベント検出可否判定処理の動作手順）
図４は、イベント検出可否判定処理の詳細な動作手順の一例を説明するフローチャートである。図４において、接客評価装置３の接客発話評価部３３は、ステップＳ４においてメモリ３２に保持した所定時間間隔毎のモニタリングデータ４ａの所定領域（例えばヘッダ領域、ペイロード領域の一部又はその他のオプション領域）に、顧客のプライバシー保護を示す所定情報の一例としてのプライバシー保護マークが含まれているか否かを判定する（Ｓ５−１）。

接客発話評価部３３は、プライバシー保護マークが含まれていると判定すると（Ｓ５−１、ＹＥＳ）、接客イベントの検出処理の有無を示すイベント検出可否フラグを「否」（つまり、接客イベント処理は行わずに省略すること）に設定する（Ｓ５−２）。ステップＳ５−２の後、接客態度評価システム１００の動作はステップＳ６に進む。

一方、接客発話評価部３３は、プライバシー保護マークが含まれていないと判定すると（Ｓ５−１、ＮＯ）、顧客の音声がモニタリングデータ４ａに含まれていないかを判定する（Ｓ５−３）。

例えば、接客発話評価部３３は、モニタリングデータ４ａに含まれる音声データに、顧客が発話する可能性が高いキーワードが含まれている（より具体的には、例えばモニタリングデータ４ａに含まれる音声データに対して顧客が発話する可能性が高いキーワードのワードスポッティング処理結果が所定のレベル以上）と判定した場合に、顧客の音声がモニタリングデータ４ａに含まれていると判定する（Ｓ５−４、ＹＥＳ）。

あるいは、接客発話評価部３３は、モニタリングデータ４ａに含まれる映像データに対して画像処理することにより、予め登録された従業員の顔画像以外の顔を検出し、更にその検出された顔の方向を収音するマイクアレイ装置ＡＭ１，…，ＡＭＬからの音声、或いはその検出された顔の方向に指向性を形成した音声に人の音声が含まれていると判定した場合に、顧客の音声がモニタリングデータ４ａに含まれていると判定する（Ｓ５−４、ＹＥＳ）。

接客発話評価部３３は、顧客の音声が含まれていると判定した場合（Ｓ５−４、ＹＥＳ）、イベント検出可否フラグを「否」に設定する（Ｓ５−５）。ステップＳ５−５の後、接客態度評価システム１００の動作はステップＳ６に進む。

一方、接客発話評価部３３は、顧客の音声が含まれていないと判定した場合（Ｓ５−４、ＮＯ）、イベント検出可否フラグを「可」に設定する（Ｓ５−６）。ステップＳ５−６の後、接客態度評価システム１００の動作はステップＳ６に進む。

（接客イベント検出処理の動作手順）
次に、接客イベント検出処理（図３に示すステップＳ８参照）の詳細について、図５及び図６を参照して説明する。図５は、接客イベント検出処理の詳細な動作手順の一例を説明するフローチャートである。図６は、図５中の接客イベント情報処理の詳細な動作手順の一例を説明するフローチャートである。

なお、接客イベント検出処理の説明を具体的かつ分かりやすくするために、図７に示す接客イベント情報ＤＢの各レコードの内容を参照して具体的に説明する。

先ず、接客イベント検出部３３１は、開始時刻及び終了時刻が定められた所定時間間隔（例えば１０秒程度）毎のモニタリングデータ４ａを接客発話評価部３３から受け取り（Ｓ８−１）、管理サーバ２の管理ＤＢ２ａに格納されている接客イベント情報ＤＢ（図７参照）を読み込む（Ｓ８−２）。

ステップＳ８−２の後、接客イベント検出部３３１は、未取得である接客イベント情報ＤＢの１行目のレコード（接客イベントＩＤ「ＥＩＤ１」、接客イベント名「来退室挨拶」）を取得し（Ｓ８−３）、接客イベント情報処理を開始する（Ｓ８−４）。

図６に示す接客イベント情報処理（図５のＳ８−４）において、接客イベント検出部３３１は、モニタリングデータ４ａから照合対象データとしての映像データとセンサデータに含まれる検出結果（自動ドア開閉履歴データ）とを取得し（Ｓ１１）、自動ドア開閉履歴データに自動ドアの開閉動作があるか否かを照合する（Ｓ１２）。

自動ドア開閉履歴データが自動ドアの開閉動作を含まない場合には（Ｓ１３、ＮＯ）、図６に示す接客イベント情報処理は終了し、フローは図５のステップＳ８−５に進む。

一方、自動ドア開閉履歴データが自動ドアの開閉動作を含む場合には（Ｓ１３、ＹＥＳ）、接客イベント検出部３３１は、図７に示す接客イベント情報ＤＢの接客イベント出力情報（具体的には、各従業員の位置座標、カメラＩＤ（カメラ装置の識別情報：１〜ＣＮのうち該当するもの）、従業員ＩＤ（従業員の識別情報：１〜ＥＮのうち該当するもの）、接客イベントＩＤ）を接客状況ＤＢ（図８参照）に格納（保持）する（Ｓ１４）。

なお、接客イベント検出部３３１は、所定の映像データを画像処理することにより各従業員の位置座標を得ることができる。表示装置３５の画面上に表示された映像データにおいて各従業員が存在する位置の座標として出力される。また、カメラＩＤは、接客イベント検出部３３１が所定の映像データを画像処理することで、自動ドアの開閉動作時に各従業員が存在した位置を最も近くで撮像するカメラ装置の識別情報として出力される。マイクＩＤは、カメラＩＤと予め対応付けられているので、カメラＩＤが選択された時点で選択されることになって出力される。

図２に示す接客態度評価システム１００では指向性の形成処理が可能のため（Ｓ１５、ＹＥＳ）、接客イベント検出部３３１は、検出された接客イベントに対応する各従業員の位置座標のデータと、モニタリングデータ４ａに含まれる接客イベントに対応する各従業員の音声データとを指向性制御部３７に入力し、指向性制御部３７において各従業員の音声データに対して各従業員に最も近いマイクアレイ装置から各従業員に向かう方向に指向性が形成された後の音声データを取得する（Ｓ１７）。なお、指向性の形成処理が不可能なシステムの場合（Ｓ１５、ＮＯ）、接客イベント検出部３３１は、単に、モニタリングデータ４ａから、接客イベントに対応する音声データを取得する（Ｓ１６）。そして、接客イベント検出部３３１は、接客発話評価値算定部３３２に、各従業員の従業員位置座標（例えば表示装置３５の画面上に表示された従業員の存在する位置の座標）のデータとステップＳ１６またはＳ１７において取得した音声データと接客イベントＩＤとを入力する（Ｓ１８）。

その後、接客発話評価値算定部３３２は、図９に示す接客発話評価処理を実行する（Ｓ１９）。そして、検出状態のフラグが「−１」でない場合には（Ｓ２０、ＮＯ）、接客発話評価出力値を接客状況ＤＢに格納（保持）する（Ｓ２０−１）。一方、検出状態のフラグが「−１」である場合には（Ｓ２０、ＹＥＳ）、接客発話評価出力値を接客状況ＤＢに格納（保持）しない。これにより、図６に示す接客イベント情報処理が終了し、フローは図５のステップＳ８−５に進む。図５において、ステップＳ８−４の後、接客イベント情報ＤＢの全てのレコードが取得されていない場合には（Ｓ８−５、ＮＯ）、接客イベント検出部３３１の処理はステップＳ８−３に戻る。一方、接客イベント情報ＤＢの全てのレコードが取得された場合には（Ｓ８−５、ＹＥＳ）、接客イベント検出部３３１の処理は終了する。

（接客イベント情報ＤＢの一例）
次に、上記接客イベント検出処理の説明で用いた接客イベント情報ＤＢの一例について、図７を参照して説明する。図７に示す接客イベント情報ＤＢは、接客イベントＩＤと、接客イベント名と、接客イベント判定条件（つまり、モニタリングデータ４ａに接客イベントが検出されたか否かを判定するための条件）と、接客イベント出力情報（つまり、接客イベントが検出されたときに出力する情報）との各項目に対応するデータの種類、種別が規定される。

図７に示す接客イベント情報ＤＢの接客イベント判定条件では、接客イベントの検出トリガが接客イベント毎に異なり、入り口付近に設置されたセンサ装置Ｓ１（例えば自動ドア）が開閉動作したことを検出したこと、所定のプリセットＩＤに対応する既定位置（プリセット位置）に、接客を行う従業員が滞在して更に所定の来客者位置プリセットＩＤに対応する位置（即ち、接客イベント時に顧客がいる可能性が高い位置）に顧客が所定時間（例えば５秒程度）滞在したこと、がそれぞれ規定されている。

図７に示す接客イベント情報ＤＢの接客イベント出力情報は、接客イベント毎に異なり、従業員の位置座標とカメラＩＤと従業員ＩＤと接客イベントＩＤとの組み合わせと、プリセットＩＤと従業員ＩＤと接客イベントＩＤとの組み合わせとがそれぞれ規定されている。従業員の位置座標は、指向性制御部３７が各従業員の音声データを収音したマイクアレイ装置から各従業員に向かう方向に音声の指向性を形成する際に用いられる。

（接客状況ＤＢの一例）
次に、接客状況ＤＢの一例について、図８を参照して説明する。図８に示す接客状況ＤＢは、接客状況データＩＤと、接客発話評価値と、イベント開始時刻と、イベント終了時刻と、従業員ＩＤと、接客イベントＩＤと、の各項目に対応するデータが規定される。

なお、接客状況データＩＤ「ＩＤ１」における、接客発話評価値Ｖ１１…Ｖ１ｎの左側の添え字である「１」は接客イベントＩＤ「ＥＩＤ１」に対応しており、接客発話評価値Ｖ１１…Ｖ１ｎの右側の添え字である「１」から「ｎ」は所定時間間隔毎に切り取られるモニタリングデータ４ａの中で同一の接客イベントＩＤの接客イベントが検出された場合の接客イベントの識別情報を示す。ｎは１以上の整数であり、例えば１０秒程度のモニタリングデータ４ａの中で同一の接客イベントＩＤの接客イベントが複数検出された場合には、ｎは２以上の整数となる。

同様に、接客状況データＩＤ「ＩＤ２」における、接客発話評価値Ｖ２１…Ｖ２ｍの左側の添え字である「２」は接客イベントＩＤ「ＥＩＤ２」に対応しており、接客発話評価値Ｖ２１…Ｖ１ｍの右側の添え字である「１」から「ｍ」は所定時間間隔毎に切り取られるモニタリングデータ４ａの中で同一の接客イベントＩＤの接客イベントが検出された場合の接客イベントの識別情報を示す。ｍは１以上の整数であり、例えば１０秒程度のモニタリングデータ４ａの中で同一の接客イベントＩＤの接客イベントが複数検出された場合には、ｍは２以上の整数となる。

図２に示す接客態度評価システム１００は、図８に示す接客状況ＤＢを有することにより、該当する接客イベントの開始時刻から終了時刻までの音声データ及び映像データを接客評価装置３において出力（再生）することができ、責任者又は評価者が接客イベント時の従業員の接客状況を音声及び映像で確認しながら注意深く観察、レビューすることができる。なお、接客評価装置３は、接客イベントＩＤに対応する接客イベントの検出時に収音された音声データをレコーダ装置４から取得した上で出力（再生）する。

（接客発話評価処理の動作手順）
次に、接客発話評価処理（図６に示すステップＳ１９参照）の動作手順の詳細について、図９を参照して説明する。図９は、接客発話評価処理の動作手順の一例を説明するフローチャートである。

図９において、接客発話評価値算定部３３２は、ステップＳ１８において接客イベント検出部３３１から渡された音声データと接客イベントＩＤとを取得し（Ｓ２１）、騒音レベル判定処理を行い（Ｓ２２）、接客キーワードの発話判定処理を行う（Ｓ２３）。ステップＳ２３の後、接客発話評価値算定部３３２は、検出状態（後述参照）のフラグが「１」であるか否かを判定する（Ｓ２４）。検出状態のフラグが「１」である場合には（Ｓ２４、ＹＥＳ）、接客発話評価値算定部３３２は、スコアリング処理を行う（Ｓ２５）。また、検出状態のフラグが「０」である場合には（Ｓ２４、ＮＯ、Ｓ２６、ＹＥＳ）、接客発話評価値算定部３３２は、接客発話評価値をゼロ点に設定するか所定点数を減点する（Ｓ２７）。

ステップＳ２５又はステップＳ２７の後、接客発話評価値算定部３３２は、スコアリングデータとして、検出したキーワードＩＤ（後述参照）と接客発話評価値とを接客発話評価部３３に出力する（Ｓ２８）。なお、検出状態のフラグが「１」、「０」のいずれでもない場合には（Ｓ２４、ＮＯ、Ｓ２６、ＮＯ）、接客発話評価値算定部３３２は、スコアリングデータを出力しない。

（騒音レベル判定処理の動作手順）
次に、騒音レベル判定処理（図９に示すステップＳ２２参照）の動作手順の詳細について、図１０を参照して説明する。図１０は、騒音レベル判定処理の動作手順の一例を説明するフローチャートである。

図１０において、接客発話評価値算定部３３２は、接客評価装置３が取得した収音領域の周囲の騒音レベルが所定値ｘ［ｄＢ］以下であるか否かを判定する（Ｓ２２−１）。騒音レベルは、マイクアレイ装置ＡＭ１，…，ＡＭＬにより収音されて接客評価装置３に送信される。接客発話評価値算定部３３２は、騒音レベルが所定値ｘ［ｄＢ］以下であると判定した場合には（Ｓ２２−１、ＹＥＳ）、発話判定閾値（後述参照）をα１に決定する（Ｓ２２−２）。

一方、接客発話評価値算定部３３２は、騒音レベルが所定値ｘ［ｄＢ］を超える場合には（Ｓ２２−１、ＮＯ）、騒音レベルが所定値ｙ（＞ｘ）［ｄＢ］以下であるか否かを判定する（Ｓ２２−３）。接客発話評価値算定部３３２は、騒音レベルが所定値ｙ［ｄＢ］以下であると判定した場合には（Ｓ２２−３、ＹＥＳ）、発話判定閾値（後述参照）をα２に決定する（Ｓ２２−４）。一方、接客発話評価値算定部３３２は、騒音レベルが所定値ｙ［ｄＢ］を超えると判定した場合には（Ｓ２２−３、ＮＯ）、発話判定閾値（後述参照）をα３に決定する（Ｓ２２−５）。

（接客キーワードの発話判定処理）
次に、接客キーワードの発話判定処理（図９に示すステップＳ２３参照）の動作手順の詳細について、図１１Ａ、図１１Ｂを参照して説明する。図１１Ａ、図１１Ｂは、接客キーワードの発話判定処理の動作手順の一例を説明するフローチャートである。

図１１Ａにおいて、発話可否判定部３３３は、接客イベントにおいて、各従業員が、発話可能な状況であったか否かを、従業員の業務状況に基づいて判定する（Ｓ２３−１）。判定の基準となる業務状況として、例えば、（１）従業員が離席していたか否か、（２）従業員が電話対応中であったか否か、（３）従業員が他の従業員と会話中であったか否か、等が挙げられる。

そして、（１）従業員が離席していない、（２）従業員が電話対応中ではない、かつ、（３）従業員が他の従業員と会話中でない、という業務状況の場合、発話可否判定部３３３は、当該従業員が発話可能な状況であったと判定する（Ｓ２３−２、ＹＥＳ）。一方、（１）従業員が離席している、（２）従業員が電話対応中である、および、（３）従業員が他の従業員と会話中である、のいずれかの業務状況である場合、発話可否判定部３３３は、当該従業員が発話可能な状況ではなかったと判定し（Ｓ２３−２、ＮＯ）、接客発話評価値算定部３３２は、検出状態のフラグを「−１」に設定する（Ｓ２３−３）。その後、図１１Ａに示す接客発話評価値算定部３３２の処理は終了する。

従業員が発話可能な状況である場合には（Ｓ２３−２、ＹＥＳ）、接客発話評価値算定部３３２は、検出状態のフラグを「０」に設定する（Ｓ２３−４）。検出状態のフラグとは、接客イベントにおいて従業員が発話する可能性が高い又は発話するべき模範的な発話想定キーワード（図１６（Ａ）参照）が発話された状態を示す情報である。

接客発話評価値算定部３３２は、ステップＳ２１において取得した音声データを接客発話評価値算定部３３２の音声認識エンジン（不図示）に入力し（Ｓ２３−５）、更に、接客イベントＩＤに対応する全ての発話想定キーワードと、検出した発話想定キーワードを識別するキーワードＩＤとの組を管理サーバ２の管理ＤＢ２ａの接客発話評価ＤＢから取得する（Ｓ２３−６）。

接客発話評価値算定部３３２は、音声認識エンジンによる音声認識処理結果に発話想定キーワードが含まれるか否かを判定する（Ｓ２３−７）。音声認識エンジンによる音声認識結果に発話想定キーワードが含まれないと判定された場合には（Ｓ２３−７、ＮＯ）、図１１Ａに示す接客発話評価値算定部３３２の処理は終了する。

一方、接客発話評価値算定部３３２は、音声認識エンジンによる音声認識処理結果に発話想定キーワードが含まれると判定した場合には（Ｓ２３−７、ＹＥＳ）、音声認識処理結果の評価値がステップＳ２２−２、ステップＳ２２−４又はステップＳ２２−５において決定された発話判定閾値（α１，α２，α３のうちいずれか）以上であるか否かを判定する（Ｓ２３−８）。音声認識処理結果の評価値が発話判定閾値（α１，α２，α３のうちいずれか）未満であると判定された場合には（Ｓ２３−８、ＮＯ）、図１１Ａに示す接客発話評価値算定部３３２の処理は終了する。

一方、接客発話評価値算定部３３２は、音声認識処理結果の評価値が発話判定閾値（α１，α２，α３のうちいずれか）以上であると判定した場合には（Ｓ２３−８、ＹＥＳ）、検出状態のフラグを「１」に設定変更し（Ｓ２３−９）、ステップＳ２１において取得した音声データを、発話想定キーワードに対応するキーワードの発話部分のみに切り取って更新して上書き保存する（Ｓ２３−１０）。その後、図１１Ａに示す接客発話評価値算定部３３２の処理は終了する。

なお、接客キーワードの発話判定処理では、図１１Ｂに示すように、図１１Ａに対して、Ｓ２３−１、Ｓ２３−２の処理をＳ２３−８とＳ２３−９の間に行うように、処理順序を変更するようにしてもよい。

図１２（Ａ）、（Ｂ）は、従業員の業務状況を示すタイムチャートの一例を示す図である。発話可否判定部３３３は、図１２（Ａ）、（Ｂ）に示すようなタイムチャートを参照して発話可否の判定の処理（Ｓ２３−１、Ｓ２３−２）を行う。

例えば、図１２（Ａ）において、９時３７分から３８分の間に来室挨拶の接客イベント（入イベント）が発生している。この間、座席Ａの従業員は、離席していたため、発話可否判定部３３３は、当該従業員が発話可能な状況ではなかったと判定する。一方、座席Ｂの従業員は、離席しておらず、電話応答中でもなく、他の従業員（周囲）との会話中でもないため、発話可否判定部３３３は、当該従業員が発話可能な状況であったと判定する。なお、この時、座席Ｂの従業員は、「いらっしゃいませ」等の発話を行ったため、接客発話評価値がカウントされている。

また、図１２（Ｂ）において、９時５０分から５１分の間に退室挨拶の接客イベント（出イベント）が発生している。この間、座席Ａの従業員および座席Ｂの従業員は、離席しておらず、電話応答中でもなく、他の従業員（周囲）との会話中でもないため、発話可否判定部３３３は、当該従業員が発話可能な状況であったと判定する。なお、この時、座席Ｂの従業員は、「ありがとうございました」等の発話を行っていなかったため、接客発話評価値がカウントされていない。

（スコアリング処理の動作手順）
次に、スコアリング処理（図９に示すステップＳ２５参照）の動作手順の詳細について、図１３を参照して説明する。図１３は、スコアリング処理の動作手順の一例を説明するフローチャートである。

図１３において、接客発話評価値算定部３３２は、ステップＳ２３−１０において更新された音声データを用いて、発話長さ判定処理を行い（Ｓ２５−１）、更に、周波数特性判定処理を行う（Ｓ２５−２）。更に、接客発話評価値算定部３３２は、発話長さ判定処理及び周波数特性判定処理の結果としてのスコアリングデータ（具体的には、ステップＳ２３−８において更新された音声データの中で検出したキーワードを識別するキーワードＩＤと接客発話評価値との組）をメモリ３２に保持する（Ｓ２５−３）。

（発話長さ判定処理および周波数特性判定処理の動作手順）
次に、発話長さ判定処理（図１３に示すステップＳ２５−１参照）及び周波数特性判定処理（図１３に示すステップＳ２５−２参照）の動作手順の詳細について、図１４（Ａ）及び（Ｂ）を参照して説明する。図１４（Ａ）は、発話長さの判定処理の動作手順の一例を説明するフローチャートである。図１４（Ｂ）は、周波数特性の判定処理の動作手順の一例を説明するフローチャートである。

図１４（Ａ）において、接客発話評価値算定部３３２は、管理サーバ２の管理ＤＢ２ａの接客発話評価ＤＢを参照し、ステップＳ２１において取得した接客イベントＩＤに対応する接客発話モデルＩＤにより特定されるモデル音声データを管理サーバ２の管理ＤＢ２ａから取得する（Ｓ３１）。接客発話評価値算定部３３２は、ステップＳ２３−１０において更新された音声データの音声部分（例えば従業員の発話部分）の長さが模範的な所定範囲内であるか否かを判定する（Ｓ３２）。

図１５は、モデル音声を用いた発話長さの判定処理の具体例を示す図である。図１５では、横軸は時間を示し、例えば「来室挨拶」の接客イベントにおいて発話される「いらっしゃいませ」の模範的な所定範囲の音声の発話長さｌ０の「いらっしゃいませ」と、所定範囲を超える音声の発話長さｌ１の「いらっしゃいませ」（図１５に示すＮｏ．１参照）及び発話長さｌ２の「いらっしゃいませ」（図１５に示すＮｏ．２参照）とが示されている。

接客発話評価値算定部３３２は、ステップＳ２３−１０において更新された音声データの発話長さがモデル音声データの発話長さ（発話長さｌ_０）より所定範囲（例えば１０％）内を超える場合（例えば図１５に示すＮｏ．１及びＮｏ．２参照）には（Ｓ３２、ＮＯ）、接客発話評価値から所定点数を減点する（Ｓ３４）。

例えば、図１５に示すＮｏ．１のケースでは、発話された「いらっしゃいませ」の発話長さがモデル音声データの「いらっしゃいませ」の発話長さより所定範囲ほど短く、この場合には、接客発話評価値算定部３３２は、所定点数として、「１００×（０．９ｌ_０−ｌ_１）／ｌ_０」を減点する。ｌ_１は、図１５に示すＮｏ．１のケースで発話された「いらっしゃいませ」の発話長さを示す。より具体的には、モデル音声データの「いらっしゃいませ」の発話長さが１秒で、所定範囲がモデル音声データの「いらっしゃいませ」の発話長さの±１０％であると、図１５に示すＮｏ．１のケースで発話された「いらっしゃいませ」の発話長さが０．９秒〜１．１秒の間であれば減点はされないが、例えば０．７秒であった場合には、２０点（＝１００×（０．９×１秒−０．７秒））が減点される。

また、例えば図１５に示すＮｏ．２のケースでは、発話された「いらっしゃいませ」の発話長さがモデル音声データの「いらっしゃいませ」の発話長さより所定範囲ほど長く、この場合には、接客発話評価値算定部３３２は、所定点数として、「１００×（ｌ_２−１．１ｌ_０）／ｌ_０」を減点する。ｌ_２は、図１５に示すＮｏ．２のケースで発話された「いらっしゃいませ」の発話長さを示す。より具体的には、モデル音声データの「いらっしゃいませ」の発話長さが１秒で、所定範囲がモデル音声データの「いらっしゃいませ」の発話長さの±１０％であると、図１５に示すＮｏ．２のケースで発話された「いらっしゃいませ」の発話長さが０．９秒〜１．１秒の間であれば減点はされないが、例えば１．３秒であった場合には、２０点（＝１００×（１．３秒−１．１×１秒））が減点される。

一方、接客発話評価値算定部３３２は、ステップＳ２３−１０において更新された音声データの発話長さがモデル音声データの発話長さ（発話長さｌ０）より所定範囲（例えば１０％）内を超えない場合（Ｓ３２、ＹＥＳ）又はステップＳ３４の後、スコアリングデータ（具体的には、ステップＳ２３−８において更新された音声データの中で検出したキーワードを識別するキーワードＩＤとステップＳ３４で減点された後若しくはステップＳ３４で減点されなかった初期値（例えば１００点）である接客発話評価値との組）をメモリ３２に保持する（Ｓ３３）。

図１４（Ｂ）において、接客発話評価値算定部３３２は、管理サーバ２の管理ＤＢ２ａの接客発話評価ＤＢを参照し、ステップＳ２１において取得した接客イベントＩＤに対応する接客発話モデルＩＤにより特定されるモデル音声データを管理サーバ２の管理ＤＢ２ａから取得する（Ｓ４１）。接客発話評価値算定部３３２は、ステップＳ２３−１０において更新された音声データの音素（一つ一つの言葉の音）毎の周波数特性（例えば周波数）が模範的な音素毎の基本周波数から所定範囲内であるか否かを判定する（Ｓ４２）。

図１６は、モデル音声の各音素の基本周波数を用いた周波数特性の判定処理の具体例を示す図である。図１６では、横軸は時間を示し、点線の丸はモデル音声データの各音素の基本周波数ｆ_１〜ｆ_７を示し、実線の丸はステップＳ２３−８において更新された音声データの各音素の周波数ｆ’_１〜ｆ’_７を示し、例えば「来室挨拶」の接客イベントにおいて発話される「いらっしゃいませ」の模範的な音素の基本周波数ｆ_１〜ｆ_７毎の所定範囲（図１６に示す直線型の各実線矢印参照）が示されている。

接客発話評価値算定部３３２は、ステップＳ２３−１０において更新された音声データの音素毎に、各音素の周波数特性（例えば周波数）がモデル音声データの各音素の周波数特性毎の所定範囲（例えば６０［Ｈｚ］）内を超えると判定した場合には（Ｓ４２、ＮＯ）、所定範囲を超えた音素の数に応じて、接客発話評価値から所定点数を減点する（Ｓ４４）。

例えば、図１６に示すケースでは、音素「ら」と音素「ま」の周波数ｆ’_１，ｆ’_６が対応する各基本周波数ｆ_１，ｆ_６毎の所定範囲を超えているので、接客発話評価値算定部３３２は、周波数差分（例えば｜ｆ_１−ｆ’_１｜）が６０［Ｈｚ］から１２０［Ｈｚ］であれば５点を該当する音素毎に減点し、周波数差分（例えば｜ｆ_１−ｆ’_１｜）が１２０［Ｈｚ］を超えるなら１０点を該当する音素毎に減点する。なお、地域や業界によっては発話想定キーワードの語尾が上げ調子で発話されることが好ましい場合もあるので（図１６に示す一点鎖線参照）、例えば語尾又は語尾を含む所定数個の音素に対しては、基本周波数の値が増加されて使用されてもよい。

一方、接客発話評価値算定部３３２は、ステップＳ２３−１０において更新された音声データの音素毎に、各音素の周波数特性（例えば周波数）がモデル音声データの各音素の周波数特性毎の所定範囲（例えば６０［Ｈｚ］）内を超えないと判定した場合には（Ｓ４２、ＹＥＳ）又はステップＳ４４の後、スコアリングデータ（具体的には、ステップＳ２３−８において更新された音声データの中で検出したキーワードを識別するキーワードＩＤとステップＳ４４で減点された後若しくはステップＳ４４で減点されなかった初期値（例えば１００点）である接客発話評価値との組）をメモリ３２に保持する（Ｓ４３）。

図１７（Ａ）は、接客発話評価ＤＢの一部を構成する発話想定キーワード表の一例を示す図である。図１７（Ｂ）は、接客発話評価ＤＢの一部を構成する接客発話モデルの一覧表の一例を示す図である。

図１７（Ａ）に示す発話想定キーワード表は、接客イベントＩＤと、接客イベント名と、キーワードＩＤと、発話想定キーワードと、接客発話モデルＩＤとの各項目に対応するデータが規定される。キーワードＩＤは、発話想定キーワードを識別する。接客発話モデルＩＤは、図１７（Ｂ）に示すように、発話想定キーワードの音声が発話される接客発話モデルの音声データを識別する。図１７（Ａ）に示すように、１つの接客発話モデルＩＤに対応して１つ以上の発話想定キーワードが規定されてもよい（図１７（Ａ）に示す接客イベントＩＤ「ＥＩＤ２」のレコード参照）。

（評価結果の表示例）
接客態度評価システム１００が上記処理を行うことによって得られた各従業員の発話評価結果の表示例について図１８（Ａ）、（Ｂ）を用いて説明する。図１８（Ａ）、（Ｂ）では、従業員毎（座席Ａ、Ｂ、Ｃ、Ｄ）に、所定の期間（５日間）における、各接客イベント（来室（図１８（Ａ）及び退室（図１８（Ｂ））のスコアを、日付毎に数値および棒グラフで表示すると供に、当該期間の平均値を表示している。

（効果）
以上のように、本実施の形態の接客態度評価システム１００は、所定の接客イベント毎の接客イベント判定条件を含む接客イベント情報ＤＢ（接客イベントデータ）を基に、従業員の接客イベントを検出し、モニタリングデータ４ａに含まれる従業員の音声データを基に、所定の発話想定キーワードに対応する接客発話評価値を算定する。また、接客態度評価システム１００は、算定された接客発話評価値を、従業員ＩＤと従業員位置及び接客時刻により特定される従業員の音声データに対応付けて記憶する。

これにより、接客態度評価システム１００は、従来技術のように調査員のような人的リソースを用いること無く、所定の収音領域内の顧客に対する各種の接客イベント時における各従業員の接客発話の内容を客観的な接客発話評価値として得ることができ、従業員の顧客に対する接客態度を的確かつ客観的に評価することができる。

また、接客態度評価システム１００は、所定の接客イベント毎の発話想定キーワードを含む接客発話評価ＤＢの発話想定キーワード表（キーワードデータ）を管理サーバ２の管理ＤＢ２ａに記憶し、従業員の音声データに接客イベントに対応する発話想定キーワードが含まれていない場合には接客発話評価値をゼロに設定し又は接客発話評価値から所定点数を減点するので、接客イベント時に発話想定キーワードを発話しない従業員を正確に評価することができる。

また、接客態度評価システム１００は、接客イベント各従業員が発話可能な状況ではない場合には、接客発話評価値の算出対象から除外するので、従業員を正確に評価することができる。

また、接客態度評価システム１００は、従業員の音声データの発話想定キーワードの発話長さがキーワード音声データの発話想定キーワードの発話長さから所定範囲を超える場合に、接客発話評価値から所定点数を減点するので、接客イベント時に発話想定キーワードを模範的な発話長さから逸脱して発話した従業員を正確に評価することができる。

また、接客態度評価システム１００は、従業員の音声データの発話想定キーワードの音素毎の周波数がキーワード音声データの発話想定キーワードの音素毎の基本周波数から所定範囲を超える場合に接客発話評価値から所定点数を減点するので、接客イベント時に発話想定キーワードを模範的な基本周波数から逸脱して発話した従業員を正確に評価することができる。

また、接客態度評価システム１００は、センサ装置Ｓ１，…，ＳＮにより得られた所定の収音領域における顧客の来室又は退室の検出結果をモニタリングデータ４ａとしてレコーダ装置４に記憶し、この検出結果を基に従業員の接客イベントを検出するので、所定の収音領域の来退室挨拶の接客イベントが行われる動機を与えるセンサ装置（例えば開閉する自動ドア）の検出結果に応じて、来退室挨拶の接客イベントが適正に行われているか否かを正確に評価することができる。

また、接客態度評価システム１００は、いずれかのマイクアレイ装置ＡＭ１，…，ＡＭＬから所定の指向方向に音声の指向性を形成した従業員の音声データを基に接客発話評価値を算定するので、指向性が形成されない場合に比べて、従業員の音声データを強調することができるので、接客発話評価値の算定精度を向上することができ、従業員に対する接客発話評価値を正確に算定することができる。

最後に、本発明に係る接客態度評価システム及び接客態度評価方法の構成、作用、効果について説明する。

本発明の一実施の形態は、所定の収音領域に居る各従業員の音声を収音する収音部と、前記収音領域の顧客に対する接客イベントの発生を検出する検出部と、前記接客イベントの発生時において、前記各従業員が発話可能な状況であるか否かを判定する判定部と、前記接客イベントにおいて発話可能な状況であった各従業員について、前記接客イベントの発生時における当該従業員の音声データと、前記接客イベントに対応する発話キーワードとの対比により接客発話評価値を算定する算定部と、前記接客発話評価値に関する情報を、前記従業員の情報と関連付けて表示部に表示させる出力部と、を具備する接客態度評価システムである。

これにより、接客態度評価システムは、従来技術のように調査員のような人的リソースを用いること無く、所定の収音領域内の顧客に対する各種の接客イベント時における従業員の接客発話の内容を客観的な接客発話評価値として得ることができ、従業員の顧客に対する接客態度を的確かつ客観的に評価することができる。

また、本発明の一実施の形態は、所定の収音領域に居る各従業員の音声を収音するステップと、前記収音領域の顧客に対する接客イベントの発生を検出するステップと、前記接客イベントの発生時において、前記各従業員が発話可能な状況であるか否かを判定するステップと、前記接客イベントにおいて発話可能な状況であった各従業員について、前記接客イベントの発生時における当該従業員の音声データと、前記接客イベントに対応する発話キーワードとの対比により接客発話評価値を算定するステップと、前記接客発話評価値に関する情報を、前記従業員の情報と関連付けて表示部に表示させるステップと、を具備する接客態度評価方法である。

これにより、接客態度評価方法は、従来技術のように調査員のような人的リソースを用いること無く、所定の収音領域内の顧客に対する各種の接客イベント時における従業員の接客発話の内容を客観的な接客発話評価値として得ることができ、従業員の顧客に対する接客態度を的確かつ客観的に評価することができる。

以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、顧客に対する各種の接客イベント時における従業員の発話内容を監視する接客態度評価システムに用いるに好適である。

１００ 接客態度評価システム
２ 管理サーバ
２ａ 管理ＤＢ
３ 接客評価装置
３１ 操作部
３２ メモリ
３３ 接客発話評価部
３３１ 接客イベント検出部
３３２ 接客発話評価値算定部
３３３ 発話可否判定部
３４ 出力部
３５ 表示装置
３６ スピーカ装置
３７ 指向性制御部
４ レコーダ装置
４ａ モニタリングデータ
ＡＭ１、ＡＭＬ マイクアレイ装置
Ｃ１、ＣＭ カメラ装置
Ｓ１、ＳＮ センサ装置

Claims (14)

1. 所定の収音領域に居る各従業員の音声を収音する収音部と、
   前記収音領域の顧客に対する接客イベントの発生を検出する検出部と、
   前記接客イベントの発生時において、前記各従業員が発話可能な状況であるか否かを判定する判定部と、
   前記接客イベントにおいて発話可能な状況であった各従業員について、前記接客イベントの発生時における当該従業員の音声データと、前記接客イベントに対応する発話キーワードのモデル音声データとの、発話長さ又は各音素の周波数特性の対比を行い、前記対比の結果により接客発話評価値を算定する算定部と、
   前記接客発話評価値に関する情報を、前記従業員の情報と関連付けて表示部に表示させる出力部と、
   を具備する、
   接客態度評価システム。
2. 請求項１に記載の接客態度評価システムであって、
   前記算定部は、前記従業員の音声データの発話長さが、前記モデル音声データの発話長さの所定割合の範囲を超える場合、前記接客発話評価値から所定点数を減点する、
   接客態度評価システム。
3. 請求項１に記載の接客態度評価システムであって、
   前記算定部は、前記従業員の音声データの音素の周波数特性が、前記モデル音声データの、対応する音素の周波数特性の範囲を超えると判定した場合には、前記接客発話評価値から所定点数を減点する、
   接客態度評価システム。
4. 請求項３に記載の接客態度評価システムであって、
   前記算定部は、前記モデル音声データの音素の周波数特性の範囲を超えた前記従業員の音声データの音素の数に応じて、前記接客発話評価値から点数を減点する、
   接客態度評価システム。
5. 請求項３又は４に記載の接客態度評価システムであって、
   前記算定部は、前記従業員の音声データの語尾又は語尾を含む所定数個の音素に対しては、基本周波数の値を増加して前記判定を行う、
   接客態度評価システム。
6. 請求項１に記載の接客態度評価システムであって、
   所定の方向に指向性を形成するように前記収音部を制御する指向性制御部、を更に備え、
   前記算定部は、前記指向性制御部により形成された指向性の方向に位置する従業員の音声データを用いて前記接客発話評価値を算定する、
   接客態度評価システム。
7. 請求項１に記載の接客態度評価システムであって、
   前記所定の収音領域に対する顧客の入出又は退場を検出する顧客検出部と、を更に備え、
   前記検出部は、前記顧客検出部の検出結果に基づいて前記接客イベントを検出する、
   接客態度評価システム。
8. 請求項１から請求項７のいずれか一項に記載の接客態度評価システムであって、
   前記判定部は、前記接客イベントの発生時において、前記従業員が離席している場合には、当該従業員が発話可能な状況ではなかったと判定する、
   接客態度評価システム。
9. 請求項８に記載の接客態度評価システムであって、
   前記所定の収音領域の既定位置を撮像する撮像部、を更に備え、
   前記判定部は、前記撮像部により撮像された映像データに基づいて前記従業員が離席しているか否かを判定する、
   接客態度評価システム。
10. 請求項１から請求項７のいずれか一項に記載の接客態度評価システムであって、
    前記判定部は、前記接客イベントの発生時において、前記従業員が電話対応中である場合には、当該従業員が発話可能な状況ではなかったと判定する、
    接客態度評価システム。
11. 請求項１から請求項７のいずれか一項に記載の接客態度評価システムであって、
    前記判定部は、前記接客イベントの発生時において、前記従業員が他の従業員と会話中である場合には、当該従業員が発話可能な状況ではなかったと判定する、
    接客態度評価システム。
12. 請求項１１に記載の接客態度評価システムであって、
    前記所定の収音領域の既定位置を撮像する撮像部、を更に備え、
    前記判定部は、前記音声データと前記撮像部により撮像された映像データとに基づいて前記従業員が他の従業員と会話中であるか否かを判定する、
    接客態度評価システム。
13. 請求項１から請求項１２のいずれか一項に記載の接客態度評価システムであって、
    前記算定部は、前記従業員の音声データに、前記接客イベントに対応する発話キーワードが含まれていない場合に、前記接客発話評価値をゼロに設定し、又は、前記接客発話評価値から所定点数を減点する、
    接客態度評価システム。
14. 所定の収音領域に居る各従業員の音声を収音するステップと、
    前記収音領域の顧客に対する接客イベントの発生を検出するステップと、
    前記接客イベントの発生時において、前記各従業員が発話可能な状況であるか否かを判定するステップと、
    前記接客イベントにおいて発話可能な状況であった各従業員について、前記接客イベントの発生時における当該従業員の音声データと、前記接客イベントに対応する発話キーワードのモデル音声データとの、発話長さ又は各音素の周波数特性の対比を行い、前記対比の結果により接客発話評価値を算定するステップと、
    前記接客発話評価値に関する情報を、前記従業員の情報と関連付けて表示部に表示させるステップと、
    を具備する、
    接客態度評価方法。