JP5855290B2 - 接客評価装置、接客評価システム及び接客評価方法 - Google Patents

接客評価装置、接客評価システム及び接客評価方法 Download PDF

Info

Publication number
JP5855290B2
JP5855290B2 JP2015013939A JP2015013939A JP5855290B2 JP 5855290 B2 JP5855290 B2 JP 5855290B2 JP 2015013939 A JP2015013939 A JP 2015013939A JP 2015013939 A JP2015013939 A JP 2015013939A JP 5855290 B2 JP5855290 B2 JP 5855290B2
Authority
JP
Japan
Prior art keywords
customer service
voice
keyword
voice feature
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015013939A
Other languages
English (en)
Other versions
JP2016021044A (ja
Inventor
ティルミー バデゥゲ
ティルミー バデゥゲ
信一 重永
信一 重永
亮太 藤井
亮太 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015013939A priority Critical patent/JP5855290B2/ja
Priority to US15/316,223 priority patent/US20170154293A1/en
Priority to GB1620904.1A priority patent/GB2542959A/en
Priority to DE112015002842.0T priority patent/DE112015002842T5/de
Priority to PCT/JP2015/002827 priority patent/WO2015194115A1/ja
Publication of JP2016021044A publication Critical patent/JP2016021044A/ja
Application granted granted Critical
Publication of JP5855290B2 publication Critical patent/JP5855290B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278—Product appraisal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0613—Third-party assisted
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting

Description

本発明は、人物の接客態度を評価する接客評価装置、接客評価システム及び接客評価方法に関する。
小売りやホテル等のサービス業においては、従業員等の良好な接客態度が顧客満足度につながり、その結果、集客率や売上が向上することが知られている。従業員等の接客態度を評価する方法としては、顧客に対する意見調査などが実施されるのが一般的であるが、そのような接客評価の方法は多数の人員を投入して行なわれるため、非効率的であり、また客観性にも乏しいという問題がある。
そこで、従来、実際に接客している店員と顧客の会話比率と顧客満足度との関連性を把握するために接客データを記録し、その会話比率がどの程度顧客満足度に影響するかを推定し、これにより、会話トレーニングの成果を証明可能とした接客データ記録装置が存在する（特許文献１参照）。
特許５４７７１５３号公報
ところで、上記特許文献１に記載された従来技術では、音声の強度、音声の発生速度、単語別の強度、音量、音声スペクトルなどの変化量に基づいて感情認識が行われることにより、「喜び」、「笑い」、「怒り」、「悲しみ」などの感情データが取得され、この感情データに基づき顧客満足度が算出される。
しかしながら、上記従来技術のような音声の強度等の変化量を用いる方法では、人物の感情をある程度は把握できる可能性があるものの、売上などとの関連までは把握できず、また、従業員等の接客態度の善し悪しに大きく関わる接客時の言葉遣いを評価することまでは困難である。
本発明は、このような従来技術の課題を鑑みて案出されたものであり、接客時の人物の音声に基づき当該人物の接客態度を適正に評価することを可能とした接客評価装置、接客評価システム及び接客評価方法を提供することを主目的とする。
本発明の接客評価装置は、人物の接客態度を評価する接客評価装置であって、前記人物の音声が音声信号として入力される音声入力部と、前記音声信号を取得することにより、予め定められた１以上の接客用キーワードを前記人物の音声から検出するキーワード検出部と、前記キーワード検出部により検出された前記接客用キーワードの音声特徴を取得する音声特徴取得部と、前記音声特徴取得部によって取得された前記音声特徴と、予め設定された規定音声特徴との差分値を算出する音声特徴差分算出部と、前記差分値に基づき、前記人物の接客態度の良否の指標となる評価値を算出する評価値算出部とを備えることを特徴とする。
本発明によれば、接客時の人物の音声に基づき当該人物の接客態度を適正に評価することが可能となる。
本発明の実施形態に係る接客評価システムの全体構成図 図１に示した接客評価システムにおける接客評価装置およびその周辺機器を示す機能ブロック図 接客評価装置による接客スコアリングの処理におけるキーワード検出情報の生成処理の流れを示すフロー図 接客評価装置で用いられる接客用キーワードのリストの一例を示す説明図 接客スコアリングの処理における接客スコアの算出処理の流れを示すフロー図 接客評価装置で算出される音声特徴量の一例を示す説明図 図５のステップＳＴ２０５の処理結果（接客スコアの算出結果）の一例を示す説明図 接客評価装置における接客用キーワードの学習処理の流れを示すフロー図 接客評価装置における接客スコアの算出に用いられる重み係数の補正処理の流れを示すフロー図 接客スコアの算出に用いられる重み係数の補正処理の一例を示す説明図
上記課題を解決するためになされた第１の発明は、人物の接客態度を評価する接客評価装置であって、前記人物の音声が音声信号として入力される音声入力部と、前記音声信号を取得することにより、予め定められた１以上の接客用キーワードを前記人物の音声から検出するキーワード検出部と、前記キーワード検出部により検出された前記接客用キーワードの音声特徴を、音声特徴の種類ごとに数値化して取得する音声特徴取得部と、前記接客用キーワードの規定の音声特徴として、音声特徴の種類ごとに数値化した規定音声特徴を、前記接客用キーワード別に予め格納するデータ格納部と、前記音声特徴取得部によって取得された前記接客用キーワードの音声特徴の数値と、前記データ格納部に格納される当該接客用キーワード用の前記規定音声特徴の数値とを、前記種類ごとに比較した結果に基づき、前記人物の接客態度の良否の指標となる評価値を算出する評価値算出部と、を備えることを特徴とする。
この第１の発明に係る接客評価装置によれば、接客時の人物の音声に基づき当該人物の接客態度を適正に評価することが可能となる。また、同じ接客用キーワードであっても、店舗の特性に合わせた規定音声特徴を用いることにより、店員の音声による接客態度を評価することが可能となる。
また、第２の発明では、上記第１の発明において、前記音声特徴取得部によって取得された前記音声特徴の数値と、前記規定音声特徴の数値との前記種類ごとの差分値を算出する音声特徴差分算出部を更に備え、前記評価値算出部は、前記差分値に基づき、前記評価値を算出することを特徴とする。
この第２の発明に係る接客評価装置によれば、音声特徴量と規定音声特徴量との差分値を用いて評価値を算出することにより、接客態度の良否を容易に評価することが可能となる。
また、第３の発明では、上記第２の発明において、前記規定音声特徴は、前記接客用キーワードごとに予め定められた当該接客用キーワードとして好ましい音声特徴を備えたものであり、前記評価値の算出において、前記差分が小さい程、前記人物の接客態度が良いと評価されることを特徴とする。
この第３の発明に係る接客評価装置によれば、店員の音声特徴が、模範とすべき好ましい音声特徴である規定音声特徴により近い（差分が小さい）ときに、接客態度が良いと評価することが可能となる。
また、第４の発明では、上記第２の発明において、前記規定音声特徴は、前記接客用キーワードごとに予め定められた当該接客用キーワードとして標準的な音声特徴を備えたものであり、前記評価値の算出において、前記差分値が正の方向に大きい場合に、前記人物の接客態度が良いと評価され、負の方向に大きい場合に、前記人物の接客態度が悪いと評価されることを特徴とする。
この第４の発明に係る接客評価装置によれば、規定音声特徴を閾値として用い、店員の音声特徴が閾値以上であれば接客態度が良いと評価し、閾値未満であれば接客態度が悪いと評価するため、店員の音声特徴による接客態度の良否を明確に判断することが可能となる。
また、第５の発明は、人物の接客態度を評価する接客評価装置であって、前記人物の音声が音声信号として入力される音声入力部と、前記音声信号を取得することにより、予め定められた１以上の接客用キーワードを前記人物の音声から検出するキーワード検出部と、前記キーワード検出部により検出された前記接客用キーワードの音声特徴を取得する音声特徴取得部と、前記音声特徴取得部によって取得された前記音声特徴と、予め設定された規定音声特徴との比較に基づき、前記人物の接客態度の良否の指標となる評価値を算出する評価値算出部と、を備え、前記接客用キーワードを用途ごとにグループ化し、同一のグループに属する前記接客用キーワードの前記規定音声特徴は、共通した所定の音声特徴を備えることを特徴とする。
この第５の発明に係る接客評価装置によれば、接客用キーワードを、挨拶のための接客用キーワードのグループ、謝罪のための接客用キーワードのグループなどにグループ化し、グループ内の接客用キーワードの規定音声特徴には共通した音声特徴を持たせるようにするため、接客用キーワードを使用する場面に応じた適切な音声特徴を定め、これに基づいて接客態度の評価値を算出することが可能となる。
また、第６の発明では、上記第１からは第５のいずれかの発明において、前記規定音声特徴は、前記接客用キーワードの一部に予め定められた言葉である特定語が含まれる場合に、前記特定語に対する所定の音声特徴を備えることを特徴とする。
この第６の発明に係る接客評価装置によれば、接客用キーワードの中に、おすすめ商品名や会員カード名等特に協調したい特定の言葉が含まれる場合に、規定音声特徴のこれら特定語の部分に、特有の音声特徴を持たせるようにするため、強調したい言葉を明確にした適切な音声特徴を定め、これに基づいて接客態度の評価値を算出することが可能となる。
また、第７の発明では、上記第１からは第６のいずれかの発明において、前記規定音声特徴は、前記接客用キーワードごとに男性の音声によるものと女性の音声によるものとが予め定められ、前記人物の音声によって、前記男性の音声による規定音声特徴と前記女性の音声による規定音声特徴とを切り替えて使用することを特徴とする。
この第７の発明に係る接客評価装置によれば、本来異なる音声特徴を持つ男性の声と女性の声とでそれぞれ規定音声特徴を持たせ、人物の音声に合わせて切り替えるようにするため、性別に適した規定音声特徴に基づいて接客態度の評価値を正しく算出することが可能となる。
また、第８の発明では、上記第２の発明において、前記評価値算出部は、前記音声特徴の種類ごとに重み付けがなされた前記差分値の和に基づき、前記評価値を算出することを特徴とする。
この第８の発明に係る接客評価装置によれば、音声特徴の種類ごとの重み付けにより、接客態度の良否の指標となる評価値をより適切に算出することが可能となる。
また、第９の発明では、上記第８の発明において、前記音声特徴の種類ごとになされる重み付けの重み係数を学習機能に基づき動的に変更する音声特徴重み決定部を更に備えることを特徴とする。
この第９の発明に係る接客評価装置によれば、音声特徴の種類ごとの重み付けをより適切に行うことが可能となる。
また、第１０の発明では、上記第１から第９の発明のいずれかにおいて、前記音声特徴は、声のトーン、声のスピード、声の大きさ、感情、及び笑顔声のうちの少なくとも１つを含むことを特徴とする。
この第１０の発明に係る接客評価装置によれば、接客用キーワードの音声特徴のいずれかに基づき、接客態度の良否の指標となる評価値を適切に算出することが可能となる。
また、第１１の発明では、上記第１から第１０のいずれかの発明において、前記評価値算出部は、前記キーワード検出部により検出された前記接客用キーワードの検出量を前記評価値に反映することを特徴とする。
この１１の発明に係る接客評価装置によれば、接客態度の良否の指標として、接客用キーワードの検出量も評価値に反映させるため、接客態度をより適正に評価することが可能となる。
また、第１２の発明では、上記第１１の発明において、前記接客用キーワードの検出量は、予め定められた単位時間または単位事象あたり検出された前記接客用キーワードの検出数であることを特徴とする。
この１２の発明に係る接客評価装置によれば、接客用キーワードの適切な音声特徴に基づき、接客態度の良否の指標となる評価値を適切に算出することが可能となる。
また、第１３の発明では、上記第１２の発明において、前記評価値算出部は、前記接客用キーワードの種類ごとに重み付けがなされた前記接客用キーワードの検出数の和に基づき、前記評価値を算出することを特徴とする。
この１３の発明に係る接客評価装置によれば、接客用キーワードの種類ごとの重み付けにより、接客態度の良否の指標となる評価値をより適切に算出することが可能となる。
また、第１４の発明では、上記第１３の発明において、前記接客用キーワードの種類ごとになされる重み付けの重み係数を学習機能に基づき動的に変更するキーワード重み決定部を更に備えたことを特徴とする。
この第１４の発明に係る接客評価装置によれば、接客用キーワードの種類ごとの重み付けをより適切に行うことが可能となる。
また、第１５の発明では、上記第１または第１１の発明において、前記キーワード検出部は、来客があった時刻を基準として定める所定の時間帯における前記接客用キーワードを検出することを特徴とする。
この１５の発明に係る接客評価装置によれば、実際に来客があったときに発せられた接客用キーワードだけを評価対象とするため、接客態度をより適正に評価することが可能となる。
また、第１６の発明では、上記第１の発明において、前記人物の接客による売上データが入力されるデータ入力部と、前記売上データと前記評価値との相関を表示する表示部と、を備えることを特徴とする。
この１６の発明に係る接客評価装置によれば、従業員の売上実績と接客態度とを関連させて表示することが可能となる。
また、第１７の発明は、上記第１から第１６の発明のいずれかに係る前記接客評価装置と、前記接客評価装置とネットワークを介して通信可能に接続され、前記接客評価装置から少なくとも前記評価値を含む情報を受信する管理装置とを備えることを特徴とする接客評価システムである。
また、第１８の発明は、人物の接客態度を評価する接客評価方法であって、前記人物の音声を音声信号として入力し、前記音声信号を取得することにより、予め定められた１以上の接客用キーワードを前記人物の音声から検出し、検出された前記接客用キーワードの音声特徴を音声特徴の種類ごとに数値化して取得し、取得された前記音声特徴の数値と、予め前記接客用キーワード別に格納される規定音声特徴の中から当該接客用キーワード用の前記規定音声特徴の数値とを、前記種類ごとに比較した結果に基づき、前記人物の接客態度の良否の指標となる評価値を算出することを特徴とする。
また、第１９の発明は、上記第１８の発明において、取得された前記音声特徴の数値と、前記規定音声特徴の数値との前記種類ごとの差分値を算出し、前記差分値に基づき、前記評価値を算出することを特徴とする。
また、第２０の発明は、人物の接客態度を評価する接客評価方法であって、前記人物の音声を音声信号として入力し、前記音声信号を取得することにより、予め定められた１以上の接客用キーワードを前記人物の音声から検出し、検出された前記接客用キーワードの音声特徴を取得し、取得された前記音声特徴と、予め設定された規定音声特徴との比較に基づき、前記人物の接客態度の良否の指標となる評価値を算出し、さらに、前記接客用キーワードを用途ごとにグループ化し、同一のグループに属する前記接客用キーワードの前記規定音声特徴は、共通した所定の音声特徴を備えることを特徴とする。
以下、本発明の実施の形態について図面を参照しながら説明する。
図１は、本発明の実施形態に係る接客評価システム１の全体構成図である。この接客評価システム１は、一例として飲食店チェーンの複数の店舗２を対象にして構築されたものであり、各店舗２には、店内を撮影するカメラ３と、店内の音声を収集するマイク４と、店舗２に来店した客を検出するセンサ５と、店舗２での売上や集客に関する各種データ（売上データ等）を取得可能なＰＯＳ（point of sales）装置６と、店舗２における店員（従業員等の接客者）の接客態度を評価する接客評価装置７とが備えられている。カメラ３、マイク４、センサ５及びＰＯＳ装置６は、図示しないＬＡＮ（Local Area Network）等の通信回線を介して接客評価装置７と直接または間接的に通信可能である。なお、図１では、上部に位置する１つの店舗２のみについて詳細構成を示しているが他の店舗も同様の構成を有している。
カメラ３は、店内の天井に設置された全方位カメラであり、カメラ３により撮影された映像は映像信号として通信回線を介して接客評価装置７に送られる。カメラ３で撮影される映像は、主として人物（店員や客）を含む映像である。なお、カメラ３は、少なくとも店員の接客動作や接客される客の動作（店員や客の顔の表情等を含む）を撮影可能な限りにおいて、その種類、配置、数量等については、特に限定されるものではなく種々の変更が可能である。
マイク４は、店内の天井に設置された無指向性マイクであり、マイク４により収集された音声は音声信号として通信回線を介して接客評価装置７に送られる。マイク４で収集される音声は、主として人物（店員や客）の音声である。なお、マイク４は、少なくとも店員の音声を収集可能な限りにおいて、その種類、配置、数量等については、特に限定されるものではなく種々の変更が可能である。
センサ５は、店内の入口付近の天井に設置された人感センサ（ここでは、赤外線センサ）であり、センサ５の検出信号は、通信回線を介して接客評価装置７に送られ、これにより、来客数がカウントされる。なお、来客数については、必ずしもセンサ５で検出結果に基づく必要はなく、例えばＰＯＳ装置６の入力結果からカウントしてもよい。
ＰＯＳ装置６は、店舗２を利用した客の料金の精算等に利用されるＰＯＳレジスタからなり、ＰＯＳ装置６に入力された売上データは通信回線を介して接客評価装置７に送られる。なお、売上データには、商品を売って得た代金等のデータのみならず、商品を購入した客、接客した店員に関するデータなどの種々の関連データが含まれる。
接客評価装置７は、店舗２に設置され、店舗管理者などのユーザが使用するＰＣ（Personal Computer）であり、詳細は図示しないが、種々の入力操作を行うキーボードやマウスなどの操作入力部１１、及び監視画面を表示するモニタからなる表示部１２（ともに図２参照）の他、プリンタやレコーダなどの周知の周辺機器を備えている。後述するように、接客評価装置７は、カメラ３からの映像、マイク４からの音声、及びＰＯＳ装置６からの売上データを取得し、店員の接客態度の良否の指標となる評価値（以下、「接客スコア」という。）を算出するための一連の情報処理（以下、「接客スコアリング」という。）を実行する。また、接客評価装置７は、ユーザの店舗内監視のために、カメラ３で撮影された店舗内の映像を表示部１２に表示するとともに、マイク４で収集された店舗内の音声をスピーカ等から出力することもできる。
接客評価装置７は、広域ネットワーク１５を介して、他店舗における図示しない接客評価装置、複数の店舗２を総括する本部１６に設けられた本部ＰＣ（管理装置）１７、及びクラウドコンピュータ１８の他、スマートフォン１９やタブレット端末２０などの周知の通信機器と通信可能である。本部ＰＣ１７は、各店舗２における接客評価装置７から映像、音声、売上データ、及びそれらの情報を処理して得られた接客評価に関する情報などを取得することにより、接客評価装置７と協働して接客スコアリングを実行することが可能である。
また、接客評価装置７は、表示部１２に、店員ごとの接客スコアをグラフ等で表示したり、店員ごとの接客スコアと接客時間および当該店員の売上データを相関させて表示したり、店舗ごとの接客スコアの平均値や売上データ等を統計的に表示することが可能である。
なお、本実施形態において接客評価装置７及び本部ＰＣ１７が実行する接客スコアリングについては、それら接客評価装置７と本部ＰＣ１７との間において必ずしも各処理の分担は限定される必要はなく、それらのうちの一部の装置が実行すべき処理（その少なくとも一部）を他の装置が代替して実行することもできる。例えば、接客評価装置７が接客スコアリングを実行し、接客スコアリングの結果（接客スコア）のみを本部ＰＣ１７に送信してもよい。或いは、接客評価装置７は接客スコアリングに必要な各種情報を本部ＰＣ１７に送信し、本部ＰＣ１７が接客スコアリングを実行してもよい。また、一部の店舗２の接客評価装置７が本部ＰＣ１７と同様の機能を果たしてもよい。
図２は、図１に示した接客評価システム１における接客評価装置７およびその周辺機器を示す機能ブロック図である。
接客評価装置７は、カメラ３からの映像が映像信号として入力される画像入力部２１と、その入力された映像について画像解析を行う画像解析部２２とを備え、店舗内における店員等の映像の解析結果を接客スコアリングに利用可能である。
また、接客評価装置７は、マイク４からの音声が音声信号として入力される音声入力部３１と、その入力された音声から予め定められた１以上の接客用キーワードを検出するキーワード検出部３２と、キーワード検出部３２によって検出された接客用キーワードに基づき、接客態度の良否の指標となる接客スコアの算出に用いられる数値データ（以下、「キーワードスコア」という。）を算出するキーワードスコア算出部３３と、キーワード検出部３２により検出された接客用キーワードの音声特徴量（必要に応じてベクトルを含む）を取得する音声特徴取得部３４と、音声特徴取得部３４によって取得された音声特徴量に基づき、接客スコアの算出に用いられる数値データ（以下、「音声特徴スコア」という。）を算出する音声特徴スコア算出部（音声特徴差分算出部）３５と、キーワードスコア及び音声特徴スコアに基づき接客スコアを算出する接客スコア算出部（評価値算出部）３６と、接客スコア算出部３６が接客スコアの算出に用いるパラメータ（接客スコアの算出に用いられる重み係数およびその補正値等）を設定するパラメータ設定部３７とを備え、店舗内の店員の音声に基づき接客スコアリングを実行可能である。
なお、本実施形態では、検出すべき接客用キーワードとして、店員が接客や販売促進を目的として使用することが好ましい言葉が設定されるが、接客用キーワードは必ずしもこれに限定されるものではなく、店舗の営業形態や客層に応じて種々の変更が可能である。また、場合によっては、接客や販売促進を目的として店員が使用するのに相応しくない言葉が接客用キーワードとして設定される構成も可能である。
接客評価装置７では、接客スコア算出部３６によって算出された接客スコアは、スコア出力部３８によって表示部１２や外部（広域ネットワーク１５に接続された他の装置）に出力される。
また、接客評価装置７には、ＰＯＳ装置６から接客スコアリングのための補助データ（例えば、売上データ、接客時間、別途収集されたお客様満足度の情報）が入力される補助データ入力部４１と、音声入力部３１に入力された音声を一時的に記録する音声データ仮記録部４２と、補助データ入力部４１に入力された補助データに基づき店員の接客態度の良否を判定し、接客態度を良好と判定した場合に、その店員の接客時の音声を音声データ仮記録部４２に記録された音声から抽出し、接客用キーワードとして設定するキーワード登録部４３とが設けられている。このような構成により、接客評価装置７における接客用キーワードの学習機能が実現される。
接客評価装置７において、接客スコアリングに用いられる接客用キーワード（キーワード検出部３２が検出すべき接客用キーワードの参照情報）、音声特徴を数値化した音声特徴量、及び補助データ等の各種データ（新たに生成または設定されるデータを含む）は、メモリからなるデータ格納部４５に適宜格納される。
なお、接客評価装置７は、周知のハードウエアとして、装置を統括的に制御するＣＰＵ（演算処理装置）、ワークメモリとして機能するＲＡＭ、接客スコアリングを実行可能な接客スコアリング用のプログラムが格納される記憶装置としてのＨＤＤ等を備えている。これにより、接客評価装置７における各部の処理は、ＣＰＵによる接客スコアリング用のプログラムの実行（ソフトウェア処理）によって実行される。或いは、それら各部の処理の一部がハードウエアによって実行される構成も可能である。
図３は図２に示した接客評価装置７による接客スコアリングの処理におけるキーワード検出情報の生成処理の流れを示すフロー図であり、図４は接客評価装置７で用いられる接客用キーワードのリストの一例を示す説明図であり、図５は接客スコアリングの処理における接客スコアの算出処理の流れを示すフロー図であり、図６は接客評価装置７で算出される音声特徴量の一例を示す説明図である。
図３に示すように、キーワード検出情報の生成処理では、音声入力部３１にマイク４からの音声が入力されると（ＳＴ１０１：Ｙｅｓ）、キーワード検出部３２は、データ格納部４５に格納された参照情報に基づき、その入力された音声に接客用キーワードが含まれているか否かを判定し、接客用キーワードが含まれていると判定した場合には、その検出された接客用キーワードおよびその関連情報（接客用キーワードの音声データおよび検出時刻等）をキーワード蓄積データとしてデータ格納部４５に記録する（ＳＴ１０２）。なお、ステップＳＴ１０１におけるキーワード検出の対象は店員の音声であるため、店員の音声とともに客の音声が入力された場合には、キーワード検出部３２は、予め記録された店員の声に基づき入力された音声のマッチング処理を実行することにより、店員の音声のみを抽出する処理を実行可能である。
ここで、図４に示すように、データ格納部４５には、キーワード検出部３２で検出すべき接客用キーワード（ここでは、店舗２の接客に必要とされる「おはようございます。」、「ありがとうございます。」、「いらっしゃいませ。」等）のリストが参照情報として予め記録されている。キーワード検出部３２は、そのリストを参照することにより、入力された音声に接客用キーワードが含まれているか否かを判定することができる。リストに含まれる接客用キーワードについては、ユーザ（ここでは、店舗２の管理者）が必要に応じて操作入力部１１から追加または削除することが可能であり、また、後述する接客評価装置７の学習機能によって追加または削除することができる。
続いて、キーワード検出部３２は、予め定められた特定の事象が発生したか否かを判定し（ＳＴ１０３）、そこで特定の事象（例えば、来客）が発生していると判定した場合（Ｙｅｓ）には、上述のキーワード蓄積データにおいて、その特定の事象の発生時刻Ｔ１を基準として設定される所定の時間帯（例えば、時刻Ｔ１の前後の所定の時間帯）で検出された接客用キーワードおよびその関連情報をキーワード検出情報として抽出し、データ格納部４５に記録する（ＳＴ１０４）。なお、ステップＳＴ１０３において、特定の事象が発生していないと判定された場合には、再びステップＳＴ１０１に戻る。
接客評価装置７による接客スコアリングの処理では、上記のようなキーワード検出情報の生成処理によって、接客用キーワードおよびその関連情報がキーワード検出情報として徐々に蓄積され、その蓄積が十分なされた状態で接客スコアの算出処理が実行される。この場合、キーワード検出部３２は、キーワード検出情報として蓄積される接客用キーワードおよびその関連情報について所定の単位時間（検出期間）ごとに複数に分割して記録することもできる。
図５に示すように、接客スコアの算出処理では、キーワードスコア算出部３３は、上述のキーワード検出情報において、予め定められた単位時間（例えば、１時間、１日、１週間等）あたり検出された接客用キーワードの検出数をキーワードスコアとして算出する（ＳＴ２０１）。
なお、キーワードスコア算出部３３は、単位時間あたり検出された接客用キーワードの検出数を、当該単位時間あたりの来客数で除した値をキーワードスコアとしてもよい。これにより、店舗２ごとに来客数に大きな差がある場合にも、後述する接客スコアをより適切に算出できるという利点がある。また、ここではキーワードスコアを単位時間あたり検出された接客用キーワードの検出数としたが、これに限らず、単位事象（例えば、客の１回の来店、客の１回の精算）あたり検出された接客用キーワードの検出数をキーワードスコアとしてもよい。その場合、客の来店や精算は、センサ５の検出結果、ＰＯＳ装置６の入力結果、または、画像解析部２２の解析結果等によって検知可能である。
次に、接客スコアの算出処理では、音声特徴取得部３４によって取得された音声特徴量に基づき、音声特徴スコアが算出される（ＳＴ２０２〜ＳＴ２０４）。音声特徴スコアの算出では、まず、音声特徴取得部３４が、上述のキーワード検出情報に含まれる接客用キーワードの音声特徴について数値化し、その数値を音声特徴量として記録する（ＳＴ２０３）。ここで、接客用キーワードの音声特徴には、例えば図６に示すように、声のトーン、声のスピード、声の大きさ、感情（人物の感情と声との相関関係に基づき判定される「喜び」、「怒り」、「悲しみ」など）、及び笑顔声（人物が笑顔の状態で発する声）などの項目が含まれ、これらの項目の一部あるいは全部について公知の手法によって数値化されたものが音声特徴量（図６中に示された数値）となる。
なお、音声特徴取得部３４は、上述のキーワード検出情報を必ずしも用いる必要はなく、例えば、上述の図３のステップＳＴ１０２におけるキーワード検出部３２による接客用キーワードの検出時に、キーワード検出部３２から接客用キーワードの検出データを取得し、当該接客用キーワードの音声特徴について数値化することにより、その数値を音声特徴量として記録することもできる。また、接客用キーワードの音声特徴については、ここに示したものに限らず種々の変更が可能である。
次に、音声特徴スコア算出部３５は、音声特徴取得部３４によって取得された音声特徴量に基づき、接客スコアの算出に用いられる音声特徴スコアを算出する（ＳＴ２０４）。ここで、データ格納部４５には、各接客用キーワードの音声特徴の基準（規定音声特徴）を表す音声特徴量の基準値（規定音声特徴量）が予め記録されており、この基準値（規定音声特徴量）は、接客用キーワードの音声特徴を数値化した音声特徴量からなり、図６に示した音声特徴量の各項目（トーン、スピード、大きさ、感情、笑顔声）に対応して設定されている。
なお、規定音声特徴量は、店舗によって任意に変更可能である。同じ「いらっしゃいませ」という接客用キーワードであっても、静かなレストランや百貨店やホテルにおける「いらっしゃいませ」と、賑やかな居酒屋やガソリンスタンドやパチンコ店における「いらっしゃいませ」とでは、必要とされる音声特徴は違うものとなる。
また、規定音声特徴量は、同じ系列の別の店舗や同一の店舗における同じ接客用キーワードであっても、曜日や時間あるいは混雑具合等の状況によって複数準備しておき、状況に応じて任意に変更できるようにしても良い。例えば、平日であれば静かな環境であるため、声の大きさは抑えめが良いが、休日であれば混雑により賑やかな環境となるため、声の大きさは平日よりも大きいものとする。あるいは、昼間と夜間など時間帯によって規定音声特徴を変更するようにしても良いし、店舗の管理者が、店舗のその場の状況に応じて、規定音声特徴を変更するようにしても良い。
本発明の実施形態においては、このような店舗の特性や環境に合わせた規定音声特徴量を予めデータ格納部４５に格納しておき、この規定音声特徴量と、実際に店員が発した音声の音声特徴とを比較することにより、店員の音声による接客態度を適正に評価することが可能となる。
さらに、規定音声特徴量は、男性の声によるものと女性の声によるものをそれぞれ準備しておき、店員の音声によりその店員が男性か女性かを判断して、男性用の規定音声特徴量と女性用の規定音声特徴量とを切り替えるようにしても良い。
男性店員と女性店員とでは接客の音声特徴も異なるため、性別に合わせた規定音声特徴量を予めデータ格納部４５に格納しておき、この規定音声特徴量と比較することにより、性別に合わせた規定音声特徴に基づいて店員の音声による接客態度を適正に評価することが可能となる。
さらに、接客用キーワードの一部に、特に強調してはっきりと伝えたい特定の言葉（特定語）が含まれる場合は、特定語に固有の音声特徴を付与した規定音声特徴量を準備するようにする。例えば、接客用キーワードとして、「ＡＡカードはお持ちですか？」を登録した場合、接客用キーワード中の「ＡＡカード」という店舗の会員カード名は、客が必ず聞き取れるように、はっきり、ゆっくり、大きく発声すべき「特定語」とし、この接客用キーワードの「ＡＡカード」の部分に特定語固有の音声特徴を持たせた規定音声特徴量とする。
また、会員カード名の他に、おすすめ商品名やキャンペーン商品名等も特定語とすると良い。その場合、「ＢＢもいかがですか？」という接客用キーワード中の「ＢＢ」という商品名の部分に特定語固有の音声特徴を持たせる。なお、特定語を含む接客用キーワード全体の規定音声特徴量を予めデータ格納部４５に格納しておき、この規定音声特徴量と比較するようにしても良いし、あるいは、特定語のリスト（「ＡＡカード」、「ＢＢ」）と、特定語用の共通の規定音声特徴量を格納しておき、接客用キーワードの中に特定語が含まれることを検出し、特定語の部分については特定語用の共通の規定音声特徴量と比較するようにしても良い。特定語を定めることにより、店舗が重要視する言葉に関する規定音声特徴に基づいて店員の音声による接客態度を適正に評価することが可能となる。
続いて、ステップＳＴ２０４において、音声特徴スコア算出部３５は、接客用キーワードについて、ステップＳＴ２０３で取得された音声特徴量（図６参照）の各項目の数値と、音声特徴量の対応する項目の基準値（規定音声特徴量）との差分（ここでは、絶対値）をとり、それら差分を音声特徴スコアとして算出する。
なお、規定音声特徴量は、接客用キーワードの用途に応じて共通した音声特徴を備えるようにしても良い。すなわち、「おはようございます」や「いらっしゃいませ」は、挨拶用の接客用キーワードとして登録し、「すみません」や「申し訳ございません」は、謝罪用の接客用キーワードとして登録する。
挨拶用の接客用キーワードと謝罪用の接客用キーワードとでは、当然のことながら、音声特徴は異なるものとなる。例えば、挨拶用としてグループ化された接客用キーワードは、大きな声で勢いのあるスピードで明るいトーンで発声される規定音声特徴を備えるようにし、謝罪用としてグループ化された接客用キーワードは、落ち着いたスピードで低めのトーンで申し訳なさそうに発声される規定音声特徴を備えるようにする。
そして、データ格納部４５に格納される接客用キーワードは、これら共通の音声特徴を持つグループごとにまとめて格納されても良いし、あいうえお順または登録順に格納されて、各々がグループ識別子を備えるようにしても良い。このようにすることで、グループに属する接客用キーワードの規定音声特徴量の全体または一部を共通化する。
この場合の動作を説明すると、図５のＳＴ２０４の前に、接客用キーワードのグループを特定し、グループが特定された場合は、ステップＳＴ２０４に代わって、ステップＳＴ２０３で取得された音声特徴量（図６参照）の各項目の数値と、グループ共通の規定音声特徴量の各項目の数値との差分値を算出してステップＳＴ２０５に進む。一方、グループが特定されなかった（グループに属さない）場合は、ステップＳＴ２０４において、ステップＳＴ２０３で取得された音声特徴量（図６参照）の各項目の数値と、抽出された接客用キーワード個別の規定音声特徴量の各項目の数値との差分値を算出してステップＳＴ２０５に進む。このように、規定音声特徴量を共通化することにより、データ格納部４５の格納量を削減することも可能となる。
また、規定音声特徴量は、模範とすべき好ましい発声の音声特徴を持つものとし、音声特徴スコアの算出にあたり、店員の音声特徴量と規定音声特徴量の差分が小さい程（規定音声特徴量に近ければ近い程）、音声特徴スコアを、接客態度が良いとされるスコアとし、差分が大きい程、接客態度が悪いとされるスコアとするものとする。
また、上記に代えて、規定音声特徴量は、平均的な標準となる音声特徴を持つものとし、音声特徴スコアの算出にあたり、店員の音声特徴量と規定音声特徴量の差分がプラス（正）方向で大きい程（規定音声特徴量を上回れば上回る程）、音声特徴スコアを、接客態度が良いとされるスコアとし、差分がマイナス（負）方向で大きい程（規定音声特徴量を下回れば下回る程）、接客態度が悪いとされるスコアとするようにしても良い。その際に、差分がプラス（正）方向に大きい程に評価値を加算し、差分がマイナス（負）方向に大きい程に評価値を減算し、評価値が高い方が接客態度が良いとされるようにしても良い。
また、音声特徴スコアの算出にあたり、各項目に関する差分に対して、重み付けを行うことが可能である。例えば、声のトーン、声のスピード、声の大きさ、感情、及び笑顔声の各項目に対する重み係数をそれぞれ設定し、それら各項目に関する差分値に重み係数を乗算した後の和を音声特徴スコアとして算出することが可能である。また、音声特徴スコア算出部３５は、上記ステップＳＴ２０４において算出される音声特徴スコアを、来客数（または音声特徴スコアに用いた接客用キーワードの数）で除した値（平均値）を音声特徴スコアとしてもよい。これにより、店舗２ごとに来客数に大きな差がある場合にも、接客スコアをより適切に算出できるという利点がある。
その後、接客スコア算出部３６は、ステップＳＴ２０１で算出されたキーワードスコアとステップＳＴ２０４で算出された音声特徴スコアとを加算することにより、接客スコアを算出する（ＳＴ２０５）。なお、音声特徴スコア算出部３５は、接客スコアの算出にあたり、キーワードスコアおよび音声特徴スコアの各項目の差分値に対し、それぞれ重み付けを行うことが可能である。
なお、接客スコア算出部３６では、上述のように接客や販売促進を目的として店員が使用するのに相応しくない言葉が接客用キーワードとして設定される構成においては、予め定められた数値（満点スコア）からキーワードスコアおよび音声特徴スコアから算出された減点スコアが減じられることによって接客スコアが算出されてもよい。
上記のような接客スコアの算出処理で算出された接客スコアは、スコア出力部３８に送られる。スコア出力部３８は、表示部１２や広域ネットワーク１５に接続された他の装置（本部ＰＣ１７、スマートフォン１９、タブレット端末２０など）において接客スコアを表示するための表示データを生成し、それら表示部１２や広域ネットワーク１５に接続された他の装置に対して送信する。
表示部１２や広域ネットワーク１５に接続された他の装置における接客評価結果（接客スコア）の接客評価の表示方法としては、グラフ表示（棒グラフ、円グラフ、折れ線グラフ）や、リスト表示などを採用することができる。また、接客スコアは、店員（従業員）別や、店舗別等の個別スコアとして表示することができる。
個別スコアの表示方法としては、例えば、棒グラフ表示において、Ｘ軸を各店員、各店舗、各地域（店舗所在地）、各店舗オーナー、各店舗指導員、または各期間とし、Ｙ軸を接客スコア、キーワードスコア、または音声特徴スコアとすることができる。また例えば、リスト表示においては、接客スコアの高い順または低い順、或いはキーワードスコアまたは音声特徴スコアの高い順または低い順にソートして表示することができる。
また、接客評価の表示方法においては、接客スコアの構成要素（ここでは、キーワードスコア、音声特徴スコア）を占める割合を表示するとよい。例えば、円グラフ表示においては、接客スコアの構成要素（ここでは、キーワードスコア、音声特徴スコア）、各音声特徴（声のトーン、声のスピード、声の大きさ、感情、及び笑顔声等）などを表示することができる。
また、接客評価の表示方法においては、特に店舗の売上に対する接客スコアの値（すなわち、売上と接客スコアとの相関）を表示するとよい。或いは、折れ線グラフ表示において、Ｘ軸を店舗別、地域別、時間別、または曜日別の接客スコアとし、Ｙ軸を売上（店舗の総売上、商品カテゴリー別の売上など）とすることができる。これにより、ユーザは店舗の売上と接客スコアの値との相関を把握することができる。
また、接客評価の表示方法においては、特に接客スコアと客のリピート率の相関を表示するとよい。例えば、折れ線グラフ表示において、Ｘ軸を店舗別、地域別、時間別、または曜日別の接客スコアとし、Ｙ軸をリピート率（年齢層別、性別、商品カテゴリー別など）とすることができる。これにより、ユーザは客のリピート率と接客スコアの値との相関を把握することができる。
また、表示部１２や広域ネットワーク１５に接続された他の装置は、接客スコアの数値が目標範囲を外れる場合（所定の閾値よりも低い場合や高い場合）にアラートを表示するとよい。そのようなアラートの表示は、従業員別または店舗別に行うことができる。
図７は、図５のステップＳＴ２０５の処理結果（接客スコアの算出結果）の一例を示す説明図である。ここでは、接客用キーワード「いらっしゃいませ。」及び「ありがとうございます。」について、キーワードスコア及び音声特徴スコアから接客スコアを算出する例を示している。接客スコア（Ｓ）は次式より算出される。
接客スコア（Ｓ）＝α×Ｋ＋β１×ＡＤ１＋β２×ＡＤ２
ただし、
α、β１、β２：重み係数
Ｋ：キーワードスコア
ＡＤ１：第１の接客用キーワード「いらっしゃいませ。」の音声特徴スコア
ＡＤ２：第２の接客用キーワード「ありがとうございます。」の音声特徴スコア
例えば、図７の従業員Ａについては、キーワードスコア及び音声特徴スコアをＫ＝１０、ＡＤ１＝２、ＡＤ２＝１とし、また、重み係数をα＝０．５、β１＝０．２、β２＝０．３とすると、接客スコア（Ｓ）＝５．７が算出される。従業員Ｂ、Ｃの接客スコアについても同様に算出可能である。
なお、接客スコア算出部（キーワード重み決定部、音声特徴重み決定部）３６は、接客用キーワードの種類ごとになされる重み係数を学習機能に基づき動的に変更することが可能であり、また、音声特徴の種類ごとになされる重み係数を学習機能に基づき動的に変更することが可能である。この場合、ユーザが、接客スコアの統計値（例えば、平均値）に対する目標値を設定し、その目標値に接客スコアの統計値を近づけるように接客スコア算出部３６が重み係数を設定する構成とすることができる。
また、キーワード検出部３２における検出精度が接客スコアの算出に影響を及ぼす可能性がある場合には、キーワードスコア及び音声特徴スコアの重み係数は、キーワード検出部３２における検出精度を補う観点から設定されるとよい。
図８は、接客評価装置７における接客用キーワードの学習処理の流れを示すフロー図である。図に示すように、接客用キーワードの学習処理では、音声入力部３１にマイク４からの音声が入力されると（ＳＴ３０１：Ｙｅｓ）、音声データ仮記録部４２はその入力された音声を一時的に記録する（ＳＴ３０２）。続いて、ＰＯＳ装置６から補助データ入力部４１に対して接客スコアリングのための補助データ（ここでは、売上データ）が入力される（ＳＴ３０３）。
その後、キーワード登録部４３は、補助データ入力部４１に入力された売上データが予め定めた閾値を越えるか否かを判定し（ＳＴ３０４）、売上データが閾値を越える場合（Ｙｅｓ）には、その判定時刻Ｔ２を基準として、その時刻Ｔ２以前の所定時間帯に入力された音声（音声データ仮記録部４２に一時記録された音声）から公知の手法に基づきキーワードの抽出処理を実行する（ＳＴ３０５）。一方、売上データが閾値を越えない場合（ＳＴ３０４：Ｎｏ）には、再びステップＳＴ３０１に戻る。
その後、キーワード登録部４３は、ステップＳＴ３０５において抽出したキーワードを、図４に示したようなキーワード検出部３２で検出すべき接客用キーワードとしてデータ格納部４５のリストに新たに記録（追加）する（ＳＴ３０６）。このような接客用キーワードの学習処理により、売上向上と相関する接客用キーワードを設定することが可能となる。
なお、キーワード登録部４３による接客用キーワードの追加は、上述のように売上データが閾値を越えた場合に限定されるものではない。例えば、キーワード登録部４３は、音声入力部３１に入力される音声の解析や画像解析部２２に基づき客の満足度が大きいことを判定し、その客の満足度が閾値よりも大きい場合に接客用キーワードの追加を行ってもよい。或いは、キーワード登録部４３は、接客時間が所定の閾値よりも大きいことを判定し、その接客時間が閾値よりも大きい場合に接客用キーワードの追加を行ってもよい。
図９は接客評価装置７における接客スコアの算出に用いられる重み係数の補正処理の流れを示すフロー図である。
図９に示すように、重み係数の補正処理では、ユーザが操作入力部１１から各店員に対する重み係数の補正値を入力すると（ＳＴ４０１）、パラメータ設定部３７は、その入力された各補正値に基づき各店員に対する新パラメータ（補正された重み係数）の算出を実行する（ＳＴ４０２〜ＳＴ４０６）。各店員に対する新パラメータの算出では、パラメータ設定部３７は、入力補正値（Ｍｉ）としてｉ番目に入力された補正値（ｉ番目の店員に対する補正値）を設定し（ＳＴ４０３）、続いて、旧スコア（ＯＳｉ）として旧パラメータ（ＯＰ）（補正前の重み係数）で算出された接客スコアを設定する（ＳＴ４０４）。
続いて、パラメータ設定部３７は、旧スコアの補正率（ＭＲｉ）を次式から算出する（ＳＴ４０５）。
旧スコアの補正率（ＭＲｉ）＝入力補正値（Ｍｉ）／旧スコア（ＯＳｉ）
更に、パラメータ設定部３７は、新パラメータ（ＮＰｉ）を次式から算出する（ＳＴ４０６）。
新パラメータ（ＮＰｉ）＝旧パラメータ（ＯＰ）×旧スコアの補正率（ＭＲｉ）
なお、パラメータ設定部３７は、上記ステップＳＴ４０３〜ＳＴ４０６について入力された補正値の数（店員の数）だけ繰り返し実行する。
その後、パラメータ設定部３７は、ステップＳＴ４０６で算出された各店員に対する新パラメータの和を補正値の数で除した値（複数の店員に関する新パラメータの平均値）を算出する（ＳＴ４０７）。
図１０は接客スコアの算出に用いられる重み係数の補正処理の一例を示す説明図である。ここでは、図７に示した接客スコアの算出結果に基づきユーザが補正を行う場合を示しており、補正前（更新前）の重み係数をα＝０．５、β１＝０．２、β２＝０．３とし、３人の従業員Ａ〜Ｃに対する入力補正値（Ｍｉ）は、それぞれ＋１．０、＋１．０、＋２．０とする。
上記ステップＳＴ４０５に基づき算出される補正率（ＭＲｉ）は、従業員Ａ〜Ｃについてそれぞれ＋０．１７、＋０．１４、＋０．２９となる。また、上記ステップＳＴ４０６に基づき従業員Ａについて算出される補正後の重み係数は、α＝０．５８、β＝０．２３、β２＝０．３５、従業員Ｂについて算出される補正後の重み係数は、α＝０．５７、β＝０．２２、β２＝０．３４、従業員Ｃについて算出される補正後の重み係数は、α＝０．６４、β＝０．２５、β２＝０．３８となる。
そして、最終的に上記ステップＳＴ４０７に基づく重み係数の補正値（新パラメータの平均値）は、以下のとおりとなる。
α（補正値）＝（０．５８＋０．５７＋０．６４）＝０．５９
β１（補正値）＝（０．２３＋０．２２＋０．２５）／３ ＝０．２３
β２（補正値）＝（０．３５＋０．３４＋０．３８）／３ ＝０．３５
このように算出された重み係数の補正値（更新値）は、接客スコア算出部３６による接客スコアを算出に用いられる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、本発明に係る接客評価装置は、飲食店に限らず、ホテル、銀行、小売店、ガソリンスタンド等の接客を必要とする任意の店舗等あるいは音声のみで接客する電話セールス、コールセンター等に適用することが可能である。
また、キーワードスコアと音声特徴スコアの両方から接客スコアを算出すると説明したが、接客用キーワードの音声特徴（音声特徴スコア）のみから接客スコアを算出するようにしても良い。
なお、上記実施形態に示した本発明に係る接客評価装置、接客評価システム及び接客評価方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
本発明に係る接客評価装置、接客評価システム及び接客評価方法は、接客時の人物の音声に基づきその接客態度を適正に評価することを可能とし、人物の接客態度を評価する接客評価装置、接客評価システム及び接客評価方法などとして有用である。
１ 接客評価システム
２ 店舗
３ カメラ
４ マイク
５ センサ
６ ＰＯＳ装置
７ 接客評価装置
１１ 操作入力部
１２ 表示部
１５ 広域ネットワーク
１６ 本部
１７ 本部ＰＣ
２１ 画像入力部
２２ 画像解析部
３１ 音声入力部
３２ キーワード検出部
３３ キーワードスコア算出部
３４ 音声特徴取得部
３５ 音声特徴スコア算出部
３６ 接客スコア算出部
３７ パラメータ設定部
３８ スコア出力部
４１ 補助データ入力部
４２ 音声データ仮記録部
４３ キーワード登録部
４５ データ格納部

Claims (20)

  1. 人物の接客態度を評価する接客評価装置であって、
    前記人物の音声が音声信号として入力される音声入力部と、
    前記音声信号を取得することにより、予め定められた１以上の接客用キーワードを前記人物の音声から検出するキーワード検出部と、
    前記キーワード検出部により検出された前記接客用キーワードの音声特徴を、音声特徴の種類ごとに数値化して取得する音声特徴取得部と、
    前記接客用キーワードの規定の音声特徴として、音声特徴の種類ごとに数値化した規定音声特徴を、前記接客用キーワード別に予め格納するデータ格納部と、
    前記音声特徴取得部によって取得された前記接客用キーワードの音声特徴の数値と、前記データ格納部に格納される当該接客用キーワード用の前記規定音声特徴の数値とを、前記種類ごとに比較した結果に基づき、前記人物の接客態度の良否の指標となる評価値を算出する評価値算出部と、
    を備えることを特徴とする接客評価装置。
  2. 前記音声特徴取得部によって取得された前記音声特徴の数値と、前記規定音声特徴の数値との前記種類ごとの差分値を算出する音声特徴差分算出部を更に備え、
    前記評価値算出部は、前記差分値に基づき、前記評価値を算出することを特徴とする請求項１に記載の接客評価装置。
  3. 前記規定音声特徴は、前記接客用キーワードごとに予め定められた当該接客用キーワードとして好ましい音声特徴を備えたものであり、前記評価値の算出において、前記差分値が小さい程、前記人物の接客態度が良いと評価されることを特徴とする請求項２に記載の接客評価装置。
  4. 前記規定音声特徴は、前記接客用キーワードごとに予め定められた当該接客用キーワードとして標準的な音声特徴を備えたものであり、前記評価値の算出において、前記差分値が正の方向に大きい場合に、前記人物の接客態度が良いと評価され、負の方向に大きい場合に、前記人物の接客態度が悪いと評価されることを特徴とする請求項２に記載の接客評価装置。
  5. 人物の接客態度を評価する接客評価装置であって、
    前記人物の音声が音声信号として入力される音声入力部と、
    前記音声信号を取得することにより、予め定められた１以上の接客用キーワードを前記人物の音声から検出するキーワード検出部と、
    前記キーワード検出部により検出された前記接客用キーワードの音声特徴を取得する音声特徴取得部と、
    前記音声特徴取得部によって取得された前記音声特徴と、予め設定された規定音声特徴との比較に基づき、前記人物の接客態度の良否の指標となる評価値を算出する評価値算出部と、を備え、
    前記接客用キーワードを用途ごとにグループ化し、同一のグループに属する前記接客用キーワードの前記規定音声特徴は、共通した所定の音声特徴を備えることを特徴とする接客評価装置。
  6. 前記規定音声特徴は、前記接客用キーワードの一部に予め定められた言葉である特定語が含まれる場合に、前記特定語に対する所定の音声特徴を備えることを特徴とする請求項１から請求項５のいずれかに記載の接客評価装置。
  7. 前記規定音声特徴は、前記接客用キーワードごとに男性の音声によるものと女性の音声によるものとが予め定められ、前記人物の音声によって、前記男性の音声による規定音声特徴と前記女性の音声による規定音声特徴とを切り替えて使用することを特徴とする請求項１から請求項６のいずれかに記載の接客評価装置。
  8. 前記評価値算出部は、前記音声特徴の種類ごとに重み付けがなされた前記差分値の和に基づき、前記評価値を算出することを特徴とする請求項２に記載の接客評価装置。
  9. 前記音声特徴の種類ごとになされる重み付けの重み係数を学習機能に基づき動的に変更する音声特徴重み決定部を更に備えることを特徴とする請求項８に記載の接客評価装置。
  10. 前記音声特徴は、声のトーン、声のスピード、声の大きさ、感情、及び笑顔声のうちの少なくとも１つを含むことを特徴とする請求項１から請求項９のいずれかに記載の接客評価装置。
  11. 前記評価値算出部は、前記キーワード検出部により検出された前記接客用キーワードの検出量を前記評価値に反映することを特徴とする請求項１から請求項１０のいずれかに記載の接客評価装置。
  12. 前記接客用キーワードの検出量は、予め定められた単位時間または単位事象あたり検出された前記接客用キーワードの検出数であることを特徴とする請求項１１に記載の接客評価装置。
  13. 前記評価値算出部は、前記接客用キーワードの種類ごとに重み付けがなされた前記接客用キーワードの検出数の和を前記評価値に反映することを特徴とする請求項１２に記載の接客評価装置。
  14. 前記接客用キーワードの種類ごとになされる重み付けの重み係数を学習機能に基づき動的に変更するキーワード重み決定部を更に備えることを特徴とする請求項１３に記載の接客評価装置。
  15. 前記キーワード検出部は、来客があった時刻を基準として定める所定の時間帯における前記接客用キーワードを検出することを特徴とする請求項１または請求項１１に記載の接客評価装置。
  16. 前記人物の接客による売上データが入力されるデータ入力部と、
    前記売上データと前記評価値との相関を表示する表示部と、
    を備えることを特徴とする請求項１に記載の接客評価装置。
  17. 請求項１から請求項１６のいずれかに係る前記接客評価装置と、前記接客評価装置とネットワークを介して通信可能に接続され、前記接客評価装置から少なくとも前記評価値を含む情報を受信する管理装置と、を備えることを特徴とする接客評価システム。
  18. 人物の接客態度を評価する接客評価方法であって、前記人物の音声を音声信号として入力し、前記音声信号を取得することにより、予め定められた１以上の接客用キーワードを前記人物の音声から検出し、検出された前記接客用キーワードの音声特徴を音声特徴の種類ごとに数値化して取得し、取得された前記音声特徴の数値と、予め前記接客用キーワード別に格納される規定音声特徴の中から当該接客用キーワード用の前記規定音声特徴の数値とを、前記種類ごとに比較した結果に基づき、前記人物の接客態度の良否の指標となる評価値を算出することを特徴とする接客評価方法。
  19. 取得された前記音声特徴の数値と、前記規定音声特徴の数値との前記種類ごとの差分値を算出し、前記差分値に基づき、前記評価値を算出することを特徴とする請求項１８に記載の接客評価方法。
  20. 人物の接客態度を評価する接客評価方法であって、前記人物の音声を音声信号として入力し、前記音声信号を取得することにより、予め定められた１以上の接客用キーワードを前記人物の音声から検出し、検出された前記接客用キーワードの音声特徴を取得し、取得された前記音声特徴と、予め設定された規定音声特徴との比較に基づき、前記人物の接客態度の良否の指標となる評価値を算出し、さらに、前記接客用キーワードを用途ごとにグループ化し、同一のグループに属する前記接客用キーワードの前記規定音声特徴は、共通した所定の音声特徴を備えることを特徴とする接客評価方法。
JP2015013939A 2014-06-16 2015-01-28 接客評価装置、接客評価システム及び接客評価方法 Active JP5855290B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015013939A JP5855290B2 (ja) 2014-06-16 2015-01-28 接客評価装置、接客評価システム及び接客評価方法
US15/316,223 US20170154293A1 (en) 2014-06-16 2015-06-04 Customer service appraisal device, customer service appraisal system, and customer service appraisal method
GB1620904.1A GB2542959A (en) 2014-06-16 2015-06-04 Customer service appraisal device, customer service appraisal system, and customer service appraisal method
DE112015002842.0T DE112015002842T5 (de) 2014-06-16 2015-06-04 Kundenservicebewertungsvorrichtung, Kundendenservicebewertungssystem und Kundenservicebewertungsverfahren
PCT/JP2015/002827 WO2015194115A1 (ja) 2014-06-16 2015-06-04 接客評価装置、接客評価システム及び接客評価方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014123640 2014-06-16
JP2014123640 2014-06-16
JP2015013939A JP5855290B2 (ja) 2014-06-16 2015-01-28 接客評価装置、接客評価システム及び接客評価方法

Publications (2)

Publication Number Publication Date
JP2016021044A JP2016021044A (ja) 2016-02-04
JP5855290B2 true JP5855290B2 (ja) 2016-02-09

Family

ID=54935126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015013939A Active JP5855290B2 (ja) 2014-06-16 2015-01-28 接客評価装置、接客評価システム及び接客評価方法

Country Status (5)

Country Link
US (1) US20170154293A1 (ja)
JP (1) JP5855290B2 (ja)
DE (1) DE112015002842T5 (ja)
GB (1) GB2542959A (ja)
WO (1) WO2015194115A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6746963B2 (ja) * 2016-03-04 2020-08-26 ヤマハ株式会社 会話評価装置、プログラムおよび会話評価方法
JP6062086B1 (ja) * 2016-03-15 2017-01-18 株式会社Ａ−スタイル 業務支援システム
US20170309273A1 (en) * 2016-04-21 2017-10-26 Wal-Mart Stores, Inc. Listen and use voice recognition to find trends in words said to determine customer feedback
CN106296302B (zh) * 2016-08-18 2019-07-09 中国联合网络通信集团有限公司 一种语音数据处理方法、装置、用具和系统
US10929264B2 (en) * 2016-09-14 2021-02-23 International Business Machines Corporation Measuring effective utilization of a service practitioner for ticket resolution via a wearable device
US10482902B2 (en) * 2017-03-31 2019-11-19 Martin Benjamin Seider Method and system to evaluate and quantify user-experience (UX) feedback
CN106952054B (zh) * 2017-04-11 2023-12-08 北京百车宝科技有限公司 一种汽车4s店销售服务质量评价系统及评价方法
EP3392884A1 (en) * 2017-04-21 2018-10-24 audEERING GmbH A method for automatic affective state inference and an automated affective state inference system
CN108877785A (zh) * 2017-05-10 2018-11-23 杭州欧维客信息科技股份有限公司 语音智能客房服务系统
JP6892346B2 (ja) * 2017-07-25 2021-06-23 株式会社オカムラ コンサルティング装置、情報処理装置、コンサルティング方法、プログラム
WO2019147350A1 (en) * 2018-01-26 2019-08-01 Walmart Apollo, Llc System for customized interactions-related assistance
WO2019163700A1 (ja) * 2018-02-20 2019-08-29 日本電気株式会社 接客支援装置、接客支援方法、及び、接客支援プログラムが格納された記録媒体
JP2019191718A (ja) * 2018-04-20 2019-10-31 ＣｌｉｐＬｉｎｅ株式会社 役務動作分析評価システム
CN108962282B (zh) * 2018-06-19 2021-07-13 京北方信息技术股份有限公司 语音检测分析方法、装置、计算机设备及存储介质
CN111222903B (zh) * 2018-11-27 2023-04-25 北京嘀嘀无限科技发展有限公司 用于处理来自在线按需服务平台的数据的系统和方法
US11222631B2 (en) * 2018-12-11 2022-01-11 International Business Machines Corporation Performance evaluation using audio and structured feedback
CN109961801A (zh) * 2019-01-16 2019-07-02 深圳壹账通智能科技有限公司 智能服务评价方法、计算机可读存储介质和终端设备
JP6594577B1 (ja) * 2019-03-27 2019-10-23 株式会社博報堂Ｄｙホールディングス 評価システム、評価方法、及びコンピュータプログラム。
CN110147936A (zh) * 2019-04-19 2019-08-20 深圳壹账通智能科技有限公司 基于情绪识别的服务评价方法、装置、存储介质
JP6664757B1 (ja) * 2019-05-09 2020-03-13 株式会社Ｅｍｐａｔｈ 営業支援装置、営業支援方法、営業支援プログラム
JP6620287B1 (ja) * 2019-05-22 2019-12-18 株式会社セオン 施設実態評価装置
JP6620292B1 (ja) * 2019-05-22 2019-12-18 株式会社セオン 施設実態評価装置
CN112633037A (zh) * 2019-09-24 2021-04-09 北京国双科技有限公司 一种对象监测方法、装置、存储介质及电子设备
CN110689890B (zh) * 2019-10-16 2023-06-06 声耕智能科技(西安)研究院有限公司 语音交互服务处理系统
CN110992949A (zh) * 2019-11-29 2020-04-10 秒针信息技术有限公司 基于语音识别的绩效考核方法、装置及可读存储介质
CN111182162B (zh) * 2019-12-26 2023-04-25 深圳壹账通智能科技有限公司 基于人工智能的电话质检方法、装置、设备和存储介质
CN112309431B (zh) * 2020-09-21 2024-02-23 厦门快商通科技股份有限公司 一种客服人员声音感染力的评测方法及系统
CN113746989A (zh) * 2021-08-23 2021-12-03 北京高阳捷迅信息技术有限公司 客服智能质检的方法、装置、设备和存储介质
WO2023037398A1 (ja) * 2021-09-07 2023-03-16 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
CN113822484A (zh) * 2021-09-27 2021-12-21 中国银行股份有限公司 服务质量评价方法及装置、存储介质及电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11119791A (ja) * 1997-10-20 1999-04-30 Hitachi Ltd 音声感情認識システムおよび方法
JP2005283647A (ja) * 2004-03-26 2005-10-13 Matsushita Electric Ind Co Ltd 感情認識装置
US7940897B2 (en) * 2005-06-24 2011-05-10 American Express Travel Related Services Company, Inc. Word recognition system and method for customer and employee assessment
JP2007033754A (ja) * 2005-07-26 2007-02-08 Nec Corp 音声監視システムと方法並びにプログラム
JP5055781B2 (ja) * 2006-02-14 2012-10-24 株式会社日立製作所 会話音声分析方法、及び、会話音声分析装置
US8340274B2 (en) * 2008-12-22 2012-12-25 Genesys Telecommunications Laboratories, Inc. System for routing interactions using bio-performance attributes of persons as dynamic input
US9305553B2 (en) * 2010-04-28 2016-04-05 William S. Meisel Speech recognition accuracy improvement through speaker categories
US20110282662A1 (en) * 2010-05-11 2011-11-17 Seiko Epson Corporation Customer Service Data Recording Device, Customer Service Data Recording Method, and Recording Medium
US9053449B2 (en) * 2011-02-22 2015-06-09 Theatrolabs, Inc. Using structured communications to quantify social skills
JP2013109635A (ja) * 2011-11-22 2013-06-06 Nippon Telegr & Teleph Corp <Ntt> 単語重要度算出装置とその方法とプログラム

Also Published As

Publication number Publication date
JP2016021044A (ja) 2016-02-04
GB201620904D0 (en) 2017-01-25
DE112015002842T5 (de) 2017-03-23
US20170154293A1 (en) 2017-06-01
GB2542959A (en) 2017-04-05
WO2015194115A1 (ja) 2015-12-23

Similar Documents

Publication Publication Date Title
JP5855290B2 (ja) 接客評価装置、接客評価システム及び接客評価方法
JP5974312B1 (ja) 販売管理装置、販売管理システムおよび販売管理方法
JP6596899B2 (ja) 接客データ処理装置及び接客データ処理方法
JP5874886B1 (ja) 接客モニタリング装置、接客モニタリングシステムおよび接客モニタリング方法
WO2016088369A1 (ja) 情報処理装置、言動評価方法およびプログラム記憶媒体
JP5939493B1 (ja) 接客評価装置およびこれを備えた接客評価システムならびに接客評価方法
JP5780348B1 (ja) 情報提示プログラム及び情報処理装置
JP2012208854A (ja) 行動履歴管理システムおよび行動履歴管理方法
JP2016126654A (ja) 優待情報提供装置、優待情報提供システムおよびプログラム
JP2011210133A (ja) 満足度算出方法、満足度算出装置およびプログラム
US20140278745A1 (en) Systems and methods for providing retail process analytics information based on physiological indicator data
JP5532781B2 (ja) 接客業務用サーバ、並びに、当該サーバを用いる接客システム及び接客業務の予測終了時間算出方法
CN113887884A (zh) 商超服务系统
WO2020065919A1 (ja) 商店街の活性化のための調査システム並びに調査方法
JP7092035B2 (ja) 情報処理装置および情報処理方法
JP6610992B2 (ja) 接客態度評価システム及び接客態度評価方法
US20190279233A1 (en) Real-World Analytics Monitor
KR20160086810A (ko) 경매물품의 실시간 낙찰가 예측 방법
WO2019174456A1 (zh) 用户信息管理方法、装置及系统、计算机设备、存储介质
WO2022201339A1 (ja) 価格管理システム、価格管理方法、及び、記録媒体
JP2020086808A (ja) 情報処理装置、広告出力方法、及びプログラム
WO2022208711A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6399948B2 (ja) 情報処理装置及び情報処理方法
TW201928778A (zh) 人臉識別消費記錄系統及設備
JP6620292B1 (ja) 施設実態評価装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151208

R151 Written notification of patent or utility model registration

Ref document number: 5855290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151