JP7336674B2 - 接客状況分析装置、接客状況分析システム、及び接客状況分析方法 - Google Patents

Description

本開示は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置、接客状況分析システム、及び接客状況分析方法に関する。

店舗では、来店した顧客に店員が声掛けや案内などの接客を行うが、この来店時の接客を迅速に行って、顧客を長時間放置しないようにすることが、顧客満足度を向上させる上で重要である。

このような店舗での店員による接客状況を把握する技術として、従来、店舗内の人物を撮像した画像データから取得した人物の位置情報、および店員が所持する携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、また、店舗内の音声を収音した音声データから取得した音声の位置情報、および店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、それら発話位置情報および顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、その判定結果に基づいて、接客状況に関する情報を生成する技術が知られている（特許文献１参照）。

特許第６３００１３０号公報

ところで、上述のような店舗では、店員の発話とは無関係に店舗内で発生する環境音（例えば、ＢＧＭ、店舗内放送）や、店員の発話とは無関係に店舗外から侵入する環境音（例えば、人や車両の往来による騒音など）が検出（収音）されるエリアが存在する場合がある。また、店員の発話を収音するマイクの性能や配置によって店員の発話を検出し難いエリアが存在する場合がある。そのようなエリアは、店員の発話を適切に検出することが難しいため、接客判定の実施には適さない。

しかしながら、上記従来技術では、接客判定の実施に不適切なエリアについて特段の配慮はなされていないため、そのようは不適切なエリアでの接客状況に関する情報が生成されると、店舗内全体の接客状況に関する情報の信頼性を高く維持することが難しくなる場合がある。換言すれば、接客判定の実施に適したエリアで優先的に接客状況に関する情報を生成することにより、店舗内全体の接客状況に関する情報の信頼性を高められる可能性がある。

そこで、本開示は、店舗内において接客判定の実施に不適切なエリアが存在する場合でも、店員が接客を行ったことを精度良く判定し、信頼性の高い接客情報を生成することができる接客状況分析装置、接客状況分析システム、及び接客状況分析方法を提供することを主な目的とする。

本開示の接客状況分析装置は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置であって、前記プロセッサは、少なくとも店舗内の人物を撮像した画像データから特定される人物の位置情報と、店員の所持物から特定される位置情報と、を取得し、店員の位置が、前記店舗内の監視エリアにおいて環境音の影響のある無効エリアに含まれる場合、前記人物の位置情報、前記所持物の位置情報に基づいて算出される店員と顧客との接近時間および店員の近くに存在する顧客の人数から店員が接客を行ったか否かを判定する構成とする。
また、本開示の接客状況分析装置は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置であって、前記プロセッサは、店舗内の人物を撮像した画像データから取得した人物の位置情報、店員の所持物の位置情報、及び店舗内の音声を収音した音声データから取得した音声の位置情報を取得し、前記人物の位置情報、前記所持物の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを前記音声に関する基準と前記音声に関わらない基準とを用いて判定し、前記判定の結果に基づいて、前記接客状況に関する情報を生成し、前記判定を行う際に、前記店員の位置が、前記店舗内の監視エリアの一部として設定された有効エリアに含まれるか否かを判別し、前記店員の位置が前記有効エリアに含まれる場合に、前記音声に関する基準を用いて前記判定を行い、前記店員の位置が前記有効エリアに含まれない場合には、前記音声に関わらない基準を用いて前記判定を行う構成とする。

また、本開示の接客状況分析システムは、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する接客状況分析システムであって、店舗内の音声を収音する収音装置と、店舗内の人物を撮像する撮像装置と、店員が所持する携帯端末装置と、１つまたは複数の情報処理装置と、を備え、前記１つまたは複数の情報処理装置は、前記撮像装置から出力される画像データから取得した人物の位置情報、前記携帯端末装置の位置情報、及び前記収音装置から出力される音声の位置情報を取得し、前記人物の位置情報、前記携帯端末装置の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを前記音声に関する基準と前記音声に関わらない基準とを用いて判定し、前記判定の結果に基づいて、前記接客状況に関する情報を生成し、前記判定の結果に基づいて、前記接客状況に関する情報を生成し、前記判定を行う際に、前記店員の位置が、前記店舗内の監視エリアの一部として設定された有効エリアに含まれるか否かを判別し、前記店員の位置が前記有効エリアに含まれる場合に、前記音声に関する基準を用いて前記判定を行い、前記店員の位置が前記有効エリアに含まれない場合には、前記音声に関わらない基準を用いて前記判定を行う構成とする。

また、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析方法であって、少なくとも店舗内の人物を撮像した画像データから特定される人物の位置情報と、店員の所持物から特定される位置情報と、を取得し、店員の位置が、前記店舗内の監視エリアにおいて環境音の影響のある無効エリアに含まれる場合、前記人物の位置情報、前記所持物の位置情報に基づいて算出される店員と顧客との接近時間および店員の近くに存在する顧客の人数から店員が接客を行ったか否かを判定する構成とする。
また、本開示の接客状況分析方法は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析方法であって、店舗内の人物を撮像した画像データから取得した人物の位置情報、店員の所持物の位置情報、及び店舗内の音声を収音した音声データから取得した音声の位置情報を取得し、前記人物の位置情報、前記所持物の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを前記音声に関する基準と前記音声に関わらない基準とを用いて判定し、前記判定の結果に基づいて、前記接客状況に関する情報を生成し、前記判定を行う際に、前記店員の位置が、前記店舗内の監視エリアの一部として設定された有効エリアに含まれるか否かを判別し、前記店員の位置が前記有効エリアに含まれる場合に、前記音声に関する基準を用いて前記判定を行い、前記店員の位置が前記有効エリアに含まれない場合には、前記音声に関わらない基準を用いて前記判定を行う構成とする。

本開示によれば、店舗内において接客判定の実施に不適切なエリアが存在する場合でも、店員が接客を行ったことを精度良く判定し、信頼性の高い接客情報を生成することができる。

第１実施形態に係る接客状況分析システムの全体構成図 店舗のレイアウトと、マイク１、カメラ２およびビーコン発信機３の設置状況と、店舗に設定される分割エリアとを示す平面図 携帯端末４、音声処理用ＰＣ５、画像処理用ＰＣ６、測位管理サーバ７、および分析用ＰＣ８の概略構成を示すブロック図 携帯端末４、音声処理用ＰＣ５、画像処理用ＰＣ６、および測位管理サーバ７で行われる処理の概要を示す説明図 分析用ＰＣ８で行われる処理の概要を示す説明図 音声処理用ＰＣ５、画像処理用ＰＣ６、測位管理サーバ７、および分析用ＰＣ８で生成する情報を示す説明図 店員特定の処理の要領を示す説明図 発話判定および接客判定の要領を示す説明図 発話判定の手順を示すフロー図 接客判定処理の手順を示すフロー図 図１０中の接客情報生成の手順を示すフロー図 接客ヒートマップ表示画面を示す説明図 接客判定の有効エリアを設定する要領を示す説明図 接客判定の判定基準を設定する要領を示す説明図 接客判定の判定基準を設定する要領を示す説明図 接客判定の判定基準を設定する要領を示す説明図 接客判定の判定基準のプリセットの手順を示すフロー図 接客判定の判定基準のプリセットの要領を示す説明図 第２実施形態に係る接客判定の手順を示すフロー図

前記課題を解決するためになされた第１の発明は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置であって、前記プロセッサは、少なくとも店舗内の人物を撮像した画像データから特定される人物の位置情報と、店員の所持物から特定される位置情報と、を取得し、店員の位置が、前記店舗内の監視エリアにおいて環境音の影響のある無効エリアに含まれる場合、前記人物の位置情報、前記所持物の位置情報に基づいて算出される店員と顧客との接近時間および店員の近くに存在する顧客の人数から店員が接客を行ったか否かを判定する構成とする。

これによると、店舗内において接客判定の実施に不適切なエリアが存在する場合でも、店員が接客を行ったことを精度良く判定し、信頼性の高い接客情報を生成することが可能となる。

また、第２の発明は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置であって、前記プロセッサは、店舗内の人物を撮像した画像データから取得した人物の位置情報、店員の所持物の位置情報、及び店舗内の音声を収音した音声データから取得した音声の位置情報を取得し、前記人物の位置情報、前記所持物の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを前記音声に関する基準と前記音声に関わらない基準とを用いて判定し、前記判定の結果に基づいて、前記接客状況に関する情報を生成し、前記判定を行う際に、前記店員の位置が、前記店舗内の監視エリアの一部として設定された有効エリアに含まれるか否かを判別し、前記店員の位置が前記有効エリアに含まれる場合に、前記音声に関する基準を用いて前記判定を行い、前記店員の位置が前記有効エリアに含まれない場合には、前記音声に関わらない基準を用いて前記判定を行う構成とする。

これによると、店員の位置が有効エリアに含まれない場合には、音声に関する基準以外を判定基準として用いて判定を行うため、店員の発話以外の環境音に影響されることなく、店員が接客を行ったことをより精度良く判定し、より信頼性の高い接客情報を生成することが可能となる。

また、第３の発明は、前記音声に関する基準には、前記店員の発話時間の閾値が含まれる構成とする。

これによると、店員の発話時間の閾値を用いて判定を行うため、店員が接客を行ったことをより精度良く判定し、より信頼性の高い接客情報を生成することが可能となる。

また、第４の発明は、前記プロセッサは、前記店員の位置が前記有効エリアに含まれない場合には、前記発話時間の閾値を最大値に設定し、この設定した閾値を用いて前記判定を行う構成とする。

これによると、店員の発話が環境音の影響を受けるエリアに位置する場合でも、判定基準から発話時間に関する基準を容易に除外することができる。

また、第５の発明は、前記プロセッサは、前記音声に関わらない基準として前記店員と前記顧客との接近時間の閾値を用い、前記店員の位置が前記有効エリアに含まれない場合には、前記接近時間の閾値を変更し、この変更した閾値を用いて前記判定を行う構成とする。

これによると、店員の位置が前記有効エリアに含まれない場合には、店員と顧客との接近時間の閾値を変更して判定を行うため、店員が接客を行ったことをより精度良く判定し、より信頼性の高い接客情報を生成することが可能となる。

また、第６の発明は、前記プロセッサは、前記音声に関わらない基準として前記店員の近くに存在する前記顧客の人数の閾値を用い、前記店員の位置が前記有効エリアに含まれない場合、前記顧客の人数の閾値を変更し、この変更した閾値を用いて前記判定を行う構成とする。

これによると、店員の位置が前記有効エリアに含まれない場合には、店員の近くに存在する顧客の人数の閾値を変更して判定を行うため、店員が接客を行ったことをより精度良く判定し、より信頼性の高い接客情報を生成することが可能となる。

また、第７の発明は、前記プロセッサは、前記音声に関わらない基準として前記店員と前記顧客との接近距離の閾値を用い、前記店員の位置が前記有効エリアに含まれない場合、前記接近距離の閾値を変更し、この変更した閾値を用いて前記判定を行う構成とする。

これによると、店員の位置が前記有効エリアに含まれない場合には、店員と顧客との接近距離の閾値を変更して判定を行うため、店員が接客を行ったことをより精度良く判定し、より信頼性の高い接客情報を生成することが可能となる。

また、第８の発明は、前記音声に関する基準の情報を記憶するメモリを更に備え、前記プロセッサは、前記判定を行う際に、前記店員の位置が前記有効エリアに含まれる場合、前記メモリに記憶された前記音声に関する基準の情報を読み出す構成とする。

これによると、予め生成された専用の音声に関する基準を用いるため、ユーザは簡易な操作により、店員が接客を行ったことを精度良く判定し、信頼性の高い接客情報を生成することが可能となる。

また、第９の発明は、前記プロセッサは、前記人物の位置情報および前記所持物の位置情報に基づいて、前記店員の位置情報および前記顧客の位置情報を取得する構成とする。

これによると、店員および顧客の位置を容易に推定し、それらの位置を店員が接客を行ったか否かの判定に用いることが可能となる。

また、第１０の発明は、前記プロセッサは、前記音声の位置情報および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得する構成とする。

これによると、店員が発話した位置を容易に推定し、その発話した位置を、店員が接客を行ったか否かの判定に用いることが可能となる。

また、第１１の発明は、前記プロセッサは、前記発話位置情報および前記顧客の位置情報に基づいて、前記店員が接客を行ったか否かを判定する構成とする。

これによると、発話位置情報および顧客の位置情報に基づいて、店員が接客を行ったか否かを適切に判定することが可能となる。

また、第１２の発明は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する接客状況分析システムであって、店舗内の音声を収音する収音装置と、店舗内の人物を撮像する撮像装置と、店員が所持する携帯端末装置と、１つまたは複数の情報処理装置と、を備え、前記１つまたは複数の情報処理装置は、前記撮像装置から出力される画像データから取得した人物の位置情報、前記携帯端末装置の位置情報、及び前記収音装置から出力される音声の位置情報を取得し、前記人物の位置情報、前記携帯端末装置の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを前記音声に関する基準と前記音声に関わらない基準とを用いて判定し、前記判定の結果に基づいて、前記接客状況に関する情報を生成し、前記判定の結果に基づいて、前記接客状況に関する情報を生成し、前記判定を行う際に、前記店員の位置が、前記店舗内の監視エリアの一部として設定された有効エリアに含まれるか否かを判別し、前記店員の位置が前記有効エリアに含まれる場合に、前記音声に関する基準を用いて前記判定を行い、前記店員の位置が前記有効エリアに含まれない場合には、前記音声に関わらない基準を用いて前記判定を行う構成とする。

これによると、店員の位置が有効エリアに含まれない場合には、音声に関する基準以外を判定基準として用いて判定を行うため、店員の発話以外の環境音に影響されることなく、店員が接客を行ったことをより精度良く判定し、より信頼性の高い接客情報を生成することが可能となる。

また、第１３の発明は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析方法であって、少なくとも店舗内の人物を撮像した画像データから特定される人物の位置情報と、店員の所持物から特定される位置情報と、を取得し、店員の位置が、前記店舗内の監視エリアにおいて環境音の影響のある無効エリアに含まれる場合、前記人物の位置情報、前記所持物の位置情報に基づいて算出される店員と顧客との接近時間および店員の近くに存在する顧客の人数から店員が接客を行ったか否かを判定する構成とする。
これによると、店舗内において接客判定の実施に不適切なエリアが存在する場合でも、店員が接客を行ったことを精度良く判定し、信頼性の高い接客情報を生成することが可能となる。
また、第１４の発明は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析方法であって、店舗内の人物を撮像した画像データから取得した人物の位置情報、店員の所持物の位置情報、及び店舗内の音声を収音した音声データから取得した音声の位置情報を取得し、前記人物の位置情報、前記所持物の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを前記音声に関する基準と前記音声に関わらない基準とを用いて判定し、前記判定の結果に基づいて、前記接客状況に関する情報を生成し、前記判定を行う際に、前記店員の位置が、前記店舗内の監視エリアの一部として設定された有効エリアに含まれるか否かを判別し、前記店員の位置が前記有効エリアに含まれる場合に、前記音声に関する基準を用いて前記判定を行い、前記店員の位置が前記有効エリアに含まれない場合には、前記音声に関わらない基準を用いて前記判定を行う構成とする。

これによると、店員の位置が有効エリアに含まれない場合には、音声に関する基準以外を判定基準として用いて判定を行うため、店員の発話以外の環境音に影響されることなく、店員が接客を行ったことをより精度良く判定し、より信頼性の高い接客情報を生成することが可能となる。

以下、本開示の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、第１実施形態に係る接客状況分析システムの全体構成図である。

この接客状況分析システムは、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成するものであり、マイク１（収音装置）と、カメラ２（撮像装置）と、ビーコン発信機３と、携帯端末４（携帯端末装置）と、音声処理用ＰＣ５（情報処理装置）と、画像処理用ＰＣ６（情報処理装置）と、測位管理サーバ７と、分析用ＰＣ８（接客状況分析装置、情報処理装置）と、閲覧端末９と、を備えている。

マイク１、カメラ２、音声処理用ＰＣ５、画像処理用ＰＣ６は、店舗内ネットワークに接続されている。店舗内ネットワークはゲートウェイ１１を介して外部ネットワークに接続されている。携帯端末４は、無線ＬＡＮなどの公衆アクセスポイント１２を介して外部ネットワークに接続されている。分析用ＰＣ８、測位管理サーバ７、閲覧端末９は、外部ネットワークに接続されている。

マイク１は、店舗内に設置され、店舗内に滞在する人物（店員や顧客）が発話する音声を収音する。このマイク１は、全方向の音声を収音する、いわゆる全方位マイクであり、複数（例えば１６個）のマイク素子（収音素子）が円形状に等間隔に配置されたマイクアレイを備えている。このマイク１では、店舗内の音声を複数のマイク素子で収音して、複数のチャネルの音声データを生成して、この音声データを音声処理用ＰＣ５に送信する。なお、マイク１によって収音される音声には、発話とは無関係に店舗内で発生する環境音（例えば、ＢＧＭ、店舗内放送）や、発話とは無関係に店舗外から侵入する環境音（例えば、人や車両の往来による騒音など）が含まれる場合がある。

カメラ２は、店舗内に設置され、店舗内に滞在する人物（店員や顧客）を撮像し、また、店舗に来店する人物を撮像する。このカメラ２は、全方位を撮像する、いわゆる全方位カメラである。このカメラ２では、店舗内を撮像して画像データを生成して、この画像データを画像処理用ＰＣ６に送信する。

音声処理用ＰＣ５は、マイク１から送信される音声データを受信して、その音声データに対して音声処理を行う。本実施形態では、音源の位置を特定する音声検出（音源位置検出）を行い、店舗内の音声レベルの分布状況、すなわち、どこでどの程度の音声レベル（音量）が発生しているかを表す音声ヒートマップ情報を生成して、その音声ヒートマップ情報を分析用ＰＣ８に送信する。

画像処理用ＰＣ６は、カメラ２から送信される画像データを受信して、その画像データに対して画像処理を行う。本実施形態では、画像データから店舗内に滞在する人物を検出して、人物ごとの位置情報を取得して、その位置情報を分析用ＰＣ８に送信する。

ビーコン発信機３は、店舗内に複数設置され、測位用のビーコン信号を送信する。

携帯端末４は、スマートフォンなどであり、店員が所持する。この携帯端末４では、ビーコン発信機３から送信されるビーコン信号を用いた測位を行って自装置の位置情報を取得して、その位置情報を測位管理サーバ７に送信する。

なお、本実施形態では、ビーコン発信機３が発するビーコン信号で、携帯端末４の測位を行うようにしたが、ＧＰＳ（Global Positioning System）などの衛星測位システムなどの他の測位システムで、携帯端末４の測位を行うようにしてもよい。また、天井に設置したロケータ（測位管理サーバ７とネットワーク接続）を用いて、店員が所持物に装着したタグの電波角度・強度と測定アルゴリズムにより、店員の位置情報を取得することができる。

測位管理サーバ７は、携帯端末４ごとの位置情報を携帯端末４から収集して、携帯端末４ごとの位置情報を管理し、その携帯端末４ごとの位置情報を分析用ＰＣ８に送信する。

分析用ＰＣ８は、音声処理用ＰＣ５から音声ヒートマップ情報を取得し、また、画像処理用ＰＣ６から人物ごとの位置情報を取得し、また、測位管理サーバ７から携帯端末４ごとの位置情報を取得し、これらの情報に基づいて、店舗での顧客に対する店員の接客状況に関する分析を行い、接客状況を表す情報を生成する。

閲覧端末９は、ＰＣやスマートフォンやタブレット端末などであり、ユーザ、例えばスーパーバイザーなどの本部側の管理者や店長などの店舗側の管理者が操作するものであり、ユーザは、閲覧端末９から分析用ＰＣ８にアクセスすることで、分析用ＰＣ８の処理に関する各種設定や、分析用ＰＣ８で生成した接客状況に関する情報の閲覧を行うことができる。なお、分析用ＰＣ８とは別に情報配信専用のサーバを設けるようにしてもよい。

また、チェーン店などのように管理する店舗が複数ある場合には、分析用ＰＣ８では、複数の店舗ごとの音声処理用ＰＣ５および画像処理用ＰＣ６ならびに測位管理サーバ７から各店舗の情報を収集して、店舗ごとの接客状況に関する情報を生成する。

次に、店舗の一例について説明する。図２は、店舗のレイアウトと、マイク１、カメラ２およびビーコン発信機３の設置状況と、店舗に設定される分割エリアとを示す平面図である。

店舗には、出入口、発券機、ソファ、什器（陳列棚や陳列台など）、テーブル、カウンタ、トイレ、作業室、バックヤードなどが設けられている。顧客は、出入口から店舗内に入店し、発券機で番号札を受け取り、ソファに座ったり、什器に陳列されている商品を見たりして、呼び出しがあるまで待機し、呼び出しを受けると、カウンタで商品の購入や契約などの手続きを行う。店員は、顧客が店舗内に入店すると、発券機の案内や什器に陳列されている商品の説明などの接客を行ったり、カウンタで接客を行ったりする。

また、店舗には、マイク１、カメラ２およびビーコン発信機３が設置されている。マイク１が、店舗内に滞在する店員や顧客が発話する音声を収音し、カメラ２が、店舗内に滞在する店員や顧客を撮像し、また、店舗に来店する顧客を撮像する。図２に示す例では、便宜上、マイク１およびカメラ２が一体に構成された１つの装置のみを示しているが、店舗では、複数のマイク１およびカメラ２を、それぞれ店舗内の天井などの適宜な位置に設置することができる。また、ビーコン発信機３は、店舗内の適宜な位置に複数設置されており、このビーコン発信機３から送信されるビーコン信号が、店員が所持する携帯端末４で受信される。

また、本実施形態では、ユーザによって店舗マップ上に設定された監視エリアに、格子状に均等分割した所定の大きさ（例えば５０ｃｍ四方）の複数のセル（分割エリア）が設定されており、このセルを単位として、分析用ＰＣ８で各種の処理が行われる。なお、セルのサイズは、マイク１、カメラ２、携帯端末４の感度によって、種々のサイズに変更することが可能である。

次に、本接客状況分析システムで行われる処理について説明する。図３は、携帯端末４、音声処理用ＰＣ５、画像処理用ＰＣ６、測位管理サーバ７、および分析用ＰＣ８の概略構成を示すブロック図である。図４は、携帯端末４、音声処理用ＰＣ５、画像処理用ＰＣ６、および測位管理サーバ７で行われる処理の概要を示す説明図である。図５は、分析用ＰＣ８で行われる処理の概要を示す説明図である。図６は、音声処理用ＰＣ５、画像処理用ＰＣ６、測位管理サーバ７、および分析用ＰＣ８で生成する情報を示す説明図である。図７は、店員特定の処理の要領を示す説明図である。図８は、発話判定および接客判定の要領を示す説明図である。図９は、発話判定の手順を示すフロー図である。図１０は、接客判定の手順を示すフロー図である。図１１は、図１０中の接客情報生成の手順を示すフロー図である。図１２は、接客ヒートマップ表示画面を示す説明図である。

図３に示すように、携帯端末４は、ビーコン受信部２１と、通信部２２と、プロセッサ２３と、記憶部２４と、を備えている。

ビーコン受信部２１は、ビーコン発信機３から送信されるビーコン信号を受信して、そのビーコン信号の電波強度を測定する。

通信部２２は、測位管理サーバ７との間で通信を行う。本実施形態では、プロセッサ２３で取得した位置情報を測位管理サーバ７に送信する。

記憶部２４は、端末ＩＤなどを記憶する。また、記憶部２４は、プロセッサ２３で実行するプログラムを記憶する。

プロセッサ２３は、記憶部２４に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、ビーコン測位の処理を行う。

ビーコン測位では、複数のビーコン発信機３からのビーコン信号の電波強度に基づいて、携帯端末４の位置情報（緯度、経度、高度など）を取得する。この処理では、例えば、予め測定された各位置でのビーコン発信機３ごとの電波強度を表す電波強度分布情報を用いて、ビーコン受信部２１で取得したビーコン発信機３ごとの電波強度から、携帯端末４の位置情報を取得する。

測位管理サーバ７は、図４に示すように、各携帯端末４から送信される位置情報を受信して、携帯端末４ごとの位置情報を収集し、各時刻における各携帯端末４の位置を表す端末別位置情報を生成して、その端末別位置情報を分析用ＰＣ８に送信する。この端末別位置情報には、図６（Ａ）に示すように、時刻、端末ＩＤ、位置座標の各情報が含まれる。

図３に示すように、音声処理用ＰＣ５は、通信部３１と、プロセッサ３２と、記憶部３３と、を備えている。

通信部３１は、マイク１および分析用ＰＣ８との間で通信を行う。本実施形態では、マイク１から送信される音声データを受信する。また、プロセッサ３２で生成した音声ヒートマップ情報を分析用ＰＣ８に送信する。

記憶部３３は、マイク１から取得した音声データなどを記憶する。また、記憶部３３は、プロセッサ３２で実行するプログラムを記憶する。

プロセッサ３２は、記憶部３３に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、音声検出（音源位置検出）の処理を行う。

図４に示すように、音声検出の処理では、マイク１から取得した複数（例えば１６）のチャネルの音声データに基づいて、各位置における音声レベル（例えば４段階）を取得して、音声ヒートマップ情報を生成する。このとき、指向性を制御することで各方向の音声を取得することができ、複数のチャネルの音声データの位相差に基づいて、各位置の音声レベルを取得する。

本実施形態では、監視エリアを格子状に分割したセル単位で音声レベルを取得し、図６（Ｅ）に示すように、各時刻における各セルでの音声レベルを表す音声ヒートマップ情報を生成する。この音声ヒートマップ情報を可視化すると、図８（Ａ）に示すようになる。

なお、本実施形態では、図２に示すように、分析用ＰＣ８において、接客状況に関する分析処理をセル単位で行うが、この分析処理で用いられるセルと、音声ヒートマップ情報で用いられるセルとは、必ずしも同一の大きさとする必要はない。

図３に示すように、画像処理用ＰＣ６は、通信部４１と、プロセッサ４２と、記憶部４３と、を備えている。

通信部４１は、カメラ２および分析用ＰＣ８との間で通信を行う。本実施形態では、カメラ２から送信される画像データを受信する。また、プロセッサ４２で生成した人物別位置情報を分析用ＰＣ８に送信する。

記憶部４３は、カメラ２から取得した画像データなどを記憶する。また、記憶部４３は、プロセッサ４２で実行するプログラムを記憶する。

プロセッサ４２は、記憶部４３に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、人物検出の処理を行う。

図４に示すように、人物検出の処理では、カメラ２から取得した画像データに含まれる撮像画像（フレーム）から人物を検出して、その人物の位置情報を取得して、各時刻における人物の位置を表す人物別位置情報を生成する。この人物別位置情報には、図６（Ｂ）に示すように、時刻、人物ＩＤ、位置座標の各情報が含まれる。

図３に示すように、分析用ＰＣ８は、通信部５１と、プロセッサ５２と、記憶部５３と、を備えている。

通信部５１は、音声処理用ＰＣ５、画像処理用ＰＣ６、および測位管理サーバ７との間で通信を行う。本実施形態では、音声処理用ＰＣ５から送信される音声ヒートマップ情報を受信する。また、画像処理用ＰＣ６から送信される人物別位置情報を受信する。また、測位管理サーバ７から送信される端末別位置情報を受信する。

記憶部５３は、音声処理用ＰＣ５、画像処理用ＰＣ６、および測位管理サーバ７から取得した情報や、プロセッサ５２で生成した情報などを記憶する。また、記憶部５３は、プロセッサ５２で実行するプログラムを記憶する。

また、記憶部５３は、後述するように、接客判定の処理で用いられる有効エリアの設定情報を記憶する。有効エリアは、ユーザによって設定可能である。

さらに、記憶部５３は、後述する接客情報生成の処理で用いられる判定基準の情報を記憶する。判定基準の情報は、予め設定された１以上の判定指標について設定された閾値を含む。そのような閾値には、少なくとも音声に関する閾値（すなわち、音声に関する判定指標について設定された閾値）が含まれる。また後述するように、判定基準には、店舗内の監視エリアの一部に１以上の判定変更エリアが設定された場合に、当該判定変更エリアに対して個別に設定される専用の判定基準と、その判定変更エリア（すなわち、特別なエリア）を除く監視エリアの全体に対して設定されている通常の判定基準とが含まれる。

プロセッサ５２は、記憶部５３に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、店員特定、発話判定、接客判定、第１の接客集計、第２の接客集計、来店集計、顧客集計および店員集計の各処理を行う。

図５に示すように、店員特定の処理では、測位管理サーバ７から取得した端末別位置情報と、画像処理用ＰＣ６から取得した人物別位置情報と、に基づいて、人物別位置情報の各人物が店員であるか否かを判定して、店員別位置情報および顧客別位置情報を生成する。この顧客別位置情報および店員別位置情報には、図６（Ｂ）に示すように、時刻、人物ＩＤ、位置座標の各情報が含まれる。

この店員特定の処理では、図７（Ａ）に示すように、端末別位置情報において携帯端末４が存在する位置と、図７（Ｂ）に示すように、人物別位置情報において人物が存在する位置と、を比較して、携帯端末４の近傍に人物が存在する場合に、図７（Ｃ）に示すように、その人物を店員と判定する。また、図７（Ｄ）に示すように、店員と判定された人物以外の人物を顧客と判定する。そして、店員と判定された人物に関する人物別位置情報を店員別位置情報とし、顧客と判定された人物に関する人物別位置情報を顧客別位置情報とする。

なお、測位管理サーバ７から取得した端末別位置情報から店員別位置情報を生成することも可能であるが、カメラ２の画像から取得した人物別位置情報の方が、ビーコン測位による端末別位置情報より精度が高いため、人物別位置情報から店員別位置情報を生成するようにするとよい。

図５に示すように、発話判定の処理では、顧客別位置発話情報および店員別位置発話情報を生成する。より詳細には、発話判定の処理では、図９に示すように、店員特定の処理による店員別位置情報および顧客別位置情報と、音声処理用ＰＣ５からの音声ヒートマップ情報とを取得し（ＳＴ１０１）、店員が存在するセルで所定レベル以上の音声が検出されたか否かを判定する（ＳＴ１０２）。そこで、所定レベル以上の音声が検出された場合（Ｙｅｓ）には、店員の発話があると判定し（ＳＴ１０３）、一方で、所定レベル以上の音声が検出されない場合（Ｎｏ）には、店員の発話がないと判定する（ＳＴ１０４）。その後、顧客別位置発話情報および店員別位置発話情報を生成する（ＳＴ１０５）。

店員別位置発話情報および顧客別位置発話情報は、図６（Ｃ）に示すように、図６（Ｂ）に示す店員別位置情報および顧客別位置情報に、停留時間、および発話の有無の各情報を付加したものである。なお、停留時間は、ある位置に店員または顧客が滞在している時間である。

この発話判定の処理では、図８（Ａ）に示すように、音声ヒートマップ情報において音声が検出された位置と、図８（Ｂ）に示すように、店員別位置情報において店員が存在する位置と、を比較して、図８（Ｃ）に示すように、店員が存在する位置で、所定レベル以上の音声が検出された場合には、その位置で店員が発話したものと判定する。

また、本実施形態では、監視エリアを格子状に分割したセル単位で判定を行い（図２参照）、店員が存在するセルで、所定レベル以上の音声が検出された場合に、店員が発話したものと判定する。

なお、店員が歩行している状態では、足音を発話と誤判定するおそれがあるため、店員が停止している状態で、所定レベル以上の音声が検出された場合に、店員が発話したものと判定するようにするとよい。

図５に示すように、接客判定の処理では、発話判定の処理で取得した店員別位置発話情報および顧客別位置発話情報に基づいて、店員が接客を行ったか否かを判定して、接客情報（店員別位置発話接客情報および顧客別位置発話接客情報）を取得する。この接客判定の処理では、店員の発話時間、店員と顧客との接近時間、及び店員の近くに存在する顧客の人数に基づき店員が顧客に対して接客を行ったか否かを判定する。

店員の発話時間は、図８（Ｄ）に示すように、店員別位置発話情報において発話した店員が存在する位置と、顧客別位置発話情報において顧客が存在する位置とを比較して、店員と顧客との距離が予め設定した所定範囲（例えば５０ｃｍ）内にある場合において、店員が発話する状態が継続した時間である。

なお、接客時には発話が断続的に行われることから、店員の発話状態の判定では、所定の単位時間において発話が所定割合以上検知された否かを判定するようにするとよい。また、店員の発話状態の判定では、店員および顧客の少なくとも一方の（すなわち、発話の主体を区別せずに）発話が検知された否かを判定するようにしてもよい。

また、店員と顧客との距離が所定範囲内にあるか否かについては、例えば、店員が存在するセルと同一のセル内（または隣接するセル内）に顧客が存在する場合に、店員と顧客との距離が所定範囲内にあると判定してもよい。

店員と顧客との接近時間は、店員と顧客との距離が予め設定した所定範囲内にある状態が継続した時間である。この所定範囲は、上述の店員の発話時間を決定するための範囲とは異なる値に設定することもできる。

店員の近くに存在する顧客の人数は、店員との距離が予め設定した所定範囲内にある顧客の人数である。この所定範囲は、上述の店員の発話時間を決定するための範囲や、接近時間を決定するための範囲とは異なる値に設定することもできる。

店員別位置発話接客情報および顧客別位置発話接客情報は、図６（Ｄ）に示すように、図６（Ｃ）に示す店員別位置発話情報および顧客別位置発話情報に、接客の有無および応対人数の各情報を付加したものである。なお、応対人数は、顧客別位置発話接客情報では、接客している店員の人数であり、店員別位置発話接客情報では、接客されている顧客の人数である。

より詳細には、接客判定の処理では、図１０に示すように、店員別位置発話情報および顧客別位置発話情報を取得し（ＳＴ１０１）、さらに、予め設定された有効エリアの情報を取得する（ＳＴ１０２）。次に、店員の位置が有効エリア内に含まれるか否かを判別する（ＳＴ１０３）。そこで、店員の位置が有効エリア内である場合（ＳＴ１０３：Ｙｅｓ）には、後述する接客情報生成の処理を行う（ＳＴ１０４）。一方、店員の位置が有効エリア内にない場合（ＳＴ１０３：Ｎｏ）には、処理を終了する。

図１０における接客情報生成の処理では、図１１に示すように、店員別位置発話接客情報および顧客別位置発話接客情報を取得し（ＳＴ２０１）、店員の近く（例えば、店員と同一のセル内または店員から所定範囲内の距離）に顧客が所定の時間以上滞在しているか否かを判定する（ＳＴ２０２）。そこで、店員の近くに顧客が所定の時間以上滞在している場合（Ｙｅｓ）には、店員の位置が予め設定された判定変更エリア内に含まれるか否かを判別する（ＳＴ２０３）。一方、店員の近くに顧客が所定の時間以上滞在していない場合（ＳＴ２０２：Ｎｏ）には、店員による接客は行われていないと判定する（ＳＴ２０４）。

また、ステップＳＴ２０３において、店員の位置が判定変更エリア内に含まれる場合（Ｙｅｓ）、当該判定変更エリアに対して設定された専用の判定基準を取得し、これを通常の判定基準に代えて（すなわち、判定基準を変更して）使用する（ＳＴ２０５）。一方、店員の位置が判定変更エリア内に含まれない場合（ＳＴ２０３：Ｎｏ）、通常の判定基準がそのまま使用される。判定基準には、発話時間の閾値（音声に関する基準）、店員と顧客との接近時間の閾値（音声に関わらない基準）、および店員の近くに存在する顧客の人数の閾値（音声に関わらない基準）が含まれる。後に詳述するように、ユーザは、接客判定の処理中またはその処理の開始前に、判定変更エリアおよび発話時間等の閾値を設定することができる。

次に、店員の発話時間とその閾値に基づき、発話時間に関する接客尤度を算出する（ＳＴ２０６）。この発話時間に関する接客尤度としては、店員の発話時間がその閾値以上である場合に一定の数値が設定される。また、そのような発話時間に関する接客尤度の数値は、店員の発話時間とその閾値との差分の大きさに応じて増大させるようにしてもよい。一方、発話時間がその閾値未満である場合には、その接客尤度は無効とされる（例えば、ゼロに設定される）。

続いて、店員と顧客との接近時間とその閾値に基づき、店員と顧客との接近時間に関する接客尤度を算出する（ＳＴ２０７）。この接近時間に関する接客尤度としては、その接近時間がその閾値以上である場合に一定の数値が設定される。また、そのような接近時間に関する接客尤度の数値は、店員と顧客との接近時間とその閾値との差分の大きさに応じて増大させるようにしてもよい。一方、接近時間がその閾値未満である場合には、その接客尤度は無効とされる。

続いて、店員の近くに存在する顧客の人数とその閾値に基づき、店員の近くに存在する顧客の人数に関する接客尤度を算出する（ＳＴ２０８）。この顧客の人数に関する接客尤度としては、店員の近くに存在する顧客の人数がその閾値以上である場合に一定の数値が設定される。また、そのような顧客の人数に関する接客尤度の数値は、店員の近くに存在する顧客の人数とその閾値との差分の大きさに応じて増大させるようにしてもよい。一方、顧客の人数がその閾値未満である場合には、その接客尤度は無効とされる。

なお、上述のような接客尤度に加え（或いはそれらの接客尤度の代わりに）、例えば、店員と顧客との接近距離に関する接客尤度を同様に算出することもできる。この接近距離に関する接客尤度としては、店員と顧客との接近距離がその閾値（音声に関わらない基準）以下である場合に一定の数値が設定される。また、そのような接近距離に関する接客尤度の数値は、接近距離とその閾値との差分（マイナスの値）の絶対値の大きさに応じて増大させるようにしてもよい。

また、店員及び顧客の姿勢や顔の向きを判定し、その結果に応じて上述の各接客尤度の値を調整してもよい。

その後、ステップＳＴ２０６－ＳＴ２０８で算出した接客尤度の総合値が、予め設定した総合値の閾値以上か否かを判定する（ＳＴ２０９）。そこで、接客尤度の総合値がその閾値以上である場合（ＳＴ２０９：Ｙｅｓ）には、店員によって顧客に対する接客が行われたと判定し（ＳＴ２１０）、それに基づき店員別位置発話接客情報および顧客別位置発話接客情報を生成する（ＳＴ２１１）。一方、接客尤度の総合値がその閾値未満である場合（ＳＴ２０９：Ｎｏ）には、店員によって顧客に対する接客が行われていないと判定し（ＳＴ２０４）、それに基づき店員別位置発話接客情報および顧客別位置発話接客情報を生成する（ＳＴ２１１）。

なお、接客尤度の総合値としては、例えば、発話時間に関する接客尤度、接近時間に関する接客尤度、および店員の近くに存在する顧客の人数に関する接客尤度の和を用いることができる。その場合、各接客尤度の優先度に応じて、接客尤度の各々に対して重み付けを行ってもよい。また、接客尤度の総合値は、算出された（すなわち、無効とされていない）複数の接客尤度のうちの一部を省略して算出してもよい。

図５に示すように、第１の接客集計では、顧客別位置発話接客情報に基づいて、顧客が出入口から入店した時刻（入店時刻）と、店員が最初の接客（声掛けなどのファーストコンタクト）に着手した時刻（接客着手時刻）と、を取得して、入店時刻と接客着手時刻とに基づいて、顧客が入店してから店員が最初の接客に着手するまでの所要時間である接客着手時間を算出する。

また、第１の接客集計の処理では、接客着手時間の平均値を算出する。このとき、店員および店舗を集計対象として、店員ごとに接客着手時間を集計して、店員ごとの平均値を算出し、また、店舗ごとに接客着手時間を集計して、店舗ごとの平均値を算出する。

第２の接客集計の処理では、接客判定の処理で取得した店員別位置発話接客情報に基づいて、店員ごとの接客回数、接客時間、および接客ポイント（接客が行われた位置）、接客人数を取得する。

具体的には、店員別位置発話接客情報に含まれる各時刻の接客の有無に基づいて、店員ごとの接客回数を取得する。

また、店員別位置発話接客情報に含まれる各時刻の接客の有無に基づいて、接客の開始時刻および終了時刻を取得して、接客時間を取得する。なお、集計期間において店員が接客を複数回行った場合には、各回の接客時間の合計値を取得する。

また、店員別位置発話接客情報に含まれる各時刻の店員の位置および接客の有無に基づいて、接客ポイントを取得する。この場合、店員の位置が接客ポイントとなる。なお、顧客位置発話接客情報も加味して接客ポイントを取得するようにしてもよい。すなわち、顧客が一人の場合、顧客位置発話接客情報に含まれる顧客の位置に基づいて、店員と顧客との間の中間点を接客ポイントとしてもよい。

来店集計の処理では、画像処理用ＰＣ６から取得した人物別位置情報に基づいて、来店人数を取得する。本実施形態では、撮像画像における店舗の出入口の近傍に計測ラインを設定して、人物の位置情報に基づく人物の動線が、計測ラインに対して入店方向で交差することで、人物が来店したことを検知し、来店した人物をカウントして、来店人数を取得する。

なお、計測ラインの代わりに計測エリアを設定して、この計測エリアに対する動線の交差状況に基づいて、人物の来店を検知するようにしてもよい。

また、来店集計の処理では、来店構成人数ごとの組数、すなわち、何人構成の顧客が何組来店したかを取得する。このとき、人物ごとの入店時刻を取得して、人物同士の入店間隔が所定時間（例えば５秒間）以内である場合には、グループで来店したものと判定する。また、発券機で番号札を受け取る時刻に基づいてグループ代表者を特定し、そのグループ構成を把握するようにしてもよい。

顧客集計の処理では、店員特定の処理で取得した顧客別位置情報に基づいて、滞在時間および滞在人数を取得する。このとき、各顧客が各セル（分割エリア）に滞在している時間を合計して、セルごとの滞在時間を取得する。また、各顧客が各セルに滞在している期間を集計して、セルごとの滞在人数を取得する。

店員集計の処理では、測位管理サーバ７から取得した端末位置情報に基づいて、各店員の運動量、休憩回数および休憩時間、ならびに実働店員人数を取得する。このとき、各店員の携帯端末４の位置情報に基づいて、各店員の移動量を算出して、各店員の運動量を取得する。また、各店員の携帯端末４の位置情報に基づいて、各店員がバックヤードや店舗外に滞在している休憩期間を取得して、各店員の休憩回数および休憩時間を取得する。また、各店員の勤務期間から休憩期間を除いた実働期間を集計して、単位時間ごとの実働店員人数を取得する。

画面生成の処理では、接客状況に関する情報として、接客ヒートマップ表示画面の画面情報を生成する。図１２に示すように、接客ヒートマップ表示画面では、条件設定部６１と、メニュー表示ボタン６２と、ヒートマップ表示部６３と、映像表示部６４と、再生操作部６５と、が設けられている。

ユーザは、条件設定部６１において、検索条件、すなわち、ヒートマップ表示部６３の表示対象を絞り込むフィルタリングの条件を設定することができ、設定した検索条件に該当する情報のみがヒートマップ表示部６３に表示される。検索条件には、接客ヒートマップ表示等の項目、店員、顧客、エリア、期間、接客時間等の範囲などが含まれる。条件設定部６１でユーザが各種の検索条件を指定する操作を行って「検索」のボタン７７を操作すると、指定した検索条件に基づいて、表示対象のフィルタリングが行われて、指定した検索条件に該当する情報がヒートマップ表示部６３に表示される。ユーザがメニュー表示ボタン６２を操作すると、接客ヒートマップ、グラフ、および設定などを選択するメニューが表示される。

映像表示部６４には、カメラ２の撮像映像が表示される。本実施形態では、カメラ２が、魚眼レンズを用いた全方位カメラであるため、映像表示部６４には魚眼映像が表示される。この映像表示部６４に表示される撮像映像により、ヒートマップ表示部６３でヒートマップ画像８１や動線８４を再生している最中に、注目するタイミングでの店舗内の実際の状況を確認することができる。なお、映像表示部６４は、ユーザの好みに応じて、非表示にしたり、別ウィンドウで拡大表示したりするようにしてもよい。また、魚眼映像を補正したパノラマ映像または４画に分けた分割映像などを表示するようにしてもよい。

画面生成の処理では、評価対象としてユーザに選択された店員について、第２の接客集計の処理で取得した統計情報（接客時間、接客人数および接客回数）に基づいて、各時刻の接客のヒートマップ画像８１を生成して、店舗マップ画像８２上に重畳する。また、店員別位置発話接客情報および顧客別位置発話接客情報に含まれる店員および顧客の位置情報に基づいて、各時刻の店員および顧客の動線８４の画像を生成して、この動線８４の画像および人物マーク８５を店舗マップ画像８２上に重畳する。また、ファーストタッチの時刻（接客着手時刻）および位置に基づいて、ファーストタッチのマーク８７を店舗マップ画像８２上に重畳する。ここでは、ヒートマップ画像８１の大きさは、接客回数を表しており、また、ヒートマップ画像８１の塗りつぶし色の濃さは、接客時間を表している。

また、画面生成の処理では、第１の接客集計、第２の接客集計、来店集計、店員集計、顧客集計の各処理で取得した統計情報に基づいて、接客状況に関する情報として、各種の一覧表や各種のグラフ（例えば、第１の接客集計、第２の接客集計、来店集計、店員集計、顧客集計の各処理で取得した統計情報に関する一覧表やグラフ）を生成して、この一覧表やグラフが表示される統計情報画面の画面情報を生成することもできる。

ヒートマップ表示部６３には、人物（店員および顧客）の行動状況を表す画像として、人物が移動した軌跡を描画した動線８４が店舗マップ画像８２上に表示される。また、動線８４の終端には人物マーク８５が表示される。この人物マーク８５は、再生時刻での人物の位置を示している。動線８４は、人物ごとに異なる色で表示される。また、店員と顧客とを容易に識別できるように、人物ごとの動線８４の配色を行うとよい。例えば、店員の動線８４を寒色系の色で表示し、顧客の動線８４を暖色系の色で表示するようにするとよい。

再生操作部６５には、再生停止ボタン９１が設けられており、この再生停止ボタン９１を操作することで、ヒートマップ表示部６３の動画像（ヒートマップ画像８１、動線８４など）の再生および停止を行うことができる。この再生停止ボタン９１で再生を開始すると、再生時刻の進行に応じて動画像が変化する。すなわち、店員や顧客が存在する位置に人物マーク８５が出現し、店員や顧客が移動するのに応じて、店員や顧客の動線８４が徐々に延びる。そして、店員が接客を始めると、ヒートマップ画像８１が出現し、ファーストタッチであればマーク８７が出現する。また、接客時間や接客回数が増えるのに応じて、ヒートマップ画像８１の形態（大きさや色など）が徐々に変化する。

また、再生操作部６５には、バー９２に沿って移動するスライダ９３が設けられており、このスライダ９３をずらす操作を行うことで、再生時刻を調整することができる。また、バー９２の両端部には、集計期間の開始時刻および終了時刻が表示され、スライダ９３の近傍には、再生時刻が表示される。

また、ユーザが指定した検索期間より短い期間を統計情報の集計期間として、再生時刻から過去に遡った集計期間での統計情報をヒートマップ画像８１で表現するようにしてもよい。この場合、再生時刻が進むのに応じて集計期間が移動（更新されるように）する。

次に、上述の接客判定の有効エリアに関するユーザの設定方法について説明する。図１３は、接客判定の有効エリアを設定する要領を示す説明図である。なお、図１３に示す有効エリアの設定画面では、上述の接客ヒートマップ表示画面と同様の構成要素について同一の符号を付してある。

図１３に示すように、設定画面の条件設定部６１には、表示設定部１０１と、エリア追加部１０２と、エリア指定部１０３と、期間設定部７５と、が設けられている。

表示設定部１０１では、ユーザは、有効エリアの設定時にヒートマップ表示部６３に表示させる項目を選択することができる。本実施形態では、音声ヒートマップおよび動線の各項目を選択することができる。音声ヒートマップの項目を選択すると、音声の発生位置及びその音声レベルを表す画像として音声のヒートマップ画像１１１（音声可視化画像）が表示され、動線の項目を選択すると、動線８４および人物マーク８５が表示される。なお、音声のヒートマップ画像８１は、店舗マップ画像８２上に透過状態で重畳され、これによりヒートマップ画像８１が重畳された位置でも、店舗マップ画像８２が透けて見える。また、ユーザが再生停止ボタン９１を操作して時間を進めると、音声のヒートマップ画像８１の表示形態は、音声データの統計情報の経時変化に応じて変化する。

エリア追加部１０２は、有効エリアとして新たに追加したいエリアを設定するためのものである。例えば、図１３に示すように、ユーザは、ヒートマップ表示部６３に表示される店舗マップ上の所望のエリア（破線で示された四角形１１７を参照）を選択した状態で、エリア追加部１０２に追加したいエリア名として「エリアＢ」を入力し、Ａｄｄボタン１１２を押下することにより、新たな有効エリアを追加することができる。新たな有効エリアを追加することができる。追加の操作が完了した「エリアＢ」は、既に設定されているエリアＡと同様に実線で示される。なお、有効エリアは、矩形に限らず、円形など他の形状によって設定されてもよい。

ユーザは、エリア追加部１０２で新たなエリアを追加する際に、表示設定部１０１における操作により、店舗内における音声の発生を表す画像としての音声のヒートマップ画像８１（定形画像）を、ヒートマップ表示部６３の店舗マップ画像８２上に表示させておくことができる。

これにより、ユーザは、店員の発話とは無関係に店舗内で発生する環境音の発生位置を容易に把握することができ、有効エリアとして設定すべき所望のエリアを精度良く選択することが可能となる。例えば、ユーザは、上記有効エリアとして、店舗内における接客判定の実施に不適切な一部のエリア（例えば、環境音が発生するエリア）を除いたエリアや、逆に、店舗内における接客判定の実施に適したエリア（例えば、環境音の影響をより受け難いエリア）を設定することができる。この場合、ユーザは、音声のヒートマップ画像８１により、音声の実際の発生位置のみならず、壁などの反射により音声の実際の発生位置とは異なる位置で生じた音声についても把握することができる。また、ユーザは、必要に応じて、ヒートマップ画像８１に加え、店舗マップ画像８２上に動線８４および人物マーク８５を表示させることができる。これにより、ユーザは、人物の動きを確認して環境音の発生位置をより精度良く把握することができる。

ここでは、音声レベルに応じて、ヒートマップ画像８１の表示形態（例えば色合い）が次第に変化する。この場合、複数のしきい値を設定して、ヒートマップ画像８１の色合いが段階的に変化する、例えば、ヒートマップ画像８１が青色から緑色、黄色、赤色に段階的に変化するようにできる。また、音声レベルをヒートマップ画像８１の大きさで表現してもよい。また、ここでは、ヒートマップ画像８１の形状を円形としたが、ヒートマップ画像８１の形状は円形に限定されるものではなく、矩形などの他の形状としてもよい。

エリア指定部１０３は、接客判定に適用される有効エリアをユーザが指定するためのものである。図１３では、適用対象としてエリアＡが指定（チェック）されている。なお、エリア追加部１０２の操作によってエリアＢが追加された後は、エリアＢもエリア指定部１０３に表示される。

また、映像表示部６４には、ユーザによって設定された有効エリアを表示する画像が、同時刻の撮像映像（ここでは、魚眼映像）における対応する位置に重畳してそれぞれ表示される。なお、図１３では、有効エリアを表示する画像は、便宜上、矩形の枠１２０として示されているが、実際の映像表示部６４では、枠１２０は、魚眼映像に対応して歪んだ形状を有している。この撮像映像により、ヒートマップ表示部６３でヒートマップ画像８１や動線８４を再生している最中に、注目するタイミングでの店舗内の実際の状況および有効エリアの位置を確認することができる。再生停止ボタン９１で再生を開始すると、再生時刻の進行に応じて撮像映像（動画像）が変化する。

期間設定部７５は、ヒートマップ表示部６３の表示対象となる期間（年月日、開始時刻、終了時刻）をユーザが指定するためのものである。期間設定部７５において、ユーザが期間を指定してＶｉｅｗボタン１１５を押下することにより、ユーザが指定した期間に対応した情報（音声ヒートマップや動線情報など）がヒートマップ表示部６３に表示される。

次に、上述の接客判定の判定基準（専用の判定基準）のユーザによる設定方法について説明する。図１４、図１５、及び図１６は、それぞれ接客判定の判定基準を設定する要領を示す説明図である。なお、図１４－図１６に示す接客判定の判定基準の設定画面では、上述の接客ヒートマップ表示画面または有効エリアの設定画面と同様の構成要素について同一の符号を付してある。また、以下に説明する判定変更エリアに関し、特に言及しない事項については上述の有効エリアの場合と同様とすることができる。

図１４－図１６に示すように、判定基準の設定画面の条件設定部６１には、表示設定部１０１と、エリア追加部１０２と、エリア指定部１０３と、判定設定部１０４と、期間設定部７５と、が設けられている。

表示設定部１０１では、ユーザは、上述の有効エリアの設定（図１３参照）と同様に、判定基準の設定時にヒートマップ表示部６３に表示させる項目を選択することができる。

エリア追加部１０２では、ユーザは、判定変更エリアとして新たに追加したいエリアを設定することができる。例えば、図１４に示すように、ユーザは、ヒートマップ表示部６３に表示される店舗マップ上の所望のエリア（破線で示された矩形１０７を参照）を選択した状態で、エリア追加部１０２に追加したいエリア名として「エリアＣ」を入力し、Ａｄｄボタン１１２を押下することにより、新たな判定変更エリアを追加することができる。追加の操作が完了した「エリアＣ」は、実線で示される（図１５、図１６参照）。

ユーザは、エリア追加部１０２で新たなエリアを追加する際に、表示設定部１０１における操作により、店舗内における音声の発生を表す画像としての音声のヒートマップ画像８１（定形画像）を、ヒートマップ表示部６３の店舗マップ画像８２上に表示させておくことができる。

エリア指定部１０３は、判定基準を設定する対象となる判定変更エリアをユーザが指定するためのものである。図１４では、判定基準を設定する対象としてエリアＡおよびエリアＢが指定（チェック）されている。なお、エリア追加部１０２の操作によってエリアＣが追加された後は、エリアＣもエリア指定部１０３に表示される（図１５、図１６参照）。

また、映像表示部６４には、上述の有効エリアの設定と同様に、ユーザによって設定された判定変更エリアを表示する画像（矩形の枠１２０参照）が、同時刻の撮像映像における対応する位置に重畳してそれぞれ表示される。

判定設定部１０４は、エリア指定部１０３で指定された各判定変更エリアに対する専用の判定基準をユーザが設定するためのものである。本実施形態では、ユーザは、判定基準として、店員の発話時間に関する閾値、店員と顧客との接近時間に関する閾値、及び店員の近くに存在する顧客の人数に関する閾値を設定できる。なお、判定変更エリアで設定される判定基準は、全ての閾値の再設定を必要とするものでなく、通常の判定基準で設定された閾値の一部のみを変更するものであってもよい。

図１４では、判定設定部１０４において、設定対象として発話時間に関する閾値が選択された状態が示されている。また、判定設定部１０４には、バー１０５に沿って移動するスライダ１０６が設けられており、このスライダ１０６をずらす操作を行うことで、閾値の値を調整することができる。同様に、図１５では、判定設定部１０４において、設定対象として店員と顧客との接近時間に関する閾値が選択された状態が示されており、図１６では、店員の近くに存在する顧客の人数に関する閾値が選択された状態が示されている。

図１４に示すように、例えば、発話時間の閾値を最大（ＭＡＸ）に設定することにより、対象の判定変更エリア（ここでは、エリアＡ、Ｂ）の発話時間に関する接客尤度を無効とすることができる。つまり、上述の図１１に示した接客判定の処理において、店員が判定変更エリアとしてのエリアＡまたはエリアＢ内に位置する場合（ＳＴ２０３：Ｙｅｓ）、発話時間の判定基準（閾値）として最大が設定され（ＳＴ２０５）、その結果、発話時間に関する接客尤度が無効とされる（ＳＴ２０６）。

なお、ユーザは、例えば、発話時間の閾値を設定する際には、店舗内に実際に配置されたスピーカの配置や、出入口の位置、上述のヒートマップ画像８１などを考慮することができる。また、ユーザは、判定設定部１０４において、Ｄｅｆａｕｌｔボタン１１４を押下することにより、設定対象の閾値を予め設定された初期値に戻すことができる。

なお、ユーザは、上述のような都度設定される判定変更エリア及びそれに対する専用の判定基準と共に、或いは、それらの判定変更エリア及び判定基準の代わりに、例えば、エリアの特性に応じてプリセットされた専用の判定基準を用いることもできる。

図１７は、接客判定の判定基準のプリセットの手順を示すフロー図である。図１８は、接客判定の判定基準のプリセットの要領を示す説明図である。なお、図１８に示す接客判定の判定基準のプリセット画面では、上述の判定基準の設定画面と同様の構成要素について同一の符号を付してある。

図１７に示すように、判定基準のプリセットの処理では、ユーザがプリセット名を設定し（ＳＴ３０１）、そのプリセット名に対し、店員の発話時間に関する閾値（ＳＴ３０２）、店員と顧客との接近時間に関する閾値（ＳＴ３０３）、及び店員の近くに存在する顧客の人数の閾値（ＳＴ３０４）を順次設定する。その後、それらの設定に関し、プリセット登録がなされることにより（ＳＴ３０５）、処理が終了する。

図１８において、エリア追加部１０２は、プリセットされた判定変更エリアとして新たに追加したいエリアを設定するためのものである。例えば、ユーザは、ヒートマップ表示部６３に表示される店舗マップ上の所望のエリア（破線で示された矩形２０７を参照）を選択した状態で、エリア追加部１０２に追加したいエリア名として「入口Ａ」を入力して、Ａｄｄボタン１１２を押下することにより、新たにプリセットされた判定変更エリアを追加することができる。

既存プリセット表示部１２３は、既に設定されているプリセット名を表示する。ここでは、店舗内のカウンタＡ－Ｃに対してプリセットされた判定基準が設定されている例を示す。また、ユーザは、既存のプリセット名を選択（チェック）することにより、判定設定部１０４において、当該プリセット名に対応するエリアに対し、上述と同様の要領で所望の閾値を設定することが可能である。

また、判定設定部１０４では、ユーザが、プリセット設定を選択し、さらに既存のプリセット名を選択（チェック）することにより、それらについて設定された専用の判定基準が有効となる。ここでは、カウンタＡ、Ｂについてのプリセット設定（判定基準）が有効とされている。

プリセット名に対応づけて設定された判定基準は、分析用ＰＣ８の記憶部５３（メモリ）に記憶され、プリセットが有効な場合、ユーザが都度設定する必要なく接客判定の処理に適用される。なお、プリセットされた判定基準が適用されるエリアと重複するエリアに対して、図１４－図１６に示す接客判定の判定基準の設定画面で判定変更エリアが設定された場合には、その設定画面で設定された判定基準が優先される。

（第２実施形態）
図１９は、第２実施形態に係る接客状況分析システムの接客判定処理の手順を示すフロー図である。なお、第２実施形態に係る接客状況分析システムに関し、以下で特に言及しない事項については、上述の第１実施形態の場合と同様として説明を省略する。

図１９における接客判定の処理では、上述の第１実施形態の接客判定の処理における接客情報生成の処理（図１１参照）のステップＳＴ２０１－ＳＴ２０５とそれぞれ同様のステップＳＴ３０１－３０５が実行される。ただし、第２実施形態に係る接客判定では、店員の位置が予め設定された有効エリア内に含まれるか否かを判別する（ＳＴ３０６）点において、第１実施形態の接客判定の処理とは異なる。

ステップＳＴ３０６において、店員が有効エリア内に位置すると判別された場合（Ｙｅｓ）には、上述の接客情報生成の処理（図１１参照）のステップＳＴ２０６－ＳＴ２０１１とそれぞれ同様のステップＳＴ３０７－ＳＴ３１２が実行される。一方、店員が有効エリア内に位置しないと判別された場合（ＳＴ３０６：Ｎｏ）には、発話時間に関する接客尤度の算出（ＳＴ３０７）が省略され、店員と顧客との接近時間に関する接客尤度（ＳＴ３０８）および店員の近くに存在する顧客の人数に関する接客尤度（ＳＴ３０９）が算出される。

なお、発話時間に関する接客尤度の算出（ＳＴ３０７）を省略する代わりに、上述のように（図１４参照）、発話時間の閾値が最大（ＭＡＸ）に設定されるようにして、対象の判定変更エリアの発話時間に関する接客尤度を無効とすることも可能である。

これにより、第２実施形態に係る接客判定では、店員の位置が有効エリアに含まれない場合には、音声に関わらない基準のみを用いて判定が行われる。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

例えば、前記の実施形態では、音声処理用ＰＣ５と、画像処理用ＰＣ６と、測位管理サーバ７と、分析用ＰＣ８と、を備えた構成としたが、これらの装置の各機能は、かならずしも単一の情報処理装置で実現する必要はなく、適宜に１つまたは複数の情報処理装置に統合することができる。また、分析用ＰＣの機能を複数の情報処理装置で分担することも可能である。また、マイク１およびカメラ２が一体の監視カメラを多機能化し、音声処理用ＰＣ５や画像処理用ＰＣ６を介さずに、監視カメラのプロセッサが、人物別位置情報や音声ヒートマップを生成して、分析用ＰＣ８へ送信するようにすることも可能である。

なお、近年、IoT(Internet of Things)の世界では、フィジカル空間とサイバー空間の情報連携により新たな付加価値を作りだすという新しいコンセプトであるCPS(Cyber Physical Systems)が注目されている。こうした中、本実施形態においても、CPSコンセプトを採用することができる。すなわち、CPSの基本構成として、例えば、フィジカル空間に配置されるエッジサーバと、サイバー空間に配置されるクラウドサーバとをネットワークを介して接続し、エッジサーバとクラウドサーバに搭載されたプロセッサにより、接客分析処理を分散して処理することが可能である。この接客分析処理においては、エッジサーバとして、音声処理用ＰＣ５、画像処理用ＰＣ６、測位管理サーバ７を含んだサーバを構築する。次に、クラウドサーバは、ネットワークを介してエッジサーバより受信した処理データ（音声ヒートマップ情報、人物位置情報、端末位置情報）に基づき、接客データを生成する処理を実行し、その接客データを接客分析アプリケーションソフトウェアで引き継ぎ、アプリケーション上で定義された出力フォーマットでディスプレイ等に表示する。ここで、エッジサーバまたはクラウドサーバにおいて生成される各データは、標準化されたプラットフォームに搭載されたＷｅｂアプリケーション等で生成されることが好ましく、このような標準化プラットフォームを用いることで、各種多様なセンサ群やIoTアプリケーションソフトウェアを含むシステムを構築する際の効率化を図ることができる。

また、本開示の接客状況分析装置、接客状況分析システム、及び接客状況分析方法が適用される店舗の構成は、上述の例に限定されず、また、店舗で行われる商業的活動についても販売店、金融機関、飲食店などによる種々の形態を採用することが可能である。

本開示に係る接客状況分析装置、接客状況分析システム、及び接客状況分析方法は、店舗内において接客判定の実施に不適切なエリアが存在する場合でも、店員が接客を行ったことを精度良く判定し、信頼性の高い接客情報を生成することができる効果を有し、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置、接客状況分析システム、及び接客状況分析方法などとして有用である。

１ マイク（収音装置）
２ カメラ（撮像装置）
３ ビーコン発信機
４ 携帯端末（携帯端末装置）
５ 音声処理用ＰＣ（情報処理装置）
６ 画像処理用ＰＣ（情報処理装置）
７ 測位管理サーバ
８ 分析用ＰＣ（接客状況分析装置、情報処理装置）
９ 閲覧端末
１１ ゲートウェイ
１２ 公衆アクセスポイント
５２ プロセッサ
６３ ヒートマップ表示部
８１ ヒートマップ画像（定形画像）
８２ 店舗マップ画像
８４ 動線
８５ 人物マーク
９１ 再生停止ボタン
１０１ 表示設定部
１０２ エリア追加部
１０３ エリア指定部
１０４ 判定設定部
１１１ ヒートマップ画像
１２３ 既存プリセット表示部

Claims (14)

1. 店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置であって、
   前記プロセッサは、
   少なくとも店舗内の人物を撮像した画像データから特定される人物の位置情報と、店員の所持物から特定される位置情報と、を取得し、
   店員の位置が、前記店舗内の監視エリアにおいて環境音の影響のある無効エリアに含まれる場合、前記人物の位置情報、前記所持物の位置情報に基づいて算出される店員と顧客との接近時間および店員の近くに存在する顧客の人数から店員が接客を行ったか否かを判定することを特徴とする接客状況分析装置。
2. 店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置であって、
   前記プロセッサは、
   店舗内の人物を撮像した画像データから取得した人物の位置情報、店員の所持物の位置情報、及び店舗内の音声を収音した音声データから取得した音声の位置情報を取得し、
   前記人物の位置情報、前記所持物の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを前記音声に関する基準と前記音声に関わらない基準とを用いて判定し、
   前記判定の結果に基づいて、前記接客状況に関する情報を生成し、
   前記判定を行う際に、前記店員の位置が、前記店舗内の監視エリアの一部として設定された有効エリアに含まれるか否かを判別し、
   前記店員の位置が前記有効エリアに含まれる場合に、前記音声に関する基準を用いて前記判定を行い、
   前記店員の位置が前記有効エリアに含まれない場合には、前記音声に関わらない基準を用いて前記判定を行うことを特徴とする接客状況分析装置。
3. 前記音声に関する基準には、前記店員の発話時間の閾値が含まれることを特徴とする請求項２に記載の接客状況分析装置。
4. 前記プロセッサは、
   前記店員の位置が前記有効エリアに含まれない場合には、前記発話時間の閾値を最大値に設定し、この設定した閾値を用いて前記判定を行うことを特徴とする請求項３に記載の接客状況分析装置。
5. 前記プロセッサは、
   前記音声に関わらない基準として前記店員と前記顧客との接近時間の閾値を用い、
   前記店員の位置が前記有効エリアに含まれない場合には、前記接近時間の閾値を変更し、この変更した閾値を用いて前記判定を行うことを特徴とする請求項２から請求項４のいずれかに記載の接客状況分析装置。
6. 前記プロセッサは、
   前記音声に関わらない基準として前記店員の近くに存在する前記顧客の人数の閾値を用い、
   前記店員の位置が前記有効エリアに含まれない場合、前記顧客の人数の閾値を変更し、この変更した閾値を用いて前記判定を行うことを特徴とする請求項２から請求項５のいずれかに記載の接客状況分析装置。
7. 前記プロセッサは、
   前記音声に関わらない基準として前記店員と前記顧客との接近距離の閾値を用い、
   前記店員の位置が前記有効エリアに含まれない場合、前記接近距離の閾値を変更し、この変更した閾値を用いて前記判定を行うことを特徴とする請求項２から請求項６のいずれかに記載の接客状況分析装置。
8. 前記音声に関する基準の情報を記憶するメモリを更に備え、
   前記プロセッサは、前記判定を行う際に、前記店員の位置が前記有効エリアに含まれる場合、前記メモリに記憶された前記音声に関する基準の情報を読み出すことを特徴とする請求項２に記載の接客状況分析装置。
9. 前記プロセッサは、
   前記人物の位置情報および前記所持物の位置情報に基づいて、前記店員の位置情報および前記顧客の位置情報を取得することを特徴とする請求項２から請求項８のいずれかに記載の接客状況分析装置。
10. 前記プロセッサは、
    前記音声の位置情報および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得することを特徴とする請求項９に記載の接客状況分析装置。
11. 前記プロセッサは、
    前記発話位置情報および前記顧客の位置情報に基づいて、前記店員が接客を行ったか否かを判定することを特徴とする請求項１０に記載の接客状況分析装置。
12. 店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する接客状況分析システムであって、
    店舗内の音声を収音する収音装置と、
    店舗内の人物を撮像する撮像装置と、
    店員が所持する携帯端末装置と、
    １つまたは複数の情報処理装置と、
    を備え、
    前記１つまたは複数の情報処理装置は、
    前記撮像装置から出力される画像データから取得した人物の位置情報、前記携帯端末装置の位置情報、及び前記収音装置から出力される音声の位置情報を取得し、
    前記人物の位置情報、前記携帯端末装置の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを前記音声に関する基準と前記音声に関わらない基準とを用いて判定し、
    前記判定の結果に基づいて、前記接客状況に関する情報を生成し、
    前記判定の結果に基づいて、前記接客状況に関する情報を生成し、
    前記判定を行う際に、前記店員の位置が、前記店舗内の監視エリアの一部として設定された有効エリアに含まれるか否かを判別し、
    前記店員の位置が前記有効エリアに含まれる場合に、前記音声に関する基準を用いて前記判定を行い、
    前記店員の位置が前記有効エリアに含まれない場合には、前記音声に関わらない基準を用いて前記判定を行うことを特徴とする接客状況分析システム。
13. 店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析方法であって、
    少なくとも店舗内の人物を撮像した画像データから特定される人物の位置情報と、店員の所持物から特定される位置情報と、を取得し、
    店員の位置が、前記店舗内の監視エリアにおいて環境音の影響のある無効エリアに含まれる場合、前記人物の位置情報、前記所持物の位置情報に基づいて算出される店員と顧客との接近時間および店員の近くに存在する顧客の人数から店員が接客を行ったか否かを判定することを特徴とする接客状況分析方法。
14. 店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析方法であって、
    店舗内の人物を撮像した画像データから取得した人物の位置情報、店員の所持物の位置情報、及び店舗内の音声を収音した音声データから取得した音声の位置情報を取得し、
    前記人物の位置情報、前記所持物の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを前記音声に関する基準と前記音声に関わらない基準とを用いて判定し、
    前記判定の結果に基づいて、前記接客状況に関する情報を生成し、
    前記判定を行う際に、前記店員の位置が、前記店舗内の監視エリアの一部として設定された有効エリアに含まれるか否かを判別し、
    前記店員の位置が前記有効エリアに含まれる場合に、前記音声に関する基準を用いて前記判定を行い、
    前記店員の位置が前記有効エリアに含まれない場合には、前記音声に関わらない基準を用いて前記判定を行うことを特徴とする接客状況分析方法。

Images