前記課題を解決するためになされた第1の発明は、店舗の監視エリアでの顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置であって、前記プロセッサは、店舗内の人物を撮像した画像データから取得した人物の位置情報、店員の所持物の位置情報、及び店舗内の音声を収音した音声データから取得した音声の位置情報を取得し、前記人物の位置情報、前記所持物の位置情報、及び前記音声の位置情報に基づいて、店員の発話時間、店員と顧客との接近時間、及び店員の近くに存在する顧客の人数を算定し、前記監視エリアに対して設定される前記発話時間、前記接近時間、及び前記人数に関する第1の判定基準と、前記監視エリアの一部である判定変更エリアに対して設定される前記接近時間及び前記人数に関する第2の判定基準と、を記憶し、これら第1、第2の判定基準にしたがって、店員が接客を行ったか否かを判定して、前記接客状況に関する情報を生成するものであり、店員の位置が、前記判定変更エリアに含まれる場合に、前記第2の判定基準を優先し、店員が接客を行ったか否かを判定する構成とする。
これによると、店員の位置が判定変更エリアに含まれる場合に専用の判定基準を用いて判定を行うため、店員の発話以外の環境音の影響を抑制しつつ店員が接客を行ったことを判定し、より信頼性の高い接客情報を生成することが可能となる。
また、第2の発明は、前記プロセッサは、前記判定変更エリアをユーザが追加あるいは編集するための設定画面を表示する構成とする。
これによると、ユーザは、環境音の発生に影響を及ぼす店舗内のレイアウトや人物の活動状況などに応じて判定変更エリアおよび判定基準を適切に設定することができ、その結果、より信頼性の高い接客情報を生成することが可能となる。
また、第3の発明は、前記設定画面は、前記音声データに基づく音声レベルの分布状況を可視化した音声可視化画像と、前記音声可視化画像が前記店舗内のエリアの対応する位置に重畳された店舗マップ画像とを含む構成とする。
これによると、ユーザは、店舗内における音声の発生状況を考慮した上で、判定変更エリアおよび判定基準をより適切に設定することが可能となる。
また、第4の発明は、前記プロセッサは、前記判定基準として、前記店員と前記顧客と
の接近距離の閾値を用いる構成とする。
これによると、店員と顧客との接近距離の閾値を用いて判定を行うため、店員が接客を行ったことをより精度良く判定し、より信頼性の高い接客情報を生成することが可能となる。
また、第5の発明は、前記判定変更エリアに対して予め生成された前記判定基準を記憶するメモリを更に備え、前記プロセッサは、前記判定を行う際に、前記店員の位置が前記判定変更エリアに含まれる場合、前記メモリに記憶された前記判定基準を読み出す構成とする。
これによると、予め生成された専用の判定基準を用いるため、ユーザは簡易な操作により、店員が接客を行ったことを精度良く判定し、信頼性の高い接客情報を生成することが可能となる。
また、第6の発明は、前記プロセッサは、前記人物の位置情報および前記所持物の位
置情報に基づいて、店員の位置情報および顧客の位置情報を取得する構成とする。
これによると、店員および顧客の位置を容易に推定し、それらの位置を店員が接客を行ったか否かの判定に用いることが可能となる。
また、第7の発明は、前記プロセッサは、前記音声の位置情報および前記店員の位置
情報に基づいて、店員が発話した位置を表す発話位置情報を取得する構成とする。
これによると、店員が発話した位置を容易に推定し、その発話した位置を、店員が接客を行ったか否かの判定に用いることが可能となる。
また、第8の発明は、前記プロセッサは、前記発話位置情報および前記顧客の位置情
報に基づいて、前記店員が接客を行ったか否かを判定する構成とする。
これによると、発話位置情報および顧客の位置情報に基づいて、店員が接客を行ったか否かを適切に判定することが可能となる。
また、第9の発明は、店舗の監視エリアでの顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する接客状況分析システムであって、店舗内の音声を収音する収音装置と、店舗内の人物を撮像する撮像装置と、店員が所持する携帯端末装置と、1つまたは複数の情報処理装置と、を備え、前記1つまたは複数の情報処理装置は、店舗内の人物を撮像した画像データから取得した人物の位置情報、店員の所持物の位置情報、及び店舗内の音声を収音した音声データから取得した音声の位置情報を取得し、前記人物の位置情報、前記所持物の位置情報、及び前記音声の位置情報に基づいて、店員の発話時間、店員と顧客との接近時間、及び店員の近くに存在する顧客の人数を算定し、前記監視エリアに対して設定される前記発話時間、前記接近時間、及び前記人数に関する第1の判定基準と、前記監視エリアの一部である判定変更エリアに対して設定される前記接近時間及び前記人数に関する第2の判定基準と、を記憶し、これら第1、第2の判定基準にしたがって、店員が接客を行ったか否かを判定して、前記接客状況に関する情報を生成するものであり、店員の位置が、前記判定変更エリアに含まれる場合に、前記第2の判定基準を優先し、店員が接客を行ったか否かを判定する構成とする。
これによると、店員の位置が判定変更エリアに含まれる場合に専用の判定基準を用いて判定を行うため、店員の発話以外の環境音の影響を抑制しつつ店員が接客を行ったことを判定し、より信頼性の高い接客情報を生成することが可能となる。
また、第10の発明は、店舗の監視エリアでの顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析方法であって、店舗内の人物を撮像した画像データから取得した人物の位置情報、店員の所持物の位置情報、及び店舗内の音声を収音した音声データから取得した音声の位置情報を取得し、前記人物の位置情報、前記所持物の位置情報、及び前記音声の位置情報に基づいて、店員の発話時間、店員と顧客との接近時間、及び店員の近くに存在する顧客の人数を算定し、前記監視エリアに対して設定される前記発話時間、前記接近時間、及び前記人数に関する第1の判定基準と、前記監視エリアの一部である判定変更エリアに対して設定される前記接近時間及び前記人数に関する第2の判定基準と、を記憶し、これら第1、第2の判定基準にしたがって、店員が接客を行ったか否かを判定して、前記接客状況に関する情報を生成するものであり、店員の位置が、前記判定変更エリアに含まれる場合に、前記第2の判定基準を優先し、店員が接客を行ったか否かを判定する構成とする。
これによると、店員の位置が判定変更エリアに含まれる場合に専用の判定基準を用いて判定を行うため、店員の発話以外の環境音の影響を抑制しつつ店員が接客を行ったことを判定し、より信頼性の高い接客情報を生成することが可能となる。
以下、本開示の実施の形態を、図面を参照しながら説明する。
図1は、本実施形態に係る接客状況分析システムの全体構成図である。
この接客状況分析システムは、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成するものであり、マイク1(収音装置)と、カメラ2(撮像装置)と、ビーコン発信機3と、携帯端末4(携帯端末装置)と、音声処理用PC5(情報処理装置)と、画像処理用PC6(情報処理装置)と、測位管理サーバ7と、分析用PC8(接客状況分析装置、情報処理装置)と、閲覧端末9と、を備えている。
マイク1、カメラ2、音声処理用PC5、画像処理用PC6は、店舗内ネットワークに接続されている。店舗内ネットワークはゲートウェイ11を介して外部ネットワークに接続されている。携帯端末4は、無線LANなどの公衆アクセスポイント12を介して外部ネットワークに接続されている。分析用PC8、測位管理サーバ7、閲覧端末9は、外部ネットワークに接続されている。
マイク1は、店舗内に設置され、店舗内に滞在する人物(店員や顧客)が発話する音声を収音する。このマイク1は、全方向の音声を収音する、いわゆる全方位マイクであり、複数(例えば16個)のマイク素子(収音素子)が円形状に等間隔に配置されたマイクアレイを備えている。このマイク1では、店舗内の音声を複数のマイク素子で収音して、複数のチャネルの音声データを生成して、この音声データを音声処理用PC5に送信する。なお、マイク1によって収音される音声には、発話とは無関係に店舗内で発生する環境音(例えば、BGM、店舗内放送)や、発話とは無関係に店舗外から侵入する環境音(例えば、人や車両の往来による騒音など)が含まれる場合がある。
カメラ2は、店舗内に設置され、店舗内に滞在する人物(店員や顧客)を撮像し、また、店舗に来店する人物を撮像する。このカメラ2は、全方位を撮像する、いわゆる全方位カメラである。このカメラ2では、店舗内を撮像して画像データを生成して、この画像データを画像処理用PC6に送信する。
音声処理用PC5は、マイク1から送信される音声データを受信して、その音声データに対して音声処理を行う。本実施形態では、音源の位置を特定する音声検出(音源位置検出)を行い、店舗内の音声レベルの分布状況、すなわち、どこでどの程度の音声レベル(音量)が発生しているかを表す音声ヒートマップ情報を生成して、その音声ヒートマップ情報を分析用PC8に送信する。
画像処理用PC6は、カメラ2から送信される画像データを受信して、その画像データに対して画像処理を行う。本実施形態では、画像データから店舗内に滞在する人物を検出して、人物ごとの位置情報を取得して、その位置情報を分析用PC8に送信する。
ビーコン発信機3は、店舗内に複数設置され、測位用のビーコン信号を送信する。
携帯端末4は、スマートフォンなどであり、店員が所持する。この携帯端末4では、ビーコン発信機3から送信されるビーコン信号を用いた測位を行って自装置の位置情報を取得して、その位置情報を測位管理サーバ7に送信する。
なお、本実施形態では、ビーコン発信機3が発するビーコン信号で、携帯端末4の測位を行うようにしたが、GPS(Global Positioning System)などの衛星測位システムなどの他の測位システムで、携帯端末4の測位を行うようにしてもよい。また、天井に設置したロケータ(測位管理サーバ7とネットワーク接続)を用いて、店員が所持物に装着したタグの電波角度・強度と測定アルゴリズムにより、店員の位置情報を取得することができる。
測位管理サーバ7は、携帯端末4ごとの位置情報を携帯端末4から収集して、携帯端末4ごとの位置情報を管理し、その携帯端末4ごとの位置情報を分析用PC8に送信する。
分析用PC8は、音声処理用PC5から音声ヒートマップ情報を取得し、また、画像処理用PC6から人物ごとの位置情報を取得し、また、測位管理サーバ7から携帯端末4ごとの位置情報を取得し、これらの情報に基づいて、店舗での顧客に対する店員の接客状況に関する分析を行い、接客状況を表す情報を生成する。
閲覧端末9は、PCやスマートフォンやタブレット端末などであり、ユーザ、例えばスーパーバイザーなどの本部側の管理者や店長などの店舗側の管理者が操作するものであり、ユーザは、閲覧端末9から分析用PC8にアクセスすることで、分析用PC8の処理に関する各種設定や、分析用PC8で生成した接客状況に関する情報の閲覧を行うことができる。なお、分析用PC8とは別に情報配信専用のサーバを設けるようにしてもよい。
また、チェーン店などのように管理する店舗が複数ある場合には、分析用PC8では、複数の店舗ごとの音声処理用PC5および画像処理用PC6ならびに測位管理サーバ7から各店舗の情報を収集して、店舗ごとの接客状況に関する情報を生成する。
次に、店舗の一例について説明する。図2は、店舗のレイアウトと、マイク1、カメラ2およびビーコン発信機3の設置状況と、店舗に設定される分割エリアとを示す平面図である。
店舗には、出入口、発券機、ソファ、什器(陳列棚や陳列台など)、テーブル、カウンタ、トイレ、作業室、バックヤードなどが設けられている。顧客は、出入口から店舗内に入店し、発券機で番号札を受け取り、ソファに座ったり、什器に陳列されている商品を見たりして、呼び出しがあるまで待機し、呼び出しを受けると、カウンタで商品の購入や契約などの手続きを行う。店員は、顧客が店舗内に入店すると、発券機の案内や什器に陳列されている商品の説明などの接客を行ったり、カウンタで接客を行ったりする。
また、店舗には、マイク1、カメラ2およびビーコン発信機3が設置されている。マイク1が、店舗内に滞在する店員や顧客が発話する音声を収音し、カメラ2が、店舗内に滞在する店員や顧客を撮像し、また、店舗に来店する顧客を撮像する。図2に示す例では、便宜上、マイク1およびカメラ2が一体に構成された1つの装置のみを示しているが、店舗では、複数のマイク1およびカメラ2を、それぞれ店舗内の天井などの適宜な位置に設置することができる。また、ビーコン発信機3は、店舗内の適宜な位置に複数設置されており、このビーコン発信機3から送信されるビーコン信号が、店員が所持する携帯端末4で受信される。
また、本実施形態では、ユーザによって店舗マップ上に設定された監視エリアに、格子状に均等分割した所定の大きさ(例えば50cm四方)の複数のセル(分割エリア)が設定されており、このセルを単位として、分析用PC8で各種の処理が行われる。なお、セルのサイズは、マイク1、カメラ2、携帯端末4の感度によって、種々のサイズに変更することが可能である。
次に、本接客状況分析システムで行われる処理について説明する。図3は、携帯端末4、音声処理用PC5、画像処理用PC6、測位管理サーバ7、および分析用PC8の概略構成を示すブロック図である。図4は、携帯端末4、音声処理用PC5、画像処理用PC6、および測位管理サーバ7で行われる処理の概要を示す説明図である。図5は、分析用PC8で行われる処理の概要を示す説明図である。図6は、音声処理用PC5、画像処理用PC6、測位管理サーバ7、および分析用PC8で生成する情報を示す説明図である。図7は、店員特定の処理の要領を示す説明図である。図8は、発話判定および接客判定の要領を示す説明図である。図9は、発話判定の手順を示すフロー図である。図10は、接客判定の手順を示すフロー図である。図11は、接客ヒートマップ表示画面を示す説明図である。
図3に示すように、携帯端末4は、ビーコン受信部21と、通信部22と、プロセッサ23と、記憶部24と、を備えている。
ビーコン受信部21は、ビーコン発信機3から送信されるビーコン信号を受信して、そのビーコン信号の電波強度を測定する。
通信部22は、測位管理サーバ7との間で通信を行う。本実施形態では、プロセッサ23で取得した位置情報を測位管理サーバ7に送信する。
記憶部24は、端末IDなどを記憶する。また、記憶部24は、プロセッサ23で実行するプログラムを記憶する。
プロセッサ23は、記憶部24に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、ビーコン測位の処理を行う。
ビーコン測位では、複数のビーコン発信機3からのビーコン信号の電波強度に基づいて、携帯端末4の位置情報(緯度、経度、高度など)を取得する。この処理では、例えば、予め測定された各位置でのビーコン発信機3ごとの電波強度を表す電波強度分布情報を用いて、ビーコン受信部21で取得したビーコン発信機3ごとの電波強度から、携帯端末4の位置情報を取得する。
測位管理サーバ7は、図4に示すように、各携帯端末4から送信される位置情報を受信して、携帯端末4ごとの位置情報を収集し、各時刻における各携帯端末4の位置を表す端末別位置情報を生成して、その端末別位置情報を分析用PC8に送信する。この端末別位置情報には、図6(A)に示すように、時刻、端末ID、位置座標の各情報が含まれる。
図3に示すように、音声処理用PC5は、通信部31と、プロセッサ32と、記憶部33と、を備えている。
通信部31は、マイク1および分析用PC8との間で通信を行う。本実施形態では、マイク1から送信される音声データを受信する。また、プロセッサ32で生成した音声ヒートマップ情報を分析用PC8に送信する。
記憶部33は、マイク1から取得した音声データなどを記憶する。また、記憶部33は、プロセッサ32で実行するプログラムを記憶する。
プロセッサ32は、記憶部33に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、音声検出(音源位置検出)の処理を行う。
図4に示すように、音声検出の処理では、マイク1から取得した複数(例えば16)のチャネルの音声データに基づいて、各位置における音声レベル(例えば4段階)を取得して、音声ヒートマップ情報を生成する。このとき、指向性を制御することで各方向の音声を取得することができ、複数のチャネルの音声データの位相差に基づいて、各位置の音声レベルを取得する。
本実施形態では、監視エリアを格子状に分割したセル単位で音声レベルを取得し、図6(E)に示すように、各時刻における各セルでの音声レベルを表す音声ヒートマップ情報を生成する。この音声ヒートマップ情報を可視化すると、図8(A)に示すようになる。
なお、本実施形態では、図2に示すように、分析用PC8において、接客状況に関する分析処理をセル単位で行うことができるが、この分析処理で用いられるセルと、音声ヒートマップ情報で用いられるセルとは、必ずしも同一の大きさとする必要はない。
図3に示すように、画像処理用PC6は、通信部41と、プロセッサ42と、記憶部43と、を備えている。
通信部41は、カメラ2および分析用PC8との間で通信を行う。本実施形態では、カメラ2から送信される画像データを受信する。また、プロセッサ42で生成した人物別位置情報を分析用PC8に送信する。
記憶部43は、カメラ2から取得した画像データなどを記憶する。また、記憶部43は、プロセッサ42で実行するプログラムを記憶する。
プロセッサ42は、記憶部43に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、人物検出の処理を行う。
図4に示すように、人物検出の処理では、カメラ2から取得した画像データに含まれる撮像画像(フレーム)から人物を検出して、その人物の位置情報を取得して、各時刻における人物の位置を表す人物別位置情報を生成する。この人物別位置情報には、図6(B)に示すように、時刻、人物ID、位置座標の各情報が含まれる。
図3に示すように、分析用PC8は、通信部51と、プロセッサ52と、記憶部53と、を備えている。
通信部51は、音声処理用PC5、画像処理用PC6、および測位管理サーバ7との間で通信を行う。本実施形態では、音声処理用PC5から送信される音声ヒートマップ情報を受信する。また、画像処理用PC6から送信される人物別位置情報を受信する。また、測位管理サーバ7から送信される端末別位置情報を受信する。
記憶部53は、音声処理用PC5、画像処理用PC6、および測位管理サーバ7から取得した情報や、プロセッサ52で生成した情報などを記憶する。また、記憶部53は、プロセッサ52で実行するプログラムを記憶する。
さらに、記憶部53は、接客判定の処理で用いられる判定基準の情報を記憶する。判定基準の情報は、予め設定された1以上の判定指標について設定された閾値を含む。そのような閾値には、少なくとも音声に関する閾値(すなわち、音声に関する判定指標について設定された閾値)が含まれる。また後述するように、判定基準には、店舗内の監視エリアの一部に1以上の判定変更エリアが設定された場合に、当該判定変更エリアに対して個別に設定される専用の判定基準と、その判定変更エリア(すなわち、特別なエリア)を除く監視エリアの全体に対して設定されている通常の判定基準とが含まれる。
プロセッサ52は、記憶部53に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、店員特定、発話判定、接客判定、第1の接客集計、第2の接客集計、来店集計、顧客集計および店員集計の各処理を行う。
図5に示すように、店員特定の処理では、測位管理サーバ7から取得した端末別位置情報と、画像処理用PC6から取得した人物別位置情報と、に基づいて、人物別位置情報の各人物が店員であるか否かを判定して、店員別位置情報および顧客別位置情報を生成する。この顧客別位置情報および店員別位置情報には、図6(B)に示すように、時刻、人物ID、位置座標の各情報が含まれる。
この店員特定の処理では、図7(A)に示すように、端末別位置情報において携帯端末4が存在する位置と、図7(B)に示すように、人物別位置情報において人物が存在する位置と、を比較して、携帯端末4の近傍に人物が存在する場合に、図7(C)に示すように、その人物を店員と判定する。また、図7(D)に示すように、店員と判定された人物以外の人物を顧客と判定する。そして、店員と判定された人物に関する人物別位置情報を店員別位置情報とし、顧客と判定された人物に関する人物別位置情報を顧客別位置情報とする。
なお、測位管理サーバ7から取得した端末別位置情報から店員別位置情報を生成することも可能であるが、カメラ2の画像から取得した人物別位置情報の方が、ビーコン測位による端末別位置情報より精度が高いため、人物別位置情報から店員別位置情報を生成するようにするとよい。
図5に示すように、発話判定の処理では、顧客別位置発話情報および店員別位置発話情報を生成する。より詳細には、発話判定の処理では、図9に示すように、店員特定の処理による店員別位置情報および顧客別位置情報と、音声処理用PC5からの音声ヒートマップ情報とを取得し(ST101)、店員が存在するセルで所定レベル以上の音声が検出されたか否かを判定する(ST102)。そこで、所定レベル以上の音声が検出された場合(Yes)には、店員の発話があると判定し(ST103)、一方で、所定レベル以上の音声が検出されない場合(No)には、店員の発話がないと判定する(ST104)。その後、店員の発話の有無に応じて、顧客別位置発話情報および店員別位置発話情報を生成する(ST105)。
店員別位置発話情報および顧客別位置発話情報は、図6(C)に示すように、図6(B)に示す店員別位置情報および顧客別位置情報に、停留時間、および発話の有無の各情報を付加したものである。なお、停留時間は、ある位置に店員または顧客が滞在している時間である。
この発話判定の処理では、図8(A)に示すように、音声ヒートマップ情報において音声が検出された位置と、図8(B)に示すように、店員別位置情報において店員が存在する位置と、を比較して、図8(C)に示すように、店員が存在する位置で、所定レベル以上の音声が検出された場合には、その位置で店員が発話したものと判定する。
また、本実施形態では、監視エリアを格子状に分割したセル単位で判定を行い(図2参照)、店員が存在するセルで、所定レベル以上の音声が検出された場合に、店員が発話したものと判定する。
なお、店員が歩行している状態では、足音を発話と誤判定するおそれがあるため、店員が停止している状態で、所定レベル以上の音声が検出された場合に、店員が発話したものと判定するようにするとよい。
図5に示すように、接客判定の処理では、発話判定の処理で取得した店員別位置発話情報および顧客別位置発話情報に基づいて、店員が接客を行ったか否かを判定して、接客情報(店員別位置発話接客情報および顧客別位置発話接客情報)を取得する。この接客判定の処理では、店員の発話時間、店員と顧客との接近時間、及び店員の近くに存在する顧客の人数等に基づき店員が顧客に対して接客を行ったか否かを判定する。
店員の発話時間は、図8(D)に示すように、店員別位置発話情報において発話した店員が存在する位置と、顧客別位置発話情報において顧客が存在する位置とを比較して、店員と顧客との距離が予め設定した所定範囲(例えば50cm)内にある場合において、店員が発話する状態が継続した時間である。
なお、接客時には発話が断続的に行われることから、店員の発話状態の判定では、所定の単位時間において発話が所定割合以上検知された否かを判定するようにするとよい。また、店員の発話状態の判定では、店員および顧客の少なくとも一方の(すなわち、発話の主体を区別せずに)発話が検知された否かを判定するようにしてもよい。
また、店員と顧客との距離が所定範囲内にあるか否かについては、例えば、店員が存在するセルと同一のセル内(または互いに隣接するセル内)に顧客が存在する場合に、店員と顧客との距離が所定範囲内にあると判定してもよい。
店員と顧客との接近時間は、店員と顧客との距離が予め設定した所定範囲内にある状態が継続した時間である。この所定範囲は、上述の店員の発話時間を決定するための範囲とは異なる値に設定することもできる。
店員の近くに存在する顧客の人数は、店員との距離が予め設定した所定範囲内にある顧客の人数である。この所定範囲は、上述の店員の発話時間を決定するための範囲や、接近時間を決定するための範囲とは異なる値に設定することもできる。
店員別位置発話接客情報および顧客別位置発話接客情報は、図6(D)に示すように、図6(C)に示す店員別位置発話情報および顧客別位置発話情報に、接客の有無および応対人数の各情報を付加したものである。なお、応対人数は、顧客別位置発話接客情報では、接客している店員の人数であり、店員別位置発話接客情報では、接客されている顧客の人数(ここでは、店員の近くに存在する顧客の人数)である。
より詳細には、接客判定の処理では、図10に示すように、店員別位置発話接客情報および顧客別位置発話接客情報を取得し(ST201)、店員の近く(例えば、店員と同一のセル内または店員から所定範囲内の距離)に顧客が所定の時間以上滞在しているか否かを判定する(ST202)。そこで、店員の近くに顧客が所定の時間以上滞在している場合(Yes)には、店員の位置が予め設定された判定変更エリア内に含まれるか否かを判別する(ST203)。一方、店員の近くに顧客が所定の時間以上滞在していない場合(ST202:No)には、店員による接客は行われていないと判定する(ST204)。
また、ステップST203において、店員の位置が判定変更エリア内に含まれる場合(Yes)、当該判定変更エリアに対して設定された専用の判定基準を取得し、これを通常の判定基準に代えて使用する(ST205)。一方、店員の位置が判定変更エリア内に含まれない場合(ST203:No)、通常の判定基準がそのまま使用される。判定基準には、発話時間の閾値(音声に関する閾値)、店員と顧客との接近時間の閾値、および店員の近くに存在する顧客の人数の閾値が含まれる。後に詳述するように、ユーザは、接客判定の処理中またはその処理の開始前に、判定変更エリアおよび発話時間等の閾値を設定することができる。
次に、店員の発話時間とその閾値に基づき、発話時間に関する接客尤度を算出する(ST206)。この発話時間に関する接客尤度としては、店員の発話時間がその閾値以上である場合に一定の数値が設定される。また、そのような発話時間に関する接客尤度の数値は、店員の発話時間とその閾値との差分の大きさに応じて増大させるようにしてもよい。一方、発話時間がその閾値未満である場合には、その接客尤度は無効とされる(例えば、ゼロに設定される)。
続いて、店員と顧客との接近時間とその閾値に基づき、店員と顧客との接近時間に関する接客尤度を算出する(ST207)。この接近時間に関する接客尤度としては、その接近時間がその閾値以上である場合に一定の数値が設定される。また、そのような接近時間に関する接客尤度の数値は、店員と顧客との接近時間とその閾値との差分の大きさに応じて増大させるようにしてもよい。一方、接近時間がその閾値未満である場合には、その接客尤度は無効とされる。
続いて、店員の近くに存在する顧客の人数とその閾値に基づき、店員の近くに存在する顧客の人数に関する接客尤度を算出する(ST208)。この顧客の人数に関する接客尤度としては、店員の近くに存在する顧客の人数がその閾値以上である場合に一定の数値が設定される。また、そのような顧客の人数に関する接客尤度の数値は、店員の近くに存在する顧客の人数とその閾値との差分の大きさに応じて増大させるようにしてもよい。一方、顧客の人数がその閾値未満である場合には、その接客尤度は無効とされる。
なお、上述のような接客尤度に加え(或いはそれらの接客尤度の代わりに)、例えば、店員と顧客との接近距離に関する接客尤度を同様に算出することもできる。この接近距離に関する接客尤度としては、店員と顧客との接近距離がその閾値以下である場合に一定の数値が設定される。また、そのような接近距離に関する接客尤度の数値は、接近距離とその閾値との差分(マイナスの値)の絶対値の大きさに応じて増大させるようにしてもよい。
また、店員及び顧客の姿勢や顔の向きを判定し、その結果に応じて上述の各接客尤度の値を調整してもよい。
その後、ステップST206-ST208で算出した接客尤度の総合値が、予め設定した総合値の閾値以上か否かを判定する(ST209)。そこで、接客尤度の総合値がその閾値以上である場合(ST209:Yes)には、店員によって顧客に対する接客が行われたと判定し(ST210)、それに基づき店員別位置発話接客情報および顧客別位置発話接客情報を生成する(ST211)。一方、接客尤度の総合値がその閾値未満である場合(ST209:No)には、店員によって顧客に対する接客が行われていないと判定し(ST204)、それに基づき店員別位置発話接客情報および顧客別位置発話接客情報を生成する(ST211)。
なお、接客尤度の総合値としては、例えば、発話時間に関する接客尤度、接近時間に関する接客尤度、および店員の近くに存在する顧客の人数に関する接客尤度の和を用いることができる。その場合、各接客尤度の優先度に応じて、接客尤度の各々に対して重み付けを行ってもよい。また、接客尤度の総合値は、算出された(すなわち、無効とされていない)複数の接客尤度のうちの一部を省略して算出してもよい。
上記接客判定の処理では、店員の位置が判定変更エリアに含まれる場合に音声に関する専用の判定基準を用いて判定を行うため、店員の発話以外の環境音の影響を抑制しつつ店員が接客を行ったことを判定し、より信頼性の高い接客情報を生成することができる。
図5に示すように、第1の接客集計では、顧客別位置発話接客情報に基づいて、顧客が出入口から入店した時刻(入店時刻)と、店員が最初の接客(声掛けなどのファーストコンタクト)に着手した時刻(接客着手時刻)と、を取得して、入店時刻と接客着手時刻とに基づいて、顧客が入店してから店員が最初の接客に着手するまでの所要時間である接客着手時間を算出する。
また、第1の接客集計の処理では、接客着手時間の平均値を算出する。このとき、店員および店舗を集計対象として、店員ごとに接客着手時間を集計して、店員ごとの平均値を算出し、また、店舗ごとに接客着手時間を集計して、店舗ごとの平均値を算出する。
第2の接客集計の処理では、接客判定の処理で取得した店員別位置発話接客情報に基づいて、店員ごとの接客回数、接客時間、および接客ポイント(接客が行われた位置)、接客人数を取得する。
具体的には、店員別位置発話接客情報に含まれる各時刻の接客の有無に基づいて、店員ごとの接客回数を取得する。
また、店員別位置発話接客情報に含まれる各時刻の接客の有無に基づいて、接客の開始時刻および終了時刻を取得して、接客時間を取得する。なお、集計期間において店員が接客を複数回行った場合には、各回の接客時間の合計値を取得する。
また、店員別位置発話接客情報に含まれる各時刻の店員の位置および接客の有無に基づいて、接客ポイントを取得する。この場合、店員の位置が接客ポイントとなる。なお、顧客位置発話接客情報も加味して接客ポイントを取得するようにしてもよい。すなわち、顧客が一人の場合、顧客位置発話接客情報に含まれる顧客の位置に基づいて、店員と顧客との間の中間点を接客ポイントとしてもよい。
来店集計の処理では、画像処理用PC6から取得した人物別位置情報に基づいて、来店人数を取得する。本実施形態では、撮像画像における店舗の出入口の近傍に計測ラインを設定して、人物の位置情報に基づく人物の動線が、計測ラインに対して入店方向で交差することで、人物が来店したことを検知し、来店した人物をカウントして、来店人数を取得する。
なお、計測ラインの代わりに計測エリアを設定して、この計測エリアに対する動線の交差状況に基づいて、人物の来店を検知するようにしてもよい。
また、来店集計の処理では、来店構成人数ごとの組数、すなわち、何人構成の顧客が何組来店したかを取得する。このとき、人物ごとの入店時刻を取得して、人物同士の入店間隔が所定時間(例えば5秒間)以内である場合には、グループで来店したものと判定する。また、発券機で番号札を受け取る時刻に基づいてグループ代表者を特定し、そのグループ構成を把握するようにしてもよい。
顧客集計の処理では、店員特定の処理で取得した顧客別位置情報に基づいて、滞在時間および滞在人数を取得する。このとき、各顧客が各セル(分割エリア)に滞在している時間を合計して、セルごとの滞在時間を取得する。また、各顧客が各セルに滞在している期間を集計して、セルごとの滞在人数を取得する。
店員集計の処理では、測位管理サーバ7から取得した端末位置情報に基づいて、各店員の運動量、休憩回数および休憩時間、ならびに実働店員人数を取得する。このとき、各店員の携帯端末4の位置情報に基づいて、各店員の移動量を算出して、各店員の運動量を取得する。また、各店員の携帯端末4の位置情報に基づいて、各店員がバックヤードや店舗外に滞在している休憩期間を取得して、各店員の休憩回数および休憩時間を取得する。また、各店員の勤務期間から休憩期間を除いた実働期間を集計して、単位時間ごとの実働店員人数を取得する。
画面生成の処理では、接客状況に関する情報として、接客ヒートマップ表示画面の画面情報を生成する。図11に示すように、接客ヒートマップ表示画面では、条件設定部61と、メニュー表示ボタン62と、ヒートマップ表示部63と、映像表示部64と、再生操作部65と、が設けられている。
ユーザは、条件設定部61において、検索条件、すなわち、ヒートマップ表示部63の表示対象を絞り込むフィルタリングの条件を設定することができ、設定した検索条件に該当する情報のみがヒートマップ表示部63に表示される。検索条件には、接客ヒートマップ表示等の項目、店員、顧客、エリア、期間、接客時間等の範囲などが含まれる。条件設定部61でユーザが各種の検索条件を指定する操作を行って「検索」のボタン77を操作すると、指定した検索条件に基づいて、表示対象のフィルタリングが行われて、指定した検索条件に該当する情報がヒートマップ表示部63に表示される。ユーザがメニュー表示ボタン62を操作すると、接客ヒートマップ、グラフ、および設定などを選択するメニューが表示される。
映像表示部64には、カメラ2の撮像映像が表示される。本実施形態では、カメラ2が、魚眼レンズを用いた全方位カメラであるため、映像表示部64には魚眼映像が表示される。この映像表示部64に表示される撮像映像により、ヒートマップ表示部63でヒートマップ画像81や動線84を再生している最中に、注目するタイミングでの店舗内の実際の状況を確認することができる。なお、映像表示部64は、ユーザの好みに応じて、非表示にしたり、別ウィンドウで拡大表示したりするようにしてもよい。また、魚眼映像を補正したパノラマ映像または4画に分けた分割映像などを表示するようにしてもよい。
画面生成の処理では、評価対象としてユーザに選択された店員について、第2の接客集計の処理で取得した統計情報(接客時間、接客人数および接客回数)に基づいて、各時刻の接客のヒートマップ画像81を生成して、店舗マップ画像82上に重畳する。また、店員別位置発話接客情報および顧客別位置発話接客情報に含まれる店員および顧客の位置情報に基づいて、各時刻の店員および顧客の動線84の画像を生成して、この動線84の画像および人物マーク85を店舗マップ画像82上に重畳する。また、ファーストタッチの時刻(接客着手時刻)および位置に基づいて、ファーストタッチのマーク87を店舗マップ画像82上に重畳する。ここでは、ヒートマップ画像81の大きさは、接客回数を表しており、また、ヒートマップ画像81の塗りつぶし色の濃さは、接客時間を表している。
また、画面生成の処理では、第1の接客集計、第2の接客集計、来店集計、店員集計、顧客集計の各処理で取得した統計情報に基づいて、接客状況に関する情報として、各種の一覧表や各種のグラフ(例えば、第1の接客集計、第2の接客集計、来店集計、店員集計、顧客集計の各処理で取得した統計情報に関する一覧表やグラフ)を生成して、この一覧表やグラフが表示される統計情報画面の画面情報を生成することもできる。
ヒートマップ表示部63には、人物(店員および顧客)の行動状況を表す画像として、人物が移動した軌跡を描画した動線84が店舗マップ画像82上に表示される。また、動線84の終端には人物マーク85が表示される。この人物マーク85は、再生時刻での人物の位置を示している。動線84は、人物ごとに異なる色で表示される。また、店員と顧客とを容易に識別できるように、人物ごとの動線84の配色を行うとよい。例えば、店員の動線84を寒色系の色で表示し、顧客の動線84を暖色系の色で表示するようにするとよい。
再生操作部65には、再生停止ボタン91が設けられており、この再生停止ボタン91を操作することで、ヒートマップ表示部63の動画像(ヒートマップ画像81、動線84など)の再生および停止を行うことができる。この再生停止ボタン91で再生を開始すると、再生時刻の進行に応じて動画像が変化する。すなわち、店員や顧客が存在する位置に人物マーク85が出現し、店員や顧客が移動するのに応じて、店員や顧客の動線84が徐々に延びる。そして、店員が接客を始めると、ヒートマップ画像81が出現し、ファーストタッチであればマーク87が出現する。また、接客時間や接客回数が増えるのに応じて、ヒートマップ画像81の形態(大きさや色など)が徐々に変化する。
また、再生操作部65には、バー92に沿って移動するスライダ93が設けられており、このスライダ93をずらす操作を行うことで、再生時刻を調整することができる。また、バー92の両端部には、集計期間の開始時刻および終了時刻が表示され、スライダ93の近傍には、再生時刻が表示される。
また、ユーザが指定した検索期間より短い期間を統計情報の集計期間として、再生時刻から過去に遡った集計期間での統計情報をヒートマップ画像81で表現するようにしてもよい。この場合、再生時刻が進むのに応じて集計期間が移動(更新されるように)する。
次に、上述の接客判定の判定基準(専用の判定基準)のユーザによる設定方法について説明する。図12、図13、及び図14は、それぞれ接客判定の判定基準を設定する要領を示す説明図である。なお、図12-図14に示す接客判定の判定基準の設定画面では、上述の接客ヒートマップ表示画面と同様の構成要素について同一の符号を付してある。
図12-図14に示すように、設定画面の条件設定部61には、表示設定部101と、エリア追加部102と、エリア指定部103と、判定設定部104と、期間設定部75と、が設けられている。
表示設定部101では、ユーザは、判定基準の設定時にヒートマップ表示部63に表示させる項目を選択することができる。本実施形態では、音声ヒートマップおよび動線の各項目を選択することができる。音声ヒートマップの項目を選択すると、音声の発生位置及びその音声レベルを表す画像として音声のヒートマップ画像111(音声可視化画像)が表示され、動線の項目を選択すると、動線84および人物マーク85が表示される。なお、音声のヒートマップ画像81は、店舗マップ画像82上に透過状態で重畳され、これによりヒートマップ画像81が重畳された位置でも、店舗マップ画像82が透けて見える。また、ユーザが再生停止ボタン91を操作して時間を進めると、音声のヒートマップ画像81の表示形態は、音声データの統計情報の経時変化に応じて変化する。
エリア追加部102は、判定変更エリアとして新たに追加(または編集)したいエリアを設定するためのものである。例えば、図12に示すように、ユーザは、ヒートマップ表示部63に表示される店舗マップ上の所望のエリア(破線で示された矩形107を参照)を選択した状態で、エリア追加部102に追加したいエリア名として「エリアC」を入力し、Addボタン112を押下することにより、新たな判定変更エリアを追加することができる。追加の操作が完了した「エリアC」は、実線で示される(図13、図14参照)。なお、判定変更エリアは、矩形に限らず、円形など他の形状によって設定されてもよい。
ユーザは、エリア追加部102で新たなエリアを追加する際に、表示設定部101における操作により、店舗内における音声の発生を表す画像としての音声のヒートマップ画像81(定形画像)を、ヒートマップ表示部63の店舗マップ画像82上に表示させておくことができる。
これにより、ユーザは、店員の発話とは無関係に店舗内で発生する環境音の発生位置を容易に把握することができ、判定変更エリアとして設定すべき所望のエリアを精度良く選択することが可能となる。この場合、ユーザは、音声のヒートマップ画像81により、音声の実際の発生位置のみならず、壁などの反射により音声の実際の発生位置とは異なる位置で生じた音声についても把握することができる。また、ユーザは、必要に応じて、ヒートマップ画像81に加え、店舗マップ画像82上に動線84および人物マーク85を表示させることができる。これにより、ユーザは、人物の動きを確認して環境音の発生位置をより精度良く把握することができる。
ここでは、音声レベルに応じて、ヒートマップ画像81の表示形態(例えば色合い)が次第に変化する。この場合、複数のしきい値を設定して、ヒートマップ画像81の色合いが段階的に変化する、例えば、ヒートマップ画像81が青色から緑色、黄色、赤色に段階的に変化するようにできる。また、音声レベルをヒートマップ画像81の大きさで表現してもよい。また、ここでは、ヒートマップ画像81の形状を円形としたが、ヒートマップ画像81の形状は円形に限定されるものではなく、矩形などの他の形状としてもよい。
エリア指定部103は、判定基準を設定する対象となる判定変更エリアをユーザが指定するためのものである。図12では、判定基準を設定する対象としてエリアAおよびエリアBが指定(チェック)されている。なお、エリア追加部102の操作によってエリアCが追加された後は、エリアCもエリア指定部103に表示される(図13、図14参照)。
また、映像表示部64には、ユーザによって設定された判定変更エリアを表示する画像が、同時刻の撮像映像(ここでは、魚眼映像)における対応する位置に重畳してそれぞれ表示される。なお、図12-図14では、判定変更エリアを表示する画像は、便宜上、矩形の枠120として示されているが、実際の映像表示部64では、枠120は、魚眼映像に対応して歪んだ形状を有している。この撮像映像により、ヒートマップ表示部63でヒートマップ画像81や動線84を再生している最中に、注目するタイミングでの店舗内の実際の状況および判定変更エリアの位置を確認することができる。再生停止ボタン91で再生を開始すると、再生時刻の進行に応じて撮像映像(動画像)が変化する。
判定設定部104は、エリア指定部103で指定された各判定変更エリアに対する専用の判定基準をユーザが設定するためのものである。本実施形態では、ユーザは、判定基準として、店員の発話時間に関する閾値、店員と顧客との接近時間に関する閾値、及び店員の近くに存在する顧客の人数に関する閾値を設定できる。なお、判定変更エリアで設定される判定基準は、全ての閾値の再設定を必要とするものでなく、通常の判定基準で設定された閾値の一部のみを変更するものであってもよい。
図12では、判定設定部104において、設定対象として発話時間に関する閾値が選択された状態が示されている。また、判定設定部104には、バー105に沿って移動するスライダ106が設けられており、このスライダ106をずらす操作を行うことで、閾値の値を調整することができる。同様に、図13では、判定設定部104において、設定対象として店員と顧客との接近時間に関する閾値が選択された状態が示されており、図14では、店員の近くに存在する顧客の人数に関する閾値が選択された状態が示されている。
図12に示すように、例えば、発話時間の閾値を最大(MAX)に設定することにより、対象の判定変更エリア(ここでは、エリアA、B)の発話時間に関する接客尤度を無効とすることができる。つまり、上述の図10に示した接客判定の処理において、店員が判定変更エリアとしてのエリアAまたはエリアB内に位置する場合(ST203:Yes)、発話時間の判定基準(閾値)として最大が設定され(ST205)、その結果、発話時間に関する接客尤度が無効とされる(ST206)。
なお、ユーザは、例えば、発話時間の閾値を設定する際には、店舗内に実際に配置されたスピーカの配置や、出入口の位置、上述のヒートマップ画像81などを考慮することができる。また、ユーザは、判定設定部104において、Defaultボタン114を押下することにより、設定対象の閾値を予め設定された初期値に戻すことができる。
期間設定部75は、ヒートマップ表示部63の表示対象となる項目の期間(年月日、開始時刻、終了時刻)をユーザが指定するためのものである。期間設定部75において、ユーザが期間を指定してViewボタン115を押下することにより、ユーザが指定した期間に対応した情報(音声ヒートマップや動線情報など)がヒートマップ表示部63に表示される。
なお、ユーザは、上述のような都度設定される判定変更エリア及びそれに対する専用の判定基準と共に、或いは、それらの判定変更エリア及び判定基準の代わりに、例えば、エリアの特性に応じてプリセットされた専用の判定基準を用いることもできる。
図15は、接客判定の判定基準のプリセットの手順を示すフロー図である。図16は、接客判定の判定基準のプリセットの要領を示す説明図である。なお、図16に示す接客判定の判定基準のプリセット画面では、上述の判定基準の設定画面と同様の構成要素について同一の符号を付してある。
図15に示すように、判定基準のプリセットの処理では、ユーザがプリセット名を設定し(ST301)、そのプリセット名に対し、店員の発話時間に関する閾値(ST302)、店員と顧客との接近時間に関する閾値(ST303)、及び店員の近くに存在する顧客の人数の閾値(ST304)を順次設定する。その後、それらの設定に関し、プリセット登録がなされることにより(ST305)、処理が終了する。
図16において、エリア追加部102は、プリセットされた判定変更エリアとして新たに追加したいエリアを設定するためのものである。例えば、ユーザは、ヒートマップ表示部63に表示される店舗マップ上の所望のエリア(破線で示された矩形207を参照)を選択した状態で、エリア追加部102に追加したいエリア名として「入口A」を入力して、Addボタン112を押下することにより、新たにプリセットされた判定変更エリアを追加することができる。
既存プリセット表示部123は、既に設定されているプリセット名を表示する。ここでは、店舗内のカウンタA-Cに対してプリセットされた判定基準が設定されている例を示す。また、ユーザは、既存のプリセット名を選択(チェック)することにより、判定設定部104において、当該プリセット名に対応するエリアに対し、上述と同様の要領で所望の閾値を設定することが可能である。
また、判定設定部104では、ユーザが、プリセット設定を選択し、さらに既存のプリセット名を選択(チェック)することにより、それらについて設定された専用の判定基準が有効となる。ここでは、カウンタA、Bについてのプリセット設定(判定基準)が有効とされている。
プリセット名に対応づけて設定された判定基準は、分析用PC8の記憶部53(メモリ)に記憶され、プリセットが有効な場合、ユーザが都度設定する必要なく接客判定の処理に適用される。なお、プリセットされた判定基準が適用されるエリアと重複するエリアに対して、図12-図14に示す接客判定の判定基準の設定画面で判定変更エリアが設定された場合には、その設定画面で設定された判定基準が優先される。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
例えば、前記の実施形態では、音声処理用PC5と、画像処理用PC6と、測位管理サーバ7と、分析用PC8と、を備えた構成としたが、これらの装置の各機能は、かならずしも単一の情報処理装置で実現する必要はなく、適宜に1つまたは複数の情報処理装置に統合することができる。また、分析用PCの機能を複数の情報処理装置で分担することも可能である。また、マイク1およびカメラ2が一体の監視カメラを多機能化し、音声処理用PC5や画像処理用PC6を介さずに、監視カメラのプロセッサが、人物別位置情報や音声ヒートマップを生成して、分析用PC8へ送信するようにすることも可能である。
なお、近年、IoT(Internet of Things)の世界では、フィジカル空間とサイバー空間の情報連携により新たな付加価値を作りだすという新しいコンセプトであるCPS(Cyber Physical Systems)が注目されている。こうした中、本実施形態においても、CPSコンセプトを採用することができる。すなわち、CPSの基本構成として、例えば、フィジカル空間に配置されるエッジサーバと、サイバー空間に配置されるクラウドサーバとをネットワークを介して接続し、エッジサーバとクラウドサーバに搭載されたプロセッサにより、接客分析処理を分散して処理することが可能である。この接客分析処理においては、エッジサーバとして、音声処理用PC5、画像処理用PC6、測位管理サーバ7を含んだサーバを構築する。次に、クラウドサーバは、ネットワークを介してエッジサーバより受信した処理データ(音声ヒートマップ情報、人物位置情報、端末位置情報)に基づき、接客データを生成する処理を実行し、その接客データを接客分析アプリケーションソフトウェアで引き継ぎ、アプリケーション上で定義された出力フォーマットでディスプレイ等に表示する。ここで、エッジサーバまたはクラウドサーバにおいて生成される各データは、標準化されたプラットフォームに搭載されたWebアプリケーション等で生成されることが好ましく、このような標準化プラットフォームを用いることで、各種多様なセンサ群やIoTアプリケーションソフトウェアを含むシステムを構築する際の効率化を図ることができる。
また、本開示の接客状況分析装置、接客状況分析システム、及び接客状況分析方法が適用される店舗の構成は、上述の例に限定されず、また、店舗で行われる商業的活動についても販売店、金融機関、飲食店などによる種々の形態を採用することが可能である。