JP6596899B2 - Service data processing apparatus and service data processing method - Google Patents
Service data processing apparatus and service data processing method Download PDFInfo
- Publication number
- JP6596899B2 JP6596899B2 JP2015083921A JP2015083921A JP6596899B2 JP 6596899 B2 JP6596899 B2 JP 6596899B2 JP 2015083921 A JP2015083921 A JP 2015083921A JP 2015083921 A JP2015083921 A JP 2015083921A JP 6596899 B2 JP6596899 B2 JP 6596899B2
- Authority
- JP
- Japan
- Prior art keywords
- customer
- data
- impression
- clerk
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 142
- 238000003672 processing method Methods 0.000 title claims description 36
- 230000006399 behavior Effects 0.000 claims description 272
- 238000001514 detection method Methods 0.000 claims description 81
- 230000008921 facial expression Effects 0.000 claims description 51
- 239000000284 extract Substances 0.000 claims description 6
- 238000000034 method Methods 0.000 description 93
- 230000000875 corresponding effect Effects 0.000 description 29
- 230000009471 action Effects 0.000 description 26
- 230000014509 gene expression Effects 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000008451 emotion Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 241000219112 Cucumis Species 0.000 description 2
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 2
- 206010061991 Grimacing Diseases 0.000 description 2
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical compound N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 description 2
- 235000008429 bread Nutrition 0.000 description 2
- 238000005206 flow analysis Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、接客を示すデータを処理する技術に関する。 The present invention relates to a technique for processing data indicating customer service.
接客業務において、店員の接客品質の向上が、重要な経営課題の一つとなっている。例えば、電気店において、良い接客を受けた顧客はその電気店で多くの商品を購入する可能性が高い。一方、接客で不快な思いをした顧客は二度とその店を訪れない可能性もある。従って、接客品質の把握と向上に対するニーズは大きい。例えば、下記特許文献1では、非接触型IC(Integrated Circuit)タグを買い物カートやかごに付け、ICタグ読取装置を店舗内フロアに等間隔に配置することで、顧客の移動方向及び移動速度を含めた詳細な購買行動を把握する手法が提案されている。
In customer service, improving customer service quality is one of the important management issues. For example, in an electronic store, a customer who receives a good customer service is likely to purchase many products at the electronic store. On the other hand, a customer who is uncomfortable with the customer service may never visit the store again. Therefore, there is a great need for understanding and improving customer service quality. For example, in
また、下記特許文献2では、店舗での接客において、顧客満足度、店員満足度、及び、売上の関係を分析する手法が提案されている。この手法は、顧客の音声から顧客の感情を認識し、認識した顧客の感情から顧客満足度を算出し、店員の音声から店員の感情を認識し、認識した店員の感情から店員満足度を算出し、算出した顧客満足度および店員満足度と、当該顧客に対する売上実績とを関連付けた接客データを記録する。下記特許文献3には、会話比率と顧客満足度の関連性を把握するための接客データを記録する手法が提案されている。この手法は、店員又は顧客の話し掛け区間の長さの、店員の話し掛け区間及び顧客の話し掛け区間の長さの合計に対する比率を当該会話比率として算出し、音声からの顧客の感情認識の結果に基づいて顧客満足度を算出する。
上記提案手法で生成されるデータによれば、顧客満足度及び店員満足度と売上実績との関係性や会話比率と顧客満足度との関係性を把握することができる。しかしながら、それらデータでは、売上向上のための接客方法の改善策を見出すことができない。それらデータによれば、顧客満足度を上げる必要があることを把握することができるものの、具体的にどのような接客をすれば売上が向上するのかを知ることができないからである。 According to the data generated by the proposed method, it is possible to grasp the relationship between the customer satisfaction and the store clerk satisfaction and the sales record and the relationship between the conversation ratio and the customer satisfaction. However, with these data, it is not possible to find a way to improve the customer service method for increasing sales. Although it is possible to grasp that it is necessary to raise customer satisfaction according to these data, it is not possible to know what kind of customer service will increase the sales.
本発明は、このような事情に鑑みてなされたものであり、接客方法の改善に有益な情報を提供する。本明細書において「接客」とは文言どおり顧客に接することを意味し、本発明は、接客を行う人、接客が行われる場所、接客の目的等は何ら制限されない。 The present invention has been made in view of such circumstances, and provides information useful for improving the customer service method. In the present specification, “customer service” means to contact a customer according to the wording, and the present invention does not limit the person who performs customer service, the place where customer service is performed, the purpose of customer service, and the like.
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。 Each aspect of the present invention employs the following configurations in order to solve the above-described problems.
第1の側面は、接客データ処理装置に関する。第1の側面に係る接客データ処理装置は、接客時の店員の発話の音声データ又は店員を含む画像データから特徴量を抽出し、抽出した特徴量に基づいて、その店員から顧客が受けると推定される印象の指標データを算出する推定手段と、顧客の購買行動を示すデータを取得するデータ取得手段と、算出された印象の指標データ及び取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する生成手段と、算出された印象の指標データと取得された顧客の購買行動を示すデータとの間の相関係数を算出する分析手段と、算出された相関係数と閾値との比較結果に基づき、算出された相関係数が第一閾値より高い顧客の購買行動と店員から顧客が受ける印象との組み合わせ、又は、算出された相関係数が第二閾値より低い顧客の購買行動と店員から顧客が受ける印象との組み合わせを示す助言情報を生成する助言生成手段と、を有する。 The first aspect relates to a service data processing apparatus. The customer service data processing device according to the first aspect extracts a feature amount from voice data of a store clerk at the time of customer service or image data including a store clerk, and estimates that a customer receives from the store clerk based on the extracted feature amount The estimation means for calculating the index data of the impression to be obtained, the data acquisition means for acquiring the data indicating the purchase behavior of the customer, the index data of the calculated impression and the data indicating the acquired purchase behavior of the customer can be associated A generating unit that generates information including a state or an associated state; an analyzing unit that calculates a correlation coefficient between the calculated index data of the impression and the acquired data indicating the purchase behavior of the customer; and Based on the comparison result between the correlation coefficient and the threshold value, the calculated correlation coefficient is higher than the first threshold value and the customer's purchase behavior and the impression received by the customer from the store clerk, or the calculated correlation The number has a advice generating means for generating advice information indicating the combination of the impression a customer receives from purchase behavior and clerk lower than the second threshold value customers, the.
第2の側面は、少なくとも一つのコンピュータにより実行される接客データ処理方法に関する。第2の側面に係る接客データ処理方法は、接客時の店員の発話の音声データ又は店員を含む画像データから特徴量を抽出し、抽出した特徴量に基づいて、その店員から顧客が受けると推定される印象の指標データを算出し、顧客の購買行動を示すデータを取得し、算出された印象の指標データ及び取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成し、算出された印象の指標データと取得された顧客の購買行動を示すデータとの間の相関係数を算出し、算出された相関係数と閾値との比較結果に基づき、算出された相関係数が第一閾値より高い顧客の購買行動と店員から顧客が受ける印象との組み合わせ、又は、算出された相関係数が第二閾値より低い顧客の購買行動と店員から顧客が受ける印象との組み合わせを示す助言情報を生成する、ことを含む。
The second aspect relates to a service data processing method executed by at least one computer. The customer service data processing method according to the second aspect extracts a feature amount from voice data of a store clerk at the time of customer service or image data including a store clerk, and estimates that a customer receives from the store clerk based on the extracted feature amount In such a state that the index data of the calculated impression is calculated, the data indicating the purchase behavior of the customer is acquired, the calculated index data of the impression and the data indicating the acquired purchase behavior of the customer can be associated or in an associated state Generating information to calculate the correlation coefficient between the calculated impression index data and the acquired customer purchase behavior data, and based on the comparison result between the calculated correlation coefficient and the threshold, A combination of a customer's purchase behavior with a calculated correlation coefficient higher than the first threshold and the customer's impression received from the clerk, or a customer's purchase behavior with a calculated correlation coefficient lower than the second threshold and the customer from the clerk Receiving Generating advice information indicating a combination of that impression, including that.
なお、本発明の他の側面としては、上記第2の側面の方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。 Another aspect of the present invention may be a program that causes at least one computer to execute the method of the second aspect, or a computer-readable recording medium that records such a program. May be. This recording medium includes a non-transitory tangible medium.
上記各側面によれば、接客方法の改善に有益な情報を提供することができる。 According to each aspect described above, it is possible to provide information useful for improving the customer service method.
以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。 Embodiments of the present invention will be described below. In addition, each embodiment given below is an illustration, respectively, and this invention is not limited to the structure of each following embodiment.
以下に例示される各実施形態における接客データ処理装置及び接客データ処理方法は、接客に関するデータを処理する。以下の各実施形態では、接客を行う人、接客される人、接客が行われる場所、接客の目的等は何ら制限されない。但し、説明を分かり易くするために、以下の各実施形態では、接客を行う人を「店員」と表記し、接客される人を「顧客」と表記する。また、接客が行われる場所として小売店舗が例示される。但し、各実施形態は、小売店舗への適用のみに制限されず、例えば、訪問販売、対面販売(銀行、保険、住宅、車等)、客先への営業活動などが行われる場所に適用されてもよい。 The customer service data processing apparatus and the customer service data processing method in each embodiment exemplified below process data related to customer service. In each of the following embodiments, there are no restrictions on the person who receives a customer, the person who receives the customer, the place where the customer is served, the purpose of the customer service, etc. However, in order to make the explanation easy to understand, in each of the following embodiments, a person who serves a customer is referred to as a “clerk”, and a person who serves the customer is referred to as a “customer”. Moreover, a retail store is illustrated as a place where customer service is performed. However, each embodiment is not limited to application to retail stores. For example, it is applied to places where door-to-door sales, face-to-face sales (banks, insurance, housing, cars, etc.), sales activities to customers, etc. are performed. May be.
[第一実施形態]
以下、第一実施形態における接客データ処理装置及び接客データ処理方法について図面を用いて説明する。
[First embodiment]
The customer service data processing apparatus and customer service data processing method in the first embodiment will be described below with reference to the drawings.
〔ハードウェア構成〕
図1は、第一実施形態における接客データ処理装置のハードウェア構成を概念的に示す図である。接客データ処理装置(以降、処理装置と略称する)10は、いわゆるコンピュータであり、図1に示されるように、CPU(Central Processing Unit)11、メモリ12、入出力インタフェース(I/F)13、通信ユニット14等を有する。
[Hardware configuration]
FIG. 1 is a diagram conceptually illustrating the hardware configuration of the customer service data processing apparatus according to the first embodiment. A customer service data processing device (hereinafter abbreviated as a processing device) 10 is a so-called computer. As shown in FIG. 1, a CPU (Central Processing Unit) 11, a
CPU11には、一般的なCPUに加えて、特定用途向け集積回路(ASIC)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)等も含まれる。
メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)である。
In addition to a general CPU, the
The
入出力I/F13は、表示装置15、入力装置16等のユーザインタフェース装置と接続可能である。表示装置15は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイのような、CPU11等により処理された描画データに対応する画面を表示する装置である。入力装置16は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置15及び入力装置16は一体化され、タッチパネルとして実現されてもよい。
The input / output I /
通信ユニット14は、他のコンピュータとの通信網(図示せず)を介した通信や、他の機器との信号のやりとり等を行う。通信ユニット14には、可搬型記録媒体等も接続され得る。
図1に示される各ハードウェア構成はそれぞれ例であり、処理装置10のハードウェア構成は、図1に示される例に制限されない。処理装置10は、図示されていない他のハードウェア要素を含み得る。また、各ハードウェア要素の数も、図1の例に制限されない。例えば、処理装置10は、複数のCPU11を有していてもよい。
The
Each hardware configuration shown in FIG. 1 is an example, and the hardware configuration of the
〔処理構成〕
図2は、第一実施形態における接客データ処理装置10の処理構成例を概念的に示す図である。第一実施形態における処理装置10は、第一取得部21、データ取得部22、第二取得部23、検出部24、印象推定部25、生成部26、分析部27、助言生成部28、出力部29、格納部30等を有する。これら各処理モジュールは、CPU11によりメモリ12に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット14を介してインストールされ、メモリ12に格納されてもよい。
[Processing configuration]
FIG. 2 is a diagram conceptually illustrating a processing configuration example of the customer service
第一取得部21は、店舗内での顧客の行動を示すデータ(以降、顧客行動データと表記する)を取得する。顧客行動データとしては、会計データ、店舗内における顧客の位置データ、顧客の入店時刻及び退店時刻、顧客の発話音声データ、来店した顧客を識別する顧客識別情報などが例示される。第一取得部21は、POS(Point Of Sales)システム(図示せず)等から顧客の精算情報を会計データとして取得することができる。
The
また、第一取得部21は、既存の様々な手法を用いて、店舗内における顧客の位置データを取得することができる。例えば、第一取得部21は、店舗内の複数箇所に設置された複数の監視カメラ(図示せず)から得られる映像に基づいて、顧客の動線解析を行うことにより、顧客の位置データの履歴を取得することができる。この動線解析手法については後述する。また、第一取得部21は、店舗内の複数箇所に設置された認証センサ(図示せず)が、顧客の携帯物に付されたICタグやRFID(Radio Frequency IDentifier)タグから取得した情報に基づいて、顧客の位置データの履歴を取得することもできる。また、第一取得部21は、店舗内の複数箇所に設置されたビーコン装置から送出される無線信号を受信した顧客の携帯端末から得られる情報に基づいて、顧客の位置データの履歴を取得することもできる。
Moreover, the
また、第一取得部21は、既存の様々な手法を用いて、顧客の入店時刻及び退店時刻を取得することができる。例えば、第一取得部21は、店舗の出入口において、顧客の入店及び退店を検出することで、顧客の入店時刻及び退店時刻を取得することができる。具体的には、第一取得部21は、店舗の出入口に設けられた監視カメラから得られる映像で顧客の識別を行うことで、顧客の入店時刻及び退店時刻を取得することができる。また、店舗の出入口に設けられた認証センサが顧客の携帯物に付されたICタグ等から取得した情報を用いて、顧客の入店時刻及び退店時刻が取得されてもよい。また、店舗の出入口に設けられたビーコン装置から送出される無線信号を受信した顧客の携帯端末から得られる情報に基づいて、顧客の入店時刻及び退店時刻が取得されてもよい。
Moreover, the
また、第一取得部21は、店員が装着したピンマイク、レジに設置したマイク、天井に設置した監視カメラのマイクなどから顧客の発話音声データを取得することができる。また、第一取得部21は、レジで提示されるポイントカードや電子マネーカード、携帯端末などからレジ端末で取得される顧客識別情報をそのレジ端末又はPOSシステム等から取得することができる。また、店舗内のビーコン装置から送出される無線信号を受信した顧客の携帯端末から得られる情報に基づいて、顧客識別情報が取得されてもよいし、監視カメラからの映像から顧客の顔の特徴量が顧客識別情報として取得されてもよい。第一取得部21による顧客行動データの取得方法はこのような例に制限されない。
Moreover, the
データ取得部22は、第一取得部21により取得された顧客行動データから、顧客の購買行動を示すデータを取得する。データ取得部22により取得されるデータが示す「顧客の購買行動」は、顧客が実際に何かを購入する行動のみならず、顧客が店舗に入店してから店舗から出るまでの間の顧客の行動の中で接客目的(売上向上)に結び付く可能性のある様々な行動を含む。例えば、「顧客の購買行動」には、保険や銀行口座開設等の申し込み行動や、ウィンドウショッピングや銀行や保険の窓口での相談のような購入のための予備行動も含まれる。
The
データ取得部22は、顧客が購入した商品、顧客が購入した金額、顧客の店舗滞在時間、顧客の店舗内移動経路(売り場の移動順序)、顧客の来店頻度、顧客の来店回数の少なくとも1つを顧客の購買行動を示すデータとして取得する。但し、データ取得部22により取得される顧客の購買行動を示すデータは、このような例に制限されない。データ取得部22は、特定の売り場における滞在時間を顧客の購買行動を示すデータとして取得してもよい。特定の売り場における滞在時間は、第一取得部21により取得された顧客の位置データの履歴から算出され得る。
The
データ取得部22は、第一取得部21により取得された精算情報から、顧客が購入した商品及び顧客が購入した金額(売上金額)のデータを得ることができる。データ取得部22は、第一取得部21により取得された顧客の位置データの軌跡によれば、顧客の店舗内移動経路を示すデータを取得することができる。また、データ取得部22は、第一取得部21により取得された顧客の位置データの軌跡又は顧客の入店時刻及び退店時刻により、顧客毎の店舗滞在時間を示すデータを取得することができる。他の例として、データ取得部22は、顧客毎の店舗滞在時間ではなく、所定の時間区間における顧客の平均店舗滞在時間を計算してもよい。例えば、或る時間区間において、顧客の入店が時刻X1、X2、X3にあり、顧客の退店が時刻Y1、Y2、Y3にあった場合、この3人の顧客の合計店舗滞在時間はL=(Y1+Y2+Y3)−(X1+X2+X3)で計算できる。従って、この時間区間における顧客の1人当たり平均店舗滞在時間はL/3で計算できる。1人当たり平均店舗滞在時間は、入店と退店とが同一人物であるかどうかを判定しなくても計算することができる。
The
データ取得部22は、第一取得部21により取得された顧客識別情報の履歴により、顧客の来店頻度及び顧客の来店回数を顧客の購買行動を示すデータとして取得することもできる。
The
具体例として、データ取得部22は、顧客の支払い金額(売上金額)及び顧客の店舗滞在時間を顧客の購買行動を示すデータとして取得する。売上金額はそのまま接客目的となるが、顧客の店舗滞在時間も売上向上の接客目的に結びつく。一般的に、顧客の店舗滞在時間が長いほど売上が大きくなると言われているからである。
As a specific example, the
図3は、データ取得部22による売上金額の取得例を示す図である。データ取得部22は、精算情報から売上金額(合計金額)及び精算時刻を取得する。取得された売上金額及び精算時刻は、後述の生成部26により、図3に示されるように精算毎に関連付けられて、格納部30に格納される。図3の例によれば、7時24分20秒に1500円の売上があったことが示される。
FIG. 3 is a diagram illustrating an example of sales amount acquisition by the
図4は、データ取得部22による顧客の店舗滞在時間の取得例を示す図である。データ取得部22は、上述のように第一取得部21により取得された顧客毎の入店時刻及び退店時刻から顧客毎の店舗滞在時間を算出する。算出された店舗滞在時間は、後述の生成部26により、図4に示されるように、顧客毎に、識別情報(顧客番号)、入店時刻及び退店時刻と関連付けられて、格納部30に格納される。図4の例によれば、顧客番号1の顧客は、7時05分00秒に入店し、店舗に43分15秒滞在して、7時48分15秒に退店したことが示される。
FIG. 4 is a diagram illustrating an example of acquisition of customer store stay time by the
図5は、データ取得部22による顧客の1人当たりの店舗滞在時間の取得例を示す図である。データ取得部22は、上述のように、所定の時間区間における顧客の平均店舗滞在時間を算出する。算出された平均店舗滞在時間は、後述の生成部26により、図5に示されるように、時間区間毎に、時間区間の識別情報及び来店顧客数と関連付けられて、格納部30に格納される。図5の例によれば、7時00分から8時00分の間には、4人の顧客が来店し、1人当たり店舗滞在時間が平均40分15秒であったことが示される。
FIG. 5 is a diagram illustrating an example of acquisition of store stay time per customer by the
第二取得部23は、店員の行動を示すデータ(以降、店員行動データと表記する)を取得する。店員行動データとしては、店員の発話音声データ、店員の顔や動作を表す画像データ、店舗内における店員の位置データ、レジ端末の店員毎の操作履歴(ログイン履歴)などが例示される。
The
第二取得部23は、店員が装着したピンマイク、レジに設置したマイク、天井に設置した監視カメラのマイクなどから得られる音声信号に対して既知の音声区間検出技術又は話者照合技術を適用することで、店員の発話音声データを取得することができる。例えば、第二取得部23は、所定値以上の音量が継続している区間の音声データを店員の発話音声データとして取得し、その発話音声データの開始時刻及び終了時刻を合わせて取得することもできる。また、第二取得部23は、得られた音声データに対して、事前に登録されている各店員の音声又は音声特徴情報を用いた話者照合技術を適用することで、店員の発話音声データを取得することができる。このとき、第二取得部23は、店員の発話音声データの補足情報として、同音声データから得られる顧客の発話音声データを合わせて取得してもよい。例えば、第二取得部23は、所定値以下の音量が継続している区間の音声データを顧客の発話音声データとして取得する。また、第二取得部23は、事前登録された店員の音声とは異なる発話区間を顧客の発話音声データとして取得する。
The
また、第二取得部23は、レジに設置したカメラ、天井に設置した監視カメラなどから、店員の顔や動作を表す画像データを取得することができる。
第二取得部23は、POSシステム等から、そこで管理されているレジ端末に対する店員の利用履歴(操作履歴)の情報を得ることができる。
In addition, the
The
また、第二取得部23は、様々な既存の方法で、店員の位置データを取得することができる。例えば、第二取得部23は、店舗内の複数箇所に設置された複数の監視カメラ(図示せず)から得られる映像に基づいて、店員の動線解析を行うことにより、店員の位置データの履歴を取得することができる。また、第二取得部23は、店舗内の複数箇所に設置された認証センサ(図示せず)が、店員の携帯物に付されたICタグやRFIDタグから取得した情報に基づいて、店員の位置データの履歴を取得することもできる。また、第二取得部23は、店舗内の複数箇所に設置されたビーコン装置から送出される無線信号を受信した店員の携帯端末から得られる情報に基づいて、店員の位置データの履歴を取得することもできる。
Moreover, the
検出部24は、第二取得部23により取得された店員行動データから、顧客に対する店員の接客行動を検出する。検出部24により検出される接客行動は、店員が顧客に対して行う動作、行為、振舞い、発言、態度などを含む。例えば、接客行動としては、顧客に対する挨拶やセールストーク、顧客との会話(顧客に対する発話、顧客の問いかけに対する応答発話等を含む)、顧客への情報提供、顧客への商品又はサービスの提供、店舗案内、顧客に見せる表情、会計作業などが例示される。但し、検出部24により検出される接客行動はこのような例に制限されない。
The
検出部24は、第二取得部23により取得された店員の音声データに対して音声認識処理を適用することで、店員の発話内容を示す発話テキストデータを取得することができる。なお、音声認識処理には、既存の様々な音声認識手法が利用可能である。更に、検出部24は、その発話テキストデータと共に、第二取得部23により取得されたその発話の開始時刻及び終了時刻を利用することも可能である。
The
検出部24は、上述のような音声認識の結果(発話テキストデータ)の中から特定表現を検出することで、挨拶やセールストーク、顧客への情報提供、店舗案内、会計作業等の接客行動を検出することができる。例えば、「顧客への情報提供」の検出は、店舗で取り扱っている製品やサービス名を表す特定表現の検出により実現可能である。また、店舗案内の検出は、「こちらへどうぞ」、「こちらでございます」といった特定表現の検出により実現可能である。会計作業の検出は、「次の方どうぞ」、「・・円になります」、「ポイントカードはお持ちですか」といった特定表現の検出により実現可能である。このとき、検出部24は、特定表現と完全に一致する表現のみを検出してもよいし、それに加えて、特定表現と類似する表現(語尾の違い等)を検出することもできる。
The
具体例として、検出部24は、店員の特定発話の中の店員の挨拶及びセールストークを接客行動として検出する。挨拶及びセールストークは、接客業務における基本的な要素として広く重要視されている。例えば、コンビニエンスストアやデパートでは、良い挨拶の発声方法やセールストークの方法がマニュアル化され、店員の教育や評価で活用されている。挨拶を表す特定表現としては、「いらっしゃいませ」、「おはようございます」、「こんにちは」、「こんばんは」、「ありがとうございました」、「またお越しくださいませ」などが利用される。また、セールストークを表す特定表現としては、店舗で取り扱っている製品やサービス名が用いられる。例えば、コンビニエンスストアであれば、「コーヒー」や「メロンパン」などがセールストークを表す特定表現に設定され得る。
As a specific example, the
図6は、検出部24による接客行動(特定発話)の検出例を示す図である。検出部24は、特定発話の種別(挨拶及びセールストーク)毎に異なる特定表現をそれぞれ用いて、その特定表現に相当する発話を検出する。そして、後述の生成部26は、図6に示されるように、その検出された発話毎に、その発話の開始時刻及び終了時刻、その発話の種別(挨拶又はセールストーク)、及び発話内容テキストデータをそれぞれ関連付けて、格納部30に格納する。図6の例によれば、7時05分10秒から7時5分12秒にかけて、「いらっしゃいませ」という店員の挨拶が検出されたことが示される。
FIG. 6 is a diagram illustrating a detection example of customer service behavior (specific utterance) by the
また、検出部24は、上述のような音声認識の結果(発話テキストデータ)に基づいて、顧客に対する店員の発話すべてを接客行動として検出してもよい。
また、検出部24は、顧客の問いかけに対する応答発話を接客行動として検出してもよい。例えば、検出部24は、店員の発話音声データと共に第二取得部23によりその補足情報として取得された顧客の発話音声データを用いて、「顧客に対する店員の発話」又は「顧客の問いかけに対する応答発話」を検出することができる。検出部24は、顧客の発話から一定時間以内に発声された店員の発話を「応答発話」として検出する。また、検出部24は、店員の発話の前後の所定時間以内に顧客の発話が存在する場合に、「顧客に対する店員の発話」として検出する。但し、検出部24による「顧客に対する店員の発話」及び「応答発話」の検出手法はこのような例に限定されない。
Moreover, the
Moreover, the
また、検出部24は、第二取得部23により取得された画像データから店員の特定表情を接客行動として検出することもできる。例えば、検出部24は、画像データから画像認識技術を用いて店員の顔を表す画像領域を特定し、その画像領域に対して表情認識技術を適用することで、笑顔、しかめっつら等の特定表情を検出することができる。
Moreover, the
また、検出部24は、第二取得部23により取得された、レジ端末に対する店員の操作履歴情報に基づいて、店員の会計作業を接客行動として検出することができる。例えば、検出部24は、その操作履歴情報からレジ端末利用の開始時刻及び終了時刻を抽出し、開始時刻から終了時刻の間を店員の会計作業として検出する。
Further, the
また、検出部24は、第二取得部23により取得される店員の位置データの履歴及び第一取得部21で取得される顧客の位置データの履歴に基づいて、店員の店舗案内を接客行動として検出することができる。例えば、検出部24は、店員と顧客とが一定距離以内に存在する状態が一定時間以上継続しかつ両者が移動していることを店舗案内として検出する。
The
顧客及び店員の動線解析手法には、様々な既存の手法が利用可能である。例えば、第一取得部21及び第二取得部23は、監視カメラから得られる画像から背景差分法によって顧客又は店員を検出する。背景差分法では、時系列に沿って入力される複数の画像から背景の情報を表すモデルが構築され、対象画像と背景モデルとの差分が計算され、この差分が大きい画像領域が顧客又は店員として検出される。また、第一取得部21及び第二取得部23は、背景モデルを用いずに、店員又は顧客の顔や頭部がモデル化されそのモデルにより学習された顔検出器や頭部検出器を用いて、画像から人の顔や頭部を検出してもよい。このような人の顔の検出手法は、検出部24による上述の特定表情の検出手法にも利用される。第一取得部21及び第二取得部23は、このように検出された顧客又は店員を、時間的及び空間的な条件マッチング等により複数の画像間で追跡(トラッキング)することで、顧客又は店員の位置データの履歴を得ることができる。但し、顧客及び店員の動線解析には、画像データのみでなく、認証センサやビーコン装置を用いて得られる位置データが利用されてもよい。この画像以外から得られる位置データを用いて、複数の画像間での顧客又は店員の追跡を行うことで、追跡精度を向上させることができる。
Various existing methods can be used for the flow line analysis method of the customer and the store clerk. For example, the
印象推定部25は、検出部24により検出された店員の接客行動に基づいて、その接客行動が行われた際のその店員を示すデータを用いて、その店員から顧客が受けると推定される印象の指標データを算出する。印象の指標データは、その印象の種別(明るい、元気等)、その印象の有無、又はその印象の強さの程度を示す。印象推定部25は、各印象の有無又は強さをそれぞれ示す複数印象の指標データを算出してもよい。推定される印象の数及び種類は制限されず、接客行動から顧客が感じ得る様々な印象が推定対象とされてもよい。
The
印象推定部25による印象推定手法は、次の2つの手法に分類できる。
1つは、検出部24により検出された店員の接客行動から顧客が受けると推定される印象の指標データを算出する手法であり(以降、第一推定方法と表記する)、
もう1つは、検出部24により検出された店員の接客行動と同時期に行われた、その検出された接客行動とは異なる、同一店員の接客行動から、顧客が受けると推定される印象の指標データを算出する手法である(以降、第二推定方法と表記する)。
The impression estimation method by the
One is a method of calculating index data of an impression that the customer is estimated to receive from the customer service behavior of the clerk detected by the detection unit 24 (hereinafter referred to as a first estimation method),
The other is the impression of the customer estimated to be received from the customer service behavior of the same store clerk, which is different from the customer service behavior detected at the same time as the customer service behavior detected by the
《第一推定方法》
まずは、第一推定方法から説明する。
検出部24により顧客に対する店員の発話が接客行動として検出される場合、印象推定部25は、その検出された店員の発話音声データから、明るさ、元気さ、力強さ、格好よさ、丁寧さ、落ち着き、可愛さ、誠実さ、冷たさ、流暢さ、若さ、上品さ、及び優しさの少なくとも1つの印象の有無又は強さを示す指標データを算出する。検出部24により挨拶又はセールストークの特定発話が接客行動として検出される場合、印象推定部25は、その検出された店員の発話の音声データから、明るさ、元気さ、力強さ、丁寧さ、及び冷たさの少なくとも1つの印象の有無または強さを示す指標データを算出することが望ましい。接客品質管理において、これらの印象が広く重要視されているからである。例えば、コンビニエンスストアやデパートなどにおいては「明るく」、「元気な」挨拶が売上向上や顧客のリピート率向上に役立つと考えられている。また、「冷たい」接客発話は、顧客離れにつながると考えられる。
<First estimation method>
First, the first estimation method will be described.
When the clerk's utterance to the customer is detected by the
検出部24により挨拶又はセールストークの特定発話が接客行動として検出される場合、印象推定部25は、その検出された店員の発話の音声データから、明るさ、元気さ、力強さ、丁寧さ、及び冷たさの印象の強さを示す指標データを算出する。言い換えれば、印象推定部25は、店員の挨拶及びセールストークを聞いた顧客が、その店員の発話から「明るさ」、「元気さ」、「力強さ」、「丁寧さ」、及び「冷たさ」をどの程度感じたかを推定する。具体的には、印象推定部25は、検出部24により検出された店員の挨拶又はセールストークに対応する音声データから特徴量を抽出する。印象推定部25は、当該音声データを10msecの窓幅で分割した各フレームに対して、パワー(音量)、基本周波数(声の高さ)、Mel−Frequency Cepstral Coefficients(MFCC、周波数スペクトルの包絡形状)、音素の継続時間長、及びそれらの時間差分(デルタ量)などを算出する。更に、印象推定部25は、挨拶やセールストークを表す音声区間に対して、これらフレーム単位の特徴量の平均値、分散、最小値、最大値などの統計量を計算し、これらを印象推定に用いる特徴量とする。なお、印象推定に用いる特徴量はこれらに限られるものではない。
When the
印象推定部25は、計算された特徴量に対して声印象推定モデルを適用することで、店員の挨拶及びセールストークから顧客が受ける印象の指標データを算出する。例えば、声印象推定モデルとして、入力音声データの「明るさ」、「元気さ」、「力強さ」、「丁寧さ」、及び「冷たさ」のそれぞれに対して、それら印象の強さを数値として算出するモデルが用いられる。声印象推定モデルとしては、それら印象の有無を推定するモデルが用いられてもよいし、音声データをそれら印象のいずれかに分類するモデルが用いられてもよい。声印象推定モデルを実現するためには、Support Vector Machine(SVM)、ニューラルネットワーク、ロジスティック回帰モデル、決定木などの周知のパターン認識モデルを用いることができる。声印象推定モデルは、以下のように学習され、印象推定部25により予め保持されていてもよいし、他の装置により保持されていてもよい。また、印象推定部25が声印象推定モデルを学習させてもよい。
The
声印象推定モデルは、学習用の音声データを用いて、次のように学習される。まず、学習用の音声データのそれぞれに対して、当該音声データの聞こえ方の主観評価によって得られる印象情報が付与される。次に、学習用の音声データから前述の方法によって計算される特徴量と、付与した印象情報とを用いて、声印象推定モデルが学習される。例えば、音声データを聞いたときに感じる「明るさ」を推定するモデルを学習する場合は、まず、印象情報の付与作業者が学習用音声データを聴取し、当該音声データを「明るい」と感じるか否かを表す印象情報を付与する。次に、付与された印象情報を推定するパターン認識モデルを学習する。なお、挨拶の印象を推定するモデルを学習する場合、学習用の音声データも挨拶に限定することが望ましい。これにより、挨拶に固有の特徴を学習した声印象推定モデルを得ることができるため、印象の推定精度が向上する。また、印象情報の付与作業は複数の作業者で行い、多数決によって付与する印象情報を決定することが望ましい。接客行動から受ける印象は主観によるところが大きいが、複数の作業者の結果を統合することで大多数の顧客が受ける印象を正しく推定可能なモデルを学習できる。 The voice impression estimation model is learned as follows using the speech data for learning. First, impression information obtained by subjective evaluation of how the sound data is heard is assigned to each of the learning sound data. Next, a voice impression estimation model is learned using the feature amount calculated by the above-described method from the speech data for learning and the given impression information. For example, when learning a model that estimates the “brightness” that is felt when listening to audio data, first, the impression information assigner listens to the learning audio data and feels the audio data “bright”. Impression information indicating whether or not is given. Next, a pattern recognition model for estimating the given impression information is learned. Note that when learning a model for estimating the impression of greetings, it is desirable to limit the speech data for learning to greetings. This makes it possible to obtain a voice impression estimation model in which features unique to greetings are learned, thereby improving impression estimation accuracy. Further, it is desirable that impression information is given by a plurality of workers, and impression information to be given is determined by majority vote. The impression received from customer service is largely subjectivity, but by integrating the results of multiple workers, it is possible to learn a model that can correctly estimate the impression received by the majority of customers.
このような印象の指標データの算出手法は、挨拶又はセールストークの特定発話のみではなく、応答発話などのような顧客に対する店員の全ての発話についても適用可能である。 Such a method of calculating the index data of impression is applicable not only to specific utterances of greetings or sales talks, but also to all utterances of the store clerk to customers such as response utterances.
図7は、印象推定部25による印象の指標データの算出例を示す図である。印象推定部25は、検出部24により接客行動として検出された挨拶及びセールストークの各々に対して、その発話音声データから推定される、「明るさ」、「元気さ」、「力強さ」、「丁寧さ」、及び「冷たさ」の各印象の強さを示す数値(指標データ)を0から100の範囲でそれぞれ算出する。そして、後述の生成部26は、図7に示されるように、検出部24により検出された発話毎に、その発話の開始時刻及び終了時刻、その発話の種別(挨拶又はセールストーク)、発話内容テキストデータ、及び印象の指標データをそれぞれ関連付けて、格納部30に格納する。図7の例によれば、7時05分10秒に発せられた「いらっしゃいませ」という挨拶発話から顧客が受ける印象は、「明るさ=92」、「元気さ=80」、「力強さ=55」、「丁寧さ=77」、及び「冷たさ=1」を示す指標データが算出されている。本実施形態においても、印象推定部25は、上述の各印象以外に、「格好よさ」、「落ち着き」、「可愛さ」、「誠実さ」、「流暢さ」、「若さ」、「上品さ」、「優しさ」などを推定対象としても良い。
FIG. 7 is a diagram illustrating a calculation example of impression index data by the
検出部24により店員の特定表情が接客行動として検出される場合、印象推定部25は、特定表情として検出された店員の表情を含む画像データから、その表情から顧客が受けると推定される印象の指標データを算出する。この場合、印象推定部25は、その画像データから顔の特徴量を算出し、この算出された顔の特徴量に対して顔印象推定モデルを適用することにより、その表情から顧客が受けると推定される印象の指標データを算出することができる。顔の特徴量の算出手法には様々な既存の手法が利用可能である。例えば、顔の特徴量は、目、鼻、口等の形状や位置関係等を記述したベクトルや各画素の濃淡値を表すベクトルなどを用いて表される。また、顔印象推定モデルは、学習用の顔画像データを用いて、声印象推定モデルの学習と同様の方法により学習できる。すなわち、主観評価によって得られた印象情報が付与された学習用の顔画像データを用いて、顔印象推定モデルを学習する。店員の表情から顧客が受けると推定される印象についても、店員の発話から推定される印象と同様のものが推定対象とされてもよい。
When the specific facial expression of the store clerk is detected as a customer service behavior by the
《第二推定方法》
次に、第二推定方法を説明する。第二推定方法では、検出部24により第一の接客行動が検出された場合、印象推定部25は、その検出された第一接客行動が行われた際における、その第一接客行動とは異なる、同一店員の第二接客行動を示すデータから、その第二接客行動から顧客が受けると推定される印象の指標データを算出する。
《Second estimation method》
Next, the second estimation method will be described. In the second estimation method, when the first customer service behavior is detected by the
例えば、検出部24により店員の発話(特定発話、応答発話を含む)が接客行動として検出される場合、印象推定部25は、その発話中の店員の表情から顧客が受ける印象の指標データを算出する。この場合、印象推定部25は、検出部24により検出された店員の発話の開始時刻及び終了時刻を用いて、第二取得部23により取得される店員の顔を含む画像データのうち、その開始時刻及び終了時刻の間の画像データを特定する。印象推定部25は、その特定された画像データから上述のように店員の顔を示す画像領域を特定し、その画像領域の特徴量を算出する。印象推定部25は、この算出された特徴量に対して上述の顔印象推定モデルを適用することで、その発話中の店員の表情から顧客が受ける印象の指標データを算出することができる。
For example, when the clerk's utterance (including a specific utterance and a response utterance) is detected by the
また、検出部24により店員の会計作業が接客行動として検出される場合、印象推定部25は、その会計作業中の店員の発話又は表情から顧客が受ける印象の指標データを算出する。この場合、印象推定部25は、検出部24により検出された店員の会計作業
の開示時刻及び終了時刻を用いて、第二取得部23により取得される店員の発話音声データ又は画像データのうち、その開始時刻及び終了時刻の間の発話音声データ又は画像データを特定する。印象推定部25は、その特定された発話音声データ又は画像データから上述のようにして、店員の発話又は表情から顧客が受ける印象の指標データを算出する。
Further, when the clerk's accounting work is detected as a customer service behavior by the
また、検出部24により店員の店舗案内が接客行動として検出される場合、印象推定部25は、その店舗案内中の店員の発話又は表情から顧客が受ける印象の指標データを算出する。この場合、印象推定部25は、検出部24により検出された店員の店舗案内行為の開始時刻及び終了時刻を用いて、第二取得部23により取得される店員の発話音声データ又は画像データのうち、その開始時刻及び終了時刻の間の発話音声データ又は画像データを特定する。印象推定部25は、その特定された発話音声データ又は画像データから上述のようにして、店員の発話又は表情から顧客が受ける印象の指標データを算出する。
Further, when the store guide of the store clerk is detected as a customer service behavior by the
印象推定部25は、上述の2つの印象推定手法のいずれか一方の手法のみを実行してもよいし、両方を実行してもよい。両方を実行する場合、印象推定部25は、検出部24により検出された第一接客行動が行われた際における、同一店員のその第一接客行動を示すデータ及び第二接客行動を示すデータから、印象の前記指標データを算出する。
The
生成部26は、印象推定部25により算出された印象の指標データ及びデータ取得部22により取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する。生成部26は、生成された情報を格納部30に格納する。上述の図3から図7に例示される各表は、生成部26により生成され、格納部30に格納された情報の例である。
The
生成部26は、図3、図4及び図5に示されるような顧客の購買行動を示すデータとそのデータに対応する時刻情報とを関連付けて、格納部30に格納する。図3の例では、生成部26は、購買行動を示すデータとして取得された売上金額及び精算時刻を精算毎に関連付けて、格納部30に格納する。図4の例では、生成部26は、購買行動を示すデータとして算出された店舗滞在時間を、その計算に用いられた入店時刻及び退店時刻、並びに顧客の識別番号と関連付けて、格納部30に格納する。図5の例では、生成部26は、購買行動を示すデータとして算出された平均店舗滞在時間を、時間区間の識別情報及びその時間区間の来店顧客数と関連付けて、格納部30に格納する。
The
更に、生成部26は、図7に示されるような印象の指標データとその指標データに対応する時刻情報とを関連付けて、格納部30に格納する。ここで、印象の指標データに関連付けられる時刻情報は、その印象を顧客に与えると推定された定員の行動がなされた時刻を示す。言い換えれば、生成部26は、印象の指標データを、検出部24により検出された接客行動が行われた時刻の情報と関連付ける。図7の例では、生成部26は、検出部24により接客行動として検出された発話毎に、その発話の開始時刻及び終了時刻、その発話の種別(挨拶又はセールストーク)、発話内容テキストデータ、及び印象の指標データをそれぞれ関連付けて、格納部30に格納する。生成部26は、図6に示されるように、検出部24により接客行動として検出された発話毎に、その発話の開始時刻及び終了時刻、その発話の種別(挨拶又はセールストーク)、及び発話内容テキストデータをそれぞれ関連付けて、格納部30に格納してもよい。
Further, the
図3、図4、図5、及び図7の例では、生成部26により生成される各情報(各テーブル情報)は、印象の指標データと顧客の購買行動を示すデータとが直接関連付けられていない。しかしながら、各テーブル情報は、時刻情報(精算時刻、入店時刻及び退店時刻、時間区間、開始時刻及び終了時刻)の項目を共通して持ち、その項目で関連付け可能な状態となっている。
In the examples of FIGS. 3, 4, 5, and 7, each piece of information (each table information) generated by the
生成部26は、図7に例示される印象の指標データと図3に例示される顧客の購買行動を示すデータとを関連付けられた状態で含む情報を生成することもできる。例えば、生成部26は、図3に示される売上金額及び精算時刻に基づいて、所定時間区間毎の平均売上金額を算出し、時間区間の識別情報と平均売上金額とを関連付けて、格納部30に格納する。また、生成部26は、図7に示される開始時刻及び終了時刻と印象の指標データとの関係から、印象の所定時間区間毎の平均指標データを算出し、時間区間の識別情報と平均指標データとを関連付けて、格納部30に格納する。これにより、印象の指標データと顧客の購買行動を示すデータとは、共通の時間区間の項目で関連付けられる。
The
図8は、生成部26により生成される情報の例を示す図である。生成部26は、図8に示されるように、印象の指標データ及び顧客の購買行動を示すデータを関連付けられた状態で含む情報を生成することもできる。図8の例では、生成部26は、印象の指標データ及び顧客の購買行動を示すデータが直接関連付けられたグラフ情報を生成する。図8の例では、図7に示される印象の指標データ(F20、F21)、図3に示される売上金額(F22)、図4に示される顧客毎の店舗滞在時間(F23)がグラフの情報として生成されたものである。各グラフは、横軸の時間軸により関連付けられている。F20は、店員の挨拶(丸マークで表示)及びセールストーク(星マークで表示)の発生時刻と、顧客が受ける「明るさ」の印象の指標データを表す。F21は、顧客の挨拶及びセールストークの発生時刻と、顧客が受ける「力強さ」の印象の指標データを表す。F22は、売上の発生時刻とその金額を表す。F23は、それぞれの顧客が店内に滞在した時間区間を横棒線で表す。滞在時間が30分以上の場合は、傍線が太く表されている。各傍線の左に付記した数字は図4における顧客番号を示している。
FIG. 8 is a diagram illustrating an example of information generated by the
上述の例では、生成部26は、印象の指標データ及び顧客の購買行動を示すデータに時刻情報をそれぞれ関連付けることで、両データが関連付け可能な状態又は関連付けられた状態となるようにした。このように、印象の指標データ及び顧客の購買行動を示すデータをそれぞれ時刻情報と関連付けることで、時間的に近接している店員の接客行動から得られる印象と顧客の購買行動とを関連づけて分析することが可能となる。この場合、データ取得部22は、顧客の購買行動を示すデータを取得する際に、このデータに対応する時刻情報を合わせて取得する。データ取得部22は、顧客が購入した商品又は顧客が購入した金額を当該データとして取得する場合、精算情報から精算時刻を取得することができる。データ取得部22は、顧客の店舗滞在時間及び顧客の店舗内移動経路を当該データとして取得する場合、それら情報の開始時刻と終了時刻とを取得することができる。また、印象推定部25は、印象の指標データを算出する際に、その算出の元データの時刻、即ち、検出部24により検出された店員の接客行動が行われた時刻の情報を取得することができる。
In the above-described example, the
更に、生成部26は、店員の接客行動の検出の有無、検出された店員の接客行動の種別、及び検出された店員の接客行動の内容を識別する内容識別データの少なくとも一つが、印象の指標データ又は顧客の購買行動を示すデータと関連付けられた情報を生成してもよい。接客行動の種別は、発話、表情、会計作業、店舗案内といった行動種を示す。内容識別データは、挨拶、セールストーク、応答発話といった発話行動を更に詳細レベルに分類する識別情報であってもよいし、上述の発話内容テキストデータのような内容を直接的に表すデータであってもよい。
Further, the
分析部27は、印象推定部25により算出された印象の指標データとデータ取得部22により取得された顧客の購買行動を示すデータとの間の相関係数を算出する。印象推定部25により複数の印象に関する指標データが算出される場合、分析部27は、各印象の指標データと顧客の購買行動を示すデータとの間の相関係数をそれぞれ算出する。相関係数は、2つのデータ間の相関の度合を示す指標値であり、その算出手法は周知である。
The
印象の指標データと顧客の購買行動を示すデータとを関連付けられた状態で含む情報が格納部30に格納されている場合、分析部27は、格納部30に格納される両データの関連付け情報を用いて、当該相関係数を算出する。図3及び図7に例示されるように、格納部30において両データが関連付けられていない場合、分析部27は、生成部26に関連付けを指示する。
When the
助言生成部28は、分析部27により算出された相関係数に基づいて、接客に関する助言情報を生成する。例えば、助言生成部28は、算出された相関係数が所定第一閾値よりも高いか否かを判定する。助言生成部28は、顧客の購買行動を示すデータと相関が高い印象の種別を示す情報(明るい等)を含み、かつその印象種が売上向上のために重要であることを表現する助言情報を生成する。更に、助言生成部28は、算出された相関係数が所定第二閾値(上記第一閾値と同じ又は異なる閾値)よりも低いか否かを判定する。助言生成部28は、この判定により、その助言情報に、相関が低い印象の種別を示す情報(力強い等)を含み、かつその印象種については特に気にしなくてよいことを示す表現を含めてもよい。更に、助言生成部28は、図8に示されるような情報に基づいて、購買行動を示すデータと相関が高い印象の種別について、改善すべき時間帯情報をその助言情報に含めてもよい。例えば、図8の例では、9時から11時の間の「明るさ」の印象の指標値が低く、その時間帯の売上が低いため、助言生成部28は、その時間帯の「明るさ」の印象を改善すべきことをその助言情報に含める。
The
出力部29は、格納部30に格納される情報を出力する。出力部29による出力の具体的形態は制限されない。出力部29は、当該情報の表示を入出力I/F13を介して表示装置15に出力させてもよいし、当該情報を入出力I/F13を介して印刷装置(図示せず)に印刷させてもよい。また、出力部29は、当該情報を通信ユニット14を介して他の装置に出力してもよいし、当該情報を通信ユニット14を介して可搬型記録媒体等に電子ファイルとして出力してもよい。
The
具体的には、出力部29は、格納部30に格納される情報に基づいて、印象の指標データ及び顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で出力する。例えば、出力部29は、図3、図4及び図5に示されるように、顧客の購買行動を示すデータと時刻情報とが関連付けられた情報(表やグラフ等)を出力する。出力部29は、図7に示されるように、印象の指標データと時刻情報とが関連付けられた情報(表やグラフ等)を出力する。このように、出力部29は、図3、図4又は図5に示される表と、図7に示される表とを別々に出力してもよい。更に、出力部29は、図8に示されるように、印象の指標データ及び顧客の購買行動を示すデータが関連付けられた情報(表やグラフ等)を出力する。
Specifically, based on the information stored in the
例えば、図7に示される時刻情報付きの印象の指標データの表イメージと、図3に示される時刻情報付きの売上金額データの表イメージとが出力された場合、その出力を見た者は、次のことを把握することができる。7時から8時にかけての店員の挨拶やセールストークの「明るさ」は概ね80以上と大きく、売上も1000円以上と大きい。一方で、10時から11時にかけての店員の挨拶やセールストークの「明るさ」は概ね30以下と小さく、かつ、売上も1000円以下と小さい。このことから、挨拶やセールストークの「明るさ」が大きいほど、売上が大きくなることが分かる。更に、図5に示される時刻情報付きの顧客の店舗滞在時間の表イメージによれば、次のことが分かる。すなわち、7時から8時にかけての店員の挨拶やセールストークの「明るさ」が大きいとき、顧客の店舗滞在時間は40分程度と長い。一方で、10時から11時にかけての店員の挨拶やセールストークの「明るさ」が小さいとき、顧客の店舗滞在時間は10分程度と短い。このことから、挨拶やセールストークの「明るさ」が大きいほど、顧客の店舗滞在時間が長くなることが分かる。 For example, when the table image of the index data of impression with time information shown in FIG. 7 and the table image of sales amount data with time information shown in FIG. 3 are output, The following can be grasped. The “brightness” of clerk greetings and sales talks from 7:00 to 8:00 is generally as high as 80 or more, and sales are as large as 1,000 yen or more. On the other hand, the “brightness” of salesclerk greetings and sales talks from 10:00 to 11:00 is generally as small as 30 or less, and sales are as small as 1,000 yen or less. From this, it can be seen that the greater the “brightness” of greetings and sales talks, the greater the sales. Furthermore, according to the table image of the customer's store stay time with time information shown in FIG. That is, when the “brightness” of the salesclerk greetings and sales talks from 7 am to 8 am is large, the customer stays at the store for about 40 minutes. On the other hand, when the “brightness” of the salesclerk greeting or sales talk from 10:00 to 11:00 is small, the customer's stay in the store is as short as about 10 minutes. From this, it can be seen that the longer the “brightness” of the greeting or sales talk, the longer the customer stays at the store.
また、図8のように、印象の指標データと顧客の購買行動を示すデータとが関連付けられたグラフが出力されることで、それらの間の関係を直感的に把握させることが可能となる。例えば、挨拶やセールストークが明るいほど売上が大きく、顧客の店舗滞在時間が長い傾向があることが分かり易い。また、挨拶やセールストークの「力強さ」は、売上や顧客の店舗滞在時間とはあまり関係がなく、従って、力強い挨拶を目指す必要がないことも分かる。 Further, as shown in FIG. 8, by outputting a graph in which impression index data and data indicating customer purchase behavior are associated with each other, it is possible to intuitively grasp the relationship between them. For example, it is easy to understand that the brighter the greeting or sales talk, the larger the sales and the longer the customer's stay in the store. It can also be seen that the “strength” of greetings and sales talks has little to do with sales and customer stay time, so there is no need to aim for a strong greeting.
また、出力部29は、助言生成部28により生成された助言情報及び印象に関して算出された相関係数の少なくとも一方を出力してもよい。
Further, the
〔動作例/接客データ処理方法〕
以下、第一実施形態における接客データ処理方法について図9を用いて説明する。図9は、第一実施形態における接客データ処理装置10の動作例を示すフローチャートである。例えば、図示される各工程は、処理装置10が有する上述の各処理モジュールにより実行される。各工程は、処理装置10が有する上述の各処理モジュールの処理内容と同様であるため、各工程の詳細は、適宜省略される。
[Operation example / Service data processing method]
Hereinafter, the service data processing method in the first embodiment will be described with reference to FIG. FIG. 9 is a flowchart showing an operation example of the customer service
処理装置10は、店員行動データを取得する(S90)。このとき、処理装置10は、店員行動データと共にそのデータに対応する時刻情報も取得する。店員行動データについて上述したとおりである。例えば、処理装置10は、店員の、音声データ、顔画像データ、位置データ等を店員行動データとして取得する。処理装置10は、店舗内に設置されたカメラ及びマイク、店員が携帯するカメラ及びマイク、POSシステム、レジ端末、サーバ装置等の少なくとも一つから、入出力I/F13又は通信ユニット14を介して、店員行動データを取得する。処理装置10は、カメラから得られる映像の録画データやマイクから得られる音声の録音データを店員行動データとして可搬型記録媒体又は他の装置から取得することもできる。店員行動データの取得手法は制限されない。
The
処理装置10は、(S90)で取得された店員行動データから、店員の接客行動を検出する(S91)。店員の接客行動及びその検出方法については上述したとおりである。処理装置10は、接客行動を検出すると共に、その接客行動が行われた時刻の情報も取得する。この時刻情報は、(S90)で店員行動データと共に取得されてもよい。例えば、処理装置10は、店員の挨拶又はセールストークを接客行動として検出し、合わせて、その発話の開始時刻及び終了時刻を取得する。
The
処理装置10は、(S91)で検出された店員の接客行動に基づいて、その接客行動が行われた際のその店員を示すデータを用いて、その店員から顧客が受けると推定される印象の指標データを算出する(S92)。(S92)での印象推定方法は、上述のとおり2つに分類できる(第一推定方法及び第二推定方法)。第一推定方法では、処理装置10は、(S91)で検出された店員の接客行動から顧客が受けると推定される印象の指標データを算出する(S92)。第二推定方法では、処理装置10は、(S91)で検出された店員の接客行動と略同時期に行われた、その検出された接客行動とは異なる、同一店員の接客行動から、顧客が受けると推定される印象の指標データを算出する(S92)。印象の指標データの算出手法については上述したとおりである。
Based on the customer service behavior detected in (S91), the
例えば、第一推定方法では、処理装置10は、(S91)で検出された挨拶及びセールストークの音声データから、明るさ、元気さ、力強さ、丁寧さ、及び冷たさの印象の強さを示す指標データを算出する。第二推定方法では、例えば、処理装置10は、(S91)で検出された挨拶及びセールストークと同時期の、店員の顔を含む画像データから、その店員の表情から顧客が受ける印象(明るさ、元気さ、冷たさ等)の指標データを算出する。
For example, in the first estimation method, the
処理装置10は、顧客行動データを取得する(S93)。このとき、処理装置10は、顧客行動データと共にそのデータに対応する時刻情報も取得する。顧客行動データについて上述したとおりである。例えば、処理装置10は、会計データ(精算情報)、位置データ、入店時刻及び退店時刻、音声データ等を顧客行動データとして取得する。処理装置10は、店舗内に設置されたカメラ及びマイク、顧客の携帯端末、POSシステム、レジ端末、サーバ装置等の少なくとも一つから、入出力I/F13又は通信ユニット14を介して、顧客行動データを取得する。処理装置10は、カメラから得られる映像の録画データやマイクから得られる音声の録音データを顧客行動データとして可搬型記録媒体又は他の装置から取得することもできる。顧客行動データの取得手法は制限されない。
The
処理装置10は、(S93)で取得された顧客行動データから、顧客の購買行動を示すデータを取得する(S94)。このとき、処理装置10は、購買行動を示すデータと共に、そのデータに対応する時刻情報も取得する。顧客の購買行動を示すデータ及びそのデータの取得方法については上述したとおりである。例えば、処理装置10は、(S93)で顧客行動データとして取得された精算情報から売上金額及び精算時刻を取得する。また、処理装置10は、(S93)で顧客行動データとして取得された入店時刻及び退店時刻から顧客毎の店舗滞在時間又は所定の時間区間における顧客の平均店舗滞在時間を算出する。
The
処理装置10は、(S92)で算出された印象の指標データ及び(S94)で取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する(S95)。具体的には、処理装置10は、顧客の購買行動を示すデータとそのデータに対応する時刻情報との関連付け情報及び印象の指標データとその指標データに対応する時刻情報との関連付け情報を別々に生成する。また、処理装置10は、顧客の購買行動を示すデータと印象の指標データとの関連付け情報を生成する。処理装置10は、生成された情報を格納部30に格納する。
The
処理装置10は、印象の指標データと顧客の購買行動を示すデータとの相関係数を算出する(S96)。このとき、処理装置10は、印象の指標データと顧客の購買行動を示すデータとの関連付け情報を利用することができる。
The
処理装置10は、(S96)で生成された相関係数に基づいて、助言情報を生成する(S97)。助言情報の内容及びその生成手法については上述のとおりである。
The
処理装置10は、(S95)で生成された情報、(S96)で算出された相関係数、及び(S97)で生成された助言情報の少なくとも一つを出力する(S98)。この出力の具体的形態は制限されない。例えば、処理装置10は、図3、図4及び図5に示される表の少なくとも一つと図7に示される表を別々に出力する。また、処理装置10は、図8に示されるグラフを出力する。
The
第一実施形態における接客データ処理方法における各工程の実行順序は、図9に示される例に限定されない。各工程の実行順序は、内容的に支障のない範囲で変更することができる。例えば、(S90)から(S92)と(S93)及び(S94)とは並列に実行されてもよい。また、(S96)及び(S97)は、その前の工程からシーケンシャルに実行されなくてもよい。例えば、処理装置10は、(S95)で生成された情報の件数、所定時間の経過、入力装置16を用いたユーザの指示操作の検出等の少なくとも一つに基づいて、(S96)の実行を行うか否かを判定する。同様に、処理装置10は、(S97)の実行を行うか否かを判定してもよい。これにより、(S98)では、(S95)で生成され格納部30に格納される情報のみが出力される場合、(S96)で算出された相関係数のみが出力される場合、(S97)で生成された助言情報のみが出力される場合、それら情報の2つ以上が出力される場合があり得る。
The execution order of each process in the customer service data processing method in the first embodiment is not limited to the example shown in FIG. The execution order of each process can be changed within a range that does not hinder the contents. For example, (S90) to (S92), (S93), and (S94) may be executed in parallel. Further, (S96) and (S97) may not be executed sequentially from the previous step. For example, the
〔第一実施形態の作用及び効果〕
上述したように、第一実施形態では、顧客の購買行動を示すデータが取得され、店員の接客行動が検出され、検出された接客行動が行われた際のその店員から顧客が受けると推定される印象の指標データが算出される。そして、印象の指標データ及び顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報が生成され、出力される。このように、第一実施形態によれば、接客方法の改善に有益な情報を提供することができる。即ち、この出力された情報を見た店舗側の担当者は、店舗の業績向上を実現するために必要となる、店員の接客方法の具体的な改善策を見出すことができる。例えば、その担当者は、店員の挨拶やセールストークから顧客が受ける印象と、売上や顧客の店舗滞在時間との関係を把握することができる。そして、その担当者は、売上を向上したり、顧客の店舗滞在時間を長くしたりするためには、挨拶やセールストークを明るく行うように店員を教育する、といった改善策を見出すことができる。また、挨拶やセールストークを力強く行うことは売上向上には意味がない、といった知見も得ることができる。
[Operation and effect of the first embodiment]
As described above, in the first embodiment, data indicating the purchase behavior of the customer is acquired, the customer service behavior of the store clerk is detected, and it is estimated that the customer receives from the store clerk when the detected customer service behavior is performed. The impression index data is calculated. Then, information including impression index data and data indicating the purchase behavior of the customer in an associated state or an associated state is generated and output. Thus, according to the first embodiment, it is possible to provide information useful for improving the customer service method. That is, the store-side person in charge who sees the output information can find out specific measures for improving the store staff's customer service method, which are necessary for realizing improvement in store performance. For example, the person in charge can grasp the relationship between the impression received by the customer from the greeting of the store clerk and the sales talk, and the sales and the customer's store stay time. Then, the person in charge can find an improvement measure such as educating the store clerk to brighten greetings and sales talks in order to increase sales or increase the customer's stay time in the store. In addition, it is also possible to obtain knowledge that strong greetings and sales talks are meaningless for improving sales.
また、第一実施形態では、店員の行動(発話や表情等)を示すデータに基づいて、その行動から顧客が受けると推定される印象の指標データが算出される。よって、この印象の指標データは、特許文献2及び3で提案されている、顧客自身の音声から算出される顧客満足度とは相違する。第一実施形態によれば、顧客のデータがなくても、顧客が受ける印象の指標データを算出することができる。つまり、第一実施形態によれば、接客方法の改善に有益な情報を確実に取得することができる。接客が行われる場所において、個人情報保護やプライバシの問題から顧客の音声や画像を取るのは難しい場合があるからである。
Further, in the first embodiment, based on data indicating a store clerk's behavior (speech, facial expression, etc.), index data for an impression estimated to be received by the customer from the behavior is calculated. Therefore, the index data of the impression is different from the customer satisfaction calculated from the customer's own voice proposed in
また、第一実施形態によれば、接客業務における接客品質管理で重要視されている印象から、「明るさ」、「元気さ」、「力強さ」、「丁寧さ」、「冷たさ」等のように、推定対象となる印象を選ぶことができる。また、このように、複数印象の指標データを算出することにより、印象種ごとに顧客の購買行動との関連性の知見を得ることができる。接客が行われる業種や場所によって、顧客の購買行動に影響を与える印象種が異なることが考えられる。第一実施形態によれば、接客が行われる業種や場所ごとに、接客方法の改善に寄与する適切な情報を提供することができる。例えば、コンビニエンスストアのような小売店における接客では、「明るさ」の印象が売上に強く影響し、ホテルでの接客では、「明るさ」よりも「丁寧さ」の印象が売上に強く影響することが考えられる。また、小売店やホテルでの接客では、「力強さ」の印象は売上にほとんど影響を与えないが、八百屋や居酒屋での接客では、「力強さ」の印象が売上に強く影響することが考えられる。 In addition, according to the first embodiment, “brightness”, “energy”, “strength”, “poorness”, “coldness” from the impression that is regarded as important in customer service quality management in customer service. Thus, an impression to be estimated can be selected. In addition, by calculating the index data of a plurality of impressions in this way, it is possible to obtain knowledge of the relevance to the customer purchase behavior for each impression type. Depending on the type of business and the place where customer service is performed, the type of impression that affects the customer's purchasing behavior may differ. According to the first embodiment, it is possible to provide appropriate information that contributes to the improvement of the customer service method for each business type and place where customer service is performed. For example, the impression of “brightness” has a strong impact on sales when serving customers at a retail store such as a convenience store, and the impression of “politeness” has a greater impact on sales than “brightness” when serving customers at a hotel. It is possible. In addition, the impression of “strength” has little effect on sales when serving customers at retail stores and hotels, but the impression of “strength” has a strong effect on sales when serving customers at greengrocers and pubs. Can be considered.
[第二実施形態]
上述の第二実施形態では、時刻情報が、印象の指標データと顧客の購買行動を示すデータとの関連付けのために利用された。即ち、推定された印象の元となる店員の行動が行われた時刻と近い時刻で行われた顧客の購買行動とが関連付けられた。しかしながら、時刻の近さのみによる関連付けでは、推定された印象の元となる店員の行動が、その印象に関連付けられた購買行動に結び付いたのかは定かではない。言い換えれば、時刻の近さのみによる関連付けでは、指標データが表すその印象を受けたと推定される顧客と、その指標データに関連付けられた購買行動を行った顧客とが一致しているとは限らない。
[Second Embodiment]
In the second embodiment described above, the time information is used for associating the impression index data with the data indicating the purchase behavior of the customer. That is, the purchase behavior of the customer performed at a time close to the time when the store clerk's behavior that is the basis of the estimated impression was associated. However, in the association based only on the closeness of the time, it is not certain whether the behavior of the store clerk that is the basis of the estimated impression is related to the purchase behavior associated with the impression. In other words, in the association based only on the proximity of time, the customer estimated to have received the impression represented by the index data does not necessarily match the customer who performed the purchase behavior associated with the index data. .
そこで、第二実施形態は、推定された印象の元となる店員の行動と顧客の購買行動とを適切に関連付ける。これにより、第二実施形態は、店員の行動から顧客が受ける印象と顧客の購買行動との関係を、第一実施形態よりもさらに高精度に分析することができる。以下、第二実施形態における接客データ処理装置及び接客データ処理方法について、第一実施形態と異なる内容を中心に説明する。以下の説明では、第一実施形態と同様の内容については適宜省略する。 Therefore, the second embodiment appropriately associates the behavior of the clerk who is the basis of the estimated impression with the purchase behavior of the customer. Thereby, 2nd embodiment can analyze the relationship between the impression which a customer receives from the behavior of a store clerk, and purchase behavior of a customer with higher accuracy than the first embodiment. Hereinafter, the customer service data processing device and the customer service data processing method in the second embodiment will be described focusing on the contents different from the first embodiment. In the following description, the same contents as those in the first embodiment are omitted as appropriate.
〔処理構成〕
第二実施形態における接客データ処理装置10は、図2に示される第一実施形態の処理構成と同様である。以下に示す各処理モジュールの処理内容が第一実施形態と異なる。
[Processing configuration]
The customer service
生成部26は、印象の指標データと購買行動を示すデータとが同一顧客のものとなるように、両データを関連付ける。言い換えれば、生成部26は、印象推定部25によりその印象を受けたと推定される顧客と、その印象の指標データに関連付けられる購買行動を行った顧客とが一致するように、両データを関連付ける。これにより、例えば、顧客Aが店舗に入店し、その顧客に対して店員が「いらっしゃいませ」と挨拶した場合、その挨拶と顧客Aによる売上や顧客Aの店舗滞在時間とが関連付けられる。また、顧客Bに対して、店員が「メロンパンが焼き上がりましたよ」とセールストークを行った場合、このセールストークと顧客Bによる売上や顧客Bの店舗滞在時間とが関連付けられる。
The
生成部26による関連付け方法には次のような複数の方法が存在する。以下、各関連付け方法についてそれぞれ説明する。但し、生成部26による関連付け方法は、以下に挙げる例に限定されない。
There are a plurality of association methods by the
《第一関連付け方法》
生成部26は、第一取得部21により取得される顧客の位置データの履歴、並びに、第一実施形態で述べた印象の指標データと時刻情報との関連付け及び購買行動を示すデータと時刻情報との関連付けとを用いて、印象の指標データと購買行動を示すデータとを関連付ける。顧客の位置データの履歴は、位置データと時刻情報との複数ペアを含み、更に、顧客の識別情報(顧客ID)を含む。印象の指標データと関連付けられる時刻情報は、検出部24により検出された接客行動が行われた時刻と略同様である。
<First association method>
The
生成部26は、印象の指標データと時刻情報との関連付け及び顧客の位置データの履歴に基づいて、その印象の指標データに対して顧客IDを関連付ける。このとき、生成部26は、印象の指標データと関連付けられた時刻における顧客の位置により、その印象を受けたと推定される顧客のIDを特定する。例えば、生成部26は、10時に店員から発せられた「いらっしゃいませ」に対応する印象の指標データについては、10時に店の入口付近にいた顧客のIDを関連付ける。
The
図10は、第二実施形態における生成部26により生成される関連付け情報の例を示す図である。図10の例では、生成部26は、検出部24により検出された発話毎に、印象の指標データ及び顧客IDをそれぞれ関連付ける。図10の例によれば、7時05分10秒に発せられた「いらっしゃいませ」という挨拶発話から推定される印象の指標データ(「明るさ=92」、「元気さ=80」等)に、「顧客ID=5」が関連付けられている。
FIG. 10 is a diagram illustrating an example of association information generated by the
更に、生成部26は、購買行動を示すデータと時刻情報との関連付け及び顧客の位置データの履歴に基づいて、その購買行動を示すデータに対して顧客IDを関連付ける。このとき、生成部26は、購買行動を示すデータと関連付けられた時刻における顧客の位置により、その購買行動の主体である顧客のIDを特定する。例えば、購買行動を示すデータとして顧客の店舗滞在時間が利用される場合、生成部26は、10時に入店して10時10分に退店した顧客の店舗滞在時間(10分)に対して、10時及び10時10分に店舗の出入口付近にいた顧客のIDを関連付ける。
Further, the
図11は、第二実施形態における生成部26により生成される関連付け情報の例を示す図である。図11の例では、生成部26は、購買行動を示すデータである精算毎の売上金額に対して顧客IDを関連付ける。図11の例によれば、7時47分56秒に精算を終えた顧客の売上金額「1200円」に対して、7時47分くらいにレジにいた顧客のID(8)が関連付けられている。なお、顧客のIDは、レジで提示されたポイントカードの顧客情報から取得することもできる。
FIG. 11 is a diagram illustrating an example of association information generated by the
《第二関連付け方法》
生成部26は、上述の第一関連付け方法で用いられた情報に加えて、第二取得部23により取得される店員の位置データの履歴を更に用いて、印象の指標データと購買行動を示すデータとを関連付ける。店員の位置データの履歴は、位置データと時刻情報との複数ペアを含み、更に、店員の識別情報(店員ID)を含む。この方法では、生成部26は、印象の指標データと時刻情報との関連付け、顧客の位置データの履歴、及び店員の位置データの履歴に基づいて、その印象の指標データに対して顧客IDを関連付ける。生成部26は、印象の指標データと関連付けられた時刻における顧客と店員との位置関係により、その印象を受けたと推定される顧客のIDを特定する。例えば、生成部26は、11時の店員の表情に対する印象の指標データについては、11時にその店員から所定距離以内にいた顧客のIDを関連付ける。
《Second association method》
In addition to the information used in the first association method described above, the
この場合、印象の指標データには、時刻情報と共に、その印象推定の元(入力)となる行動を取った店員のIDが関連付けられている必要がある。そこで、印象推定部25は、印象推定モデルを適用するデータ(音声や画像等)により示される店員のIDを特定する。例えば、第二取得部23は、店員行動データを取得する際に、そのデータの取得元に基づいて、その店員行動データにより示される店員のIDを特定する。第二取得部23は、店員IDと店員により携帯されるマイクのIDとの対応情報を参照することで、取得された店員行動データに対応する店員IDを特定することができる。また、店員にICタグを携帯させることで、第二取得部23は、店員の位置データと共に、ICタグから得られるその店員のIDを取得することもできる。このような場合、印象推定部25は、第二取得部23により特定された店員IDを用いればよい。
In this case, the impression index data needs to be associated with the time information and the ID of the clerk who took the action that is the source (input) of the impression estimation. Therefore, the
他の例として、印象推定部25は、印象推定モデルを適用するデータ(音声や画像等)に対して、話者照合技術又は顔識別技術を適用することで、そのデータにより示される店員のIDを特定する。話者照合技術を用いる場合、印象推定部25は、店員毎の発話モデル(音声特徴量)を予め保持する。また、顔識別情報を用いる場合、印象推定部25は、店員毎の顔画像モデル(画像特長量)を予め保持する。
As another example, the
図12は、第二実施形態における生成部26により生成される関連付け情報の例を示す図である。図12の例では、生成部26は、検出部24により検出された発話毎に、印象の指標データ、店員ID及び顧客IDをそれぞれ関連付ける。図12の例によれば、7時05分10秒に「店員ID=8」の店員が発した「いらっしゃいませ」という挨拶発話に対して、印象の指標データ(「明るさ=92」、「元気さ=80」等)及び「顧客ID=5」が関連付けられている。
FIG. 12 is a diagram illustrating an example of association information generated by the
なお、購買行動を示すデータと顧客IDとの関連付けについては、第一関連付け方法と同様でよい。このようにして、生成部26は、印象の指標データと購買行動を示すデータとを顧客IDにより関連付ける。生成部26は、顧客IDにより関連付けられた情報を格納部30に格納する。ここで、生成部26は、関連付けられた印象の指標データと購買行動を示すデータを格納し、印象の指標データと顧客IDとの関連付け情報及び購買行動を示すデータと顧客IDとの関連付け情報を格納しなくてもよい。
The association between the data indicating the purchase behavior and the customer ID may be the same as in the first association method. In this way, the generating
更に、上述の第二関連付け方法が取られる場合、生成部26は、印象の指標データに、店員IDと、その店員の行動によりその印象を受けたと推定される顧客のIDとの関連付け情報を生成することができる。更に、その関連付け情報に基づいて、生成部26は、印象の指標データ及び顧客の購買行動に店員IDを関連付けることもできる。この関連付け情報によれば、顧客が受けると推定される印象とその顧客の購買行動との関係の分析を、店員毎に行うことができる。例えば、店員Aは挨拶の「明るさ」が大きく接客した対象顧客の売上も大きいが、店員Bは挨拶の「明るさ」が小さく接客した対象顧客の売上が小さいこと等を分析できる。
Further, when the second association method described above is taken, the
図13は、出力部29による出力を示す図である。図13では、店員の挨拶の印象の指標データと顧客の購買行動を示すデータとの相関を示すグラフ及びその相関係数が出力されている。グラフF50は、挨拶の「明るさ」の印象の指標データと、挨拶の対象となった顧客による売上との相関関係を示す。このグラフF50によれば、明るい挨拶を受けた顧客からの売上が大きいという関係があることが分かる。グラフF51は、挨拶の「力強さ」の印象の指標データと、挨拶の対象となった顧客による売上との相関関係を示す。グラフF51によれば、挨拶の「力強さ」と売上との間にはほとんど関係がないことが分かる。グラフF52は、挨拶の「明るさ」の印象の指標データと、挨拶の対象となった顧客の店舗滞在時間との相関関係を示す。グラフF52によれば、明るい挨拶を受けた顧客ほど滞在時間が長いという関係があることが分かる。
FIG. 13 is a diagram illustrating an output by the
〔動作例/接客データ処理方法〕
第二実施形態における接客データ分析方法の各工程の順番は、図9に示される第一実施形態と同様である。第二実施形態では(S95)での関連付け方法が第一実施形態と異なる。この関連付け方法は、上述したとおりである。
[Operation example / Service data processing method]
The order of each process of the customer service data analysis method in the second embodiment is the same as that in the first embodiment shown in FIG. In the second embodiment, the associating method in (S95) is different from the first embodiment. This association method is as described above.
〔第二実施形態の作用及び効果〕
上述のように、第二実施形態では、印象の指標データ及び顧客の購買行動に関連付けられた時刻情報、顧客の位置データ、店員の位置データ等に基づいて、印象の指標データと購買行動を示すデータとが同一顧客のものとなるように、印象の指標データと購買行動を示すデータとが関連付けられる。これにより、第二実施形態によれば、店員の行動から顧客が受ける印象と顧客の購買行動との関係を高精度に分析することができる。具体的には、第二実施形態によれば、印象の指標データと購買行動を示すデータとが同一顧客のものとなるように両データが関連付けられるため、第一実施形態よりもより高精度な相関係数を得ることができる。
[Operation and effect of the second embodiment]
As described above, in the second embodiment, impression index data and purchase behavior are shown based on impression index data and time information associated with customer purchase behavior, customer location data, store clerk location data, and the like. The impression index data and the data indicating the purchase behavior are associated with each other so that the data belongs to the same customer. Thereby, according to 2nd embodiment, the relationship between the impression which a customer receives from a store clerk's action, and the purchase action of a customer can be analyzed with high precision. Specifically, according to the second embodiment, both data are associated with each other so that the impression index data and the data indicating the purchase behavior belong to the same customer, and therefore more accurate than the first embodiment. A correlation coefficient can be obtained.
更に、上述の第二関連付け方法によれば、印象の指標データに、店員IDと、その店員の行動によりその印象を受けたと推定される顧客のIDとの関連付け情報を生成することができる。加えて、印象の指標データ及び顧客の購買行動に店員IDを関連付けることもできる。これによれば、顧客が受けると推定される印象とその顧客の購買行動との関係の分析を、店員毎に行うことができる。 Furthermore, according to the second association method described above, it is possible to generate association information between a store clerk ID and a customer ID estimated to have received the impression by the behavior of the store clerk in the impression index data. In addition, the clerk ID can be associated with the impression index data and the purchase behavior of the customer. According to this, the analysis of the relationship between the impression estimated to be received by the customer and the purchase behavior of the customer can be performed for each clerk.
[変形例]
上述の各実施形態における処理装置10は、分析部27及び助言生成部28を有していなくてもよい。この場合、処理装置10(出力部29)は、格納部30に格納される情報に基づいて、印象の指標データ及び顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で出力し、相関係数や助言情報を出力しない。この場合、図9に示される接客データ処理方法は、(S96)及び(S97)を含まない。
[Modification]
The
[第三実施形態]
以下、第三実施形態における接客データ処理装置及び接客データ処理方法について図14及び図15を用いて説明する。また、第三実施形態は、この接客データ処理方法を少なくとも1つのコンピュータ(CPU)に実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも1つのコンピュータが読み取り可能な記録媒体であってもよい。
[Third embodiment]
Hereinafter, the service data processing apparatus and the service data processing method according to the third embodiment will be described with reference to FIGS. 14 and 15. The third embodiment may be a program that causes at least one computer (CPU) to execute the service data processing method, or a recording medium that can be read by the at least one computer that records such a program. It may be.
図14は、第三実施形態における接客データ処理装置100の処理構成例を概念的に示す図である。図14に示されるように、接客データ処理装置100は、推定部101、データ取得部102、及び生成部103を有する。図14に示される接客データ処理装置100は、例えば、図1に示される上述の処理装置10と同様のハードウェア構成を有し、その処理装置10と同様にCPU11によりプログラムが処理されることで、上述の各処理モジュールが実現される。但し、接客データ処理装置100のハードウェア構成は、制限されず、接客データ処理装置100には、表示装置15及び入力装置16が接続されていなくてもよい。
FIG. 14 is a diagram conceptually illustrating a processing configuration example of the customer service
推定部101は、接客時の店員を示すデータに基づいて、その店員から顧客が受けると推定される印象の指標データを算出する。接客時の店員を示すデータの一具体例は、上述の店員行動データである。このデータの形式及び内容は、そのデータが接客時の店員を示していれば、制限されない。推定される印象の種別(明るい、元気等)は、制限されない。但し、その印象の種別は、接客目的に与える影響の大きい印象に設定されることが望ましい。また、算出される印象の指標データは、上述したとおり、その印象の種別(明るい、元気等)、その印象の有無、又はその印象の強さの程度を示す。推定部101による印象の指標データの算出手法は、上述の印象推定部25と同様である。
Based on the data indicating the store clerk at the time of customer service, the
データ取得部102は、顧客の購買行動を示すデータを取得する。取得されたデータの形式及び内容は、顧客の購買行動を示していれば、制限されない。顧客の購買行動は、上述したとおり、顧客が実際に何かを購入する行動のみならず、顧客が店舗に入店してから店舗から出るまでの間の顧客の行動の中で接客目的に結び付く可能性のある様々な行動を含む。データ取得部102によるこのデータの取得手法は、上述のデータ取得部22と同様である。
The
生成部103は、推定部101により算出された印象の指標データ及びデータ取得部102により取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する。生成部103は、印象の指標データと顧客の購買行動データとが直接関連付けられた情報を生成してもよい。また、生成部103は、印象の指標データ及び顧客の購買行動を示すデータを含み、見た者が関連付けを行える又は情報処理により関連付けを行えるような情報を生成してもよい。更に、生成部103は、前者の情報と後者の情報とを両方生成してもよい。上述の各実施形態では、印象の指標データと顧客の購買行動とを関連付ける情報又は関連付け可能にする情報として、時刻情報及び顧客IDが例示された。関連付けのための情報は、このような例に制限されない。生成部103による情報の生成手法は、上述の生成部26と同様である。
The
図15は、第三実施形態における接客データ処理装置100の動作例を示すフローチャートである。図15に示されるように、第三実施形態における接客データ処理方法は、接客データ処理装置100のような少なくとも1つのコンピュータにより実行される。例えば、図示される各工程は、接客データ処理装置100が有する各処理モジュールにより実行される。各工程は、接客データ処理装置100が有する上述の各処理モジュールの処理内容と同様であるため、各工程の詳細は、適宜省略される。
FIG. 15 is a flowchart illustrating an operation example of the customer service
本実施形態における接客データ処理方法は、(S151)、(S152)及び(S153)を含む。
(S151)では、接客データ処理装置100は、接客時の店員を示すデータに基づいて、その店員から顧客が受けると推定される印象の指標データを算出する。
(S152)では、接客データ処理装置100は、顧客の購買行動を示すデータを取得する。
(S153)では、接客データ処理装置100は、(S151)で算出された印象の指標データ及び(S152)で取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する。生成された情報は、接客データ処理装置100内に格納されてもよいし、他の装置に送られてもよいし、可搬型記録媒体に格納されてもよい。
The customer service data processing method in the present embodiment includes (S151), (S152), and (S153).
In (S151), the customer service
In (S152), the customer service
In (S153), the customer service
第三実施形態によれば、印象の指標データ及び顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報が生成されるため、上述の各実施形態と同様に、接客方法の改善に有益な情報を提供することができる。 According to the third embodiment, since the information including the index data of the impression and the data indicating the purchase behavior of the customer in a state that can be associated or in an associated state is generated, the customer service method is similar to the above-described embodiments. Can provide useful information for improvement.
上述の各実施形態では、次のような例が主に用いられた。
(1)検出される接客行動=挨拶又はセールストークのような特定発話
(2)印象推定の入力データ=その特定発話を示す音声データ
(3)印象の指標データに対応する時刻情報=特定発話の発声時刻
(4)購買行動を示すデータ=売上金額及び店舗滞在時間
(5)購買行動を示すデータに対応する時刻情報=精算時刻、入店時刻、退店時刻
(6)関連付けのための情報=時刻情報(第一実施形態)、顧客ID(第二実施形態)
以下、上述の各実施形態で明記されなかった他の例を実施例として説明する。但し、上述の内容は、以下の実施例の内容に限定されない。
In the above-described embodiments, the following examples are mainly used.
(1) Detected customer service behavior = specific utterance such as greeting or sales talk (2) input data for impression estimation = voice data indicating the specific utterance (3) time information corresponding to impression index data = specific utterance Voice time (4) Data indicating purchase behavior = sales amount and store stay time (5) Time information corresponding to data indicating purchase behavior = Checkout time, store entry time, store exit time (6) Information for association = Time information (first embodiment), customer ID (second embodiment)
Hereinafter, other examples not specified in the above-described embodiments will be described as examples. However, the above-mentioned content is not limited to the content of the following Examples.
[第一実施例]
(1)検出される接客行動=店員の特定表情(笑顔、しかめっつら等)
(2)印象推定の入力データ=検出された特定表情を表す画像データ
(3)印象の指標データに対応する時刻情報=特定表情の発生時刻
(4)から(6)=同上
処理装置10(第二取得部23)は、店員の顔を含む画像データを店員行動データとして取得する。処理装置10(検出部24)は、その画像データに対して顔検出及び顔表情認識技術を適用して、店員の特定表情を接客行動として検出する。処理装置10(印象推定部25は、その検出された特定表情を含む画像データに対して顔印象推定モデルを適用することで、その特定表情から顧客が受けると推定される印象の指標データを算出する(第一推定方法)。処理装置10(印象推定部25)は、その算出された印象の指標データに対応する時刻情報として、その特定表情が表れた時刻情報を取得する。処理装置10(生成部26)は、その印象の指標データと時刻情報とを関連付けて格納部30に格納する。
[First embodiment]
(1) Detected customer service behavior = specific facial expression of a store clerk (smile, grimacing, etc.)
(2) Impression estimation input data = image data representing the detected specific facial expression (3) Time information corresponding to impression index data = specific facial expression occurrence time (4) to (6) = Same processing device 10 (first The second obtaining unit 23) obtains image data including the clerk's face as clerk action data. The processing device 10 (detection unit 24) applies a face detection and facial expression recognition technique to the image data, and detects a specific facial expression of the clerk as a customer service action. Processing device 10 (
図16は、特定表情に関する印象の指標データと時刻情報との関連付けの例を示す図である。図16の例では、処理装置10(生成部26)は、検出された特定表情毎に、発生時刻、表情種別、印象の指標データを関連付けて、格納部30に格納する。
FIG. 16 is a diagram illustrating an example of association between impression index data regarding a specific facial expression and time information. In the example of FIG. 16, the processing device 10 (the generation unit 26) stores the generation time, the expression type, and the impression index data in association with each detected specific facial expression in the
[第二実施例]
(1)検出される接客行動=店員の発話(特定発話、応答発話を含む)
(2)印象推定の入力データ=検出された発話中の店員の表情を表す画像データ
(3)印象の指標データに対応する時刻情報=その店員の表情の発生時刻
(4)から(6)=同上
処理装置10(第二取得部23)は、店員の発話音声データ及び店員の顔を含む画像データを店員行動データとして取得する。処理装置10(検出部24)は、取得された発話音声データから、特定発話や応答発話等のような店員の発話を接客行動として検出する。処理装置10(印象推定部25)は、その検出された発話の開始時刻及び終了時刻の間を表す画像データに顔印象推定モデルを適用することで、その発話中の店員の表情から顧客が受けると推定される印象の指標データを算出する(第二推定方法)。処理装置10(印象推定部25)は、その算出された印象の指標データに対応する時刻情報として、顔印象推定モデルが適用された画像データの時刻情報を取得する。処理装置10(生成部26)は、図16に示されるように、印象の指標データと時刻情報とを関連付けて格納部30に格納する。
[Second Example]
(1) Detected customer service behavior = clerk utterance (including specific utterance and response utterance)
(2) Impression estimation input data = image data representing detected clerk's facial expression during utterance (3) time information corresponding to impression index data = occurrence time of the clerk's facial expression (4) to (6) = The processing device 10 (second acquisition unit 23) acquires the clerk's speech data and image data including the clerk's face as clerk action data. The processing device 10 (detection unit 24) detects a clerk's utterance such as a specific utterance or a response utterance as a customer service action from the acquired utterance voice data. The processing device 10 (impression estimation unit 25) applies the face impression estimation model to the image data representing between the start time and the end time of the detected utterance, so that the customer receives from the facial expression of the clerk during the utterance Is calculated (second estimation method). The processing device 10 (impression estimation unit 25) acquires time information of image data to which the face impression estimation model is applied as time information corresponding to the calculated impression index data. As illustrated in FIG. 16, the processing device 10 (the generation unit 26) stores the impression index data and the time information in the
[第三実施例]
(1)検出される接客行動=店員の会計作業
(2)印象推定の入力データ=検出された会計作業中の店員の発話音声データ
(3)印象の指標データに対応する時刻情報=その店員の発話の発声時刻
(4)から(6)=同上
処理装置10(第二取得部23)は、レジ端末の店員毎の操作履歴(ログイン履歴)の情報及び店員の発話音声データを店員行動データとして取得する。処理装置10(検出部24)は、その操作履歴の情報からレジ端末利用の開始時刻及び終了時刻を抽出して、その間を店員の会計作業として検出する。処理装置10(印象推定部25)は、その検出された会計作業の開始時刻及び終了時刻の間の当該発話音声データに声印象推定モデルを適用することで、検出された会計作業中の店員の発話から顧客が受けると推定される印象の指標データを算出する(第二推定方法)。処理装置10(印象推定部25)は、その算出された印象の指標データに対応する時刻情報として、声印象推定モデルが適用された発話音声データの時刻情報を取得する。
[Third embodiment]
(1) Detected customer service behavior = clerk's accounting work (2) Impression estimation input data = detected clerk's utterance voice data during accounting work (3) Time information corresponding to impression index data = the clerk's The utterance time (4) to (6) = same as above The processing device 10 (second acquisition unit 23) uses the operation history (login history) information of each clerk of the cash register terminal and the utterance voice data of the clerk as clerk behavior data. get. The processing device 10 (detection unit 24) extracts the start time and end time of using the cashier terminal from the information of the operation history, and detects the period as the accounting work of the store clerk. The processing device 10 (impression estimation unit 25) applies the voice impression estimation model to the utterance voice data between the detected start time and end time of the detected accounting operation, so that the detected clerk during the accounting operation The index data of the impression estimated that the customer receives from the utterance is calculated (second estimation method). The processing device 10 (impression estimation unit 25) acquires time information of the speech data to which the voice impression estimation model is applied, as time information corresponding to the calculated index data of the impression.
第三実施例では、印象推定の入力データとして、検出された会計作業中の店員の表情を表す画像データが用いられてもよい。この場合には、処理装置10(第二取得部23)は、レジ端末の店員毎の操作履歴(ログイン履歴)の情報及び店員の表情を表す画像データを店員行動データとして取得する。処理装置10(検出部24)は、上述のように店員の会計作業を検出する。処理装置10(印象推定部25)は、その検出された会計作業の開始時刻及び終了時刻の間の当該画像データに顔印象推定モデルを適用することで、検出された会計作業中の店員の表情から顧客が受けると推定される印象の指標データを算出する(第二推定方法)。 In the third embodiment, image data representing the detected facial expression of the store clerk during the accounting work may be used as the input data for impression estimation. In this case, the processing device 10 (second acquisition unit 23) acquires information on an operation history (login history) for each clerk of the cash register terminal and image data representing the clerk's facial expression as clerk action data. The processing device 10 (detection unit 24) detects the clerk's accounting work as described above. The processing device 10 (impression estimation unit 25) applies the face impression estimation model to the image data between the detected start time and end time of the detected accounting operation, thereby detecting the detected facial expression of the salesclerk during the accounting operation The index data of the impression estimated to be received by the customer is calculated (second estimation method).
[第四実施例]
(1)検出される接客行動=店員の店舗案内
(2)印象推定の入力データ=検出された店舗案内中の店員の発話音声データ
(3)印象の指標データに対応する時刻情報=その店員の発話の発声時刻
(4)から(6)=同上
処理装置10(第二取得部23)は、店舗内における店員の位置データの履歴及び店員の発話音声データを店員行動データとして取得する。また、処理装置10(第一取得部21)は、顧客の位置データの履歴を顧客行動データとして取得する。処理装置10(検出部24)は、店員の位置データの履歴及び顧客の位置データの履歴に基づいて、店員と顧客とが一定距離以内に存在する状態が一定時間以上継続しかつ両者が移動していることを店舗案内として検出する。処理装置10(印象推定部25)は、その検出された店舗案内の開始時刻及び終了時刻の間の当該発話音声データに声印象推定モデルを適用することで、その店舗案内中の店員の発話から顧客が受けると推定される印象の指標データを算出する(第二推定方法)。処理装置10(印象推定部25)は、その算出された印象の指標データに対応する時刻情報として、声印象推定モデルが適用された発話音声データの時刻情報を取得する。
[Fourth embodiment]
(1) Detected customer service behavior = store clerk's store guidance (2) impression estimation input data = clerk utterance voice data in the detected store guide (3) time information corresponding to impression index data = the clerk's The utterance time (4) to (6) = same as above The processing device 10 (second acquisition unit 23) acquires the position data history of the clerk in the store and the utterance voice data of the clerk as clerk action data. Moreover, the processing apparatus 10 (first acquisition unit 21) acquires a history of customer position data as customer behavior data. The processing device 10 (detection unit 24) continues the state where the clerk and the customer exist within a certain distance based on the clerk's position data history and the customer's position data history, and both move. Is detected as store guidance. The processing device 10 (impression estimation unit 25) applies the voice impression estimation model to the utterance voice data between the detected start time and end time of the store guide, thereby making it possible to detect the utterance of the store clerk in the store guide. Index data of impression estimated to be received by the customer is calculated (second estimation method). The processing device 10 (impression estimation unit 25) acquires time information of the speech data to which the voice impression estimation model is applied, as time information corresponding to the calculated index data of the impression.
上述の各実施形態及び変形例は、内容が相反しない範囲で組み合わせることができる。
上記の各実施形態及び変形例の一部又は全部は、以下のようにも特定され得る。但し、上記の各実施形態及び変形例が以下の記載に限定されるものではない。
Each above-mentioned embodiment and modification can be combined in the range in which the contents do not conflict.
Part or all of the above embodiments and modifications may be specified as follows. However, the above embodiments and modifications are not limited to the following descriptions.
1. 接客時の店員を示すデータに基づいて、その店員から顧客が受けると推定される印象の指標データを算出する推定手段と、
顧客の購買行動を示すデータを取得するデータ取得手段と、
前記算出された印象の指標データ及び前記取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する生成手段と、
を備える接客データ処理装置。
2. 店員の接客行動を検出する検出手段、
を更に備え、
前記推定手段は、接客時の店員を示す前記データとして、前記検出された接客行動が行われた際の前記店員を示すデータを用いて、前記印象の前記指標データを算出する、
1.に記載の接客データ処理装置。
3. 前記生成手段は、店員の接客行動の検出の有無、前記検出された店員の接客行動の種別、及び前記検出された店員の接客行動の内容を識別する内容識別データの少なくとも一つが、前記算出された印象の指標データ又は前記取得された顧客の購買行動を示すデータと関連付けられた情報を生成する、
2.に記載の接客データ処理装置。
4. 前記検出手段は、店員の発話を含む音声データから、顧客に対する店員の発話を前記接客行動として検出し、
前記推定手段は、前記検出された店員の発話の音声データから、明るさ、元気さ、力強さ、格好よさ、丁寧さ、落ち着き、可愛さ、誠実さ、冷たさ、流暢さ、若さ、上品さ、及び優しさの少なくとも1つの印象の有無又は強さを示す指標データを算出する、
2.又は3.に記載の接客データ処理装置。
5. 前記検出手段は、店員の発話を含む音声データから、挨拶又はセールストークを表す特定表現に相当する店員の発話を前記接客行動として検出し、
前記推定手段は、前記検出された店員の発話の音声データから、明るさ、元気さ、力強さ、丁寧さ、及び冷たさの少なくとも1つの印象の有無または強さを示す指標データを算出する、
2.から4.のいずれか1つに記載の接客データ処理装置。
6. 前記検出手段は、店員を含む画像データから、顧客に対する店員の特定表情を前記接客行動として検出し、
前記推定手段は、前記特定表情として検出された店員の表情を含む画像データから、その表情から顧客が受けると推定される印象の指標データを算出する、
2.から5.のいずれか1つに記載の接客データ処理装置。
7. 前記検出手段は、顧客に対する店員の第一接客行動を検出し、
前記推定手段は、前記検出された第一接客行動が行われた際における、その第一接客行動とは異なる、前記店員の第二接客行動を示すデータから、その第二接客行動から顧客が受けると推定される印象の指標データを算出する、
2.から6.のいずれか1つに記載の接客データ処理装置。
8. 前記推定手段は、前記検出された第一接客行動が行われた際における、前記店員のその第一接客行動を示すデータ及び前記第二接客行動を示すデータから、前記印象の前記指標データを算出する、
7.に記載の接客データ処理装置。
9. 前記データ取得手段は、顧客が購入した商品、顧客が購入した金額、顧客の店舗滞在時間、顧客の店舗内移動経路、顧客の来店頻度、顧客の来店回数の少なくとも1つを前記購買行動を示す前記データとして取得する、
1.から8.のいずれか1つに記載の接客データ処理装置。
10. 前記算出された印象の指標データ及び前記取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で出力する出力手段、
を更に備える1.から9.のいずれか1つに記載の接客データ処理装置。
11. 前記推定手段は、接客時の店員を示すデータに基づいて、各印象の有無又は強さをそれぞれ示す複数印象の指標データを算出する、
1.から10.のいずれか1つに記載の接客データ処理装置。
12. 前記算出された印象の指標データと前記取得された顧客の購買行動を示すデータとの間の相関係数を算出する分析手段、
を更に備える1.から11.のいずれか1つに記載の接客データ処理装置。
13. 前記算出された相関係数に基づいて、接客に関する助言情報を生成する助言生成手段、
を更に備える12.に記載の接客データ処理装置。
14. 前記生成された助言情報及び前記印象に関して算出された前記相関係数の少なくとも一方を出力する出力手段、
を更に備える13.に記載の接客データ処理装置。
15. 前記生成手段は、顧客の位置データの履歴及び前記算出された印象の指標データに対応する時刻情報に基づいて、その印象の指標データにその印象を受けたと推定される顧客の識別情報を関連付け、顧客の位置データの履歴及び前記取得された顧客の購買行動を示すデータに対応する時刻情報に基づいて、その購買行動を示すデータにその購買行動の主体である顧客の識別情報を関連付ける、
1.から14.のいずれか1つに記載の接客データ処理装置。
16. 前記生成手段は、前記算出された印象の指標データにその印象を顧客に与えた店員の識別情報を更に関連付ける、
15.に記載の接客データ処理装置。
1. An estimation means for calculating index data of impressions estimated to be received by the customer from the store clerk based on data indicating the store clerk at the time of customer service;
Data acquisition means for acquiring data indicating customer purchase behavior;
Generating means for generating information including the calculated index data of the impression and the acquired data indicating the purchase behavior of the customer in an associated state or an associated state;
A customer service data processing apparatus.
2. A detecting means for detecting the customer service behavior of the store clerk,
Further comprising
The estimating means calculates the index data of the impression using the data indicating the store clerk when the detected customer service behavior is performed as the data indicating the store clerk at the time of customer service,
1. The customer service data processing device described in 1.
3. The generating means calculates at least one of presence / absence of detection of customer service behavior of the store clerk, type of the customer service behavior of the detected store clerk, and content identification data identifying the content of the detected customer service behavior of the store clerk. Generating information related to the impression index data or the acquired customer purchase behavior data,
2. The customer service data processing device described in 1.
4). The detection means detects the clerk's utterance to the customer as the customer service behavior from the voice data including the clerk's utterance,
The estimation means, from the voice data of the detected clerk's speech, brightness, cheerfulness, strength, coolness, politeness, calmness, cuteness, honesty, coldness, fluency, youth, Calculating index data indicating the presence or strength of at least one impression of elegance and tenderness;
2. Or 3. The customer service data processing device described in 1.
5. The detection means detects, from the voice data including the clerk's speech, the clerk's speech corresponding to a specific expression representing a greeting or sales talk as the customer service behavior,
The estimation means calculates index data indicating the presence / absence or strength of at least one of brightness, energy, strength, politeness, and coldness from the detected speech data of the clerk's utterance. ,
2. To 4. The customer service data processing device according to any one of the above.
6). The detection means detects, from the image data including the clerk, a specific facial expression of the clerk for the customer as the customer service behavior,
The estimation means calculates index data of an impression estimated to be received by a customer from the facial expression, from image data including the facial expression of the clerk detected as the specific facial expression.
2. To 5. The customer service data processing device according to any one of the above.
7). The detection means detects the first customer service behavior of the store clerk for the customer,
The estimating means receives the customer from the second customer service behavior based on the data indicating the second customer service behavior of the store clerk, which is different from the first customer service behavior when the detected first customer service behavior is performed. Calculating the estimated impression index data,
2. To 6. The customer service data processing device according to any one of the above.
8). The estimation means calculates the index data of the impression from the data indicating the first customer service behavior of the store clerk and the data indicating the second customer service behavior when the detected first customer service behavior is performed. To
7). The customer service data processing device described in 1.
9. The data acquisition means indicates the purchase behavior of at least one of a product purchased by a customer, an amount purchased by the customer, a customer's store stay time, a customer's in-store travel route, a customer's store visit frequency, and a customer's store visit count. Obtain as the data,
1. To 8. The customer service data processing device according to any one of the above.
10. An output means for outputting the calculated index data of the impression and the acquired data indicating the purchase behavior of the customer in an associated state or an associated state;
1 is further provided. To 9. The customer service data processing device according to any one of the above.
11. The estimation means calculates index data of a plurality of impressions respectively indicating the presence or absence or strength of each impression based on data indicating a clerk at the time of customer service.
1. To 10. The customer service data processing device according to any one of the above.
12 Analyzing means for calculating a correlation coefficient between the calculated index data of the impression and the acquired data indicating the purchase behavior of the customer;
1 is further provided. To 11. The customer service data processing device according to any one of the above.
13. Advice generating means for generating advice information on customer service based on the calculated correlation coefficient;
Is further provided. The customer service data processing device described in 1.
14 Output means for outputting at least one of the generated correlation information and the correlation coefficient calculated for the impression;
Further comprising: The customer service data processing device described in 1.
15. The generation means associates identification information of a customer estimated to have received the impression with the index data of the impression based on a history of the position data of the customer and time information corresponding to the calculated index data of the impression, Based on a history of customer position data and time information corresponding to the acquired data indicating the purchase behavior of the customer, associating the identification information of the customer who is the subject of the purchase behavior with the data indicating the purchase behavior,
1. To 14. The customer service data processing device according to any one of the above.
16. The generating means further associates identification information of a store clerk who gave the impression to the customer to the calculated index data of the impression.
15. The customer service data processing device described in 1.
17. 少なくとも一つのコンピュータにより実行される接客データ処理方法において、
接客時の店員を示すデータに基づいて、その店員から顧客が受けると推定される印象の指標データを算出し、
顧客の購買行動を示すデータを取得し、
前記算出された印象の指標データ及び前記取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する、
事を含む接客データ処理方法。
18. 店員の接客行動を検出する、
ことを更に含み、
前記指標データの前記算出は、接客時の店員を示す前記データとして、前記検出された接客行動が行われた際の前記店員を示すデータを用いて、前記印象の前記指標データを算出する、
17.に記載の接客データ処理方法。
19. 店員の接客行動の検出の有無、前記検出された店員の接客行動の種別、及び前記検出された店員の接客行動の内容を識別する内容識別データの少なくとも一つが、前記算出された印象の指標データ又は前記取得された顧客の購買行動を示すデータと関連付けられた情報を生成する、
ことを更に含む18.に記載の接客データ処理方法。
20. 前記接客行動の前記検出は、店員の発話を含む音声データから、顧客に対する店員の発話を前記接客行動として検出し、
前記指標データの前記算出は、前記検出された店員の発話の音声データから、明るさ、元気さ、力強さ、格好よさ、丁寧さ、落ち着き、可愛さ、誠実さ、冷たさ、流暢さ、若さ、上品さ、及び優しさの少なくとも1つの印象の有無又は強さを示す指標データを算出する、
18.又は19.に記載の接客データ処理方法。
21. 前記接客行動の前記検出は、店員の発話を含む音声データから、挨拶又はセールストークを表す特定表現に相当する店員の発話を前記接客行動として検出し、
前記指標データの前記算出は、前記検出された店員の発話の音声データから、明るさ、元気さ、力強さ、丁寧さ、及び冷たさの少なくとも1つの印象の有無または強さを示す指標データを算出する、
18.から20.のいずれか1つに記載の接客データ処理方法。
22. 前記接客行動の前記検出は、店員を含む画像データから、顧客に対する店員の特定表情を前記接客行動として検出し、
前記指標データの前記算出は、前記特定表情として検出された店員の表情を含む画像データから、その表情から顧客が受けると推定される印象の指標データを算出する、
18.から21.のいずれか1つに記載の接客データ処理方法。
23. 前記接客行動の前記検出は、顧客に対する店員の第一接客行動を検出し、
前記指標データの前記算出は、前記検出された第一接客行動が行われた際における、その第一接客行動とは異なる、前記店員の第二接客行動を示すデータから、その第二接客行動から顧客が受けると推定される印象の指標データを算出する、
18.から22.のいずれか1つに記載の接客データ処理方法。
24. 前記指標データの前記算出は、前記検出された第一接客行動が行われた際における、前記店員のその第一接客行動を示すデータ及び前記第二接客行動を示すデータから、前記印象の前記指標データを算出する、
23.に記載の接客データ処理方法。
25. 前記購買行動を示す前記データの前記取得は、顧客が購入した商品、顧客が購入した金額、顧客の店舗滞在時間、顧客の店舗内移動経路、顧客の来店頻度、顧客の来店回数の少なくとも1つを前記購買行動を示す前記データとして取得する、
17.から24.のいずれか1つに記載の接客データ処理方法。
26. 前記算出された印象の指標データ及び前記取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で出力する、
ことを更に含む17.から25.のいずれか1つに記載の接客データ処理方法。
27. 前記指標データの前記算出は、接客時の店員を示すデータに基づいて、各印象の有無又は強さをそれぞれ示す複数印象の指標データを算出する、
17.から26.のいずれか1つに記載の接客データ処理方法。
28. 前記算出された印象の指標データと前記取得された顧客の購買行動を示すデータとの間の相関係数を算出する、
ことを更に含む17.から27.のいずれか1つに記載の接客データ処理方法。
29. 前記算出された相関係数に基づいて、接客に関する助言情報を生成する、
ことを更に含む28.に記載の接客データ処理方法。
30. 前記生成された助言情報及び前記印象に関して算出された前記相関係数の少なくとも一方を出力する、
ことを更に含む29.に記載の接客データ処理方法。
31. 顧客の位置データの履歴及び前記算出された印象の指標データに対応する時刻情報に基づいて、その印象の指標データにその印象を受けたと推定される顧客の識別情報を関連付け、
顧客の位置データの履歴及び前記取得された顧客の購買行動を示すデータに対応する時刻情報に基づいて、その購買行動を示すデータにその購買行動の主体である顧客の識別情報を関連付ける、
ことを更に含む17.から30.のいずれか1つに記載の接客データ処理方法。
32. 前記算出された印象の指標データにその印象を顧客に与えた店員の識別情報を更に関連付ける、
ことを更に含む31.に記載の接客データ処理方法。
17. In the service data processing method executed by at least one computer,
Based on data showing the store clerk at the time of customer service, calculate the index data of the impression that the customer is likely to receive from the store clerk,
Get data that shows customer buying behavior,
Generating information including the calculated index data of the impression and the acquired data indicating the purchase behavior of the customer in an associated state or an associated state;
Service data processing method including things.
18. Detect customer service behavior
Further including
The calculation of the index data calculates the index data of the impression using the data indicating the store clerk when the detected customer service behavior is performed as the data indicating the store clerk at the time of customer service.
17. Service data processing method described in 1.
19. At least one of the presence / absence of detection of the customer service behavior of the store clerk, the type of the customer service behavior of the detected store clerk, and the content of the detected customer service behavior of the store clerk is the index data of the calculated impression Or generating information associated with the acquired customer purchase behavior data;
Further includes: Service data processing method described in 1.
20. The detection of the customer service behavior is performed by detecting a customer clerk's utterance as a customer service behavior from voice data including a clerk's speech.
The calculation of the index data is based on the detected voice data of the clerk's utterance, brightness, spirit, strength, coolness, politeness, calmness, cuteness, honesty, coldness, fluency, Calculating index data indicating the presence or strength of at least one impression of youth, elegance, and tenderness;
18. Or 19. Service data processing method described in 1.
21. The detection of the customer service behavior is performed by detecting an utterance of a clerk corresponding to a specific expression representing a greeting or a sales talk from the voice data including the utterance of the clerk as the customer service behavior,
The calculation of the index data is based on the detected clerk's utterance voice data, and indicates index data indicating the presence or strength of at least one of brightness, spirit, strength, politeness, and coldness. To calculate,
18. To 20. The customer service data processing method according to any one of the above.
22. The detection of the customer service behavior detects a specific facial expression of a store clerk for a customer as the customer service behavior from image data including a store clerk.
The calculation of the index data is based on image data including a store clerk's facial expression detected as the specific facial expression, and calculates index data of an impression that a customer is expected to receive from the facial expression.
18. To 21. The customer service data processing method according to any one of the above.
23. The detection of the customer service behavior detects a first customer service behavior of a store clerk for a customer,
The calculation of the index data is based on data indicating the second customer service behavior of the store clerk, which is different from the first customer service behavior when the detected first customer service behavior is performed. Calculate the index data of the impression that the customer is expected to receive,
18. To 22. The customer service data processing method according to any one of the above.
24. The calculation of the index data is based on the index of the impression from the data indicating the first customer service behavior of the store clerk and the data indicating the second customer service behavior when the detected first customer service behavior is performed. Calculate the data,
23. Service data processing method described in 1.
25. The acquisition of the data indicating the purchase behavior is at least one of a product purchased by a customer, an amount purchased by the customer, a customer's store stay time, a customer's in-store travel route, a customer's store visit frequency, and a customer's store visit count. As the data indicating the purchase behavior,
17. To 24. The customer service data processing method according to any one of the above.
26. Outputting the index data of the calculated impression and the data indicating the acquired purchase behavior of the customer in a state where they can be associated or in an associated state;
Further includes: To 25. The customer service data processing method according to any one of the above.
27. The calculation of the index data is based on data indicating a store clerk at the time of customer service, and calculates index data of a plurality of impressions indicating the presence or absence or strength of each impression,
17. To 26. The customer service data processing method according to any one of the above.
28. Calculating a correlation coefficient between the calculated index data of the impression and the acquired customer purchase behavior data;
Further includes: To 27. The customer service data processing method according to any one of the above.
29. Based on the calculated correlation coefficient, advice information about customer service is generated.
Further includes: Service data processing method described in 1.
30. Outputting at least one of the generated correlation information and the correlation coefficient calculated for the impression;
Further includes: 29. Service data processing method described in 1.
31. Based on the history information of the customer's location data and the time information corresponding to the calculated index data of the impression, the identification data of the customer estimated to have received the impression is associated with the index data of the impression,
Based on a history of customer position data and time information corresponding to the acquired data indicating the purchase behavior of the customer, associating the identification information of the customer who is the subject of the purchase behavior with the data indicating the purchase behavior,
Further includes: To 30. The customer service data processing method according to any one of the above.
32. Further associates with the calculated impression index data the identification information of the clerk who gave the impression to the customer;
Further includes: Service data processing method described in 1.
33. 17.から32.のいずれか1つに記載の接客データ処理方法を少なくとも一つのコンピュータに実行させるプログラム。 33. 17. To 32. A program that causes at least one computer to execute the service data processing method according to any one of the above.
10,100 接客データ処理装置(処理装置)
11 CPU
12 メモリ
21 第一取得部
22,102 データ取得部
23 第二取得部
24 検出部
25 印象推定部
26,103 生成部
27 分析部
28 助言生成部
29 出力部
30 格納部
101 推定部
10,100 Hospitality data processing device (processing device)
11 CPU
DESCRIPTION OF
Claims (11)
顧客の購買行動を示すデータを取得するデータ取得手段と、
前記算出された印象の指標データ及び前記取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する生成手段と、
前記算出された印象の指標データと前記取得された顧客の購買行動を示すデータとの間の相関係数を算出する分析手段、
前記算出された相関係数と閾値との比較結果に基づき、前記算出された相関係数が第一閾値より高い顧客の購買行動と店員から顧客が受ける印象との組み合わせ、又は、前記算出された相関係数が第二閾値より低い顧客の購買行動と店員から顧客が受ける印象との組み合わせを示す助言情報を生成する助言生成手段、
を備える接客データ処理装置。 An estimation means for extracting feature data from voice data of a store clerk at the time of customer service or image data including the store clerk, and calculating index data of an impression estimated to be received by the customer from the store clerk based on the extracted feature data; ,
Data acquisition means for acquiring data indicating customer purchase behavior;
Generating means for generating information including the calculated index data of the impression and the acquired data indicating the purchase behavior of the customer in an associated state or an associated state;
Analyzing means for calculating a correlation coefficient between the calculated index data of the impression and the acquired data indicating the purchase behavior of the customer;
Based on the comparison result between the calculated correlation coefficient and the threshold value, a combination of the purchase behavior of the customer whose calculated correlation coefficient is higher than the first threshold value and the impression the customer receives from the store clerk, or the calculated Advice generating means for generating advice information indicating a combination of customer purchase behavior with a correlation coefficient lower than the second threshold and customer impressions from the store clerk ,
A customer service data processing apparatus.
を更に備え、
前記推定手段は、接客時の店員を示す前記データとして、前記検出された接客行動が行われた際の前記店員を示すデータを用いて、前記印象の前記指標データを算出する、
請求項1に記載の接客データ処理装置。 A detecting means for detecting the customer service behavior of the store clerk,
Further comprising
The estimating means calculates the index data of the impression using the data indicating the store clerk when the detected customer service behavior is performed as the data indicating the store clerk at the time of customer service,
The service data processing apparatus according to claim 1.
前記推定手段は、発話の音声データの特徴量から、明るさ、元気さ、力強さ、格好よさ、丁寧さ、落ち着き、可愛さ、誠実さ、冷たさ、流暢さ、若さ、上品さ、及び優しさの少なくとも1つの印象の有無又は強さを示す前記指標データを推定する推定モデルに前記検出された店員の発話の音声データから抽出された特徴量を入力することで、前記指標データを算出する、
請求項2に記載の接客データ処理装置。 The detection means detects the clerk's utterance to the customer as the customer service behavior from the voice data including the clerk's utterance,
The estimation means, from the feature amount of speech data of speech , brightness, energy, strength, coolness, politeness, calmness, cuteness, sincerity, coldness, fluency, youth, elegance, And inputting the feature quantity extracted from the speech data of the detected clerk's utterance into the estimation model for estimating the index data indicating the presence or strength of at least one impression of tenderness, thereby obtaining the index data To calculate ,
The service data processing apparatus according to claim 2.
前記推定手段は、人の表情を含む画像データの特徴量から前記指標データを推定する推定モデルに前記特定表情として検出された店員の表情を含む画像データから抽出された特徴量を入力することで、その表情から顧客が受けると推定される印象の指標データを算出する、
請求項2から3のいずれか1項に記載の接客データ処理装置。 The detection means detects, from the image data including the clerk, a specific facial expression of the clerk for the customer as the customer service behavior,
The estimation means is configured to input a feature amount extracted from image data including a store clerk's facial expression detected as the specific facial expression to an estimation model for estimating the index data from a feature amount of image data including a human facial expression. , Calculate the index data of the impression that the customer is likely to receive from the facial expression,
The customer service data processing device according to any one of claims 2 to 3.
前記推定手段は、前記検出された第一接客行動が行われた際における、その第一接客行動とは異なる、前記店員の第二接客行動を示すデータから、その第二接客行動から顧客が受けると推定される印象の指標データを算出する、
請求項2から4のいずれか1項に記載の接客データ処理装置。 The detection means detects the first customer service behavior of the store clerk for the customer,
The estimating means receives the customer from the second customer service behavior based on the data indicating the second customer service behavior of the store clerk, which is different from the first customer service behavior when the detected first customer service behavior is performed. Calculating the estimated impression index data,
The customer service data processing device according to any one of claims 2 to 4.
請求項1から5のいずれか1項に記載の接客データ処理装置。 The data acquisition means indicates the purchase behavior of at least one of a product purchased by a customer, an amount purchased by the customer, a customer's store stay time, a customer's in-store travel route, a customer's store visit frequency, and a customer's store visit count. Obtain as the data,
The customer service data processing apparatus according to any one of claims 1 to 5.
を更に備える請求項1から6のいずれか1項に記載の接客データ処理装置。 An output means for outputting the calculated index data of the impression and the acquired data indicating the purchase behavior of the customer in an associated state or an associated state;
The customer service data processing device according to any one of claims 1 to 6, further comprising:
請求項1から7のいずれか1項に記載の接客データ処理装置。 The estimation means calculates index data of a plurality of impressions respectively indicating the presence or absence or strength of each impression based on data indicating a clerk at the time of customer service.
The customer service data processing apparatus according to any one of claims 1 to 7.
を更に備える請求項1から8のいずれか1項に記載の接客データ処理装置。 Output means for outputting at least one of the generated correlation information and the correlation coefficient calculated for the impression;
The customer service data processing device according to any one of claims 1 to 8 , further comprising:
接客時の店員の発話の音声データ又は店員を含む画像データから特徴量を抽出し、抽出した特徴量に基づいて、その店員から顧客が受けると推定される印象の指標データを算出し、
顧客の購買行動を示すデータを取得し、
前記算出された印象の指標データ及び前記取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成し、
前記算出された印象の指標データと前記取得された顧客の購買行動を示すデータとの間の相関係数を算出し、
前記算出された相関係数と閾値との比較結果に基づき、前記算出された相関係数が第一閾値より高い顧客の購買行動と店員から顧客が受ける印象との組み合わせ、又は、前記算出された相関係数が第二閾値より低い顧客の購買行動と店員から顧客が受ける印象との組み合わせを示す助言情報を生成する、
事を含む接客データ処理方法。 In the service data processing method executed by at least one computer,
Extract feature values from voice data of store clerk at the time of customer service or image data including store clerk, and based on the extracted feature values , calculate index data of impressions that the customer is expected to receive from the store clerk,
Get data that shows customer buying behavior,
Generating information including the calculated index data of the impression and the acquired data indicating the purchase behavior of the customer in an associated state or an associated state ;
Calculating a correlation coefficient between the calculated index data of the impression and the acquired data indicating purchase behavior of the customer;
Based on the comparison result between the calculated correlation coefficient and the threshold value, a combination of the purchase behavior of the customer whose calculated correlation coefficient is higher than the first threshold value and the impression the customer receives from the store clerk, or the calculated Generating advisory information indicating a combination of customer purchasing behavior with a correlation coefficient lower than the second threshold and customer impressions from the store clerk,
Service data processing method including things.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015083921A JP6596899B2 (en) | 2015-04-16 | 2015-04-16 | Service data processing apparatus and service data processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015083921A JP6596899B2 (en) | 2015-04-16 | 2015-04-16 | Service data processing apparatus and service data processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016206736A JP2016206736A (en) | 2016-12-08 |
JP6596899B2 true JP6596899B2 (en) | 2019-10-30 |
Family
ID=57489665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015083921A Active JP6596899B2 (en) | 2015-04-16 | 2015-04-16 | Service data processing apparatus and service data processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6596899B2 (en) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101893588B1 (en) * | 2017-04-20 | 2018-10-29 | 에이치디에스 주식회사 | Smart Teacher System for Comprising Workers-Managing Function which Includes Attendence Management and Managing Method thereof |
JP6397089B1 (en) * | 2017-07-12 | 2018-09-26 | ヤフー株式会社 | Providing device, providing method, and providing program |
JP2019070934A (en) * | 2017-10-06 | 2019-05-09 | 東芝デジタルソリューションズ株式会社 | Video processing apparatus, video processing method and program |
JP6995871B2 (en) * | 2017-10-06 | 2022-01-17 | 株式会社東芝 | Service provision systems, methods and programs |
JP6723543B2 (en) * | 2018-05-30 | 2020-07-15 | 株式会社エクサウィザーズ | Coaching support device and program |
JP7085448B2 (en) * | 2018-09-28 | 2022-06-16 | 株式会社Nttドコモ | Performance forecast method, performance forecast program and performance forecast device |
JP2020184252A (en) * | 2019-05-09 | 2020-11-12 | パナソニックIpマネジメント株式会社 | Stress estimation system |
JP6620292B1 (en) * | 2019-05-22 | 2019-12-18 | 株式会社セオン | Facility evaluation system |
JP7336292B2 (en) * | 2019-07-25 | 2023-08-31 | 株式会社第一興商 | karaoke device |
JP6815667B1 (en) * | 2019-11-15 | 2021-01-20 | 株式会社Patic Trust | Information processing equipment, information processing methods, programs and camera systems |
CN111242535B (en) * | 2020-01-07 | 2023-04-07 | 贵阳货车帮科技有限公司 | Transportation route pushing method and device, electronic equipment and readable storage medium |
JP6994722B2 (en) * | 2020-03-10 | 2022-01-14 | 株式会社エクサウィザーズ | Coaching support equipment and programs |
WO2023119672A1 (en) * | 2021-12-24 | 2023-06-29 | 日本電信電話株式会社 | Inference method, inference device, and inference program |
WO2023119658A1 (en) * | 2021-12-24 | 2023-06-29 | 日本電信電話株式会社 | Inference method, inference device, and inference program |
WO2023119671A1 (en) * | 2021-12-24 | 2023-06-29 | 日本電信電話株式会社 | Estimation method, estimation device, and estimation program |
JP7276535B1 (en) | 2022-02-22 | 2023-05-18 | 富士通株式会社 | Information processing program, information processing method, and information processing apparatus |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005275814A (en) * | 2004-03-24 | 2005-10-06 | Yasumi Matsumoto | Worker evaluation system, method and program |
JP4948368B2 (en) * | 2007-11-15 | 2012-06-06 | 東芝テック株式会社 | Product sales data processing device |
JP2011221683A (en) * | 2010-04-07 | 2011-11-04 | Seiko Epson Corp | Customer service support device, customer service support method, and program |
US20110282662A1 (en) * | 2010-05-11 | 2011-11-17 | Seiko Epson Corporation | Customer Service Data Recording Device, Customer Service Data Recording Method, and Recording Medium |
JP6082564B2 (en) * | 2012-10-16 | 2017-02-15 | 株式会社日立製作所 | Data integration analysis system |
EP2982421A1 (en) * | 2013-04-02 | 2016-02-10 | NEC Solution Innovators, Ltd. | Facial-expression assessment device, dance assessment device, karaoke device, and game device |
-
2015
- 2015-04-16 JP JP2015083921A patent/JP6596899B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016206736A (en) | 2016-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6596899B2 (en) | Service data processing apparatus and service data processing method | |
US11341515B2 (en) | Systems and methods for sensor data analysis through machine learning | |
JP5855290B2 (en) | Service evaluation device, service evaluation system, and service evaluation method | |
US8577087B2 (en) | Adjusting a consumer experience based on a 3D captured image stream of a consumer response | |
US20190147228A1 (en) | System and method for human emotion and identity detection | |
US20140019199A1 (en) | Automatically evaluating customer satisfaction | |
JP2019510291A (en) | A method of supporting transactions using a humanoid robot | |
US20170364854A1 (en) | Information processing device, conduct evaluation method, and program storage medium | |
JP5477153B2 (en) | Service data recording apparatus, service data recording method and program | |
CN108846724A (en) | Data analysing method and system | |
JP2012088878A (en) | Customer special treatment management system | |
JP2011210133A (en) | Satisfaction degree calculation method, satisfaction degree calculation device and program | |
KR20190113245A (en) | Method of providing a service using a face information | |
US20180150882A1 (en) | Systems and Methods for Use in Determining Consumer Interest in Products Based on Intensities of Facial Expressions | |
US20140278745A1 (en) | Systems and methods for providing retail process analytics information based on physiological indicator data | |
JP2011237966A (en) | Customer service support device, customer service support method and program | |
JP2024103810A (en) | Information processing system, customer identification device, information processing method and program | |
CN113887884A (en) | Business-super service system | |
WO2022142899A1 (en) | Store sales data analysis method, apparatus, electronic device, and storage medium | |
KR102337502B1 (en) | Method and apparatus for detecting abnormal product reviews online | |
JP2021168073A (en) | Behavior management device, behavior management program, behavior management system, and behavior analysis device | |
JP2016024601A (en) | Information processing apparatus, information processing system, information processing method, commodity recommendation method, and program | |
KR20200103144A (en) | Marketing campaign platform based in big-data by customer's pattern | |
WO2022201339A1 (en) | Price management system, price management method, and recording medium | |
US20240185323A1 (en) | Retail assistance system for assisting customers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190916 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6596899 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |