JP6110283B2 - 共感反感箇所検出装置、共感反感箇所検出方法及びプログラム - Google Patents

Description

この発明は、対話において対話者が持つ共感もしくは反感といった感情状態の変化を検出する技術に関する。

従来から電話等を用いた音声対話において対話者が持つ共感もしくは反感といった感情状態を検出する技術が利用されている。例えば、特許文献１には、コールセンタにおけるオペレータの顧客に対する応対を自動的に評点し、オペレータ教育の負担を軽減する発明が記載されている。

特許文献１に記載の発明では、具体的には以下のように感情状態を検出する。まず、入力された顧客の音声信号から音声特徴量を検出する。次に、あらかじめ定義された複数の感情のそれぞれをモデル化した感情モデル集合と音声特徴量の時系列的なマッチングを取ることで、１コールごとの感情系列を生成する。次に、複数の感情のそれぞれと感情点数を対応させた感情点数リストを用いて、感情系列の各感情を感情点数に変換する。そして、感情点数の系列をもとに応対終了時の感情点数から応対開始時の感情点数を減算した値や１コールにおける感情点数の平均値などを応対評点として算出する。

特開２００７−２８６３７７号公報

特許文献１に記載された従来の技術は、顧客側の感情を事前にモデル化した上でコールセンタにおけるオペレータとの対話で生じる顧客の感情を数値化し、その数値をもとにオペレータの応対評価を自動で実行する技術である。この従来技術は、オペレータの教育や業務効率の向上といったコスト削減などのメリットが見込めるが、直接的に売り上げを向上させる目的では利用することができない。例えば、顧客とオペレータとの対話において顧客の感情状態が変化した箇所を検出することができれば、その箇所の対話内容を把握することでサービスや商品の改善ポイントを推定することができると考えられる。

この発明の目的は、対話者の感情状態が変化した箇所を検出することである。

上記の課題を解決するために、この発明の共感反感箇所検出装置は、感情モデル記憶部、対話音声分析部、感情スコア計算部、共感反感箇所推定スコア計算部及び共感反感箇所推定部を含む。感情モデル記憶部は、あらかじめ定義された複数の感情スコアをそれぞれモデル化した感情モデル集合を記憶する。対話音声分析部は、入力された音声信号からフレームごとに音響特徴量を抽出する。感情スコア計算部は、音響特徴量から感情モデル集合を用いてフレームごとに感情スコアを計算する。共感反感箇所推定スコア計算部は、感情スコアに基づいてフレームごとに共感反感箇所推定スコアを計算する。共感反感箇所推定部は、共感反感箇所推定スコアに基づいて感情状態が変化したフレームである共感反感箇所を推定する。

この発明の共感反感箇所検出技術によれば、対話者の感情状態が変化した箇所を検出することができる。また、この技術を応用すれば、対話者に感情状態の変化をもたらした対話内容を把握することができる。

図１は、感情スコアと共感反感箇所推定スコアと共感反感箇所の関係を説明するための図である。 図２は、共感反感箇所検出装置の機能構成を例示する図である。 図３は、共感反感箇所検出方法の処理フローを例示する図である。

以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

［発明のポイント］
この発明では、例えばコールセンタ等の利用シーンにおいて取得できる情報（例えば、音声情報や対話情報等）から顧客の感情の時間変化を推定した上で、その時系列変化パターンに着目し、どのオペレータ発話に顧客が共感もしくは反感したのかを推定する。

この発明では、例えばコールセンタ等の状況下において、顧客が発話した音声情報もしくは顧客とオペレータとの対話情報等から従来技術を用いて顧客の感情状態を推定する。感情種別は、「Positive（例えば、快、喜び、楽しみ等）」から「Negative（例えば、不快、怒り、悲しみ等）」まであり、あらかじめ定めた感情スコアとして算出する。例えば、５〜−５までの整数値をスコアとして設けるとする。この場合には、出力スコアが５であれば確実に「Positive」な感情状態である。出力スコアが０であれば「Positive」なのか「Negative」なのかを判断できない曖昧な感情状態である。出力スコアが−５であれば確実に「Negative」な感情状態である。

特徴量計算における計算窓をシフトさせていくことで、時系列変化パターンを得る事ができる。さらに、各特徴量から感情スコアを計算することで感情状態の時系列変化パターンを得る事ができる。顧客の感情状態の時系列変化パターンを用いて、オペレータ発話のどの箇所に共感もしくは反感したのかを感情状態が変化した箇所から推定することができる。例えば、推定された感情スコアが５から−５に変化した前後のオペレータ発話は、顧客を不快（すなわち、反感状態）にさせる発話がなされたと推定される。また逆に、例えば、感情スコアが−５から５に変化した前後のオペレータ発話は、顧客を快（すなわち、共感状態）にさせる発話がなされたと推定される。このように、ある一定時区間内で一定量以上のスコア変動が発生した場合のオペレータ発話を収集することで、顧客がどのキーワードに反応して共感もしくは反感したのかを推定することができる。特に、このキーワードをカウントすることで共感もしくは反感した際に頻出する単語を選出する事ができる。例えば、「お値段」というキーワードで顧客が反感する事が多いようであれば、金額が高いという部分が顧客を不快にさせたのだと推測することが可能になる。しかし逆に、「お値段」というキーワードに対して共感する事が多いようであれば、金額が思いの外安いと顧客にとって感じられたのだと推測される。

図１に、この発明で用いる感情スコア及び共感反感箇所推定スコアと共感反感箇所の関係を示す。横軸は対話における開始からの経過時間を表し、縦軸は感情スコアを表す。感情スコアは対話音声のフレームごとに推定され、時間の経過と共に変動する。感情スコアに基づいて求める共感反感箇所推定スコアが大きく変動する箇所があれば、対話者の感情状態に変化があったことを表していると推定できる。この共感反感箇所推定スコアが大きく変動する箇所を共感反感箇所として推定する。

［実施形態］
図２を参照して、実施形態に係る共感反感箇所検出装置１の機能構成の一例を説明する。共感反感箇所検出装置１は、入力端子１０、閾値入力部１１、音声信号取得部１２、対話音声分析部１３、音声認識部１４、形態素解析部１５、感情モデル学習部１６、感情スコア計算部１７、共感反感箇所推定スコア計算部１８、共感反感箇所推定部１９、共感反感単語集計部２０、感情モデル記憶部９１及び共感反感単語記憶部９２を含む。共感反感箇所検出装置１は、例えば、中央演算処理装置（Central Processing Unit、CPU）、主記憶装置（Random Access Memory、RAM）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。共感反感箇所検出装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。共感反感箇所検出装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。共感反感箇所検出装置１が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。共感反感箇所検出装置１が備える各記憶部は、それぞれ論理的に分割されていればよく、一つの物理的な記憶装置に記憶されていてもよい。

図３を参照しながら、実施形態に係る共感反感箇所検出装置１が実行する共感反感箇所検出方法の処理フローの一例を、実際に行われる手続きの順に従って説明する。

ステップＳ１１において、閾値入力部１１には、共感反感箇所推定部１９が利用する感情スコア変分閾値が入力される。感情スコア変分閾値の詳細は後述する。入力された感情スコア変分閾値は共感反感箇所推定部１９に設定される。感情スコア変分閾値は共感反感箇所推定部１９にあらかじめ設定されていてもよく、必ずしも外部から入力されなくともよい。その場合には、閾値入力部１１を省略してもよい。

ステップＳ１２において、音声信号取得部１２は、入力端子１０より入力されるアナログの音声信号を音声ディジタル信号に変換する。音声信号は既存のいかなる手段により取得してもよく、例えば、入力端子１０に接続したマイクロホンにより取得して入力してもよいし、ICレコーダ等の録音機器を用いてあらかじめ収録した音声信号を入力端子１０に接続して入力してもよい。音声信号取得部１２により変換された音声ディジタル信号は対話音声分析部１３及び音声認識部１４に入力される。

ステップＳ１３において、対話音声分析部１３は、入力された音声ディジタル信号から音響特徴量を抽出する。抽出された音響特徴量は感情モデル学習部１６及び感情スコア計算部１７へ入力される。

抽出する音響特徴量としては、例えば、メル周波数ケプストラム係数（Mel-Frequency Cepstrum Coefficient、MFCC）の1〜12次元と、その変化量であるΔMFCC、ΔΔMFCCなどの動的パラメータや、パワーと、その変化量であるΔパワー及びΔΔパワーなどを用いる。ここで、ケプストラム平均正規化（Cepstral Mean Normalization、CMN）処理を行ってもよい。音響特徴量は、MFCCやパワーに限定したものでは無く、音声認識に用いられるパラメータや発話区間情報を用いることができる。また、このときに用いる計算窓は30ミリ秒程度とし、計算窓シフトは10ミリ秒程度で実行すればよい。

ステップＳ１４において、音声認識部１４は、入力された音声ディジタル信号に対して音声認識処理を行い、認識結果を生成する。音声認識の方法は既存の音声認識技術であれば任意に適用することができる。生成された認識結果は形態素解析部１５へ入力される。

ステップＳ１５において、形態素解析部１５は、入力された認識結果を形態素解析する。形態素解析の方法は既存の形態素解析技術であれば任意に適用することができる。生成された形態素解析結果は共感反感単語集計部２０へ入力される。

ステップＳ１６において、感情モデル学習部１６は、入力された音響特徴量を用いて感情モデルを学習する。感情モデルは、例えば、音声認識の分野で汎用される確率統計理論に基づいてモデル化された多次元混合正規分布（Gaussian Mixture Model、GMM）で表現することができる。GMMの詳細については、例えば、「D.A. Reynolds, R. C. Rose， “Robust Text-Independent speaker Identification using Gaussian mixture speaker models”， IEEE Trans. Speech Audio Process., vol. 3, no. 1, pp. 72-83, Jan. 1995.」を参照されたい。例えば、「Positive（３）」から「Negative（−３）」まで整数の感情スコアを定義した場合、７個の感情モデルを生成することになる。感情モデルの学習方法の詳細は、特許文献１を参照されたい。各感情スコアに対応する感情モデルの集合は、感情モデル記憶部９１へ記憶される。

ステップＳ１７において、感情スコア計算部１７は、入力された音響特徴量と感情モデル記憶部９１に記憶されている感情モデル集合とのマッチングを行い、最も適当な感情スコアを計算する。具体的には、入力された音響特徴量と感情モデル集合に含まれる各感情モデルとの尤度計算をそれぞれ行う。感情スコアの計算方法の詳細は、特許文献１を参照されたい。計算した感情スコアは、共感反感箇所推定スコア計算部１８へ入力される。

ステップＳ１８において、共感反感箇所推定スコア計算部１８は、入力された感情スコアから共感反感箇所推定スコアを計算する。計算した共感反感箇所推定スコアは共感反感箇所推定部１９へ入力される。共感反感箇所推定スコアの計算方法は、例えば以下に挙げる二通りの方法がある。

一番目の方法は、当該フレームの感情スコアと直前のフレームの感情スコアとの差分を当該フレームの共感反感箇所推定スコアとする方法である。具体的には、N+1フレーム目の感情スコアからNフレーム目の感情スコアを減算した値を、N+1フレーム目の共感反感箇所推定スコアとする。

二番目の方法は、当該フレームより前の複数のフレームの感情スコアから計算した尤度と当該フレームの事後分布とを用いて当該フレームの共感反感箇所推定スコアを計算する方法である。具体的には、機械学習を用いてN+1フレーム目の感情スコアを予測した上で、その予測した感情スコアからN+1フレーム目の実際の感情スコアを減算した値を、N+1フレーム目の共感反感箇所推定スコアとする。ここで述べている機械学習とは、例えばベイズ線形回帰等が挙げられる。つまり、事前にいくつかの学習データからベイズ線形回帰の事前分布のパラメータを推定しておき、Nフレーム目までの感情スコアから尤度を計算し、N+1フレーム目の事後分布を求め、事後確率最大化基準などを用いてN+1フレーム目の感情スコアの予測値を算出する。より詳しい計算方法については、「C.M.ビショップ、『パターン認識と機械学習 下 - ベイズ理論による統計的予測』、丸善出版、pp. 151〜159」を参照されたい。

ステップＳ１９において、共感反感箇所推定部１９は、共感反感箇所推定スコアに基づいて感情状態が変化したフレームである共感反感箇所を推定する。感情状態が変化したかどうかの判断は、閾値入力部１１により設定された感情スコア変分閾値と比較することにより行う。すなわち、共感反感箇所推定スコアが感情スコア変分閾値を超えた場合、そのフレームを共感反感箇所として推定する。推定された共感反感箇所は共感反感単語集計部２０へ入力される。

ステップＳ２０において、共感反感単語集計部２０は、形態素解析部１５より入力された形態素解析済みの認識結果から共感反感箇所で発話された単語を抽出し、各単語の出現回数を集計する。以降では、抽出された単語を共感反感単語と呼ぶ。共感反感単語の集計結果は共感反感単語記憶部９２へ記憶される。

具体的には、顧客の共感反感箇所に対応するオペレータ発話文の形態素解析結果を用いて、顧客が共感もしくは反感した際にオペレータが発した単語（形態素）をカウントし、その共感反感単語と、その累計値を出力する。この際、共感反感単語は品詞別にカウントされる。

すべて単純に累計値を出力する以外にも、例えばコールセンタであれば「センタ毎（例えば、故障受付、契約受付等）」「時期毎（例えば、四半期毎、特定の期間等）」「オペレータ毎」「コールセンタ設置地域毎」等、様々な条件を付与して累計しておくことで、より詳細な分析を可能にする。すなわち、新商品や新サービスが登場した数日間の共感反感単語を閲覧することで、その新商品や新サービスの改善ポイントを把握する事ができる。

共感反感単語は品詞別に集計しているため、名詞によるキーワードだけでなく言い回しも抽出できる。例えばオペレータがある言い回しをすることで頻繁に顧客が反感するようであれば、その言い回しを異なる言い回しで代用するようにオペレータを指導するなどの業務改善に役立てることができる。

共感反感単語集計部２０は、集計した単語や言い回しそのものだけでなく、その単語や言い回しを含む発話を出力するように構成してもよい。また、その単語や言い回しを含む発話の前後に続く複数発話をまとめて出力するように構成してもよい。

コールセンタ等での利用を想定した場合には、毎日大量の通話が発生するため、上述の処理内容を一日一回程度定期的に実行することとし、すでに共感反感単語記憶部９２に記憶されている共感反感単語の集計値に加算するように構成するとよいであろう。

このように、この実施形態の共感反感箇所検出装置は、対話者の感情状態が変化した箇所を検出し、感情状態の変化を招いた発話内容を把握できる。そのため、より直接的に売り上げの向上に繋がる情報の収集に活用することができる。

この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

１ 共感反感箇所検出装置
１０ 入力端子
１１ 閾値入力部
１２ 音声信号取得部
１３ 対話音声分析部
１４ 音声認識部
１５ 形態素解析部
１６ 感情モデル学習部
１７ 感情スコア計算部
１８ 共感反感箇所推定スコア計算部
１９ 共感反感箇所推定部
２０ 共感反感単語集計部
９１ 感情モデル記憶部
９２ 共感反感単語記憶部

Claims (8)

1. あらかじめ定義された複数の感情スコアをそれぞれモデル化した感情モデル集合を記憶する感情モデル記憶部と、
   入力された音声信号からフレームごとに音響特徴量を抽出する対話音声分析部と、
   上記音響特徴量から上記感情モデル集合を用いてフレームごとに感情スコアを計算する感情スコア計算部と、
   上記感情スコアに基づいてフレームごとに共感反感箇所推定スコアを計算する共感反感箇所推定スコア計算部と、
   上記共感反感箇所推定スコアに基づいて感情状態が変化したフレームである共感反感箇所を推定する共感反感箇所推定部と、
   を含む共感反感箇所検出装置。
2. 請求項１に記載の共感反感箇所検出装置であって、
   上記音声信号を音声認識した認識結果を生成する音声認識部と、
   上記認識結果を形態素解析した解析結果を生成する形態素解析部と、
   上記解析結果から上記共感反感箇所で発話された単語を抽出し、各単語の出現回数を集計する共感反感単語集計部と、
   をさらに含む共感反感箇所検出装置。
3. 請求項１または２に記載の共感反感箇所検出装置であって、
   上記音響特徴量を用いて上記感情モデルを学習する感情モデル学習部
   をさらに含む共感反感箇所検出装置。
4. 請求項１から３のいずれかに記載の共感反感箇所検出装置であって、
   上記共感反感箇所推定部は、上記共感反感箇所推定スコアがあらかじめ定めた感情スコア変分閾値を超えるフレームを上記共感反感箇所として推定するものである
   共感反感箇所検出装置。
5. 請求項１から４のいずれかに記載の共感反感箇所検出装置であって、
   上記共感反感箇所推定スコア計算部は、当該フレームの感情スコアと直前のフレームの感情スコアとの差分を当該フレームの上記共感反感箇所推定スコアとするものである
   共感反感箇所検出装置。
6. 請求項１から４のいずれかに記載の共感反感箇所検出装置であって、
   上記共感反感箇所推定スコア計算部は、当該フレームより前の複数のフレームの感情スコアから計算した尤度と当該フレームの事後分布とを用いて当該フレームの上記共感反感箇所推定スコアを計算するものである
   共感反感箇所検出装置。
7. 対話音声分析部が、入力された音声信号からフレームごとに音響特徴量を抽出する対話音声分析ステップと、
   感情スコア計算部が、上記音響特徴量からあらかじめ定義された複数の感情スコアをそれぞれモデル化した感情モデル集合を用いてフレームごとに感情スコアを計算する感情スコア計算ステップと、
   共感反感箇所推定スコア計算部が、上記感情スコアに基づいてフレームごとに共感反感箇所推定スコアを計算する共感反感箇所推定スコア計算ステップと、
   共感反感箇所推定部が、上記共感反感箇所推定スコアに基づいて感情状態が変化したフレームである共感反感箇所を推定する共感反感箇所推定ステップと、
   を含む共感反感箇所検出方法。
8. 請求項１から６のいずれかに記載の共感反感箇所検出装置としてコンピュータを機能させるためのプログラム。

Images