JP6859283B2 - 好感度推定装置、好感度推定方法、プログラム - Google Patents

Description

本発明は、発話音声から話者の好感度を推定する技術に関する。

近年、企業と顧客とのコミュニケーション手段が増え、顧客満足度や企業イメージが益々重要視されてきている。顧客満足度等の向上のために、顧客の要望や感想を直接聞くことができるコールセンターや店頭の窓口でも顧客への応対品質の向上が必要とされている。

顧客満足度等の向上のためには、コールセンターのオペレータや店頭の窓口の店員の好感度が重要な要素の一つとなる。好感度が推定できるようになると、オペレータ・店員の応対品質の評価、優良事例の検索、オペレータ・店員の教育などに利用することができ、コールセンター・店頭の窓口での応対品質の向上に応用することができる。

従来の好感度推定では、F0などの音響特徴量の平均・分散・中央値・幅等の統計量を求めて、好感度を推定していた（非特許文献１）。

B. Schuller, S. Steidl, A. Batliner, E. Noth, A. Vinciarelli, F. Burkhardt, R. v. Son, F. Weninger, F. Eyben, T. Bocklet, G. Mohammadi, B. Weiss, "The INTERSPEECH 2012 Speaker Trait Challenge", in Proc. Interspeech 2012, ISCA, Portland, OR, USA, 2012.

しかし、実際のコールセンター・店頭の窓口での応対では、自然なF0の変動だけではなく、相槌の入れ方、敬語の使い方、語尾の明瞭性などその他の特徴も好感度に影響を与えるが、好感度の推定においてこれらの特徴についてはこれまで考慮されてこなかった。

そこで本発明では、F0の変動以外の発話音声の特徴を考慮して好感度を推定する好感度推定技術を提供することを目的とする。

本発明の一態様は、発話音声から、前記発話音声の特徴量を生成する発話音声特徴量生成部と、発話音声の特徴量と話者の好感度との関連性に基づいて、前記特徴量から、前記発話音声の話者の好感度を推定する好感度推定部とを含む。

本発明によれば、F0の変動以外の発話音声の特徴を考慮して好感度を推定することが可能となる。

有声休止頻度と好感度の関係の一例を示す図。 好感度推定装置１００の構成の一例を示すブロック図。 好感度推定装置１００の動作の一例を示すフローチャート。 F0情報の一例を示す図。 好感度推定装置２００の構成の一例を示すブロック図。 好感度推定装置２００の動作の一例を示すフローチャート。 音声認識結果の一例を示す図。 好感度推定装置３００の構成の一例を示すブロック図。 好感度推定装置３００の動作の一例を示すフローチャート。 好感度推定装置４００の構成の一例を示すブロック図。 好感度推定装置４００の動作の一例を示すフローチャート。 好感度推定装置５００の構成の一例を示すブロック図。 好感度推定装置５００の動作の一例を示すフローチャート。 音声区間検出結果の一例を示す図。 好感度推定装置６００の構成の一例を示すブロック図。 好感度推定装置６００の動作の一例を示すフローチャート。 キーワード頻度と好感度の関係の一例を示す図。 好感度推定装置７００の構成の一例を示すブロック図。 好感度推定装置７００の動作の一例を示すフローチャート。 各分割区間におけるキーワード頻度のP値の一例を示す図。 好感度推定装置８００／８０１の構成の一例を示すブロック図。 好感度推定装置８００／８０１の動作の一例を示すフローチャート。 好感度推定装置９００の構成の一例を示すブロック図。 好感度推定装置９００の動作の一例を示すフローチャート。 好感度推定装置１０００の構成の一例を示すブロック図。 好感度推定装置１０００の動作の一例を示すフローチャート。 好感度推定装置１１００の構成の一例を示すブロック図。 好感度推定装置１１００の動作の一例を示すフローチャート。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

＜第１実施形態＞
有声休止とは、発話中に会話の発言権を維持するために、「あのー」、「えーと」のようなフィラーや単語内の音の伸びとして現れる現象である。この有声休止の頻度と好感度の高い通話・低い通話の関係を分析したところ、図１に示すように差があった。そこで、本実施形態では、発話音声に現れる有声休止の頻度に基づいて好感度を推定する。

以下、図２〜図３を参照して好感度推定装置１００について説明する。図２は、好感度推定装置１００の構成を示すブロック図である。図３は、好感度推定装置１００の動作を示すフローチャートである。図２に示すように好感度推定装置１００は、F0情報抽出部１１０、有声休止判定部１２０、第１判定結果集計部１３０、好感度推定部１４０、記録部１９０を含む。記録部１９０は、好感度推定装置１００の処理に必要な情報を適宜記録する構成部である。

好感度推定装置１００は、好感度推定に際して、好感度推定モデル１８０を読み込み、処理を実行する。なお、好感度推定モデル１８０は、図２のように外部の記録部に記録するよう構成してもよいし、記録部１９０に記録するよう構成してもよい。

好感度推定装置１００は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者に対する好感度を推定し、出力する。発話音声s(t)は、単位時間毎にサンプリングされた音声信号であり、例えば、事前に収録されたオペレータや店員の発話音声である。

図３に従い好感度推定装置１００の動作について説明する。F0情報抽出部１１０は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)を分割したフレーム毎にF0情報f(i)（i=0, 1, 2, …, I、iはフレーム番号を表す）を抽出する（Ｓ１１０）。F0情報の抽出にはどのような方法を用いてもよい。F0情報f(i)（i=0, 1, 2, …, I）は、ある一定の単位時間（例えば10ms）間隔で抽出された、フレームiにおける声の高さの特徴量である。図４は、抽出したF0情報の一例を示す。

有声休止判定部１２０は、Ｓ１１０で抽出したF0情報f(i)（i=0, 1, 2, …, I）から、有声休止判定結果V(i)（i=0, 1, 2, …, I）を生成する（Ｓ１２０）。有声休止判定結果V(i)はフレームごとに生成されるものであり、フレームiから有声休止が検出される場合はV(i)=1、フレームiから有声休止が検出されない場合はV(i)=0とする。有声休止の検出には、例えば、参考非特許文献１を用いることができる。ここではF0の変化が一定時間ないものを有声休止として検出している。また、参考非特許文献１に記載があるように、F0およびスペクトルの変化が一定時間ないものを有声休止として検出してもよい。
（参考非特許文献１：後藤真孝，伊藤克亘，速水悟，“自然発話中の有声休止箇所のリアルタイム検出システム”，電子情報通信学会論文誌D-2，J83-D-2, No.11, pp.2330-2340, 2000.）

第１判定結果集計部１３０は、Ｓ１２０で生成した有声休止判定結果V(i)（i=0, 1, 2, …, I）から、発話音声s(t)の特徴量である有声休止頻度p_vを計算する（Ｓ１３０）。有声休止頻度p_vは、発話音声において単位時間あたり有声休止がどの程度発生するかを示す値（つまり、発話音声における単位時間あたりの有声休止の発生回数）である。有声休止頻度p_vは、例えば、次式で計算することができる。

ただし、Iは発話音声s(t)から生成されたフレーム数である。

なお、F0情報抽出部１１０、有声休止判定部１２０、第１判定結果集計部１３０を含む構成部を発話音声特徴量生成部１０５という（図２参照）。したがって、発話音声特徴量生成部１０５は、Ｓ１１０からＳ１３０までの処理を実行する。すなわち、発話音声特徴量生成部１０５は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)の特徴量である有声休止頻度p_vを生成する（Ｓ１０５）。

好感度推定部１４０は、好感度推定モデル１８０を用いて、Ｓ１３０で計算した有声休止頻度p_vから、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ１４０）。好感度推定モデル１８０は、発話音声の特徴量である有声休止頻度を入力とし、話者の好感度を出力するものである。つまり、好感度推定モデル１８０は有声休止頻度と好感度との関連性を示すものである。

好感度推定モデルは、例えば、サポートベクターマシン（SVM: Support Vector Machine）、ランダムフォレスト（Random Forest）、ニューラルネットワークなどの機械学習により生成する。具体的には、まず、好感度の高さが事前に分かっている音声信号から求めた特徴量（ここでは、有声休止頻度）と当該音声信号の好感度の高さを示す情報（正解ラベル）の組の集合を学習用データとして用意しておく。次に、この学習用データを用いて、特徴量を入力として好感度推定モデルを用いて好感度を推定し、推定結果である好感度と正解ラベルの好感度の誤差が小さくなるように好感度推定モデルのパラメータを更新する。なお、好感度推定モデルの学習開始時には、好感度推定モデルのパラメータとして適当な初期値を与えるものとする。そして、所定の条件を満たすことをもってパラメータの更新（つまり、学習）を終了する。なお、正解ラベルは、高／低の２段階でもよいし、好感度を３段階以上のランクに分けたものであってもよい。

（変形例）
好感度推定部１４０は、好感度推定モデル１８０を用いて好感度を推定したが、好感度推定モデル１８０の代わりに、機械学習以外の方法で取得した、発話音声の特徴量と話者の好感度との関連性に基づいて好感度を推定するようにしてもよい。つまり、好感度推定部１４０は、有声休止頻度と好感度との関連性に基づいて、Ｓ１３０で計算した有声休止頻度p_vから、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ１４０）。この場合、有声休止頻度と好感度との関連性は図１で説明した知見に基づいて生成することができる。例えば、有声休止頻度が所定の第１の閾値以下である場合、好感度が高いと推定し、有声休止頻度が所定の第２の閾値以上である場合、好感度が低いと推定し、それ以外の場合は好感度が中程度と推定するように関連性を定めることができる。

以上まとめると、発話音声の特徴量として発話音声に現れる有声休止の頻度を用いる場合、好感度推定モデルを含む関連性は、有声休止の頻度が小さい場合の方が大きい場合よりも話者の好感度が高いことを示すものとなる。

本発明によれば、F0の変動以外の発話音声の特徴を考慮して好感度を推定することが可能となる。これにより、より的確にコールセンターや店頭の窓口における応対の好感度を推定できるようになる。

＜第２実施形態＞
コールセンターや店頭の窓口において顧客の発話に対して適切に相槌を打つことは、好感度に影響する、つまり、適切な相槌で応対された場合は、好感度が高くなると考えられる。そこで、本実施形態では、発話音声に現れる話者による相槌の頻度に基づいて、好感度を推定する。

以下、図５〜図６を参照して好感度推定装置２００について説明する。図５は、好感度推定装置２００の構成を示すブロック図である。図６は、好感度推定装置２００の動作を示すフローチャートである。図５に示すように好感度推定装置２００は、音声認識部２１０、第１相槌頻度計算部２３０、好感度推定部２４０、記録部２９０を含む。記録部２９０は、好感度推定装置２００の処理に必要な情報を適宜記録する構成部である。

好感度推定装置２００は、好感度推定に際して、好感度推定モデル２８０と相槌辞書２８５を読み込み、処理を実行する。なお、好感度推定モデル２８０や相槌辞書２８５は、図５のように外部の記録部に記録するよう構成してもよいし、記録部２９０に記録するよう構成してもよい。

好感度推定装置２００は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者に対する好感度を推定し、出力する。

図６に従い好感度推定装置２００の動作について説明する。音声認識部２１０は、発話音声s(t)（t=0, 1, 2, …, T）から、当該発話音声s(t)に含まれる発話区間毎の音声認識結果W(j)（j=1, 2, …,J、jは発話区間番号を表す）を生成する（Ｓ２１０）。ここで、音声認識結果W(j)は、発話音声s(t)から所定の方法により検出した発話区間の音声認識結果である。音声認識には、どのような方法を用いてもよいが、図７に示すように、発話区間jの単語認識結果w(j)、単語開始時刻Ts(j)、単語終了時刻Te(j)の組を音声認識結果W(j)とする。なお、発話音声s(t)の開始時刻を0秒として、各発話区間の単語開始時刻と単語終了時刻を表示している。換言すると、音声認識部２１０は、発話音声s(t)（t=0, 1, 2, …, T）から、当該発話音声s(t)に含まれる発話区間毎の単語認識結果w(j)、単語開始時刻s(j)、単語終了時刻e(j)の組（j=1, 2, …,J）を生成する（Ｓ２１０）。

第１相槌頻度計算部２３０は、相槌辞書２８５を用いて、Ｓ２１０で生成した音声認識結果W(j)（つまり、単語認識結果w(j)、単語開始時刻Ts(j)、単語終了時刻Te(j)の組）（j=1, 2, …, J）から、発話音声s(t)の特徴量である相槌頻度p_aを計算する（Ｓ２３０）。相槌辞書２８５は、「はい」、「そうなんですか」などの相槌となる単語を記憶したものである。以下、相槌辞書２８５をUとする。相槌辞書Uを参照して、単語認識結果w(j)（j=1, 2, …, J）のうち、相槌辞書Uに含まれる単語の数をカウントする。そして、カウントした単語の数を発話音声s(t)の発話時間の長さで割ることにより、相槌頻度p_aを求める。つまり、次式で計算する。ここで、発話音声s(t)の発話時間の長さは、最後の単語終了時刻Te(J)と等しいため、Te(J)で割っている。

なお、音声認識部２１０、第１相槌頻度計算部２３０を含む構成部を発話音声特徴量生成部２０５という（図５参照）。したがって、発話音声特徴量生成部２０５は、Ｓ２１０からＳ２３０までの処理を実行する。すなわち、発話音声特徴量生成部２０５は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)の特徴量である相槌頻度p_aを生成する（Ｓ２０５）。

好感度推定部２４０は、好感度推定モデル２８０を用いて、Ｓ２３０で計算した相槌頻度p_aから、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ２４０）。好感度推定モデル２８０は、発話音声の特徴量である相槌頻度を入力とし、話者の好感度を出力するものである。つまり、好感度推定モデル２８０は相槌頻度と好感度との関連性を示すものである。なお、好感度推定モデル２８０の学習方法は、第１実施形態と同様でよい。

（変形例）
好感度推定部２４０は、好感度推定モデル２８０を用いて好感度を推定したが、好感度推定モデル２８０の代わりに、機械学習以外の方法で取得した、発話音声の特徴量と話者の好感度との関連性に基づいて好感度を推定するようにしてもよい。つまり、好感度推定部２４０は、相槌頻度と好感度との関連性に基づいて、Ｓ２３０で計算した相槌頻度p_aから、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ２４０）。

以上まとめると、発話音声の特徴量として発話音声に現れる話者による相槌の頻度を用いる場合、好感度推定モデルを含む関連性は、相槌の頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなる。

本発明によれば、F0の変動以外の発話音声の特徴を考慮して好感度を推定することが可能となる。これにより、より的確にコールセンターや店頭の窓口における応対の好感度を推定できるようになる。

＜第３実施形態＞
コールセンターや店頭の窓口の応対におけるオペレータや店員の敬語の使い方の正しさは好感度に影響する、つまり、正しい敬語で応対された場合は、好感度が高くなると考えられる。そこで、本実施形態では、発話音声に現れる敬語を修正した回数に基づいて、好感度を推定する。

以下、図８〜図９を参照して好感度推定装置３００について説明する。図８は、好感度推定装置３００の構成を示すブロック図である。図９は、好感度推定装置３００の動作を示すフローチャートである。図８に示すように好感度推定装置３００は、音声認識部３１０、敬語修正部３２０、修正結果集計部３３０、好感度推定部３４０、記録部３９０を含む。記録部３９０は、好感度推定装置３００の処理に必要な情報を適宜記録する構成部である。

好感度推定装置３００は、好感度推定に際して、好感度推定モデル３８０と敬語辞書３８５を読み込み、処理を実行する。なお、好感度推定モデル３８０や敬語辞書３８５は、図８のように外部の記録部に記録するよう構成してもよいし、記録部３９０に記録するよう構成してもよい。

好感度推定装置３００は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者に対する好感度を推定し、出力する。

図９に従い好感度推定装置３００の動作について説明する。音声認識部３１０は、発話音声s(t)（t=0, 1, 2, …, T）から、当該発話音声s(t)に含まれる発話区間毎の音声認識結果W(j)（j=1, 2, …,J、jは発話区間番号を表す）を生成する（Ｓ３１０）。ここでは、音声認識結果W(j)を、発話区間jの単語認識結果w(j)とする。

敬語修正部３２０は、Ｓ３１０で生成した音声認識結果W(j)（つまり、単語認識結果w(j)）（j=1, 2, …, J）から、当該単語認識結果w(j)を正しい敬語に修正した修正結果w'(j)（j=1, 2, …, J）を生成する（Ｓ３２０）。正しい敬語への修正は、例えば、参考非特許文献２を用いることができる。
（参考非特許文献２：大野満，横山晶一，西原典孝，“日本語敬語表現変換・解析システム”，言語処理学会第９回年次大会発表論文集，pp.218-221, 2003.）
敬語辞書３８５を用いて、単語認識結果w(j)を正しい敬語に修正し、その結果を修正結果w'(j)とする。敬語辞書３８５は、例えば、「述語」、「文型」、「動詞／サ変名詞の意味的制約」、「名詞」の項目毎に対応する敬語を登録したデータベースである。

修正結果集計部３３０は、Ｓ３１０で生成した音声認識結果W(j)（つまり、単語認識結果w(j)）（j=1, 2, …, J）とＳ３２０で生成した修正結果w'(j)（j=1, 2, …, J）から、発話音声s(t)の特徴量である敬語修正回数p_wを計算する（Ｓ３３０）。敬語修正回数p_wは、修正された敬語の数であり、次式により計算することができる。

なお、正しい敬語へ修正する際、修正結果に新たに単語を挿入したり、修正結果から一部の単語を削除したりすることがある。この場合、単語認識結果w(j)と修正結果w’(j)のDPマッチング（Dynamic Programming Matching）を実行して得られるスコアを敬語修正回数p_wとして用いてもよい。

なお、音声認識部３１０、敬語修正部３２０、修正結果集計部３３０を含む構成部を発話音声特徴量生成部３０５という（図８参照）。したがって、発話音声特徴量生成部３０５は、Ｓ３１０からＳ３３０までの処理を実行する。すなわち、発話音声特徴量生成部３０５は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)の特徴量である敬語修正回数p_wを生成する（Ｓ３０５）。

好感度推定部３４０は、好感度推定モデル３８０を用いて、Ｓ３３０で計算した敬語修正回数p_wから、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ３４０）。好感度推定モデル３８０は、発話音声の特徴量である敬語修正回数を入力とし、話者の好感度を出力するものである。つまり、好感度推定モデル３８０は敬語修正回数と好感度との関連性を示すものである。なお、好感度推定モデル３８０の学習方法は、第１実施形態と同様でよい。

（変形例）
好感度推定部３４０は、好感度推定モデル３８０を用いて好感度を推定したが、好感度推定モデル３８０の代わりに、機械学習以外の方法で取得した、発話音声の特徴量と話者の好感度との関連性に基づいて好感度を推定するようにしてもよい。つまり、好感度推定部３４０は、敬語修正回数と好感度との関連性に基づいて、Ｓ３３０で計算した敬語修正回数p_wから、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ３４０）。

以上まとめると、発話音声の特徴量として発話音声に現れる敬語を修正した回数を用いる場合、好感度推定モデルを含む関連性は、敬語を修正した回数が小さい場合の方が大きい場合よりも話者の好感度が高いことを示すものとなる。

本発明によれば、F0の変動以外の発話音声の特徴を考慮して好感度を推定することが可能となる。これにより、より的確にコールセンターや店頭の窓口における応対の好感度を推定できるようになる。

＜第４実施形態＞
第１実施形態では、有声休止の頻度に基づいて好感度を推定したが、ここでは、語尾音声における有声休止の頻度に着目する。これは、「です」、「ます」などの語尾の単語において、「○○ですー」、「○○ますー」といった音を発声すると、顧客には誠実な対応に聞こえず、好感度の低下に大きく影響すると考えられるためである。そこで、本実施形態では、語尾の単語における有声休止に近しい音（語尾伸び現象）に着目、発話音声の語尾に現れる有声休止の頻度に基づいて好感度を推定する。

以下、図１０〜図１１を参照して好感度推定装置４００について説明する。図１０は、好感度推定装置４００の構成を示すブロック図である。図１１は、好感度推定装置４００の動作を示すフローチャートである。図１０に示すように好感度推定装置４００は、F0情報抽出部１１０、音声認識部２１０、有声休止判定部１２０、第２判定結果集計部４３０、好感度推定部４４０、記録部４９０を含む。記録部４９０は、好感度推定装置４００の処理に必要な情報を適宜記録する構成部である。

好感度推定装置４００は、好感度推定に際して、好感度推定モデル４８０と語尾単語辞書４８５を読み込み、処理を実行する。なお、好感度推定モデル４８０や語尾単語辞書４８５は、図１０のように外部の記録部に記録するよう構成してもよいし、記録部４９０に記録するよう構成してもよい。

好感度推定装置４００は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者に対する好感度を推定し、出力する。

図１０に従い好感度推定装置４００の動作について説明する。F0情報抽出部１１０は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)を分割したフレーム毎にF0情報f(i)（i=0, 1, 2, …, I、iはフレーム番号を表す）を抽出する（Ｓ１１０）。有声休止判定部１２０は、Ｓ１１０で抽出したF0情報f(i)（i=0, 1, 2, …, I）から、有声休止判定結果V(i)（i=0, 1, 2, …, I）を生成する（Ｓ１２０）。音声認識部２１０は、発話音声s(t)（t=0, 1, 2, …, T）から、当該発話音声s(t)に含まれる発話区間毎の音声認識結果W(j)（つまり、単語認識結果w(j)、単語開始時刻Ts(j)、単語終了時刻Te(j)の組）（j=1, 2, …,J、jは発話区間番号を表す）を生成する（Ｓ２１０）。

第２判定結果集計部４３０は、語尾単語辞書４８５を用いて、Ｓ１２０で生成した有声休止判定結果V(i)（i=0, 1, 2, …, I）とＳ２１０で生成した音声認識結果W(j)（つまり、単語認識結果w(j)、単語開始時刻Ts(j)、単語終了時刻Te(j)の組）（j=1, 2, …, J）から、発話音声s(t)の特徴量である語尾有声休止頻度p_v'を計算する（Ｓ４３０）。語尾有声休止頻度p_v'は、単位時間あたり語尾の単語において有声休止がどの程度発生するかを示す値（つまり、単位時間あたりの語尾の単語における有声休止の発生回数）である。語尾単語辞書４８５は、「です」、「ます」などの語尾にくる単語を記憶したものである。以下、語尾単語辞書４８５をGとする。語尾有声休止頻度p_v'は、語尾単語辞書Gを用いて、以下の手順で計算する。
(1) 語尾単語時間長n=0、語尾有声休止数m=0とする。語尾単語時間長とは、語尾に現れる単語の時間長の合計値であり、語尾有声休止数とは、語尾に現れる有声休止数である。
(2) すべての単語認識結果w(j)（j=1, 2, …, J）に対して、以下の処理を行う。
単語認識結果w(j)が語尾単語辞書Gに含まれる場合、単語開始時刻Ts(j)、単語終了時刻Te(j)をそれぞれフレーム単位の開始時刻s_f(j)、フレーム単位の終了時刻e_f(j)に変換し、語尾有声休止時間長n、語尾有声休止数mを次式により更新する。

なお、フレーム単位の開始時刻s_f(j)、フレーム単位の終了時刻e_f(j)は、例えば、F0抽出のフレーム間隔が10msである場合、s_f(j)=Ts(j)/0.01、e_f(j)=Te(j)/0.01となる。
一方、単語認識結果w(j)が語尾単語辞書Gに含まれない場合は、何もしない。
(3) p_v'=m/nとして、語尾有声休止頻度p_v'を求める。

なお、F0情報抽出部１１０、音声認識部２１０、有声休止判定部１２０、第２判定結果集計部４３０を含む構成部を発話音声特徴量生成部４０５という（図１０参照）。したがって、発話音声特徴量生成部４０５は、Ｓ１１０からＳ４３０までの処理を実行する。すなわち、発話音声特徴量生成部４０５は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)の特徴量である語尾有声休止頻度p_v'を生成する（Ｓ４０５）。

好感度推定部４４０は、好感度推定モデル４８０を用いて、Ｓ４３０で計算した語尾有声休止頻度p_v'から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ４４０）。好感度推定モデル４８０は、発話音声の特徴量である語尾有声休止頻度を入力とし、話者の好感度を出力するものである。つまり、好感度推定モデル４８０は語尾有声休止頻度と好感度との関連性を示すものである。なお、好感度推定モデル４８０の学習方法は、第１実施形態と同様でよい。

（変形例）
好感度推定部４４０は、好感度推定モデル４８０を用いて好感度を推定したが、好感度推定モデル４８０の代わりに、機械学習以外の方法で取得した、発話音声の特徴量と話者の好感度との関連性に基づいて好感度を推定するようにしてもよい。つまり、好感度推定部４４０は、語尾有声休止頻度と好感度との関連性に基づいて、Ｓ４３０で計算した語尾有声休止頻度p_v'から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ４４０）。

以上まとめると、発話音声の特徴量として発話音声の語尾に現れる有声休止の頻度を用いる場合、好感度推定モデルを含む関連性は、有声休止の頻度が小さい場合の方が大きい場合よりも話者の好感度が高いことを示すものとなる。

本発明によれば、F0の変動以外の発話音声の特徴を考慮して好感度を推定することが可能となる。これにより、より的確にコールセンターや店頭の窓口における応対の好感度を推定できるようになる。

＜第５実施形態＞
第２実施形態では、オペレータや店員の発話における相槌頻度に基づいて好感度を推定したが、ここでは、顧客が話している区間に着目して、相槌の頻度をカウントする。これは、顧客が発話している区間でオペレータや店員が相槌をすると、顧客の話を聞いているという意思表示になり、好感度の向上に大きく影響すると考えられるためである。そこで、本実施形態では、顧客が発話している区間において発話音声に現れる話者による相槌の頻度に基づいて、好感度を推定する。

以下、図１２〜図１３を参照して好感度推定装置５００について説明する。図１２は、好感度推定装置５００の構成を示すブロック図である。図１３は、好感度推定装置５００の動作を示すフローチャートである。図１２に示すように好感度推定装置５００は、音声認識部２１０、音声区間検出部５１０、第２相槌頻度計算部５３０、好感度推定部５４０、記録部５９０を含む。記録部５９０は、好感度推定装置５００の処理に必要な情報を適宜記録する構成部である。

好感度推定装置５００は、好感度推定に際して、好感度推定モデル５８０と相槌辞書２８５を読み込み、処理を実行する。なお、好感度推定モデル５８０や相槌辞書２８５は、図１２のように外部の記録部に記録するよう構成してもよいし、記録部５９０に記録するよう構成してもよい。

好感度推定装置５００は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）と第２発話音声s'(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者に対する好感度を推定し、出力する。第２発話音声s'(t)は、単位時間毎にサンプリングされた音声信号であり、例えば、事前に収録された顧客の発話音声である。なお、発話音声s(t)と第２発話音声s'(t)の時刻tは、通話開始を0として同じ時刻を示している。

図１３に従い好感度推定装置５００の動作について説明する。音声認識部２１０は、発話音声s(t)（t=0, 1, 2, …, T）から、当該発話音声s(t)に含まれる発話区間毎の音声認識結果W(j)（つまり、単語認識結果w(j)、単語開始時刻Ts(j)、単語終了時刻Te(j)の組）（j=1, 2, …,J、jは発話区間番号を表す）を生成する（Ｓ２１０）。

音声区間検出部５１０は、第２発話音声s'(t)（t=0, 1, 2, …, T）から、顧客が発話している区間（以下、顧客発話区間という）の始点と終点である発話開始時刻Ts'(k)、発話終了時刻Te'(k)（k=1, 2, …,K、kは発話番号を表す）を音声区間検出結果として生成する（Ｓ５１０）。音声区間の検出には、どのような方法を用いてもよい。図１４は、音声区間検出結果の一例である。顧客発話区間kの開始時刻、終了時刻がそれぞれ発話開始時刻Ts'(k)、発話終了時刻Te'(k)である。

第２相槌頻度計算部５３０は、相槌辞書２８５を用いて、Ｓ２１０で生成した音声認識結果W(j)（つまり、単語認識結果w(j)と単語開始時刻Ts(j)と単語終了時刻Te(j)の組）（j=1, 2, …, J）とＳ５１０で生成した発話開始時刻Ts'(k)と発話終了時刻Te'(k)の組（k=1, 2, …,K）から、発話音声s(t)の特徴量である顧客発話区間相槌頻度p_a'を計算する（Ｓ５３０）。顧客発話区間相槌頻度p_a'は、顧客発話区間における相槌頻度である。顧客発話区間相槌頻度p_a'は、相槌辞書Uを用いて、以下の手順で計算する。
(1) 相槌回数n=0とする。
(2) すべての単語認識結果w(j)（j=1, 2, …, J）に対して、以下の処理を行う。
単語認識結果w(j)が相槌辞書Uに含まれる場合、単語開始時刻Ts(j)から単語終了時刻Te(j)までの区間を含む顧客発話区間kが存在するか否かを確認し、存在する場合は、相槌回数を増やす。具体的には、相槌回数nを次式により更新する。

一方、単語認識結果w(j)が相槌辞書Uに含まれない場合は、何もしない。
(3) 次式により、顧客発話区間相槌頻度p_a'を計算する。

なお、音声認識部２１０、音声区間検出部５１０、第２相槌頻度計算部５３０を含む構成部を発話音声特徴量生成部５０５という（図１２参照）。したがって、発話音声特徴量生成部５０５は、Ｓ２１０からＳ５３０までの処理を実行する。すなわち、発話音声特徴量生成部５０５は、発話音声s(t)（t=0, 1, 2, …, T）と第２発話音声s'(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)の特徴量である顧客発話区間相槌頻度p_a'を生成する（Ｓ５０５）。

好感度推定部５４０は、好感度推定モデル５８０を用いて、Ｓ５３０で計算した顧客発話区間相槌頻度p_a'から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ５４０）。好感度推定モデル５８０は、発話音声の特徴量である顧客発話区間相槌頻度を入力とし、話者の好感度を出力するものである。つまり、好感度推定モデル５８０は顧客発話区間相槌頻度と好感度との関連性を示すものである。なお、好感度推定モデル５８０の学習方法は、第１実施形態と同様でよい。

（変形例）
好感度推定部５４０は、好感度推定モデル５８０を用いて好感度を推定したが、好感度推定モデル５８０の代わりに、機械学習以外の方法で取得した、発話音声の特徴量と話者の好感度との関連性に基づいて好感度を推定するようにしてもよい。つまり、好感度推定部５４０は、顧客発話区間相槌頻度と好感度との関連性に基づいて、Ｓ５３０で計算した顧客発話区間相槌頻度p_a'から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ５４０）。

以上まとめると、発話音声の特徴量として第２発話音声の発話区間において発話音声に現れる話者による相槌の頻度を用いる場合、好感度推定モデルを含む関連性は、相槌の頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなる。

本発明によれば、F0の変動以外の発話音声の特徴を考慮して好感度を推定することが可能となる。これにより、より的確にコールセンターや店頭の窓口における応対の好感度を推定できるようになる。

＜第６実施形態＞
第１実施形態から第５実施形態では、それぞれ１つの特徴量を用いて好感度を推定したが、これらの特徴量の組み合わせを用いて好感度を推定するようにしてもよい。そこで、本実施形態では、第１実施形態から第５実施形態で用いた特徴量すべてを用いて好感度を推定する構成について説明する。

以下、図１５〜図１６を参照して好感度推定装置６００について説明する。図１５は、好感度推定装置６００の構成を示すブロック図である。図１６は、好感度推定装置６００の動作を示すフローチャートである。図１５に示すように好感度推定装置６００は、F0情報抽出部１１０、音声認識部２１０、音声区間検出部５１０、有声休止判定部１２０、第１判定結果集計部１３０、第２判定結果集計部４３０、敬語修正部３２０、修正結果集計部３３０、第１相槌頻度計算部２３０、第２相槌頻度計算部５３０、好感度推定部６４０、記録部６９０を含む。記録部６９０は、好感度推定装置６００の処理に必要な情報を適宜記録する構成部である。

好感度推定装置６００は、好感度推定に際して、好感度推定モデル６８０（図示しない）と相槌辞書２８５（図示しない）と敬語辞書３８５（図示しない）と語尾単語辞書４８５（図示しない）を読み込み、処理を実行する。好感度推定モデル６８０、相槌辞書２８５、敬語辞書３８５、語尾単語辞書４８５は、事前に記録部６９０に記録しているものとする。

好感度推定装置６００は、発話音声s(t)（t=0, 1, 2, …、tはサンプル番号を表す）と第２発話音声s'(t)（t=0, 1, 2, …、tはサンプル番号を表す）から、発話音声s(t)の話者に対する好感度を推定し、出力する。

図１６に従い好感度推定装置６００の動作について説明する。Ｓ１１０からＳ５３０までの処理は、第１実施形態から第５実施形態までのそれと同じである。

なお、F0情報抽出部１１０、音声認識部２１０、音声区間検出部５１０、有声休止判定部１２０、第１判定結果集計部１３０、第２判定結果集計部４３０、敬語修正部３２０、修正結果集計部３３０、第１相槌頻度計算部２３０、第２相槌頻度計算部５３０を含む構成部を発話音声特徴量生成部６０５という（図１５参照）。したがって、発話音声特徴量生成部６０５は、Ｓ１１０からＳ５３０までの処理を実行する。すなわち、発話音声特徴量生成部６０５は、発話音声s(t)（t=0, 1, 2, …, T）と第２発話音声s'(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)の特徴量である有声休止頻度p_v、語尾有声休止頻度p_v'、敬語修正回数p_w、相槌頻度p_a、顧客発話区間相槌頻度p_a'を生成する（Ｓ６０５）。

そこで、以下、Ｓ６４０について説明する。好感度推定部６４０は、好感度推定モデル６８０を用いて、Ｓ１３０、Ｓ４３０、Ｓ３３０、Ｓ２３０、Ｓ５３０で計算した特徴量（つまり、有声休止頻度p_v、語尾有声休止頻度p_v'、敬語修正回数p_w、相槌頻度p_a、顧客発話区間相槌頻度p_a'）から、発話音声s(t)（t=0, 1, 2, …, T）の好感度を推定する（Ｓ６４０）。好感度推定モデル６８０は、５つの特徴量を入力とし、話者の好感度を出力するものである。つまり、好感度推定モデル６８０は５つの特徴量と好感度との関連性を示すものである。なお、好感度推定モデル６８０の学習方法は、第１実施形態と同様でよい。

（変形例）
好感度推定部６４０は、好感度推定モデル６８０を用いて好感度を推定したが、好感度推定モデル６８０の代わりに、機械学習以外の方法で取得した、５つの発話音声の特徴量と話者の好感度との関連性に基づいて好感度を推定するようにしてもよい。つまり、好感度推定部５４０は、５つの特徴量と好感度との関連性に基づいて、Ｓ１３０、Ｓ４３０、Ｓ３３０、Ｓ２３０、Ｓ５３０で計算した特徴量から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ６４０）。

本発明によれば、F0の変動以外の発話音声の特徴を考慮して好感度を推定することが可能となる。これにより、より的確にコールセンターや店頭の窓口における応対の好感度を推定できるようになる。

（変形例２）
第６実施形態では、第１実施形態から第５実施形態で用いた特徴量すべてを用いて好感度を推定する構成について説明したが、好感度推定に用いる特徴量の組合せはこれに限るものではない。これらの特徴量のうち、少なくとも１つの特徴量を用いて好感度推定を行うことができる。この場合、推定に用いる特徴量の計算に必要となる構成部、好感度推定部、記録部を含むように好感度推定装置を構成すればよい。例えば、これらの５つの特徴量のうち、１つを用いる場合は、それぞれ、第１実施形態から第５実施形態で説明した構成となる。また、発話音声の特徴量と話者の好感度との関連性は、以下のような性質を有する。
（１）好感度推定に用いる特徴量に、発話音声に現れる有声休止の頻度が含まれる場合、有声休止の頻度が小さい場合の方が大きい場合よりも話者の好感度が高いと推定されやすい。
（２）好感度推定に用いる特徴量に、発話音声に現れる話者による相槌の頻度が含まれる場合、相槌の頻度が大きい場合の方が小さい場合よりも話者の好感度が高いと推定されやすい。
（３）好感度推定に用いる特徴量に、発話音声に現れる敬語を修正した回数が含まれる場合、敬語を修正した回数が小さい場合の方が大きい場合よりも話者の好感度が高いと推定されやすい。
（４）好感度推定に用いる特徴量に、発話音声の語尾に現れる有声休止の頻度が含まれる場合、有声休止の頻度が小さい場合の方が大きい場合よりも話者の好感度が高いと推定されやすい。
（５）好感度推定に用いる特徴量に、第２発話音声の発話区間において発話音声に現れる話者による相槌の頻度が含まれる場合、相槌の頻度が大きい場合の方が小さい場合よりも話者の好感度が高いと推定されやすい。

また、これらの特徴量に、これらの特徴量以外の特徴量を組み合わせた形で好感度推定を行うようにしてもよい。

＜第７実施形態＞
図１７は、複数のコールセンターにおける通話（およそ2000通話）について、オペレータの発話中の感謝の言葉（例えば、「ありがとうございます」）、謝罪の言葉（例えば、「申し訳ありません」）、恐縮の言葉（例えば、「恐れ入ります」や「恐縮ですが」）、言い淀みの言葉（例えば、「えーと」）の頻度と好感度の関係を調べた結果を示すものである。具体的には、好感度の高いオペレータと好感度の低いオペレータについてのこれらの言葉の頻度と、その頻度の差についてT検定による有意差が現れるか否かを調べた結果である。ここで、P値が0.05以下であるとき有意差があるといえる。図１７を見ると、感謝の言葉、謝罪の言葉、恐縮の言葉については、好感度の高いオペレータの方が好感度の低いオペレータより多い一方で、言い淀みの言葉については、好感度の高いオペレータの方が好感度の低いオペレータより少ないことがわかる。また、謝罪の言葉、恐縮の言葉、言い淀みの言葉については、有意差があることもわかる。

そこで、本実施形態では、発話音声に現れる謝罪・恐縮・言い淀みの言葉の頻度に基づいて、好感度を推定する。

以下、感謝の言葉・謝罪の言葉・恐縮の言葉・言い淀みの言葉のことをキーワードという。また、感謝・謝罪・恐縮・言い淀みのことをキーワードの属性という。

なお、感謝の言葉については、上述した通り、謝罪の言葉・恐縮の言葉・言い淀みの言葉のように有意差が認められないため、本実施形態では用いないこととする。

以下、図１８〜図１９を参照して好感度推定装置７００について説明する。図１８は、好感度推定装置７００の構成を示すブロック図である。図１９は、好感度推定装置７００の動作を示すフローチャートである。図１８に示すように好感度推定装置７００は、音声認識部２１０、キーワード頻度計算部７３０、好感度推定部７４０、記録部７９０を含む。記録部７９０は、好感度推定装置７００の処理に必要な情報を適宜記録する構成部である。

好感度推定装置７００は、好感度推定に際して、好感度推定モデル７８０とキーワード辞書７８５を読み込み、処理を実行する。なお、好感度推定モデル７８０やキーワード辞書７８５は、図１８のように外部の記録部に記録するよう構成してもよいし、記録部７９０に記録するよう構成してもよい。

以下、キーワード辞書７８５を∪_k=1 ^KD(k)(=D(1)∪…∪D(K))とする。Kは頻度を求める単位となるキーワード群の数であり、キーワード群D(1), …, D(K)はそれぞれ1以上のキーワードを含む。例えば、謝罪を表す言葉である“申し訳”、“すみません”、“ごめんなさい”の頻度を求めたい場合、D(1)={“申し訳”, “すみません”, “ごめんなさい”}などとすればよい。ここでは、キーワード辞書∪_k=1 ^KD(k)は、謝罪を表す言葉・恐縮を表す言葉・言い淀みを表す言葉をキーワードとして記憶したものとする。

好感度推定装置７００は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者に対する好感度を推定し、出力する。

図１９に従い好感度推定装置７００の動作について説明する。音声認識部２１０は、発話音声s(t)（t=0, 1, 2, …, T）から、当該発話音声s(t)に含まれる発話区間毎の音声認識結果W(j)（つまり、単語認識結果w(j)、単語開始時刻Ts(j)、単語終了時刻Te(j)の組）（j=1, 2, …,J、jは発話区間番号を表す）を生成する（Ｓ２１０）。

キーワード頻度計算部７３０は、キーワード辞書∪_k=1 ^KD(k)を用いて、Ｓ２１０で生成した音声認識結果W(j)（つまり、単語認識結果w(j)、単語開始時刻Ts(j)、単語終了時刻Te(j)の組）（j=1, 2, …, J）から、発話音声s(t)の特徴量であるキーワード頻度f(k) （k=1, 2, …, K）を計算する（Ｓ７３０）。以下、計算方法について説明する。キーワード頻度計算部７３０は、まず、キーワード辞書∪_k=1 ^KD(k)を参照して、単語認識結果w(j)のうち、キーワード群D(k)に含まれる単語の数をカウントする。そして、キーワード頻度計算部７３０は、カウントした単語の数を発話音声s(t)の発話時間の長さで割ることにより、キーワード頻度f(k)を求める。つまり、次式でキーワード頻度f(k)を計算する。ここで、発話音声s(t)の発話時間の長さは、最後の単語終了時刻Te(J)と等しいため、Te(J)で割っている。また、関数c(a, b)は、入力される文字列aと文字列bが文字列として等しい場合は1、そうでない場合は0を出力する関数である。

なお、音声認識部２１０、キーワード頻度計算部７３０を含む構成部を発話音声特徴量生成部７０５という（図１８参照）。したがって、発話音声特徴量生成部７０５は、Ｓ２１０からＳ７３０までの処理を実行する。すなわち、発話音声特徴量生成部７０５は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)の特徴量であるキーワード頻度f(k)（k=1, 2, …, K）を生成する（Ｓ７０５）。

好感度推定部７４０は、好感度推定モデル７８０を用いて、Ｓ７３０で計算したキーワード頻度f(k)（k=1, 2, …, K）から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ７４０）。好感度推定モデル７８０は、発話音声の特徴量であるキーワード頻度を入力とし、話者の好感度を出力するものである。つまり、好感度推定モデル７８０はキーワード頻度と好感度との関連性を示すものである。なお、好感度推定モデル７８０の学習方法は、第１実施形態と同様でよい。

（変形例）
好感度推定部７４０は、好感度推定モデル７８０を用いて好感度を推定したが、好感度推定モデル７８０の代わりに、機械学習以外の方法で取得した、発話音声の特徴量と話者の好感度との関連性に基づいて好感度を推定するようにしてもよい。つまり、好感度推定部７４０は、キーワード頻度と好感度との関連性に基づいて、Ｓ７３０で計算したキーワード頻度f(k)（k=1, 2, …, K）から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ７４０）。

以上まとめると、発話音声の特徴量として発話音声に現れるキーワードの頻度を用いる場合、好感度推定モデルを含む関連性は、キーワードが謝罪または恐縮を表す言葉である場合は、発話音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなり、キーワードが言い淀みを表す言葉である場合は、発話音声に現れるキーワードの頻度が小さい場合の方が大きい場合よりも話者の好感度が高いことを示すものとなる。

本発明によれば、F0の変動以外の発話音声の特徴を考慮して好感度を推定することが可能となる。これにより、より的確にコールセンターや店頭の窓口における応対の好感度を推定できるようになる。

＜第８実施形態＞
図２０は、図１７と同様、複数のコールセンターにおける通話を対象として、オペレータの発話を2〜4の区間に分割し、各分割区間における、好感度の高いオペレータと好感度の低いオペレータについてのキーワードの頻度の差について、T検定による有意差が現れるか否かを調べた結果である。図２０を見ると、感謝の言葉は、全体（分割無しの場合）としては、好感度の高いオペレータと好感度の低いオペレータの間に有意差は現れないものの、発話を分割すると、発話後半で差が生じていることがわかる。つまり、2分割した場合は2/2の区間、3分割した場合は3/3の区間、4分割した場合は3/4の区間と4/4の区間で有意差がみられる。これは、好感度の高いオペレータ、好感度の低いオペレータいずれであっても発話前半では、感謝の言葉の頻度は同程度であるが、発話後半になると好感度の高いオペレータが好感度の低いオペレータより高い頻度で感謝の言葉を述べているために有意差が生じていると考えられる。同様に、謝罪の言葉については、発話を2分割した場合は1/2の区間、3分割した場合は1/3の区間、4分割した場合は1/4の区間で有意差がみられる。また、恐縮の言葉については、発話を2分割した場合は1/2の区間と2/2の区間、3分割した場合は1/3の区間と3/3の区間、4分割した場合は1/4の区間と4/4の区間で有意差がみられる。言い淀みの言葉については、発話を2分割した場合は2/2の区間、3分割した場合は2/3の区間と3/3の区間、4分割した場合は3/4の区間で有意差がみられる。

そこで、本実施形態では、発話音声を時間により分割した分割音声に現れるキーワードの頻度に基づいて、好感度を推定する。

以下、図２１〜図２２を参照して好感度推定装置８００について説明する。図２１は、好感度推定装置８００の構成を示すブロック図である。図２２は、好感度推定装置８００の動作を示すフローチャートである。図２１に示すように好感度推定装置８００は、音声分割部８１０、音声認識部２１０、キーワード頻度計算部７３０、好感度推定部８４０、記録部８９０を含む。記録部８９０は、好感度推定装置８００の処理に必要な情報を適宜記録する構成部である。

好感度推定装置８００は、好感度推定に際して、好感度推定モデル８８０とキーワード辞書８８５を読み込み、処理を実行する。なお、好感度推定モデル８８０やキーワード辞書８８５は、図２１のように外部の記録部に記録するよう構成してもよいし、記録部８９０に記録するよう構成してもよい。

以下、キーワード辞書８８５を∪_k=1 ^KD(k)(=D(1)∪…∪D(K))とする（ただし、Kは頻度を求める単位となるキーワード群の数）。ここでは、キーワード辞書∪_k=1 ^KD(k)は、感謝を表す言葉・謝罪を表す言葉・恐縮を表す言葉・言い淀みを表す言葉をキーワードとして記憶したものとする。

好感度推定装置８００は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者に対する好感度を推定し、出力する。

図２２に従い好感度推定装置８００の動作について説明する。

音声分割部８１０は、発話音声s(t)（t=0, 1, 2, …, T）を時間により分割し、分割音声S’(i, t)(i=0, 1, …, I-1)を生成する（Ｓ８１０）。ここで、Iは発話音声s(t)を時間により分割する数（以下、分割数という）であり、例えば、Iは2〜4とすればよい。分割音声S’(i, t)は次のように表すことができる。

音声認識部２１０は、Ｓ８１０で生成した分割音声S’(i, t)(i=0, 1, …, I-1)から、当該分割音声S’(i, t)に含まれる発話区間毎の音声認識結果W(i, j)（つまり、単語認識結果w(i, j)、単語開始時刻Ts(i, j)、単語終了時刻Te(i, j)の組）（j=1, 2, …,J、jは発話区間番号を表す）を生成する（Ｓ２１０）。

キーワード頻度計算部７３０は、キーワード辞書∪_k=1 ^KD(k)を用いて、Ｓ２１０で生成した音声認識結果W(i, j)（つまり、単語認識結果w(i, j)、単語開始時刻Ts(i, j)、単語終了時刻Te(i, j)の組）（i=0, 1, …, I-1, j=1, 2, …, J）から、分割音声S’(i, t)(i=0, 1, …, I-1)の特徴量であるキーワード頻度f(i, k) （i=0, 1, …, I-1, k=1, 2, …, K）を計算する（Ｓ７３０）。

なお、音声分割部８１０、音声認識部２１０、キーワード頻度計算部７３０を含む構成部を発話音声特徴量生成部８０５という（図２１参照）。したがって、発話音声特徴量生成部８０５は、Ｓ８１０からＳ７３０までの処理を実行する。すなわち、発話音声特徴量生成部８０５は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)から生成した分割音声S’(i, t)(i=0, 1, …, I-1)の特徴量であるキーワード頻度f(i, k) （i=0, 1, …, I-1, k=1, 2, …, K）を生成する（Ｓ８０５）。

好感度推定部８４０は、好感度推定モデル８８０を用いて、Ｓ７３０で計算したキーワード頻度f(i, k) （i=0, 1, …, I-1, k=1, 2, …, K）から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ８４０）。好感度推定モデル８８０は、発話音声から生成した分割音声の特徴量であるキーワード頻度を入力とし、話者の好感度を出力するものである。つまり、好感度推定モデル８８０はキーワード頻度と好感度との関連性を示すものである。なお、好感度推定モデル８８０の学習方法は、第１実施形態と同様でよい。

（変形例）
好感度推定部８４０は、好感度推定モデル８８０を用いて好感度を推定したが、好感度推定モデル８８０の代わりに、機械学習以外の方法で取得した、発話音声から生成した分割音声の特徴量と話者の好感度との関連性に基づいて好感度を推定するようにしてもよい。つまり、好感度推定部８４０は、キーワード頻度と好感度との関連性に基づいて、Ｓ７３０で計算したキーワード頻度f(i, k) （i=0, 1, …, I-1, k=1, 2, …, K）から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ８４０）。

以上まとめると、特徴量は、発話音声を時間により分割した分割音声に現れるキーワードの頻度であり、キーワードは、感謝、謝罪、恐縮、言い淀みのいずれかを表す言葉である。また、この場合、好感度推定モデルを含む関連性は、キーワードが感謝を表す言葉である場合は、発話後半の区間の分割音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなり、キーワードが謝罪を表す言葉である場合は、発話冒頭の区間の分割音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなり、キーワードが恐縮を表す言葉である場合は、発話冒頭または発話最後の区間の分割音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなり、キーワードが言い淀みを表す言葉である場合は、発話最後または発話最後の直前の何れかの区間の分割音声に現れるキーワードの頻度が小さい場合の方が大きい場合よりも話者の好感度が高いことを示すものとなる。

ここで、発話後半の区間とは、発話を2分割する場合は2/2の区間、3分割する場合は3/3の区間、4分割する場合は3/4の区間と4/4の区間のことをいう。また、発話冒頭の区間とは、発話を2分割する場合は1/2の区間、3分割する場合は1/3の区間、4分割する場合は1/4の区間のことをいう。発話最後の区間とは、発話を2分割する場合は2/2の区間、3分割する場合は3/3の区間、4分割する場合は4/4の区間のことをいう。発話最後の直前の区間とは、発話を3分割または4分割する場合において、発話最後の区間の1つ前の区間（つまり、2/3の区間、3/4の区間）のことをいう。なお、発話最後の直前の区間は、発話を2分割する場合には定義しない。

一般に、発話後半の区間とは、発話を2n-1分割する場合（n≧2）はn+1/2n-1の区間から2n-1/2n-1の区間までの区間、2n分割する場合（n≧1）はn+1/2nの区間から2n/2nの区間までの区間のことをいう。また、発話冒頭の区間とは、発話をn分割する場合（n≧2）は1/nの区間のことをいう。発話最後の区間とは、発話をn分割する場合（n≧2）はn/nの区間のことをいう。発話最後の直前の区間とは、発話をn分割する場合（n≧3）はn-1/nの区間のことをいう。

（変形例２）
キーワードの属性及び分割数に応じて異なるキーワード頻度が高くなる区間に着目、当該分割区間の分割音声に現れるキーワードの頻度に基づいて好感度の推定を行うようにしてもよい。

以下、図２１〜図２２を参照して好感度推定装置８０１について説明する。図２１は、好感度推定装置８０１の構成を示すブロック図である。図２２は、好感度推定装置８０１の動作を示すフローチャートである。図２１に示すように好感度推定装置８０１は、音声分割部８１１、音声認識部２１０、キーワード頻度計算部７３０、好感度推定部７４０、記録部８９０を含む。記録部８９０は、好感度推定装置８０１の処理に必要な情報を適宜記録する構成部である。

好感度推定装置８０１は、好感度推定に際して、好感度推定モデル７８０とキーワード辞書８８５を読み込み、処理を実行する。

好感度推定装置８０１は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者に対する好感度を推定し、出力する。

図２２に従い好感度推定装置８０１の動作について説明する。

音声分割部８１１は、所定の分割数I₀を用いて発話音声s(t)（t=0, 1, 2, …, T）を時間により分割し、所定の分割音声S’(i₀, t)(i₀は0≦i₀≦I₀-1を満たす整数)を生成する（Ｓ８１１）。ここで、i₀は着目する区間を示すインデックスである。分割数I₀と着目する区間のインデックスi₀について、具体的に説明する。図２０を見るとわかるように、最も有意差が生じる分割数とその区間は、キーワードの属性に応じて異なる。例えば、キーワードが感謝を表す言葉である場合、2分割での2/2の区間が最も有意差が生じる区間となる。そこで、キーワードの属性aに応じて、分割数を指定する関数と着目する区間を指定する関数の組(g, h)を導入する。I₀=g(a), i₀=h(a)とすると、a=”感謝”の場合、g(a)=2, h(a)=1、a=”謝罪”の場合、g(a)=4, h(a)=0、a=”恐縮”の場合、g(a)=3, h(a)=0、a=”言い淀み”の場合、g(a)=4, h(a)=2となる。したがって、この場合は、I₀=2（a=”感謝”）のときはi₀=1、I₀=3（a=”恐縮”）のときはi₀=0、I₀=4（a=”謝罪”または”言い淀み”）のときはi₀=0またはi₀=2として、分割音声S’(i₀, t)を生成すればよい。分割音声S’(i₀, t)は次式のようになる。

なお、キーワードが感謝を表す言葉である場合の2/2の区間のことを単に着目区間という。キーワードが謝罪、恐縮、言い淀みを表す言葉である場合は、1/4の区間、1/3の区間、3/4の区間がそれぞれ着目区間となる。

音声認識部２１０は、Ｓ８１１で生成した分割音声S’(i₀, t)から、当該分割音声S’(i₀, t)に含まれる発話区間毎の音声認識結果W(i₀, j)（つまり、単語認識結果w(i₀, j)、単語開始時刻Ts(i₀, j)、単語終了時刻Te(i₀, j)の組）（j=1, 2, …,J、jは発話区間番号を表す）を生成する（Ｓ２１０）。

キーワード頻度計算部７３０は、キーワード辞書∪_k=1 ^KD(k)を用いて、Ｓ２１０で生成した音声認識結果W(i₀, j)（つまり、単語認識結果w(i₀, j)、単語開始時刻Ts(i₀, j)、単語終了時刻Te(i₀, j)の組）（j=1, 2, …, J）から、分割音声S’(i₀, t)の特徴量であるキーワード頻度f(i₀, k) （k=1, 2, …, K）を計算する（Ｓ７３０）。

なお、音声分割部８１１、音声認識部２１０、キーワード頻度計算部７３０を含む構成部を発話音声特徴量生成部８０６という（図２１参照）。したがって、発話音声特徴量生成部８０６は、Ｓ８１１からＳ７３０までの処理を実行する。すなわち、発話音声特徴量生成部８０６は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)から生成した所定の分割音声S’(i₀, t)の特徴量であるキーワード頻度f(i₀, k) （k=1, 2, …, K）を生成する（Ｓ８０６）。

好感度推定部７４０は、好感度推定モデル７８０を用いて、Ｓ７３０で計算したキーワード頻度f(i₀, k)（k=1, 2, …, K）から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ７４０）。

以上まとめると、発話音声の特徴量としてキーワードの属性に応じて定まる分割区間（以下、着目区間という）の分割音声に現れるキーワードの頻度を用いる場合、好感度推定モデルを含む関連性は、キーワードが感謝、謝罪、恐縮のいずれかを表す言葉である場合は、着目区間の分割音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなり、キーワードが言い淀みを表す言葉である場合は、着目区間の分割音声に現れるキーワードの頻度が小さい場合の方が大きい場合よりも話者の好感度が高いことを示すものとなる。

本発明によれば、F0の変動以外の発話音声の特徴を考慮して好感度を推定することが可能となる。これにより、より的確にコールセンターや店頭の窓口における応対の好感度を推定できるようになる。

＜第９実施形態＞
声の高さの時間的変化について、好感度の高いオペレータと好感度の低いオペレータの間で違いがみられる。具体的には、顧客対応開始時点では、好感度の高いオペレータ、好感度の低いオペレータいずれも声の高さは一定しているが、時間が経過し、対応の後半になると、好感度の高いオペレータは声の高さを維持している一方で、好感度の低いオペレータは声の高さが変化してくる。

また、声帯振動の周期的な乱れの特徴量であるジッタ(Jitter)も好感度の高いオペレータと低いオペレータ間で時間変化が現れる。以下、具体的に説明する。ジッタの値が大きいと、声帯振動が乱れ、かすれ声になる。また、母音が明瞭に発声されている場合、ジッタは急峻（短時間）に大きい値になるが、不明瞭に発声されている場合は、ジッタは急峻に大きい値にはならず、ゆるやかに増加する。好感度の低いオペレータは、対応の後半ではかすれ声または不明瞭な発声となりがちであり、ジッタの傾向が前半と後半で変化する。

その結果、好感度の高いオペレータは好感度の高い応対を維持しているのに対して、好感度の低いオペレータは好感度の高い応対を維持することができない。そこで、本実施形態では、声の高さのような音響特徴量の時間的変化に基づいて、好感度を推定する。

以下、図２３〜図２４を参照して好感度推定装置９００について説明する。図２３は、好感度推定装置９００の構成を示すブロック図である。図２４は、好感度推定装置９００の動作を示すフローチャートである。図２３に示すように好感度推定装置９００は、音声分割部８１０、音響特徴量抽出部９３０、好感度推定部９４０、記録部９９０を含む。記録部９９０は、好感度推定装置９００の処理に必要な情報を適宜記録する構成部である。

好感度推定装置９００は、好感度推定に際して、好感度推定モデル９８０を読み込み、処理を実行する。なお、好感度推定モデル９８０は、図２３のように外部の記録部に記録するよう構成してもよいし、記録部９９０に記録するよう構成してもよい。

好感度推定装置９００は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者に対する好感度を推定し、出力する。

図２４に従い好感度推定装置９００の動作について説明する。音声分割部８１０は、発話音声s(t)（t=0, 1, 2, …, T）を時間により分割し、分割音声S’(i, t)(i=0, 1, …, I-1)を生成する（Ｓ８１０）。

音響特徴量抽出部９３０は、Ｓ８１０で生成した分割音声S’(i,t) （i=0,1,2,…,I-1）から、音響特徴量c(i)を抽出する（Ｓ９３０）。例えば、音響特徴量c(i)は声の高さや強さ、声帯振動の周期的な乱れを示すジッタに関する統計量（平均、分散、最大値、最小値）である。また、声の高さに関する統計量として、四分位数を用いてもよい。ジッタに関する統計量として、増加頻度（単位時間あたりにジッタの値が増加する頻度）や減少頻度（単位時間あたりにジッタの値が減少する頻度）を用いてもよい。この増加頻度や減少頻度は、急峻に値が大きくなる傾向、緩やかに大きくなる傾向などジッタの値の変化の様子を示すものとなる。

なお、音響特徴量抽出部９３０は、例えば、参考非特許文献３に記載の方法を用いて音響特徴量を抽出することができる。
（参考非特許文献３：Florian Eyben, Martin Wollmer, Bjorn Schuller, “openSMILE: the munich versatile and fast open-source audio feature extractor”, Proceedings of the 18th ACM international conference on Multimedia (MM '10), pp.1459-1462, 2010.）

なお、音声分割部８１０、音響特徴量抽出部９３０を含む構成部を発話音声特徴量生成部９０５という（図２３参照）。したがって、発話音声特徴量生成部９０５は、Ｓ８１０からＳ９３０までの処理を実行する。すなわち、発話音声特徴量生成部９０５は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)から生成した分割音声S’(i, t)(i=0, 1, …, I-1)の特徴量である音響特徴量c(i)（i=0, 1, …, I-1）を生成する（Ｓ９０５）。

好感度推定部９４０は、好感度推定モデル９８０を用いて、Ｓ９３０で抽出した音響特徴量c(i)（i=0, 1, …, I-1）から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ９４０）。好感度推定モデル９８０は、発話音声から生成した分割音声の特徴量である音響特徴量を入力とし、話者の好感度を出力するものである。つまり、好感度推定モデル９８０は音響特徴量と好感度との関連性を示すものである。なお、好感度推定モデル９８０の学習方法は、第１実施形態と同様でよい。

（変形例）
好感度推定部９４０は、好感度推定モデル９８０を用いて好感度を推定したが、好感度推定モデル９８０の代わりに、機械学習以外の方法で取得した、発話音声から生成した分割音声の特徴量と話者の好感度との関連性に基づいて好感度を推定するようにしてもよい。つまり、好感度推定部９４０は、音響特徴量と好感度との関連性に基づいて、Ｓ９３０で抽出した音響特徴量c(i)（i=0, 1, …, I-1）から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ９４０）。

以上まとめると、特徴量は、発話音声を時間により分割した分割音声の音響特徴量である。また、音響特徴量として声の高さに関する平均またはジッタに関する統計量を用いる場合、好感度推定モデルを含む関連性は、発話後半の区間の音響特徴量と発話前半の区間の音響特徴量の差が大きい場合の方が小さい場合よりも話者の好感度が低いことを示すものとなる。

ここで、発話前半の区間とは、発話を2分割する場合は1/2の区間、3分割する場合は1/3の区間、4分割する場合は1/4の区間と2/4の区間のことをいう。

一般に、発話前半の区間とは、発話を2n-1分割する場合（n≧2）は1/2n-1の区間からn-1/2n-1の区間までの区間、2n分割する場合（n≧1）は1/2nの区間からn/2nの区間までの区間のことをいう。

本発明によれば、F0の変動以外の発話音声の特徴を考慮して好感度を推定することが可能となる。これにより、より的確にコールセンターや店頭の窓口における応対の好感度を推定できるようになる。

＜第１０実施形態＞
第８実施形態や第９実施形態では、発話音声を時間長で単純に等分割した分割音声の特徴量を用いて好感度を推定している。しかし、実際のコールセンターでのオペレータの発話は、「オープニング」、「用件確認」、「契約確認」、「用件対応」、「クロージング」などいくつかのフェーズで構成されている。「オープニング」や「クロージング」のような、オペレータによる対応がマニュアル化（テンプレート化）されている区間より、「用件対応」のように、その対応が個別の通話ごとに変わる区間（オペレータによる対応がマニュアル化（テンプレート化）されていない区間）の方が好感度により影響を与える。

そこで、本実施形態では、発話音声をフェーズにより分割した分割音声の音響特徴量に基づいて、好感度を推定する。

以下、図２５〜図２６を参照して好感度推定装置１０００について説明する。図２５は、好感度推定装置１０００の構成を示すブロック図である。図２６は、好感度推定装置１０００の動作を示すフローチャートである。図２５に示すように好感度推定装置１０００は、フェーズ推定分割部１０１０、音響特徴量抽出部９３０、好感度推定部１０４０、記録部１０９０を含む。記録部１０９０は、好感度推定装置１０００の処理に必要な情報を適宜記録する構成部である。

好感度推定装置１０００は、好感度推定に際して、好感度推定モデル１０８０を読み込み、処理を実行する。なお、好感度推定モデル１０８０は、図２５のように外部の記録部に記録するよう構成してもよいし、記録部１０９０に記録するよう構成してもよい。

好感度推定装置１０００は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者に対する好感度を推定し、出力する。

図２６に従い好感度推定装置１０００の動作について説明する。

フェーズ推定分割部１０１０は、発話音声s(t)（t=0, 1, 2, …, T）を構成するフェーズを推定し、発話音声s(t)をフェーズにより分割し、分割音声S’(i, t)(i=0, 1, …, I-1)を生成する（Ｓ１０１０）。ここで、Iは発話音声s(t)をフェーズにより分割する数（以下、分割数という）である。各フェーズi(i=0, 1, …, I-1)は、大きく、オペレータによる対応がマニュアル化されている区間（以下、定型区間という）とオペレータによる対応がマニュアル化されていない区間（以下、不定型区間という）に区別される。フェーズの推定には、例えば、参考非特許文献４に記載の方法を用いることができる。
（参考非特許文献４：Takaaki Fukutomi, Satoshi Kobashikawa, Taichi Asami, Tsubasa Shinozaki, Hirokazu Masataki and Satoshi Takahashi, “Extracting call-reason segments from contact center dialogs by using automatically acquired boundary expressions”, 2011 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2011), pp.5584-5587, 2011.）

音響特徴量抽出部９３０は、Ｓ１０１０で生成した分割音声S’(i,t) （i=0,1,2,…,I-1）から、音響特徴量c(i)を抽出する（Ｓ９３０）。

なお、フェーズ推定分割部１０１０、音響特徴量抽出部９３０を含む構成部を発話音声特徴量生成部１００５という（図２５参照）。したがって、発話音声特徴量生成部１００５は、Ｓ１０１０からＳ９３０までの処理を実行する。すなわち、発話音声特徴量生成部１００５は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)から生成した分割音声S’(i, t)(i=0, 1, …, I-1)の特徴量である音響特徴量c(i)（i=0, 1, …, I-1）を生成する（Ｓ１００５）。

好感度推定部１０４０は、好感度推定モデル１０８０を用いて、Ｓ９３０で抽出した音響特徴量c(i)（i=0, 1, …, I-1）から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ１０４０）。好感度推定モデル１０８０は、発話音声から生成した分割音声の特徴量である音響特徴量を入力とし、話者の好感度を出力するものである。つまり、好感度推定モデル１０８０は音響特徴量と好感度との関連性を示すものである。なお、好感度推定モデル１０８０の学習方法は、第１実施形態と同様でよい。

（変形例）
好感度推定部１０４０は、好感度推定モデル１０８０を用いて好感度を推定したが、好感度推定モデル１０８０の代わりに、機械学習以外の方法で取得した、発話音声から生成した分割音声の特徴量と話者の好感度との関連性に基づいて好感度を推定するようにしてもよい。つまり、好感度推定部１０４０は、音響特徴量と好感度との関連性に基づいて、Ｓ９３０で抽出した音響特徴量c(i) （i=0, 1, …, I-1）から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ１０４０）。

以上まとめると、特徴量は、発話音声をフェーズにより分割した分割音声の音響特徴量であり、好感度推定モデルを含む関連性は、フェーズがオペレータによる対応がマニュアル化されていない区間である場合の分割音声の音響特徴量の方が、フェーズがオペレータによる対応がマニュアル化されている区間である場合の分割音声の音響特徴量よりも話者の好感度に影響を与えるものとなる。

本発明によれば、F0の変動以外の発話音声の特徴を考慮して好感度を推定することが可能となる。これにより、より的確にコールセンターや店頭の窓口における応対の好感度を推定できるようになる。

＜第１１実施形態＞
第８実施形態で用いたキーワード頻度と第９実施形態で用いた音響特徴量の組み合わせを用いて好感度を推定するようにしてもよい。そこで、本実施形態では、上記２つの特徴量を用いて好感度を推定する構成について説明する。

以下、図２７〜図２８を参照して好感度推定装置１１００について説明する。図２７は、好感度推定装置１１００の構成を示すブロック図である。図２８は、好感度推定装置１１００の動作を示すフローチャートである。図２７に示すように好感度推定装置１１００は、音声分割部８１０、音響特徴量抽出部９３０、音声認識部２１０、キーワード頻度計算部７３０、好感度推定部１１４０、記録部１１９０を含む。記録部１１９０は、好感度推定装置１１００の処理に必要な情報を適宜記録する構成部である。

好感度推定装置１１００は、好感度推定に際して、好感度推定モデル１１８０とキーワード辞書８８５を読み込み、処理を実行する。なお、好感度推定モデル１１８０やキーワード辞書８８５は、図２７のように外部の記録部に記録するよう構成してもよいし、記録部１１９０に記録するよう構成してもよい。

好感度推定装置１１００は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者に対する好感度を推定し、出力する。

図２８に従い好感度推定装置１１００の動作について説明する。Ｓ８１０からＳ７３０までの処理は、第８実施形態や第９実施形態までのそれと同じである。

なお、音声分割部８１０、音響特徴量抽出部９３０、音声認識部２１０、キーワード頻度計算部７３０を含む構成部を発話音声特徴量生成部１１０５という（図２７参照）。したがって、発話音声特徴量生成部１１０５は、Ｓ８１０からＳ７３０までの処理を実行する。すなわち、発話音声特徴量生成部１１０５は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)から生成した分割音声S’(i, t)(i=0, 1, …, I-1)の特徴量である、音響特徴量c(i)（i=0, 1, …, I-1）とキーワード頻度f(i, k) （i=0, 1, …, I-1, k=1, 2, …, K）を生成する（Ｓ１１０５）。

好感度推定部１１４０は、好感度推定モデル１１８０を用いて、Ｓ９３０で抽出した音響特徴量c(i)（i=0, 1, …, I-1）とＳ７３０で計算したキーワード頻度f(i, k) （i=0, 1, …, I-1, k=1, 2, …, K）から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ１１４０）。好感度推定モデル１１８０は、発話音声から生成した分割音声の特徴量である音響特徴量とキーワード頻度を入力とし、話者の好感度を出力するものである。つまり、好感度推定モデル１１８０は音響特徴量とキーワード頻度の組と好感度との関連性を示すものである。なお、好感度推定モデル１１８０の学習方法は、第１実施形態と同様でよい。

（変形例）
好感度推定部１１４０は、好感度推定モデル１１８０を用いて好感度を推定したが、好感度推定モデル１１８０の代わりに、機械学習以外の方法で取得した、発話音声から生成した分割音声の特徴量と話者の好感度との関連性に基づいて好感度を推定するようにしてもよい。つまり、好感度推定部１１４０は、音響特徴量とキーワード頻度の組と好感度との関連性に基づいて、Ｓ９３０で抽出した音響特徴量c(i)（i=0, 1, …, I-1）とＳ７３０で計算したキーワード頻度f(i, k) （i=0, 1, …, I-1, k=1, 2, …, K）から、発話音声s(t)（t=0, 1, 2, …, T）の話者の好感度を推定する（Ｓ１１４０）。

以上まとめると、分割音声の特徴量と話者の好感度との関連性は、以下のような性質を有する。
（１）好感度推定に用いる特徴量に、発話音声を時間により分割した分割音声に現れるキーワード（感謝、謝罪、恐縮、言い淀みのいずれかを表す言葉）の頻度が含まれる場合、キーワードが感謝を表す言葉である場合は、発話後半の区間の分割音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いと推定されやすく、キーワードが謝罪を表す言葉である場合は、発話冒頭の区間の分割音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いと推定されやすく、キーワードが恐縮を表す言葉である場合は、発話冒頭または発話最後の区間の分割音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いと推定されやすく、キーワードが言い淀みを表す言葉である場合は、発話最後または発話最後の直前の何れかの区間の分割音声に現れるキーワードの頻度が小さい場合の方が大きい場合よりも話者の好感度が高いと推定されやすい。
（２）好感度推定に用いる特徴量に、発話音声を時間により分割した分割音声の声の高さに関する平均が含まれる場合、発話後半の区間の音響特徴量と発話前半の区間の音響特徴量の差が大きい場合の方が小さい場合よりも話者の好感度が低いと推定されやすい。

なお、上記の特徴量に加えて、第６実施形態で用いた特徴量を用いるようにしてもよい。例えば、発話音声に現れる有声休止の頻度を用いる場合は、F0情報抽出部１１０、有声休止判定部１２０、第１判定結果集計部１３０を加えた構成にすればよいし、発話音声に現れる話者による相槌の頻度を用いる場合は、音声認識部２１０、第１相槌頻度計算部２３０を加えた構成にすればよいし、発話音声に現れる敬語を修正した回数を用いる場合は、音声認識部２１０、敬語修正部３２０、修正結果集計部３３０を加えた構成にすればよい。

本発明によれば、F0の変動以外の発話音声の特徴を考慮して好感度を推定することが可能となる。これにより、より的確にコールセンターや店頭の窓口における応対の好感度を推定できるようになる。

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (23)

1. 発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定部
   を含む好感度推定装置であって、
   前記特徴量は、発話音声に現れる有声休止の頻度である
   好感度推定装置。
2. 請求項１に記載の好感度推定装置であって、
   前記関連性は、有声休止の頻度が小さい場合の方が大きい場合よりも話者の好感度が高いことを示すものとなりやすいように与えられる
   ことを特徴とする好感度推定装置。
3. 発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定部
   を含む好感度推定装置であって、
   前記特徴量は、発話音声に現れる話者による相槌の頻度である
   好感度推定装置。
4. 請求項３に記載の好感度推定装置であって、
   前記関連性は、発話音声に現れる話者による相槌の頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなりやすいように与えられる
   ことを特徴とする好感度推定装置。
5. 発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定部
   を含む好感度推定装置であって、
   前記特徴量は、発話音声に現れる敬語を修正した回数である
   好感度推定装置。
6. 請求項５に記載の好感度推定装置であって、
   前記関連性は、発話音声に現れる敬語を修正した回数が小さい場合の方が大きい場合よりも話者の好感度が高いことを示すものとなりやすいように与えられる
   ことを特徴とする好感度推定装置。
7. 請求項１または２に記載の好感度推定装置であって、
   前記有声休止は、発話音声の語尾に現れるものである
   ことを特徴とする好感度推定装置。
8. 発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定部
   を含む好感度推定装置であって、
   前記特徴量は、発話音声に現れるキーワードの頻度であり、
   前記関連性は、
   キーワードが謝罪または恐縮を表す言葉である場合は、発話音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなりやすいように与えられ、
   キーワードが言い淀みを表す言葉である場合は、発話音声に現れるキーワードの頻度が小さい場合の方が大きい場合よりも話者の好感度が高いことを示すものとなりやすいように与えられる
   好感度推定装置。
9. 発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定部
   を含む好感度推定装置であって、
   前記特徴量は、発話音声に現れるキーワードの頻度であり、
   前記キーワードは、恐縮、言い淀みのいずれかを表す言葉である
   好感度推定装置。
10. 発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定部
    を含む好感度推定装置であって、
    前記特徴量は、発話音声を時間により分割した分割音声に現れるキーワードの頻度であり、
    前記キーワードは、感謝、謝罪、恐縮、言い淀みのいずれかを表す言葉であり、
    前記関連性は、
    キーワードが感謝を表す言葉である場合は、発話後半の区間の分割音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなりやすいように与えられ、
    キーワードが謝罪を表す言葉である場合は、発話冒頭の区間の分割音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなりやすいように与えられ、
    キーワードが恐縮を表す言葉である場合は、発話冒頭または発話最後の区間の分割音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなりやすいように与えられ、
    キーワードが言い淀みを表す言葉である場合は、発話最後または発話最後の直前の何れかの区間の分割音声に現れるキーワードの頻度が小さい場合の方が大きい場合よりも話者の好感度が高いことを示すものとなるように与えられる
    好感度推定装置。
11. 発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定部
    を含む好感度推定装置であって、
    前記特徴量は、発話音声を時間により分割した分割音声の音響特徴量であり、
    前記音響特徴量は、声の高さに関する平均またはジッタに関する統計量であり、
    前記関連性は、
    発話後半の区間の音響特徴量と発話前半の区間の音響特徴量の差が大きい場合の方が小さい場合よりも話者の好感度が低いことを示すものとなりやすいように与えられる
    好感度推定装置。
12. 発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、発話音声から生成された発話音声の話者の好感度を推定する好感度推定部
    を含む好感度推定装置であって、
    前記特徴量は、発話音声をフェーズにより分割した分割音声の音響特徴量であり、
    前記関連性は、
    フェーズがオペレータによる対応がマニュアル化されていない区間である場合の分割音声の音響特徴量の方が、フェーズがオペレータによる対応がマニュアル化されている区間である場合の分割音声の音響特徴量よりも話者の好感度に影響を与えるものとなりやすいように与えられる
    好感度推定装置。
13. 発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定部
    を含む好感度推定装置であって、
    前記特徴量は、発話音声をオペレータによる対応がマニュアル化されていない区間とオペレータによる対応がマニュアル化されている区間とに区別するように分割した分割音声の音響特徴量である
    好感度推定装置。
14. 好感度推定装置が、発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定ステップ
    を含む好感度推定方法であって、
    前記特徴量は、発話音声に現れる有声休止の頻度である
    好感度推定方法。
15. 好感度推定装置が、発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定ステップ
    を含む好感度推定方法であって、
    前記特徴量は、発話音声に現れる話者による相槌の頻度である
    好感度推定方法。
16. 好感度推定装置が、発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定ステップ
    を含む好感度推定方法であって、
    前記特徴量は、発話音声に現れる敬語を修正した回数である
    好感度推定方法。
17. 好感度推定装置が、発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定ステップ
    を含む好感度推定方法であって、
    前記特徴量は、発話音声に現れるキーワードの頻度であり、
    前記関連性は、
    キーワードが謝罪または恐縮を表す言葉である場合は、発話音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなりやすいように与えられ、
    キーワードが言い淀みを表す言葉である場合は、発話音声に現れるキーワードの頻度が小さい場合の方が大きい場合よりも話者の好感度が高いことを示すものとなりやすいように与えられる
    好感度推定方法。
18. 好感度推定装置が、発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定ステップ
    を含む好感度推定方法であって、
    前記特徴量は、発話音声に現れるキーワードの頻度であり、
    前記キーワードは、恐縮、言い淀みのいずれかを表す言葉である
    好感度推定方法。
19. 好感度推定装置が、発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定ステップ
    を含む好感度推定方法であって、
    前記特徴量は、発話音声を時間により分割した分割音声に現れるキーワードの頻度であり、
    前記キーワードは、感謝、謝罪、恐縮、言い淀みのいずれかを表す言葉であり、
    前記関連性は、
    キーワードが感謝を表す言葉である場合は、発話後半の区間の分割音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなりやすいように与えられ、
    キーワードが謝罪を表す言葉である場合は、発話冒頭の区間の分割音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなりやすいように与えられ、
    キーワードが恐縮を表す言葉である場合は、発話冒頭または発話最後の区間の分割音声に現れるキーワードの頻度が大きい場合の方が小さい場合よりも話者の好感度が高いことを示すものとなりやすいように与えられ、
    キーワードが言い淀みを表す言葉である場合は、発話最後または発話最後の直前の何れかの区間の分割音声に現れるキーワードの頻度が小さい場合の方が大きい場合よりも話者の好感度が高いことを示すものとなるように与えられる
    好感度推定方法。
20. 好感度推定装置が、発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定ステップ
    を含む好感度推定方法であって、
    前記特徴量は、発話音声を時間により分割した分割音声の音響特徴量であり、
    前記音響特徴量は、声の高さに関する平均またはジッタに関する統計量であり、
    前記関連性は、
    発話後半の区間の音響特徴量と発話前半の区間の音響特徴量の差が大きい場合の方が小さい場合よりも話者の好感度が低いことを示すものとなりやすいように与えられる
    好感度推定方法。
21. 好感度推定装置が、発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定ステップ
    を含む好感度推定方法であって、
    前記特徴量は、発話音声をフェーズにより分割した分割音声の音響特徴量であり、
    前記関連性は、
    フェーズがオペレータによる対応がマニュアル化されていない区間である場合の分割音声の音響特徴量の方が、フェーズがオペレータによる対応がマニュアル化されている区間である場合の分割音声の音響特徴量よりも話者の好感度に影響を与えるものとなりやすいように与えられる
    好感度推定方法。
22. 好感度推定装置が、発話音声の特徴量と話者の好感度との関連性に基づいて、発話音声から生成された特徴量から、前記発話音声の話者の好感度を推定する好感度推定ステップ
    を含む好感度推定方法であって、
    前記特徴量は、発話音声をオペレータによる対応がマニュアル化されていない区間とオペレータによる対応がマニュアル化されている区間とに区別するように分割した分割音声の音響特徴量である
    好感度推定方法。
23. 請求項１ないし１３のいずれか１項に記載の好感度推定装置としてコンピュータを機能させるためのプログラム。

Images