JP4728868B2 - 応対評価装置、その方法、プログラムおよびその記録媒体 - Google Patents

Description

この発明は例えば、コールセンタにおけるオペレータの顧客に対する応対や銀行、官庁などの窓口業務における顧客に対する応対を自動的に評価し、オペレータや窓口業務員の教育に利用することができる応対評価装置、方法、プログラムおよびその記録媒体である。

コールセンタ市場は、年平均５％で成長しており、２００８年には、約４０００億円の市場になると予想されている。コールセンタ運営者のニーズはオペレータに応対業務効率化による生産性の向上と、顧客に対するサービスレベル・平均応答時間の向上による品質向上にある。一方で、オペレータの応対業務の多様化・複雑化、オペレータの入れ替わりが激しいという悩みを持っている。このような状況の中で、上記２つのニーズを満たすために、オペレータ教育の重要度が高まってきている。オペレータの教育方法としては非特許文献１に示すようにスーパバイザがリアルタイムでオペレータの応対をモニタリングし、適宜指導する方法や、応対を一旦録音しておき、後にそれを聞き返して、業務後に指導する方法など、人手をかける方法が取られていた。
「コールセンタ白書２００５」、コンピュータテレフォニー編集部・編（株）リックテレコム、ｐｐ６−４３、２００５．

例えば、コールセンタ、一般の窓口業務などの顧客応対業務のオペレータや窓口業務員などの教育の重要度が高まっているが、人手がかかるために、その負担が高まっている。この発明の目的は、オペレータの顧客に対する電話応対や窓口業務における顧客に対する応対を自動的に評価し、コールセンタ等のオペレータや窓口業務員の教育の負担を軽減する。

入力された顧客の音声信号から音声分析部で音声特徴量を検出し、予め定義された複数の感情のそれぞれを多次元混合正規分布によりモデル化した感情モデル集合と上記音声特徴量の時系列的なマッチングを取ることで、感情系列を生成し、上記複数の感情とこれらの感情点数を対応させた感情点数リストと上記感情系列との対応から感情点数系列を出力し、上記感情点数系列を基に応対評点を算出する。

以上の構成によれば、例えば、コールセンタのオペレータや窓口業務員の顧客に対する応対を自動的に評点することができ、オペレータ、窓口業務員などの教育の負担を軽減することが可能である。

実施例１
この発明の実施例１を説明するにあたって、コールセンタにおけるオペレータとその顧客との応対について説明する。また、この実施例において、オペレータが顧客に対する応対を始めた時を応対開始と定義し、オペレータが顧客に対する応対を終了した時を応対終了と定義し、応対開始から応対終了までの応対を１コールと定義する。また、この実施例は、オペレータの音声は使用せず、顧客の音声のみを使用するものである。
図１、図２にこの実施例１の機能構成例を示し、図３に実施例１の処理の流れを示す。

図１中の感情系列推定部２は音声分析部４、特徴量ベクトル記憶部６、感情モデル集合記憶部８、マッチング部１０とで構成されている。更にマッチング部１０は尤度計算部１２、発話検出部１４、発話単位マッチング部１６、とで構成され、入力部３０は感情入力部３２と点数入力部３４とで構成されている。
オペレータの応対が開始すると（ステップＳ２００）、顧客の入力音声信号がサンプリングされ、ディジタル信号化された状態で、入力端子１に入力され、１コール分の入力音声信号が音声分析部４に入力される。応対開始は例えば、顧客からの着信に基づき、オペレータが送受信機のフックスイッチなどの電話応対開始用ボタンを操作すると、その操作を検出して、応対開始とする。

入力音声信号は、音声分析部４において音声特徴量ベクトルの時系列に変換される（ステップＳ２０２）。そして、音声特徴量ベクトルは特徴量ベクトル記憶部６で記憶される。音声分析部４における音声分析方法としてよく用いられるのはケプストラム分析である。音声特徴量としてはＭＦＣＣ（Mel Frequency Cepstral Coefficient）、ΔＭＦＣＣ、ΔΔＭＦＣＣ、対数パワー、Δ対数パワーなどが用いられ、これらの組み合わせで、１０〜１００次元程度の音声特徴量ベクトルが構成される。音声特徴量ベクトルの代表的な例としては、（１）ＭＦＣＣ１２次元、ΔＭＦＣＣ１２次元、Δ対数パワー１次元の計２５次元から構成されるものや（２）ＭＦＣＣ１２次元、ΔＭＦＣＣ１２次元、ΔΔＭＦＣＣ１２次元、対数パワー1次元、Δ対数パワー1次元、ΔΔ対数パワー１次元の計３９次元から構成されるものなどがある。音声分析は、分析フレーム幅３０ミリ秒程度、分析フレームシフト幅１０ミリ秒程度で実行される。

また、予め顧客の好ましい感情から好ましくない感情まで複数の感情を定義しておく必要がある。感情定義の一例を図４に示す。この例では、「感謝している（好ましい感情）」から「怒っている（好ましくない感情）」まで５段階の感情を定義している。具体的には、「感謝している」「快い」「普通」「不快である」「怒っている」の５段階である。この感情定義は、オペレータ教育において何を重視するかにより、コールセンタごとに定義すればよい。例えば、オペレータのクレーム応対能力を強化したいのであれば、好ましくない感情を更に細かく定義し、詳細な分析に基づく教育を行えるようにすればよい。

また感情定義に対応した感情モデル集合を事前に構築しておく必要がある。図４の感情定義に対応した感情モデル集合の一例を図５に示す。感情モデル集合中の各感情モデルは、例えば、音声認識の分野で汎用される確率・統計理論に基づいてモデル化された多次元混合正規分布（Gaussian Mixture Model 略してＧＭＭ）で表現することができる。ＧＭＭの詳細については、例えば、「D．A．Reynolds and R．C.Rose，“Robust Text−Independent speaker Indentification using Gaussian mixture speaker models，” IEEE Trans．Speech Audio Process．，vol.3,no.1,pp.72−83，Jan.1995.」に記載されている。

ＧＭＭの構造例を図６に示す。ＧＭＭ中の各多次元正規分布としては、次元間に相関がない（共分散行列の対角成分が０である）多次元無相関正規分布が最もよく用いられる。多次元無相関正規分布の各次元は、上記の音声特徴量ベクトルの各次元に対応する。図６では、４つの多次元正規分布（Ｎ１〜Ｎ４）を要素分布とする多次元無相関混合正規分布によりＧＭＭが構成されている。ここでμｍｉ、σｍｉ^２は多次元無相関正規分布中のそれぞれｍ番目（図６の場合はｍ＝１、．．．、４）の分布の次元ｉ（ｉ番目の次元）における平均値、分散である。また図６では、音声特徴量ベクトルのある次元ｉ（ｉ番目の次元）について示しているが、上記音声特徴量ベクトルの各次元について同様に表現される。そして、感情モデル集合に含まれる各感情モデルはＧＭＭにより構成されている。この実施例では「感謝している」はＧＭＭ１、「快い」はＧＭＭ２、「普通」はＧＭＭ３、「不快である」はＧＭＭ４、「怒っている」はＧＭＭ５であり、これらの感情モデル集合が感情モデル集合記憶部８に記憶されている。

特徴量ベクトル記憶部６よりの音声特徴量ベクトルがマッチング部１０に入力される。マッチング部１０では、音声特徴量ベクトルと感情モデル集合記憶部８中の感情モデル集合に含まれる各感情モデル（ＧＭＭ１〜ＧＭＭ５）との照合が行われ、最も高い尤度を示した感情モデルが表現する感情が推定結果として出力される。
以下に、マッチング部１０における音声特徴量ベクトルとＧＭＭ１〜５との照合処理すなわち、尤度計算について説明する。またこの手法の詳細は、例えば、「鹿野清宏、伊藤克亘、河原達也、武田一哉、山本幹雄、「ＩＴ Ｔｅｘｔ 音声認識システム」、ｐｐ．１−５１，２００１，オーム社」に記されている。

特徴量ベクトル記憶部６よりの音声特徴量ベクトルがマッチング部１０中の尤度計算部１２に入力される。尤度計算部１２では、フレームごとに、処理が行われ（ステップＳ２０４）、当該フレームをｔ番目のフレームとすると、ｔ番目のフレームの音声特徴量ベクトルＸｔがＧＭＭから出力される確率（以下、尤度という）ｂ（Ｘ_ｔ）は、式（１）のように計算される。ただし、Ｐｍ（Ｘ_ｔ）は、音声特徴量ベクトルＸ_ｔが上記のＧＭＭ中のｍ番目の多次元無相関正規分布からの出力確率とする。

ここでＷｍはｍ番目の多次元無相関正規分布の分布重みである。Ｗｍについては以下が満たされる。

また、ｍ番目の多次元無相関正規分布からの出力確率Ｐｍ（Ｘ_ｔ）は以下のように計算される。

Ｘ_ｔｉは、音声特徴量ベクトルＸ_ｔの次元iの値である。Iは音声特徴量特徴ベクトル（多次元無相関正規分布）の次元数である。
このように計算されたフレームごとの尤度ｂ（Ｘｔ）が発話単位マッチング部１６に入力される。

一方、入力端子１よりのディジタル信号化された入力音声信号は、発話検出部１４に入力され、発話検出部１４で発話単位に分割される。発話単位に区切る方法としては、音声パワーのレベルがある一定の閾値以上である区間を発話として認識する方法等が考えられる。区切られた発話単位は発話単位マッチング部１６に入力される。この例では、１コールにおける入力音声信号が図２に示すように、１０個の発話単位で構成された場合を想定する。

発話単位マッチング部１６では、発話単位ごとの各音声モデルＧＭＭの出力確率、つまり尤度が計算される。具体的な計算方法を以下に示す。検出されたある発話単位において、開始されたフレーム番号をｓとし、ｒフレーム含まれていたとすると、当該発話単位の音声モデルＧＭＭからの出力尤度Ｐ（Ｘ│ＧＭＭ）は、各フレームごとの特徴ベクトルＸ_ｔに対するそのモデルＧＭＭの出力尤度ｂ（Ｘ_ｔ）の積として求める。つまり、発話単位の音声モデルに対する尤度は、以下の計算式で計算できる。ただしｒは自然数とする。

上記のような音声特徴量ベクトルとＧＭＭの照合処理(尤度計算)が、感情モデル集合に含まれる図５記載の各感情モデルＧＭＭ１〜ＧＭＭ５に対して行われる（ステップＳ２０６）。各発話単位ごとに、最も高い尤度を出力するＧＭＭが表現する感情が、推定された感情として発話単位マッチング部１６から出力される（ステップＳ２０８）。つまり、例えば、図２の感情系列推定部２に示すように、各発話単位ごとに５つのＧＭＭ中の最も高い尤度を出した感情モデルが表現する感情（図２では太字と太線枠内で示している感情とする）がその発話単位の感情として出力される。このようにして、感情系列推定部２中のマッチング部１０から発話単位ごとに求められた感情の系列が出力される。

なお、上記の尤度計算では、確率値をそのまま扱ったが、実際には、アンダーフローを防ぐために、確率値の対数をとって計算を行う。
また、ＧＭＭを表現する各パラメータ（分布重みＷｍ、多次元無相関正規分布の各次元の平均μｍｉおよび分散σｍｉ^２）の推定アルゴリズムとしては、バウム−ウェルチ（Ｂａｕｍ−Ｗｅｌｃｈ）アルゴリズムが最もよく用いられる。各感情を表現するＧＭＭは、対応する感情の音声データベースを用いて構築される。

また、上記の処理では発話単位ごとに尤度計算を行ったが、発話単位よりも短い時間間隔で尤度計算を行うことも考えられる。つまり、評価単位として発話単位のみならず、これより短い時間間隔を用いてもよい。短い時間間隔で尤度計算を行うことで、顧客の感情の時系列的な変化をより細かく捉えることが可能である。具体的には、マッチング部１０内に破線で示す短時間マッチング部１８を設け、尤度計算部１２よりのフレームごとの尤度を入力とし、感情モデル集合記憶部８内の感情モデル集合を使用して、短時間毎に各感情モデルに対する出力尤度の計算を行う。そして、短時間毎に最も高い尤度を出力するＧＭＭが表現する感情が短時間マッチング部１８つまりマッチング部１０で推定され、１コールにおける感情系列が得られる。なお、この時間間隔とは、一番短い時間間隔でおよそ０．５秒が好ましい。それは、音声特徴量ベクトルの系列により、感情モデルを用いて、感情が安定して得られるには少なくとも０．５秒程度必要と考えられるからである。なお、分析フレームシフト幅として、１０ｍｓが一般的なので、０．５秒は５０フレームに相当する。

マッチング部１０から推定され、出力された感情の系列を示す感情系列は感情系列記憶部２０に記憶される。
また、感情定義に対応した感情点数リストを事前に作成しておく。図１中の感情入力部３２から感情定義を入力し、点数入力部３４からこの感情定義に対応した点数を入力して、感情点数リストとして感情点数リスト記憶部２８に記憶しておく。この実施例における感情点数リストの例を図７に示す。図７では「感謝している」には「＋２」、「快い」には「＋１」、「普通」には「０」、「不快である」には「−１」、「怒っている」には「−２」と付与している。なお、この例では、等間隔かつ整数で、５段階の点数（−２〜＋２）が付与されているが、感情の点数の付け方は任意であり、等間隔または整数である必要もなければ、範囲を−２〜＋２に規定する必要もなく、感情定義に合わせて適切に付与すればよい。例えば、上記のように、オペレータのクレーム応対能力を強化するため、感情定義において、好ましくない感情を細かく定義したのであれば、それに合わせて、好ましくない感情に対する点数を細かく付与すればよい。

感情系列記憶部２０よりの感情系列を入力とし、感情点数系列生成部２２で、感情点数リスト記憶部２８中の感情点数リストを参照して、感情系列の各感情を感情点数に単純に変換する（ステップＳ２１０）。具体的には図２の感情系列記憶部２０に示すように、例えば、４番目の発話単位の感情が「怒っている」と推定されているため、感情点数リスト記憶部２８中の感情点数リストでは、「怒っている」の感情点数は「−２」なので、「−２」に変換して、出力する。このようにして、全ての発話単位について感情を感情点数に変換して、感情点数系列として出力する。出力された感情点数系列は感情点数系列記憶部２４で記憶され、感情点数系列記憶部２４から応対評点算出部２６に入力される。

実施例１では、応対評点算出部２６における第１の応対評点算出部による第１の応対評点の算出方法を説明する（ステップＳ２１２）。この方法は、通常は、応対終了時の感情が応対開始時の感情よりも好ましくなっている方が、オペレータがよい応対を行ったと考えられるため、式（５）のように、応対終了時の感情点数Ｓ_Ｎから応対開始時の感情点数Ｓ_１を差し引いた値を応対評点とする方法である。

ここで、ｕは第１の応対評点、Ｎは1コール内の顧客の発話数、Ｓ_ｉはi番目の発話の感情点数である（i＝１、．．．、Ｎ）。図３の例では、顧客の感情が応対開始時の「怒っている」である「−２点」から応対終了時には「感謝している」である「＋２点」にまで改善しているため、オペレータは非常によい応対を行ったことになる。ちなみに図２の場合であると、ｕ＝＋４となり、この実施例では、ｕは−４〜＋４まで取り得る。

具体的な処理の流れを説明する。図８に応対評点算出部２６の具体的構成例とこれに関係する他の部分を示す。なお、この実施例では、第１の応対評点算出部１００について説明する。第１の応対評点算出部１００は、応対開始時点数読み取り部１０２と応対終了時点数読み取り部１０４と減算部１０６より構成される。

まず、感情点数系列記憶部２４から応対開始時点数読み取り部１０２が応対開始時の感情点数Ｓ_１を読み取り、応対終了時点数読み取り部１０４が応対終了時の感情点数Ｓ_Ｎを読み取り、感情点数Ｓ_１と感情点数Ｓ_Ｎがそれぞれ、減算部１０６に入力され、減算部１０６で感情点数Ｓ_Ｎから感情点数Ｓ_１が減算され、第１の応対評点が計算され、出力部１３４から出力される。
また、発話単位よりも短い時間でマッチング処理を行った場合は、最後の短時間の感情点数から最初の短時間の感情点数を減算部１０６で減算して求めればよい。

実施例２
この発明の実施例２は、実施例１と比較して、応対評点算出部２６の具体的構成例のみが変更となり、他の部分は同一である。なお、以下で説明する実施例３、４についても同様である。
応対評点算出部２６としての第２の応対評点算出部１０８の第２の応対評点の算出方法を説明する。応対開始時から応対終了時までの顧客の感情点数系列の平均値を、つまり式（６）の計算結果を応対評点とする方法が考えられる。この応対評点は、1コール中のオペレータの応対に対して、顧客が平均的にどの程度好感を持っていたかを示すものである。

ここで、ｖは第２の応対評点であり、Ｎ、ｓ_ｉは式（５）と同じである。図３の例では、ｖ＝−０．７となり、1コール中で、平均的には、顧客は「普通」以下の好ましくない感情を持っていたことになる。またこの例では、ｖは−２〜＋２まで取り得る。

具体的な処理の流れを説明する。実施例２では、実施例１同様、図８中の第２の応対評点算出部１０８を参照して説明する。第２の応対評点算出部１０８は点数総加算部１１０、除算部１１２、評価単位計数部１１４とで構成されている。
まず、発話単位ごとにマッチング処理をしている場合を説明する。感情点数系列記憶部２４から発話単位ごとの感情点数が点数総加算部１１０により、読み取られ、これら読み取られた全ての感情点数が加算されて、総加算された感情点数Ｓ_ＳＵＭが求められる。また発話検出部１４で発話単位が検出されるごとに、その検出を示す信号が評価単位計数部１１４に入力され、発話単位の数が計数され、１コール中の発話単位数Ｎが求められる。総加算された感情点数Ｓ_ＳＵＭと発話単位数Ｎが除算部１１２に入力され、除算部１１２はＳ_ＳＵＭをＮで割算する。その割算結果が第２の応対評点ｖとして出力部１３４より出力される。

発話単位よりも短い時間間隔でマッチング処理をした場合は、上記同様、点数総加算部１１０で、総加算された感情点数Ｓ_ＳＵＭを加算し、評価単位計数部１１４で１コール中の短い時間間隔の総個数Ｍを計数する。総加算された感情点数Ｓ_ＳＵＭと個数Ｍが除算部１１２に入力され、除算部１１２で第２’の応対評点ｖ’が次式で計算される。

評価単位計数部１１４による１コール中における評価単位の個数の計数は、発話単位マッチング部１６または、短時間マッチング部１８において、マッチング処理を行うごとに、つまり、推定された情報が１つ得られる毎に、１を加算計数してもよい。

実施例３
実施例３における応対評点算出部２６としての第３の応対評点算出部１１３で第３の応対評点の算出方法を説明する。この方法は、1コール中の顧客の感情の揺れに注目し、感情の揺れが小さいほど、オペレータが落ち着いて顧客に対して適切な応対をしていたとして評価するものである。例えば、式（６）で計算される平均値が０であっても、元の感情点数系列が、−２、＋２、−２、＋２、−２、＋２、・・・となっていれば、顧客の感情が大きく揺れていたことになり、オペレータの応対はよいものとはいえない。この評価を定式化する方法としては、応対開始時から応対終了時までの隣り合う感情点数の差分の絶対値の平均を、前記差分絶対値の最高値の１／２から引いた値を応対評点とする方法が考えられる。つまり、次式を計算して求める。

ここで、ｗは第３の応対評点、ｍａｘ｜ｓ_ｊ−ｓ_ｊ＋１｜は、隣り合う感情点数の差分の絶対値の取り得る最大値を表し、この例では４である。Ｎ、ｓ_ｉは式（５）と同じである。また、図２の場合、ｗ≒１．３となり、好ましくない感情から好ましい感情まで、特に大きな感情の揺れもなくほぼ単調に感情が改善されているため、オペレータは落ち着いて応対をしていたと評価できる。またこの例では、ｗは−２〜＋２まで取り得る。

具体的な処理の流れを説明する。実施例３では、実施例１同様、図８中の第３の応対評点算出部１１３を参照して説明する。
第３の応対評点算出部１１３は評価単位計数部１１４、−１計算部１１６、隣接点数差絶対値化部１１８、合計部１２０、除算部１２２、最大値検出部１２４、１／２乗算部１２６、減算部１２８とで構成されている。
まず、発話単位ごとにマッチング処理をしている場合を説明する。感情点数系列記憶部２４から隣接点数差絶対値化部１１８に、発話単位ごとに、隣接点数差絶対値化部１１８により、感情点数が読み出され、隣接する感情点数の差の絶対値｜ｓ_ｉ＋１−ｓ_ｉ｜が計算される。そして、絶対値｜ｓ_ｉ＋１−ｓ_ｉ｜が合計部１２０と最大値検出部１２４に入力される。合計部１２０で隣接する感情点数の差の絶対値の合計値ＳＡが計算され、つまり、次式が計算される。

合計値ＳＡは除算部１２２に入力される。
一方、最大値検出部１２４では、差の絶対値中の最大値ｍａｘ｜ｓ_ｉ＋１−ｓ_ｉ｜が検出され、ｍａｘ｜ｓ_ｉ＋１−ｓ_ｉ｜は１／２乗算部１２６に入力される。１／２乗算部１２６で１／２ｍａｘ｜ｓ_ｉ＋１−ｓ_ｉ｜が計算され、１／２ｍａｘ｜ｓ_ｉ＋１−ｓ_ｉ｜は減算部１２８に入力される。

一方、実施例２と同様、評価単位計数部１１４で１コール中の発話単位数Ｎが計数され、発話単位数Ｎは−１計算部１１６に入力される。−１計算部１１６でＮ−１が計算され、Ｎ−１は除算部１２２に入力される。除算部１２２の除算結果ＳＡ／Ｎ−１が減算部１２８に入力される。
減算部１２８で１／２ｍａｘ｜ｓ_ｉ＋１−ｓ_ｉ｜−ＳＡ／Ｎ−１が計算され、すなわち第３の応対評点算出部１１３で式（８）が計算され、その計算結果が第３の応対評点ｗとして出力部１３４から出力される。

次に、発話単位よりも短い時間間隔で、マッチング処理を行った場合は、評価単位計数部１１４でマッチング処理を行った個数（前記短い時間間隔の個数）Ｍを計数する。後の処理は発話単位ごとにマッチング処理をした場合と同じである。以下にこの場合の応対評点ｗ’の計算式を次式に示す。

実施例４
実施例４における、応対評点算出部２６としての第４の応対評点算出部２６の第４の応対評点算出方法を説明する。この方法は実施例１〜３で示した第１〜３応対評点ｕ、ｖ、ｗをそれぞれ重み付けして加算する方法である。ここで、第１の応対評点ｕの取り得る値−４〜＋４と、第２の応対評点ｖ及び第３の応対評点ｗの取り得る値が−２〜＋２が異なるため、ｕ’＝（１／２）ｕとして、第４の応対評点ｘを次式で定義する。

ここで、ｘは第４の応対評点算出方法で得られる応対評点、α、β、γはそれぞれ、ｕ’、ｖ、ｗに対する重み係数である。これら重み係数は、ｕ’、ｖ、ｗのどれをどの程度重要視するかにより調整すればよい。ただしα+β+γ＝１、０≦α＜１、０≦β＜１、０≦γ＜１とする。つまり、応対評点ｕ’、ｖ、ｗ中の２つ以上を重み付け加算して第４の応対評点ｘを求める。

なお、以上で示した、応対評点算出部２６における４つの応対評点算出方法は一例であり、この他にも様々な応対評点算出方法を設定することが可能である。
以下に具体的な処理の流れを説明する。実施例４では、図８で示すように、応対評点算出部２６は第１の応対評点算出部１００、第２の応対評点算出部１０８、第３の応対評点算出部１１３、破線で示した１／２乗算部１３１と重み付け加算部１３２と、で構成されている。

予め定数入力部１３０からα、β、γが重み付け加算部１３２に入力される。第１の応対評点算出部１００よりのｕが１／２乗算部１３１に入力され、１／２乗算部１３１でｕ’＝１／２ｕが計算され、ｕ’が重み付け加算部１３２に入力される。また、第２の応対評点算出部１０８よりのｖ、第３の応対評点算出部１１３よりのｗ、がそれぞれ重み付け加算部１３２に入力される。重み付け加算部１３２で式（１１）が計算され、第４の応対評点ｘが計算され、その結果が出力部１３４から算出される。

また、実施例４では、応対評点算出部２６に第１の応対評点算出部１００、第２の応対評点算出部１０８、第３の応対評点算出部１１３のうちの２つを設けて実施してもよく、３つ設けた場合でも、α、β、γのいずれかを０とし、２つの応対評点を加算してもよい。

この発明は、上述の通り、コールセンタなどの電話による顧客に対する応対に限らず、例えば銀行窓口業務のような音声による顧客応対を行う場合にも応用できる。この場合は、顧客の音声をマイクロホンにより、音声信号に変換し、リアルタイムに、あるいは、一旦、記憶した後にこの発明の応対評価装置に入力すればよい。また、応対評点算出部２６よりの応対評点に基づいて、映像や記号などに変換して出力してもよく、また、オペレータと顧客の応対中に逐次的（リアルタイム）に行うことも可能であるし、オペレータと顧客の応対を一旦録音しておき、後にまとめて行うことも可能である。

この発明の装置はコンピュータにより機能させることもできる。例えば、図９に示すように、入力部５２、出力部５４、ＣＰＵ５６、メモリ５８、がバス５０に接続され、バス５０には感情モデル集合記憶部８、感情点数リスト記憶部２８が接続されている。図１に示した応対評価装置としてコンピュータを機能させるための応対評価プログラム６０がコンピュータ内のメモリ５８内のプログラム領域内に記憶され、そのプログラムを実行する上に必要なデータがデータ領域６２に記憶されている。この発明による上記応対評価プログラム６０はＣＤ−ＲＯＭ、磁気ディスク、半導体メモリなどからインストールし、又は、通信回線を介して、ダウンロードして、このプログラムを実行させればよい。

また、上記応対評価装置における処理機能をコンピュータによって実現する場合、応対評価装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記応対評価装置における処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto−Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable−Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、応対評価装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

この発明の装置の機能構成例を示すブロック図。 音声信号波形、各種発話単位ごとの最大尤度の音声モデル、これら各モデルが表現する感情、これら各感情を点数変換した例を示す図。 この発明の方法処理の流れの例を示すフローチャート図。 この発明における感情定義の一例を示す図。 感情モデルを多次元混合正規分布により構成された場合の感情モデル集合の一例を示す図。 感情モデルとしての多次元混合正規分布での構造例を示す図。 感情点数リストの一例を示す図。 この発明の実施例１〜４における応対評点算出部２６の具体的構成例を示すブロック図。 この発明装置をコンピュータに機能させた場合の構成例を示すブロック図。

Claims (10)

1. 入力された顧客の音声信号から音声分析部で音声特徴量を検出し、予め定義された複数の感情のそれぞれをモデル化した感情モデル集合と上記音声特徴量の時系列的なマッチングをマッチング部で取ることで、感情系列を生成する感情系列推定部と、
   上記感情モデル集合を記憶する感情モデル集合記憶部と、
   上記複数の感情とこれらの感情点数を対応させた感情点数リストを記憶する感情点数リスト記憶部と、
   上記感情点数リストと上記感情系列との対応から感情点数系列を出力する感情点数系列生成部と、
   上記感情点数系列を基に応対評点を算出する応対評点算出部と、
   を備え、
   上記感情モデル集合記憶部に記憶されている感情モデル集合に含まれる各感情モデルは多次元混合正規分布により構成されていることを特徴とする応対評価装置。
2. 請求項１に記載の応対評価装置において、
   上記感情系列推定部は、
   上記顧客の音声信号の発話単位を検出する発話検出部と、
   上記発話単位毎に、上記音声特徴量と上記感情モデル集合の時系列的なマッチングを取る発話単位マッチング部と、を備えることを特徴とする応対評価装置。
3. 請求項１に記載の応対評価装置において、
   上記感情系列推定部は、上記顧客の音声信号を請求項２記載の発話単位より短い時間間隔で分割し、当該時間間隔で、上記音声特徴量と上記感情モデル集合の時系列的なマッチングを取る短時間マッチング部を備えることを特徴とする応対評価装置。
4. 請求項１〜３何れかに記載の応対評価装置において、
   上記応対評点算出部は、応対開始時の上記感情点数と応対終了時の上記感情点数の差分に基づき応対評点を算出する第１の応対評点算出部であることを特徴とする応対評価装置。
5. 請求項１〜３何れかに記載の応対評価装置において、
   上記応対評点算出部は、応対開始時から応対終了時までの上記感情点数の平均に基づき応対評点を算出する第２の応対評点算出部であることを特徴とする応対評価装置。
6. 請求項１〜３何れかに記載の応対評価装置において、
   上記応対評点算出部は、応対開始時から応対終了時までの隣り合う感情点数の差分の絶対値の最大値の１／２から、応対開始時から応対終了時までの隣り合う感情点数の差分の絶対値の平均を引いた値に基づき応対評点を算出する第３の応対評点算出部であることを特徴とする応対評価装置。
7. 請求項１〜３何れかに記載の応対評価装置において、
   上記応対評点算出部は、請求項４〜６に記載の第１〜３の応対評点算出部のうち少なくとも２つ以上を含み、
   当該含まれた応対評点算出部の少なくとも２つによりそれぞれ応対評点を算出し、これら算出した応対評点を重み付けて加算して応対評点を算出する重み付け計算部を含む第４の応対評点算出部であることを特徴とする応対評価装置。
8. 入力された顧客の音声信号から音声分析部で音声特徴量を検出し、予め定義された複数の感情のそれぞれをモデル化した感情モデル集合と上記音声特徴量の時系列的なマッチングを取ることで、感情系列を生成する過程と、
   上記複数の感情とこれらの感情点数を対応させた感情点数リストと上記感情系列との対応から感情点数系列を生成する過程と、
   上記感情点数系列を基に応対評点を算出する過程と、を有し、
   上記感情モデル集合に含まれる各感情モデルは多次元混合正規分布により構成されていることを特徴とする応対評価方法。
9. 請求項１〜７何れかに記載した応対評価装置としてコンピュータを機能させるための応対評価プログラム。
10. 請求項９記載の応対評価プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images