JP2024036073A - 情報処理装置、及び情報処理方法 - Google Patents

Abstract

【課題】顧客の感情の推移に基づいて応対を適切に評価することの可能な情報処理装置を提供する。【解決手段】本発明の一実施形態に係る情報処理装置は、第１ユーザに対する第２ユーザの応対を含む音声データを取得する取得部と、音声データに基づいて、応対の少なくとも２つの異なる時点における第１ユーザの感情の推定値を算出する感情推定部と、推定値に基づいて、第１ユーザの感情の推移を示す指標を算出する感情推移算出部と、指標に基づいて、応対に対する評価を算出する応対評価部と、評価を出力する出力制御部と、を備える。【選択図】図１

Description

本発明は、情報処理装置、及び情報処理方法に関する。

コールセンタにおける通話対応では、顧客の問い合わせに対し、トラブルを生じせることなく回答することが求められる。例えば、特許文献１には、予め学習した感情識別器を用いて、発話内容冗長性特徴量等に基づいて、対話テキストの対話が怒り対話か否かを推定する感情識別部を備える感情推定装置が記載されている。これにより、顧客の怒り感情を推定することが可能となる。

特開２０１２－２４８０６５号公報

しかしながら、応対の時間の経過に応じて顧客の感情は常に一定であるとは限らない。むしろ、オペレータによる応対が適切か否かなどの要素によって、顧客の感情は変動し得るのが一般的である。そのため、応対中における顧客の感情の推移を把握した上で、これに基づいて応対を評価することが望まれている。

そこで、本発明の一実施形態では、顧客の感情の推移に基づいて応対を適切に評価することの可能な情報処理装置を提供することを目的の一つとする。

本発明の一実施形態に係る情報処理装置は、第１ユーザに対する第２ユーザの応対を含む音声データを取得する取得部と、音声データに基づいて、応対の少なくとも２つの異なる時点における第１ユーザの感情の推定値を算出する感情推定部と、推定値に基づいて、第１ユーザの感情の推移を示す指標を算出する感情推移算出部と、指標に基づいて、応対に対する評価を算出する応対評価部と、評価を出力する出力制御部と、を備える。

本発明の一実施形態によれば、第１ユーザに対する第２ユーザの応対を含む音声データ音声データに基づいて、応対の少なくとも２つの異なる時点における第１ユーザの感情の推定値が算出された上で、当該推定値に基づいて、第１ユーザの感情の推移を示す指標が算出される。そして、当該指標に基づいて、応対に対する評価が算出される。そのため、顧客の感情の推移に基づいて応対を適切に評価することの可能な情報処理装置を提供することが可能となる。

本発明の一実施形態によれば、顧客の感情の推移に基づいて応対を適切に評価することの可能な情報処理装置を提供することが可能となる。

本発明の一実施形態に係る管理システム１のブロック図である。 応対評価テーブル３１２のデータ構造の一例を示す図である。 情報処理装置３０のハードウェア構成の一例を示す図である。 情報処理装置３０が実行する動作処理の一例を示す動作フロー図である。 管理システム１において表示される表示画面の一例を示す概略図である。

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

（１）管理システム１の概要
図１は、本発明の一実施形態に係る管理システム１のブロック図である。管理システム１は、例えば、保険に関するコールセンタ等における応対業務に用いられる。なお、管理システム１は、保険に関するコールセンタ業務に限らず、銀行業務や販売業務その他の任意の業務に適用することができる。

管理システム１は、例えば、カスタマが利用するカスタマ端末１０と、カスタマに対して応対を行うオペレータが利用するオペレータ端末２０と、情報処理装置３０とを有する。カスタマ端末１０、オペレータ端末２０、及び情報処理装置３０は、インターネットやＰＳＴＮ（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋｓ）等のような公衆網、無線ネットワーク等の通信網Ｎに接続されている。ここで、カスタマは、第２ユーザから応対を受ける第１ユーザの一例である。応対を受ける第１ユーザは、カスタマに限らず、例えば、カスタマの関係者（家族、友人、知人）、カスタマが関与した事故の相手方、当該相手方が加入している保険契約の保険会社の従業員、カスタマが関与した事故において損害を受けた自動車等の修理を行う修理業者、代車の手配等を行うレンタカー業者、整形外科や接骨院等における医療従事者等、当該保険に関連する任意の者であってよい。また、オペレータは、第２ユーザの一例であって、カスタマ等の第１ユーザに対して応対を行う任意のユーザであってよい。

カスタマ端末１０とオペレータ端末２０とは、例えば通信網Ｎを介して、音声通話可能に接続されてもよい。これにより、カスタマ端末１０を利用するカスタマと、オペレータ端末２０を利用するオペレータとが、これら端末を介して音声通話を行うことが可能となる。オペレータ端末２０は、カスタマ端末１０との間の音声通話に基づく音声データを生成し、情報処理装置３０に送信してもよい。音声データには、通話開始時間、通話終了時間、通話開始を示すタグ及び通話終了開始を示すタグや、音声データを区別するための識別情報が付与されてもよい。なお、音声データの生成や情報処理装置３０への送信は、カスタマ端末１０が実行してもよい。

情報処理装置３０は、カスタマに対するオペレータの応対を含む音声データを取得した上で、音声データに基づいて応対の少なくとも２つの異なる時点におけるカスタマの感情の推定値を算出する。そして、情報処理装置３０は、当該少なくとも２つの異なる時点におけるカスタマの感情の推定値に基づいて、カスタマの感情の推移を示す指標を算出する。そして、情報処理装置３０は、当該指標に基づいて、カスタマの怒り等の感情の対象や、応対の善し悪しを示す指標等を含み得る応対に対する評価を算出し、これを出力する。これにより、カスタマの感情の推移に基づいて、カスタマに対するオペレータの応対を適切に評価することが可能となる。

（２）情報処理装置３０の構成
（２－１）機能構成
図１を参照して、情報処理装置３０の機能構成について説明する。図１に示すとおり、情報処理装置３０は、記憶部３１と、制御部３２とを備える。記憶部３１は、例えば、後述するメモリ１０２及びストレージ１０３により実現され、機械学習モデル３１１と、応対評価テーブル３１２とを記憶する。制御部３２は、例えば、後述するプロセッサ１０１により実現され、取得部３２１と、音声認識部３２２と、感情推定部３２３と、感情推移算出部３２４と、応対評価部３２５と、出力制御部３２６とを有する。

＜取得部３２１＞
取得部３２１は、カスタマ端末１０とオペレータ端末２０との間の音声通話による音声データを取得する。当該音声データには、カスタマとオペレータとの間の会話の音声データが含まれていてもよく、特に、カスタマに対するオペレータの応対の音声データが含まれていてもよい。音声データには、通話開始時間、通話終了時間、通話開始を示すタグ及び通話終了開始を示すタグや、音声データを区別するための識別情報が付与されてもよい。なお、音声データの生成や情報処理装置３０への送信は、カスタマ端末１０が実行してもよい。

＜音声認識部３２２＞
音声認識部３２２は、音声データをテキストデータに変換する音声認識処理を実行する。具体的には、音声認識部３２２は、音声データを音響分析するとともに、音響分析の結果と音声認識辞書を照合する。音声認識辞書は、一例として、音響モデル、言語モデルおよび発音辞書を備えている。音響モデルとは、認識対象の音の周波数成分や時間変化の分析を行うことにより生成された周波数特性である。一般的な音響モデルは、数千人、数千時間の音声を統計的に処理したものを基礎としている。言語モデルは、文字列や単語列が日本語として適切か否かを評価するためのものであって、日本語テキストを多く集め、統計処理したものである。発音辞書は、言語モデルの単語と音響モデルを結びつける役割を果たす。音響モデルは声の最小単位の音素ごとにモデル化されており、音素音響モデルを発音辞書に従って連結して、単語発話に相当する単語音響モデルを構成する。

＜感情推定部３２３＞
感情推定部３２３は、音声データに基づいて、カスタマの感情の推定値（感情推定値）を算出する。具体的には、感情推定部３２３は、機械学習モデル３１１を用いることにより、感情推定値を算出してもよい。機械学習モデル３１１は、所定のパラメータを入力することに応じて、感情推定値を出力する。機械学習モデル３１１の入力は、音声データを含んでもよい。機械学習モデル３１１の入力は、音声認識部３２２が音声データに対して音声認識処理を実行することにより得られるテキストデータを含んでもよい。

機械学習モデル３１１が出力する感情の推定値は、機械学習モデル３１１の設計に応じた、感情に関する定性的な値、定量的な値、及びこれらの組み合わせ等であってもよい。定性的な値としての感情推定値は、例えば、感情を示すラベルであってよい。ここで、感情を示すラベルは、特に限定されないが、喜び、怒り、哀しみ、楽しさ、満足、不満、普通その他の任意に設定されたものであってよい。また、感情を示すラベルは、程度（とても、やや等）を含んでもよい。定量的な値としての感情推定値は、例えば、百分率（０～１００）やその他の任意のスケールで感情に対応するように定量化された値であってもよい。定性的な値と定量的な値とを組み合わせた値としての感情推定値は、例えば、「怒り８５％」や「喜び９５％」のように表されてもよい。

機械学習モデル３１１は、対象となる時点の前後の所定期間のパラメータ（音声データやテキストデータ）が入力されることにより、当該時点に対応する感情推定値を出力する。機械学習モデル３１１に入力するパラメータの所定期間の長さは特に限定されず、機械学習モデル３１１の設計に応じて任意に設定することが可能である。

感情推定部３２３は、機械学習モデル３１１を用いることにより、応対のうち少なくとも２つの異なる時点における感情推定値を算出してもよい。少なくとも２つの異なる時点は、特に限定されないが、例えば、応対の開始時の１時点と、応対の終了時の１時点とを含んでもよい。ここで、応対の開始時の１時点は、応対が丁度開始された１時点に限らず、応対の開始から所定の第１時間後までの期間に含まれる時点（第１時点の一例）であってもよい。当該所定の第１時間は、特に限定されず、数秒、数十秒、数分等であってもよい。また、応対の終了時の１時点は、応対が丁度終了した１時点に限らず、応対の終了から所定の第２時間前までの期間に含まれる時点（第２時点の一例）であってもよい。当該所定の第２時間は、特に限定されず、数秒、数十秒、数分等であってもよい。感情推定部３２３が感情推定値を算出する時点は、２つに限らず、３つ以上であってもよい。また、それら時点は、所定の間隔を有する周期的な時点であってもよいし、所定の条件が満たされた場合等の非周期的な時点であってもよい。

機械学習モデル３１１は、音声データを少なくとも含む学習データを用いた機械学習によって生成されてもよく、情報処理装置３０は、このような機械学習モデル３１１についての機械学習を行う機能を有していてもよい。学習データは、音声データから抽出された所定の特徴量を含んでいてもよい。また、学習データは、音声データの他に、当該音声データに基づいた音声認識処理によって生成されるテキスト（音声データを表すテキスト）を含んでいてもよい。また、学習データは、オペレータ等の任意の者が付した感情を示すラベルを含んでいてもよい。当該ラベルは、上述した機械学習モデル３１１の出力としてのラベルに対応するものであってよく、具体的には、感情に関する定性的な値、定量的な値、及びこれらの組み合わせ等であってよい。学習データに付す当該ラベルは、音声データに対応する応対を行ったオペレータや当該音声データを視聴した他の者が入力したものであってもよいし、カスタマが入力した情報（例えば、応対に対する感想等）に基づいて決定されたものであってもよい。また、学習データは、応対を行う案件に関する情報や、応対内容を表すものとして選択された所定の定型文等を含んでもよい。

機械学習モデル３１３の生成における機械学習のアルゴリズムは、特に限定されないが、例えば、ロジスティック回帰、ニューラルネットワーク、サポートベクターマシン、ランダムフォレスト、及びナイーブベイズ等を含んでもよい。なお、機械学習モデル３１１は、記憶部３１等に記憶された音声データ等に基づいて、所定の期間毎の再学習により更新されもよい。

＜感情推移算出部３２４＞
感情推移算出部３２４は、カスタマの感情の推移を示す指標（感情推移指標）を算出する。感情推移算出部３２４は、例えば、感情推定部３２３により算出された、応対の少なくとも２つの異なる時点における感情推定値に基づいて、感情推移指標を算出してもよい。

感情推移算出部３２４は、少なくとも２つの異なる時点のそれぞれにおける感情推定値を要素として含む組合せ、リスト、及びベクトル等の任意の表現形式で表された感情推移指標を算出してもよい。具体的には、感情推定値が感情を示すラベルとして表される場合、感情推移指標は、例えば、「（不満、満足）」などと表されてもよい。ここで、「（不満、満足）」のうちの第１の要素「不満」は、応対のうちの第１の時点（例えば、応対の開始時点）における感情のラベルが「不満」であることを示しており、「（不満、満足）」のうちの第２の要素「満足」は、応対のうちの第２の時点（例えば、応対の終了時点）における感情のラベルが「満足」であることを示している。感情推移指標は、「満足」や「不満」に限らず、喜び、怒り、哀しみ、楽しさ、普通その他の任意に設定された感情やその程度を示すラベルを要素として含んでもよい。感情推定値が定量的な値として表される場合は、感情推移指標は、例えば、「（７５、９０）」などと表されてもよい。ここで、「（７５、９０）」のうちの第１の要素「７０」は、応対のうちの第１の時点（例えば、応対の開始時点）における定量的な値としての感情推定値が「７０」であることを示しており、「（７５、９０）」のうちの第２の要素「９０」は、応対のうちの第２の時点（例えば、応対の終了時点）における定量的な値としての感情推定値が「９０」であることを示している。

感情推移算出部３２４は、例えば、所定のテーブル等を参照することにより、応対の少なくとも２つの異なる時点における感情推定値に基づいて、感情の推移を示す所定のラベル（感情推移ラベル）として表された感情推移指標を算出してもよい。感情推移算出部３２４は、例えば、感情推定部３２３が算出した感情推定値の組合せ毎に、所定の感情推移ラベルが対応付けられたテーブルを参照することにより、感情推移ラベルを感情推移指標として算出してもよい。感情推移ラベルは、例えば、感情推定値が良いものに変化したことを示す「改善」、感情推定値に変化はないことを示す「変化なし」、感情推定値が「悪化」などの定性的なラベルであってよい。

＜応対評価部３２５＞
応対評価部３２５は、感情推移指標に基づいて、応対に対する評価（応対評価）を算出してもよい。応対評価部３２５は、例えば、感情推移指標と、応対評価とを対応付けた所定のテーブルを参照することにより、感情推移指標に基づいて、応対評価を算出してもよい。

図２は、このようなテーブルの一例である応対評価テーブル３１２のデータ構造を示す概略図である。応対評価テーブル３１２は、行毎に感情推移指標と応対評価とが対応付けられている。応対評価テーブル３１２の第１列は、応対の開始時における感情推定値を、第２列は、応対の終了時における感情推定値を、それぞれ示している。応対評価テーブル３１２の第３列は、第１列及び第２列に示された感情推定値に基づいて算出された感情推移指標を示している。

応対評価部３２５は、例えば、応対評価テーブル３１２を参照することにより、感情推移指標に基づいて応対評価を算出する。応対評価部３２５が算出する応対評価は、カスタマの感情の対象を含んでもよい。ここで、カスタマの感情の内容は特に限定されないが、例えば、喜び、怒り、哀しみ、楽しさ、満足、不満、普通その他の任意に設定されたものであってよい。当該カスタマの感情は、感情推定値としての感情を示すラベルと同様であってもよいし、同様でなくてもよい。カスタマの感情の対象は、任意に設定可能であってよく、例えば、オペレータ、カスタマの関係者（家族、友人、知人）、カスタマが関与した事故の相手方、当該相手方が加入している保険契約の保険会社の従業員、カスタマが関与した事故において損害を受けた自動車等の修理を行う修理業者（修理工場）、代車の手配等を行うレンタカー業者、整形外科や接骨院等における医療従事者等を含んでもよい。

図２に示す応対評価テーブル３１２の第４列には、カスタマの感情の対象の一例が示されている。特に、当該第４列は、第１行において「怒りの対象」と表示されているように、カスタマの感情のうちの「怒り」の対象を示している。例えば、応対評価テーブル３１２の第２行において、感情推移指標（第３列）は「（不満、不満）」であるが、これに対応する怒りの対象（第４列）は「オペレータ」に設定されている。これは、応対評価部３２５が、感情推移指標が「（不満、不満）」だった場合に、その応対の評価として、当該応対を受けるカスタマの怒りの感情の対象が「オペレータ」であると算出することを意味している。同様に、第３行によれば、応対評価部３２５は、感情推移指標が「（不満、普通）」だった場合に、その応対の評価として、当該応対を受けるカスタマの怒りの感情の対象は「相手方」であると算出することとなる。

なお、上述したとおり、図２において、感情推移指標「（不満、不満）」には感情の対象「オペレータ」が対応付けられ、感情推移指標「（不満、普通）」には感情の対象「相手方」が対応付けられている。しかしながら、応対評価テーブル３１２において、いずれの感情推移指標に対していずれの感情の対象を対応付けるかは、管理者等が任意に設定可能であってよい。このように、例えば管理者やコールセンタ等において蓄積された経験則やノウハウを反映可能となる。

応対評価部３２５が算出する応対評価は、応対の善し悪しを示す指標を含んでもよい。応対の善し悪しを示す指標は、点数やスコア等を示す定量的な値であってもよい。図２に示す応対評価テーブル３１２の第５列には、応対の善し悪しを示す指標の一例としての「点数」が示されている。例えば、応対評価テーブル３１２の第２行において、感情推移指標（第３列）は「（不満、不満）」であるが、これに対応する点数（第５列）は「７０」である。これは、応対評価部３２５が、感情推移指標が「（不満、不満）」だった場合に、その応対の評価として、当該応対の善し悪しを示す指標としての点数が「７０」であると算出することを意味している。同様に、第３行によれば、応対評価部３２５は、感情推移指標が「（不満、普通）」だった場合に、その応対の評価として、当該応対の善し悪しを示す指標としての点数は「８０」であると算出することとなる。

なお、図２に示した「点数」の値は一例であって、応対評価テーブル３１２において、各感情推移指標に対応付ける「点数」の値は管理者等が任意に設定可能であってよい。このように、例えば管理者やコールセンタ等において蓄積された経験則やノウハウを反映可能となる。

図２に示した応対評価テーブル３１２のデータ構造はあくまで一例である。また、応対評価は、応対評価テーブル３１２に示した「怒りの対象」に限らず、他の感情（喜び、哀しみ、楽しさ、満足、普通、不満等）の対象を含んでもよい。また、応対評価は、応対の善し悪しを示す指標として、「点数」に限らず、他の定性的な評価等を含んでもよい。

＜出力制御部３２６＞
出力制御部３２６は、各種の情報を出力する。ここで、出力制御部３２６による出力処理は、例えば、情報処理装置３０が備える出力装置（表示装置や音声出力装置）を制御することにより所定の情報を出力すること（表示させること、又は音声出力させること）を含んでもよい。また、出力制御部３２６による出力処理は、例えば、情報処理装置３０が備える通信Ｉ／Ｆ１０５を制御することにより、所定の情報を他の任意の情報処理装置に送信することを含んでもよい。

出力制御部３２６は、例えば、応対評価部３２５が算出した応対評価を出力してもよい。出力制御部３２６は、例えば、応対評価として、カスタマの感情の対象や、応対の善し悪しを示す指標等を出力してもよい。また、出力制御部３２６は、例えば、感情推定部３２３が算出した感情推定値を算出してもよい。また、出力制御部３２６は、例えば、感情推移算出部３２４が算出した感情推移指標を算出してもよい。

（２－２）ハードウェア構成
図３は、実施形態に係る情報処理装置３０のハードウェア構成の一例を示す図である。なお、カスタマ端末１０、及びオペレータ端末２０のそれぞれも、以下の情報処理装置３０のハードウェア構成と同様のハードウェア構成を有していてもよい。

情報処理装置３０は、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、入出力インターフェース（入出力Ｉ／Ｆ）１０４と、通信インターフェース（通信Ｉ／Ｆ）１０５とを含む。情報処理装置３０のハードウェアの各構成要素は、限定でなく例として、バスＢを介して相互に接続される。

情報処理装置３０は、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、入出力Ｉ／Ｆ１０４と、通信Ｉ／Ｆ１０５との協働により、本開示に記載される機能、および／または、方法を実現する。

プロセッサ１０１は、ストレージ１０３に記憶されるプログラムに含まれるコードまたは命令によって実現する機能、および／または、方法を実行する。プロセッサ１０１は、限定でなく例として、中央処理装置（ＣＰＵ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ）、プロセッサコア（Ｐｒｏｃｅｓｓｏｒ Ｃｏｒｅ）、マルチプロセッサ（Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ―Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等を含み、集積回路（ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップ、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ））等に形成された論理回路（ハードウェア）や専用回路によって実施形態に開示される各処理を実現してもよい。また、これらの回路は、１つまたは複数の集積回路により実現されてよく、実施形態に示す複数の処理を１つの集積回路により実現されることとしてもよい。また、ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。

メモリ１０２は、ストレージ１０３からロードしたプログラムを一時的に記憶し、プロセッサ１０１に対して作業領域を提供する。メモリ１０２には、プロセッサ１０１がプログラムを実行している間に生成される各種データも一時的に格納される。メモリ１０２は、限定でなく例として、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを含む。

ストレージ１０３は、プログラムを記憶する。ストレージ１０３は、限定でなく例として、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリなどを含む。

入出力Ｉ／Ｆ１０４は、情報処理装置３０に対する各種操作を入力する入力装置、および、情報処理装置３０で処理された処理結果を出力する出力装置を含む。入出力Ｉ／Ｆ１０４は、入力装置と出力装置が一体化していてもよいし、入力装置と出力装置とに分離していてもよい。

入力装置は、ユーザからの入力を受け付けて、当該入力に係る情報をプロセッサ１０１に伝達できる全ての種類の装置のいずれか、または、その組み合わせにより実現される。入力装置は、限定でなく例として、タッチパネル、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ（画像を介した操作入力）、マイク（音声による操作入力）を含む。

出力装置は、プロセッサ１０１で処理された処理結果を出力することができる全ての種類の装置のいずれか、または、その組み合わせにより実現される。当該処理結果を映像、および／または、動画像として出力する場合、出力装置は、フレームバッファに書き込まれた表示データ（画面情報）に従って、当該表示データを表示することができる全ての種類の装置（表示装置）のいずれかまたはその組み合わせにより実現される。出力装置は、限定でなく例として、タッチパネル、タッチディスプレイ、モニタ（限定でなく例として、液晶ディスプレイ、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）など）、ヘッドマウントディスプレイ（ＨＤＭ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、プロジェクションマッピング、ホログラム、空気中など（真空であってもよい）に画像やテキスト情報等を表示可能な装置、スピーカ（音声出力装置）、プリンターなどを含む。なお、これらの出力装置は、３Ｄで表示データを表示可能であってもよい。

通信Ｉ／Ｆ１０５は、通信網Ｎを介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信Ｉ／Ｆ１０５は、通信網Ｎを介して、他の情報処理装置との通信を実行する機能を有する。通信Ｉ／Ｆ１０５は、各種データをプロセッサ１０１からの指示に従って、他の情報処理装置に送信する。また、通信Ｉ／Ｆ１０５は、他の情報処理装置から送信された各種データを受信し、プロセッサ１０１に伝達する。

本開示の実施形態のプログラムは、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。プログラムは、限定でなく例として、ソフトウェアプログラムやコンピュータプログラムを含む。

記憶媒体は適切な場合、１つまたは複数の半導体ベースの、または他の集積回路（ＩＣ）（限定でなく例として、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向けＩＣ（ＡＳＩＣ）など）、ハード・ディスク・ドライブ（ＨＤＤ）、ハイブリッド・ハード・ドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピィ・ディスケット、フロッピィ・ディスク・ドライブ（ＦＤＤ）、磁気テープ、固体ドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュア・デジタル・カードもしくはドライブ、任意の他の適切な記憶媒体、またはこれらの２つ以上の適切な組合せを含むことができる。記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性の組合せでよい。

また、本開示のプログラムは、当該プログラムを伝送可能な任意の伝送媒体（ネットワークや放送波等）を介して、情報処理装置３０に提供されてもよい。

また、本開示の実施形態は、プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、本開示のプログラムは、限定でなく例として、ＡｃｔｉｏｎＳｃｒｉｐｔ、ＪａｖａＳｃｒｉｐｔ（登録商標）などのスクリプト言語、Ｏｂｊｅｃｔｉｖｅ－Ｃ、Ｊａｖａ（登録商標）などのオブジェクト指向プログラミング言語、ＨＴＭＬ５などのマークアップ言語などを用いて実装される。

情報処理装置３０における処理の少なくとも一部は、１つ以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。

情報処理装置３０における処理の少なくとも一部を、他の情報処理装置により行う構成としてもよい。この場合、プロセッサ１０１により実現される各機能部の処理のうち少なくとも一部の処理を、他の情報処理装置で行う構成としてもよい。

（３）情報処理装置３０の動作フロー
図５は、情報処理装置３０が実行する動作処理の一例を示す動作フロー図である。

（Ｓ１１）
取得部３２１は、カスタマ端末１０とオペレータ端末２０との間の音声通話による音声データを取得する。当該音声データには、カスタマとオペレータとの間の会話の音声データが含まれていてもよく、特に、カスタマに対するオペレータの応対の音声データが含まれていてもよい。音声データには、通話開始時間、通話終了時間、通話開始を示すタグ及び通話終了開始を示すタグや、音声データを区別するための識別情報が付与されてもよい。なお、音声データの生成や情報処理装置３０への送信は、カスタマ端末１０が実行してもよい。

（Ｓ１２）
音声認識部３２２は、音声データに対して音声認識処理を実行する。これにより、当該音声データに基づいてテキストデータが生成される。

（Ｓ１３）
感情推定部３２３は、対象となる時点について、感情推定値を算出する。具体的には、感情推定部３２３は、対象となる時点の前後の所定期間（対象期間）を決定し、ステップＳ１１で取得された音声データのうち当該対象期間に含まれる部分と、ステップＳ１２で生成されたテキストデータのうち当該対象期間に含まれる部分とを抽出する。そして、感情推定部３２３は、抽出された音声データ及びテキストデータを、機械学習モデル３１１に入力する。ことにより、当該機械学習モデル３１１の出力として、対象となる時点におけるカスタマの感情推定値が算出される。感情推定部３２３は、少なくとも２つの異なる時点のそれぞれについて、当該ステップＳ１３の処理を実行する。これにより、少なくとも２つの異なる時点について、各時点の感情推定値が算出される。

（Ｓ１４）
感情推移算出部３２４は、ステップＳ１３において感情推定部３２３により算出された、応対の少なくとも２つの異なる時点における感情推定値に基づいて、感情推移指標を算出する。感情推移算出部３２４は、少なくとも２つの異なる時点のそれぞれにおける感情推定値を要素として含む組合せ、リスト、及びベクトル等の任意の表現形式で表された感情推移指標を算出してもよい。感情推移算出部３２４は、例えば、所定のテーブル等を参照することにより、応対の少なくとも２つの異なる時点における感情推定値に基づいて、感情の推移を示す所定のラベル（感情推移ラベル）として表された感情推移指標を算出してもよい。

（Ｓ１５）
応対評価部３２５は、応対評価テーブル３１２を参照して、感情推移指標に基づいて応対評価を算出する。応対評価部３２５は、例えば、カスタマの感情の対象を算出してもよいし、応対の善し悪しを示す指標を算出してもよい。また、応対評価部３２５は、応対評価テーブル３１２に示した「怒りの対象」に限らず、他の感情（喜び、哀しみ、楽しさ、満足、普通、不満等）の対象を算出してもよい。

（Ｓ１６）
出力制御部３２６は、例えば、応対評価部３２５が算出した応対評価を出力する。出力制御部３２６は、例えば、応対評価として、カスタマの感情の対象や、応対の善し悪しを示す指標等を出力してもよいし、他の感情（喜び、哀しみ、楽しさ、満足、普通、不満等）の対象を出力してもよい。なお、出力制御部３２６は、例えば、感情推定部３２３が算出した感情推定値を出力してもよいし、感情推移算出部３２４が算出した感情推移指標を出力してもよい。なお、出力制御部３２６は、例えば、情報処理装置３０が備える出力装置（表示装置や音声出力装置）を制御することによりこれら情報を出力してもよい。また、出力制御部３２６による出力処理は、例えば、情報処理装置３０が備える通信Ｉ／Ｆ１０５を制御することにより、これら情報を他の任意の情報処理装置に送信することを含んでもよい。

（４）表示画面
図５は、管理システム１において表示される表示画面の一例を示す概略図である。当該表示画面は、例えば、上述したステップＳ１６において出力制御部３２６により、情報処理装置３０の表示装置に表示されてもよいし、オペレータ端末２０等の他の情報処理装置の表示装置に表示されてもよい。図５に示すとおり、当該表示画面は、例えば、領域４１～４３を含む。

「案件情報」と題された領域４１には、例えば、案件に関する情報（案件情報）が表示される。図５に示す例では、領域４１には、案件番号４１Ａ、通話情報４１Ｂ、カスタマ４１Ｃ、及びオペレータ４１Ｄが含まれる。案件番号４１Ａは、案件を識別するための識別情報等である。通話情報４１Ｂは、通話が行われた時間等に関する情報である。カスタマ４１Ｃは、応対を受けるカスタマを示す氏名や識別情報等である。オペレータ４１Ｄは、応対を行うオペレータを示す氏名や識別情報等である。領域４１には、図５に示したものに限らず、案件管理アプリケーションに登録される任意の案件情報が表示されてもよい。

「通話テキスト」と題された領域４２には、例えば、カスタマの発話によるメッセージ情報４２Ａと、オペレータの発話によるメッセージ情報４２Ｂとが時系列に沿って表示される。図６に示す画面例では、カスタマやオペレータの発話や入力による最新のメッセージ情報が順次、領域４２内の上方に表示される。領域４２においては、スクロール操作等によって過去のメッセージ情報から最新のメッセージ情報までを選択的に表示させることが可能であってよい。

「感情情報」と題された領域４３には、例えば、情報処理装置３０により算出されるカスタマの感情に関する各種の値や指標等が表示される。領域４３には、感情推定値のグラフ４３Ａ、開始時点における感情推定値４３Ｂ、終了時点における感情推定値４３Ｃ、感情推移指標４３Ｄ、怒りの対象４３Ｅ、及び点数４３Ｆが含まれる。

グラフ４３Ａの横軸は、通話の経過時間であり、グラフ４３Ａの縦軸は、感情推定部３２３が算出した感情推定値である。なお、グラフ４３Ａでは、縦軸の感情推定値は、定量的な値として０から１００までの百分率（例えば、「１００」は最も満足しており、「０」は満足の度合が最低（最も不満）である）として示されており、また、通話の経過時間に沿って連続的に感情推定値が表示されている。しかしながら、グラフ４３Ａでは、感情推定部３２３の構成に応じて、感情推定値は感情を示すラベル等の定性的な値が表示されてもよい。また、グラフ４３Ａでは、感情推定部３２３が感情推定値を算出する処理を行うタイミングに応じて、離散的に（横軸の経過時間のうちの複数の異なる時点において）のみ感情推定値が表示されてもよい。

図５には、感情推定値の具体的な数値として、開始時点における感情推定値４３Ｂと、終了時点における感情推定値４３Ｃとが表示されている。開始時点における感情推定値４３Ｂは「５０」であり、終了時点における感情推定値４３Ｃは「８５」である。なお、同図に示す例では、開始時点及び終了時点の２時点についての感情推定値が表示されている、管理者やオペレータ等のユーザが任意に選択した特定の時点についての感情推定値が表示されてもよい。選択は、グラフ４３Ａや横軸上において時点を指定することで行えるようにしてもよい。情報処理装置３０の感情推定部３２３は、選択された時点を示す情報を取得した上で、選択された時点における感情推定値を算出してもよい。そして、出力制御部３２６は、このように算出された特定の時点における感情推定値を領域４３に表示させてもよい。

図５には、感情推移指標４３Ｄが表示されている。同図には、開始時点における感情推定値４３Ｂと、終了時点における感情推定値４３Ｃとが表示されているが、感情推移指標４３Ｄは、これら２つの感情推定値４３Ｂ及び４３Ｃに基づいて算出されたものであってよい。具体的には、感情推移指標４３Ｄは、「＋３５」として示されている。これは、終了時点における感情推定値４３Ｃである「８５」から、開始時点における感情推定値４３Ｂである「５０」を差し引いた値であることを示している。

図５には、応対評価の一例として、怒りの対象４３Ｅ「相手方」が表示されている。怒りの対象４３Ｅ「相手方」は、応対評価部３２５が感情推移指標４３Ｄに基づいて算出した応対評価の一例であってよい。図５には、応対評価の一例として、応対の善し悪しを示す指標（点数）４３Ｆ「９２」が表示されている。

（５）変形例
情報処理装置３０は、案件に関する案件情報を管理するための案件管理アプリケーションの機能を、オペレータ端末２０に提供してもよい。オペレータは、オペレータ端末２０を介して案件管理アプリケーションの機能を利用することが可能である。案件管理アプリケーションでは、例えば、案件毎に当該案件を担当するオペレータに対応付けて登録されてもよい。担当のオペレータは、カスタマに対して応対を行う際に、案件管理アプリケーションに登録された案件情報を閲覧することが可能であってよい。更に、担当のオペレータは、応対中や応対後の任意のタイミングにおいて、案件情報の追加、削除、及び変更等の編集を行うことが可能であってもよい。なお、案件管理アプリケーションにおいては、担当のオペレータ以外のオペレータが案件情報を閲覧や編集等することが可能であってもよい。

情報処理装置３０は、カスタマとオペレータとが通話している最中においても、上述した各種の処理を実行してもよい。例えば、取得部３２１は、カスタマ端末１０とオペレータ端末２０との間の音声通話によって部分的に音声データが生成されるのに沿って、生成された部分的な音声データをストリーミング等によって順次に取得してもよい。また、音声認識部３２２は、取得部３２１が取得した部分的な音声データに対して音声認識処理を実行し、順次にテキストデータを生成してよい。また、感情推定部３２３は、順次に生成されたテキストデータ毎に、順次に感情推定値の算出を実行してもよい。また、感情推移算出部３２４は、順次に算出された少なくとも２つの異なる時点における感情推定値に基づいて、感情推移指標を算出してもよい。出力制御部３２６は、順次に算出された感情推移指標に基づいて、処理が実行された時点における、カスタマの感情の対象や応対の善し悪しを示す指標等を含む応対評価を算出してもよい。出力制御部３２６は、これら順次に算出される応対評価や、感情推定値、感情推移指標等を出力してもよい。これにより、オペレータ等のユーザは、カスタマの応対を行っている最中等において、カスタマの感情や応対に関する各種の指標（応対評価、感情推定値、感情推移指標等）を把握することが可能となり、これら指標に基づいて応対の方法を調整することが可能となる。

（６）付記
本発明の一実施形態に係る情報処理装置３０は、第１ユーザに対する第２ユーザの応対を含む音声データを取得する取得部３２１と、音声データに基づいて、応対の少なくとも２つの異なる時点における第１ユーザの感情の推定値を算出する感情推定部３２３と、推定値に基づいて、第１ユーザの感情の推移を示す指標を算出する感情推移算出部３２４と、指標に基づいて、応対に対する評価を算出する応対評価部３２５と、評価を出力する出力制御部３２６と、を備える。

上記態様において、感情推定部３２３は、音声データを入力とした機械学習モデルの出力として推定値を算出してもよい。

上記態様において、推定値は、感情を示すラベルであってもよい。

上記態様において、ラベルは、満足、普通、及び不満の少なくともいずれかを含んでもよい。

上記態様において、推定値は、感情に対応する定量化された値であってもよい。

上記態様において、少なくとも２つの異なる時点は、応対の開始から所定の第１時間後までの期間に含まれる第１時点と、応対の終了から所定の第２時間前までの期間に含まれる第２時点と、を含んでもよい。

上記態様において、評価は、第１ユーザの感情の対象を含んでもよい。

上記態様において、対象は、第１ユーザの怒りの対象を含んでもよい。

上記態様において、評価は、応対の善し悪しを示す指標を含んでもよい。

本発明の他の一実施形態に係る情報処理方法は、１つ又は複数のコンピュータが、第１ユーザに対する第２ユーザの応対を含む音声データを取得するステップと、音声データに基づいて、応対の少なくとも２つの異なる時点における第１ユーザの感情の推定値を算出するステップと、推定値に基づいて、第１ユーザの感情の推移を示す指標を算出するステップと、指標に基づいて、応対に対する評価を算出するステップと、評価を出力するステップと、を実行する。

１…管理システム、１０…カスタマ端末、２０…オペレータ端末、３０…情報処理装置、１０１…プロセッサ、１０２…メモリ、１０３…ストレージ、１０４…入出力Ｉ／Ｆ、１０５…通信Ｉ／Ｆ、３１…記憶部、３１１…機械学習モデル、３１２…応対評価テーブル、３２…制御部、３２１…取得部、３２２…音声認識部、３２３…感情推定部、３２４…感情推移算出部、３２５…応対評価部、３２６…出力制御部

Claims (10)

1. 第１ユーザに対する第２ユーザの応対を含む音声データを取得する取得部と、
   前記音声データに基づいて、前記応対の少なくとも２つの異なる時点における前記第１ユーザの感情の推定値を算出する感情推定部と、
   前記推定値に基づいて、前記第１ユーザの感情の推移を示す指標を算出する感情推移算出部と、
   前記指標に基づいて、前記応対に対する評価を算出する応対評価部と、
   前記評価を出力する出力制御部と、
   を備える情報処理装置。
2. 前記感情推定部は、前記音声データを入力とした機械学習モデルの出力として前記推定値を算出する、請求項１に記載の情報処理装置。
3. 前記推定値は、感情を示すラベルである、請求項２に記載の情報処理装置。
4. 前記ラベルは、満足、普通、及び不満の少なくともいずれかを含む、請求項３に記載の情報処理装置。
5. 前記推定値は、感情に対応する定量化された値である、請求項２に記載の情報処理装置。
6. 前記少なくとも２つの異なる時点は、前記応対の開始から所定の第１時間後までの期間に含まれる第１時点と、前記応対の終了から所定の第２時間前までの期間に含まれる第２時点と、を含む、請求項１に記載の情報処理装置。
7. 前記評価は、前記第１ユーザの感情の対象を含む、請求項１に記載の情報処理装置。
8. 前記対象は、前記第１ユーザの怒りの対象を含む、請求項７に記載の情報処理装置。
9. 前記評価は、前記応対の善し悪しを示す指標を含む、請求項１に記載の情報処理装置。
10. １つ又は複数のコンピュータが、
    第１ユーザに対する第２ユーザの応対を含む音声データを取得するステップと、
    前記音声データに基づいて、前記応対の少なくとも２つの異なる時点における前記第１ユーザの感情の推定値を算出するステップと、
    前記推定値に基づいて、前記第１ユーザの感情の推移を示す指標を算出するステップと、
    前記指標に基づいて、前記応対に対する評価を算出するステップと、
    前記評価を出力するステップと、
    を実行する情報処理方法。
    

Images