JP6755304B2

JP6755304B2 - 情報処理装置

Info

Publication number: JP6755304B2
Application number: JP2018514129A
Authority: JP
Inventors: 真一狩谷; 真一本多; 博之勢川
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2016-04-26
Filing date: 2017-02-09
Publication date: 2020-09-16
Anticipated expiration: 2037-02-09
Also published as: US11455985B2; US20190130910A1; WO2017187712A1; JPWO2017187712A1

Description

本発明は、ユーザーによる発話の特徴を評価する情報処理装置、情報処理方法、プログラム、及び情報記憶媒体に関する。

ユーザーが発話する音声を受け付けて、その音声の内容に応じて情報処理を実行する情報処理装置が知られている。このような技術によれば、ユーザーは手を使ってキーボードやタッチパネルで文字を入力する代わりに、声で各種の指示や情報を入力することができる。また、ユーザーの発話から、感情や態度など発話した内容以外のものを読み取ることも研究されている（例えば非特許文献１参照）。このような技術によれば、ユーザーの発話に込められた感情などに応じて各種の情報処理を実行することができる。

Kikuo Maekawa and Hiroki Mori、"VOICE-QUALITY ANALYSIS OF JAPANESE FILLED PAUSES: A PRELIMINARY REPORT"、［online］、[平成27年11月16日検索]、インターネット<URL:http://www2.ninjal.ac.jp/kikuo/Maekawa-DISS2015.pdf>

上記従来例の技術では、ユーザーの話し方に個人差があるために、ユーザーの発話の特徴を正確に評価することができない場合がある。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、ユーザーの発話の特徴をより精度よく評価できる情報処理装置、情報処理方法、プログラム、及び情報記憶媒体を提供することにある。

本発明に係る情報処理装置は、評価対象となるユーザーの発話に基づいて、当該ユーザーの平常時の発話の特徴を表す基準特徴量を決定する基準特徴量決定部と、前記ユーザーによる評価対象となる対象発話の音声特徴量のデータを取得する発話特徴量取得部と、前記対象発話の音声特徴量と前記基準特徴量との比較結果に基づいて、前記対象発話の特徴を評価する評価部と、を含むことを特徴とする。

本発明に係る情報処理方法は、評価対象となるユーザーの発話に基づいて、当該ユーザーの平常時の発話の特徴を表す基準特徴量を決定するステップと、前記ユーザーによる評価対象となる対象発話の音声特徴量のデータを取得するステップと、前記対象発話の音声特徴量と前記基準特徴量との比較結果に基づいて、前記対象発話の特徴を評価するステップと、を含むことを特徴とする。

本発明に係るプログラムは、評価対象となるユーザーの発話に基づいて、当該ユーザーの平常時の発話の特徴を表す基準特徴量を決定する基準特徴量決定部、前記ユーザーによる評価対象となる対象発話の音声特徴量のデータを取得する発話特徴量取得部、及び、前記対象発話の音声特徴量と前記基準特徴量との比較結果に基づいて、前記対象発話の特徴を評価する評価部、としてコンピュータを機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

本発明の実施の形態に係る情報処理装置の構成を示す構成ブロック図である。本発明の実施の形態に係る情報処理装置の機能を示す機能ブロック図である。発話特徴量取得の対象となる時間区間の一例を示す図である。基準特徴量のデータの一例を示す図である。評価結果の表示例を示す図である。本発明の実施の形態に係る情報処理装置が実行する処理の流れの一例を示すフロー図である。

以下、本発明の実施形態について、図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る情報処理装置１の構成を示す構成ブロック図である。情報処理装置１は、例えば家庭用ゲーム機や携帯型ゲーム機、パーソナルコンピュータ、スマートホン等であって、図１に示すように、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成されている。また、情報処理装置１は、表示装置１４、マイクロホン１５、及びスピーカー１６と接続されている。

制御部１１はＣＰＵ等を含んで構成され、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。インタフェース部１３は、情報処理装置１が表示装置１４、マイクロホン１５、及びスピーカー１６との間で各種の情報を授受するためのインタフェースである。

表示装置１４は、ヘッドマウントディスプレイや家庭用テレビ受像機、液晶ディスプレイ等であって、情報処理装置１が出力する映像信号に応じた画像を画面上に表示する。マイクロホン１５は、情報処理装置１のユーザーが発する声を集音して得られる音声信号を情報処理装置１に対して出力する。スピーカー１６は、情報処理装置１が出力する音声信号に従って音声を鳴動させる。なお、表示装置１４、マイクロホン１５、及びスピーカー１６は、いずれも情報処理装置１の筐体内に内蔵されてもよいし、情報処理装置１と有線又は無線により接続される別個の装置であってもよい。

以下、情報処理装置１が実現する機能について、図２を用いて説明する。図２に示すように、情報処理装置１は、機能的に、音声信号取得部２１と、発話特徴量取得部２２と、基準特徴量決定部２３と、評価部２４と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。

音声信号取得部２１は、マイクロホン１５によって集音された音声信号を取得し、発話特徴量取得部２２に対して出力する。本実施形態において情報処理装置１は、評価対象となるユーザーの発話を受け付けて、その特徴を評価する。音声信号取得部２１が取得する音声信号には、このユーザーが発話したときの声が含まれることになる。以下では、評価対象となるユーザーを対象ユーザーという。また、評価対象となる対象ユーザーの発話を、対象発話という。

特に本実施形態では、情報処理装置１は、仮想的なエージェントと対象ユーザーとの対話を実現するアプリケーションプログラムを実行することとする。エージェントの対象ユーザーに対する発言は表示装置１４の画面に表示されてもよいし、スピーカー１６から音声として再生されてもよい。この発言に応答する対象ユーザーの発話が対象発話となる。後述する評価部２４は、対象発話の特徴を評価することによって、対象発話に込められた対象ユーザーの感情を推定する。

発話特徴量取得部２２は、音声信号取得部２１によって取得された音声信号から、対象ユーザーの声を表す波形データを抽出し、その波形データに対する解析処理を行うことによって、対象発話の特徴を表す音声特徴量の値を取得する。以下では、対象発話の特徴を表す音声特徴量を発話特徴量という。

発話特徴量取得部２２は、複数種類の発話特徴量の値を取得してよい。例えば発話特徴量取得部２２は、対象ユーザーの声の音量（振幅）、ピッチ（周波数）、話速などの各特徴について、その対象発話全体における統計量を発話特徴量の値として取得する。ここで各特徴の統計量は、対象発話全体の時間区間における平均値や、標準偏差、最大値、最小値、レンジ（最大値と最小値の差）などであってよい。

また、発話特徴量には、これらの特徴の時間変化を示す統計量が含まれてもよい。具体的に、例えば発話特徴量取得部２２は、対象発話全体の時間区間に含まれる複数のサンプリングタイミングのそれぞれについて、その時点における音量やピッチの時間変化を示す微分値を、中心差分法などによって算出する。そして、各サンプリングタイミングについて算出された微分値の、対象発話全体における平均値や最大値、最小値、標準偏差などを、発話特徴量として取得する。一例として、対象ユーザーが驚いた際には、音量やピッチが一回の発話の中で大きく変動する可能性がある。このような発話の途中における時間変化などの特徴は、対象発話全体における音量やピッチの統計量には表れないと考えられる。そこで、微分値の統計量を発話特徴量として取得することで、このような一回の発話の中での変化を表す発話特徴量を得ることができる。

さらに、一回の発話の中での変化に関する発話特徴量として、発話特徴量取得部２２は、対象発話全体のうちの一部の時間区間を対象とした音声特徴量を取得してもよい。より具体的に、発話特徴量取得部２２は、対象発話全体のうちの最初（話し始め）の時間区間や、最後（話し終わり）の時間区間などを対象として、音量の平均値やピッチの平均値などの特徴量を算出する。図３は、対象発話が「おはよう」というものだった場合における、最初の時間区間Ｔ１及び最後の時間区間Ｔ２を示している。ここで各時間区間は、対象発話全体の最初及び最後の所定の長さの区間であってよい。所定の長さは、秒数やモーラ数、単語数などを単位として定義されてよい。図３の例では、時間区間Ｔ１及びＴ２は、それぞれモーラ数を単位として１モーラの長さとして定義されている。このような時間区間Ｔ１及びＴ２それぞれについての発話特徴量を取得することで、話し始めは音量が大きく最後は音量が小さいなどの発話の特徴を捉えることができる。また、発話特徴量取得部２２は、図３に示すように、最初の時間区間Ｔ１及び最後の時間区間Ｔ２を除く途中の時間区間Ｔ３についても、発話特徴量取得の対象としてもよい。

図３の例では、発話特徴量取得の対象となる時間区間の長さは、予め定められた固定の長さであることとしたが、時間区間の長さは可変であってもよい。例えば、時間区間Ｔ１及びＴ２は、それぞれ対象発話全体の長さに対する割合によって定義されてもよい。さらに、発話特徴量取得部２２は、最初の時間区間Ｔ１について取得された特徴量と、最後の時間区間Ｔ２について取得された特徴量との差を表す値を、発話特徴量の一つとして取得してもよい。これにより、対象発話の最初と最後における音量やピッチの相違を表す発話特徴量を得ることができる。

また、発話特徴量取得部２２は、情報処理装置１が対象ユーザーに発話を促す出力を行ってから、対象ユーザーが対象発話を開始するまでの経過時間を発話特徴量の一つとして取得してもよい。具体的に発話特徴量取得部２２は、エージェントによる質問が再生されてから対象ユーザーが発話するまでの経過時間を計測する。この経過時間は、対象ユーザーがフィラーとして認識される発話（すなわち、「あー」「えーと」などの言語的に意味を持たない発声）を行っている時間を含んでもよい。

発話特徴量取得部２２が取得した発話特徴量に基づいて、評価部２４が対象発話の特徴を評価する。具体的に評価部２４は、発話特徴量取得部２２が取得した発話特徴量を、基準特徴量と比較することによって、対象発話の評価を行う。基準特徴量決定部２３は、この評価に用いられる基準特徴量を決定する。

ここで基準特徴量は、発話特徴量との比較の基準となる、対象ユーザーの平常時の発話（すなわち、強い感情が表れていない発話）の特徴を示す音声特徴量であって、対象ユーザーの実際の発話に基づいて決定される。基準特徴量決定部２３は、発話特徴量取得部２２が取得する発話特徴量と同種の音声特徴量について、基準特徴量を決定する。基準特徴量は、対象ユーザーが平常時にどの程度の声量で話すか、どの程度の声の高さで話すか、またどの程度の話速で話すかなどを示す量となる。

以下では基準特徴量決定部２３は、ユーザーの平常時の発話と想定される実際の発話を受け付けて、その発話の特徴から基準特徴量を決定するものとする。具体的に、基準特徴量決定部２３は、例えば対象ユーザーが情報処理装置１の使用を開始したタイミングなど、評価対象となる対象発話よりも先に、対象ユーザーの平常時の発話を受け付けて、その音声特徴量を算出する。これにより基準特徴量決定部２３は、対象ユーザーの平常時の発話の特徴を表す基準特徴量を決定できる。以下では、基準特徴量の算出に使用される対象ユーザーの事前の発話を、基準発話という。

特に本実施形態では、基準特徴量は、対象ユーザーによる複数回の基準発話に基づいて算出されることとする。平常時であっても、人の話し方は常に一定とは限らない。そのため、複数回の基準発話を用いて基準特徴量を決定することが好ましい。基準特徴量決定部２３は、複数回の基準発話のそれぞれについて得られた特徴量の値の平均値を基準特徴量の値としてもよい。しかしながらこれに限らず、基準特徴量決定部２３は、平常時におけるその特徴量の変動幅を示すデータを、基準特徴量として取得してもよい。例えば音量に関して言うと、人によって大きな声で話したり小さな声で話したりというように音量の絶対値に個人差があるだけでなく、いつも一定の音量で話す人やその時々で音量が変化する人がいるなど、音量の変動幅にも個人差があると考えられる。そのため、基準特徴量を、特徴量の値の変動幅を表す数値範囲によって定義することで、このような変動幅の個人差を基準特徴量に反映することができる。図４は、このような変動幅を表す基準特徴量のデータの一例を示している。この図の例では、音量やピッチなどの各特徴量について、平常時に採り得る値の範囲の上限値及び下限値によって基準特徴量が定義されている。この場合の上限値及び下限値は、複数回の基準発話のそれぞれについて算出された音声特徴量の平均値や分散、最大値、最小値などに基づいて決定されてよい。

ここで、基準特徴量の算出に用いられる基準発話の音声データを取得する方法のいくつかの例について、説明する。例えば基準特徴量決定部２３は、あまりユーザーが感情を込めないと想定される内容のメッセージを表示装置１４の画面に表示し、対象ユーザーに読み上げてもらうことで、基準発話の音声データを取得する。このような基準発話の受け入れは、例えば対象ユーザーが情報処理装置１の使用開始時にユーザープロフィールを登録するタイミングで実行されてもよい。

また、情報処理装置１がエージェントとの対話処理を実行する場合、対話開始直後の対象ユーザーの発話を、基準発話として利用してもよい。対話が開始された直後は、初対面の挨拶が交わされるなどして、強い感情を込めた発言は行われないと想定されるためである。このような処理によれば、基準特徴量算出のためにわざわざ特別に対象ユーザーに基準発話を促す必要がなくなる。

複数のユーザーが情報処理装置１を使用する場合、基準特徴量決定部２３は、ユーザー毎に基準特徴量を算出し、記憶部１２内に記憶しておく。また、記憶部１２内に記憶された基準特徴量のデータは、定期的に新たな基準発話の音声データに基づいて更新されてもよい。時間とともにユーザーの話し方の特徴が変化することもあるからである。また、情報処理装置１が複数種類のエージェントを実現する場合、同じ対象ユーザーであっても、対話相手となるエージェントの種類ごとに個別に基準特徴量を算出し、記憶することとしてもよい。この場合、対応するエージェントとの対話中における対象ユーザーの発話を基準発話として使用する。こうすれば、話し相手となるエージェントによって対象ユーザーの話し方が変動する場合に、それぞれのエージェントと話す際の基準となる基準特徴量を得ることができる。

評価部２４は、前述したように、対象発話について取得された発話特徴量と、基準特徴量と、を比較した結果に基づいて、対象発話の特徴を評価する。具体的に、基準特徴量が単一の数値によって定義されている場合、評価部２４は、発話特徴量と基準特徴量との差分を用いて、対象発話の評価処理を行う。また、基準特徴量が数値範囲によって定義されている場合、評価部２４は、発話特徴量の値がその数値範囲に含まれるか、その数値範囲の上限値を超えているか、あるいは下限値を下回っているかを判定する。そして、その判定結果を用いて、評価処理を行う。あるいは、発話特徴量が基準特徴量の数値範囲に含まれていない場合、その数値範囲の境界値との差分を用いて評価処理を行ってもよい。

評価部２４は、予め用意された評価基準に従って具体的な評価処理を行う。この評価基準は、発話特徴量と基準特徴量との比較結果を入力とし、対象発話の評価結果を出力とする推定エンジンとして実現される。このような推定エンジンは、予め被験者に対して実験を行った結果に基づいて人為的に生成してもよいし、教師つき機械学習などの手法で生成してもよい。推定エンジンの出力は、例えば複数の感情指標のそれぞれについて、その感情が対象発話に込められている可能性がどの程度あるかを示す数値であってよい。ここでの感情指標は、怒り、驚き、失望、困惑、嬉しい、よそよそしい、などである。このような感情指標のそれぞれについて数値を算出することによって、例えば対象発話の音量が平常時より大きい場合に対象ユーザーが驚いていたり怒っていたりする可能性が高いといった推定を行うことができる。

ここで注目すべき点は、推定エンジンが用いる評価基準自体は、対象ユーザーとは別の被験者から得られるサンプルデータに基づいて生成可能であって、複数の対象ユーザーに対して共通して使用されることである。本願発明者らは、以下のような仮説を立てて、その検証を行った。すなわち、発話の音声特徴量には個人差があるものの、発話毎の音声特徴量は平常時（感情的にニュートラルな状態）を中心とした統計的な分布に従う。そして、感情が込められた発話の特徴量の、平常時の発話の特徴量に対する変化傾向については、被験者によって多少の個人差があるものの、全体として同じ傾向を示す、という仮説である。研究の結果、本願発明者らはこの仮説が妥当であることを裏付ける検証結果を得た。このことから、対象ユーザーごとに取得された基準特徴量と発話特徴量との比較結果を入力として用いることにより、対象ユーザーごとに個別の推定エンジンを用意せずとも、発話音声の個人差を吸収して比較的精度の高い感情推定を行うことができる。

ただし、評価部２４は、複数種類の評価基準を予め用意し、そのいずれかを使用して対象ユーザーについての評価処理を実行してもよい。この場合、評価部２４が利用する複数の評価基準は、互いに異なるユーザーグループを対象としている。このユーザーグループは、発話の特徴が近い傾向を示すユーザーが同じグループに属するように複数のユーザーを分類したものである。実際に評価を行う際には、まず評価部２４は、対象ユーザーについて決定された基準特徴量に基づいて、対象ユーザーが複数のユーザーグループのいずれに属するかを特定する。そして、そのユーザーグループを対象とする評価基準に従って、対象発話の評価を行う。こうすれば、感情に起因する発話特徴量の変化傾向について一般的な人と異なる傾向を持つ対象ユーザーについても、精度の高い評価を行える可能性が高くなる。

情報処理装置１は、評価部２４による評価結果を用いて、その後に各種の処理を実行する。例えばエージェントとの会話処理においては、評価結果が示す対象ユーザーの感情を反映して、その後のエージェントの発言内容を決定し、出力する。また、評価部２４は、評価結果そのものを表示装置１４の画面に表示してユーザーに提示してもよい。図５は、評価結果の表示例を示している。この図の例では、６種類の感情指標それぞれの度合いを示す数値がレーダーチャートによって示されている。この図の例では、発話特徴量に関して比較的近い傾向を示す感情が隣接するように配置され、互いに関連性の低い感情は対向するように配置されている。推定対象となる複数種類の感情は互いに独立しているわけではなく、比較的近い種類の感情が交じり合った状態でユーザーが発話していたり、強い相関を示す複数種類の感情のうちのどちらの感情をユーザーが抱いているか明確に区別できなかったりすることがあり得る。そこで、このように関連性の高い感情指標が隣接するような配置で感情の推定結果を表示することにより、各指標値を個別に表示する場合と比較して、全体としてのユーザーの感情の傾向を把握しやすくすることができる。

ここで、情報処理装置１の制御部１１が対象発話の評価を行う際に実行する処理の流れの一例について、図６のフロー図を用いて説明する。

まず制御部１１は、エージェントの発言を出力する（Ｓ１）。そして、音声信号取得部２１が、その発言に対する対象ユーザーの応答（対象発話）を含んだ音声信号を取得する（Ｓ２）。次に発話特徴量取得部２２が、Ｓ２で取得された音声信号を対象とした解析処理によって、複数種類の発話特徴量を取得する（Ｓ３）。

その後、評価部２４は、基準特徴量決定部２３によって決定される基準特徴量をＳ３で算出された発話特徴量と比較して、比較結果を出力する。具体的に評価部２４は、Ｓ３で得られた複数種類の発話特徴量のそれぞれについて、基準特徴量の数値範囲と比較し、その数値範囲に含まれるか、上限値を上回るか、または下限値を下回るかを示す比較結果を出力する（Ｓ４）。このような処理は、Ｓ３で得られた全ての種類の発話特徴量の値について、繰り返される（Ｓ５）。さらに続いて、評価部２４は、Ｓ４で出力された各発話特徴量の比較結果を用いて推定エンジンによる感情の評価処理を実行し、感情推定の結果を出力する（Ｓ６）。これにより、対象発話に込められた対象ユーザーの感情を推定した結果が得られる。

以上説明した本実施形態に係る情報処理装置１によれば、声の大きい人や低い声の人など、平常時の発話特徴量に個人差があっても、その個人差を吸収して、評価対象とする対象発話に込められた感情を精度よく評価することができる。

なお、本発明の実施の形態は、以上説明したものに限られない。例えば評価部２４は、発話特徴量や基準特徴量として、以上説明したもの以外の各種の音声特徴量を利用してもよい。また、以上の説明では発話特徴量取得部２２は自身で発話特徴量を算出することとしたが、他のコンピュータで算出された発話特徴量のデータを取得してもよい。また、情報処理装置１は、ユーザーのすぐそばにあるローカルの装置ではなく、通信ネットワークを介して接続されたサーバ装置等であってもよい。この場合、情報処理装置１は、ローカルの装置から発話特徴量のデータを受信し、自身が保持する基準特徴量と比較して評価処理を行う。そして、評価結果をローカルの装置に送出する。

また、以上の説明では評価部２４は評価処理によって対象発話に込められた感情を推定することとしたが、これに限らず、例えば発話した対象ユーザーの疲労度等を推定してもよい。また、以上の説明では情報処理装置１は対象ユーザーと対話する仮想的なエージェントを実現するものとし、対象発話は対象ユーザーがエージェントの発言に対して応答する発話であることとした。しかしながら、対象発話はこのようなものに限られず、対象ユーザーが音声入力を行う際の発話や、他のユーザーと会話している際の発話など、各種のものであってよい。また、対象発話はマイクロホン１５によって取得された音声信号に含まれるのではなく、予め記憶部１２内に記憶された音声波形データに含まれるものであってもよい。

また、以上の説明では基準特徴量決定部２３は、対象ユーザーの平常時の（すなわち、強い感情が込められていない）発話を基準発話として受け付けて、その基準発話について算出された特徴量を基準特徴量として用いることとした。しかしながら基準特徴量の決定方法はこのようなものに限られない。例えば情報処理装置１は、対象ユーザーの基準特徴量として使用する可能性のある複数の基準特徴量候補を予め保持しておくこととしてもよい。この場合の具体例について、以下に詳しく説明する。

この例における基準特徴量候補は、対象ユーザーとは別の複数の話者（サンプル話者）が行った実際の発話のサンプルデータに基づいて、決定される。具体的に情報処理装置１は、話者及びその話者による発話が属するカテゴリと、そのカテゴリに該当するサンプル発話の特徴に基づいて算出される音声特徴量のデータ（対比用特徴量データ）と、そのカテゴリに属する話者による平常時の発話の特徴を示す基準特徴量候補と、を対応付けた基準特徴量決定用データを保持する。この例におけるカテゴリは、話者、及びその話者による発話についての各種の属性の組み合わせであってよい。話者に関する属性としては、話者の性別、年齢、声質などが挙げられる。また、発話の特徴としては、その発話に込められた感情が挙げられる。例えば、２０代の男性で地声が低い声のサンプル話者が怒りを込めたサンプル発話を行った際に得られる音声特徴量のデータが、その属性値の組み合わせによって特定されるカテゴリ（２０代、男性、低音、怒り）と対応付けてサンプル発話データとして記録される。また、そのサンプル話者が感情を込めずに行った発話（平常時発話）の音声特徴量も、併せて記録される。このようなサンプルデータを多数集めることによって、同一カテゴリについて得られる複数のサンプル発話データから、対比用特徴量データが算出される。なお、対比用特徴量データは複数種類の音声特徴量について算出される代表値（平均値等）であってもよいし、各音声特徴量についての数値範囲を規定するデータであってもよい。また、そのサンプル発話を行ったサンプル話者の平常時発話の音声特徴量データに基づいて、基準特徴量候補のデータが生成される。なお、基準特徴量候補のデータは、前述の実施例において、対象ユーザーに関して基準発話に基づいて基準特徴量を決定する際の計算方法と同様の手法によって、サンプル話者による平常時発話の音声特徴量から決定されてよい。

以上説明した手法で得られる基準特徴量決定用データを用いて、基準特徴量決定部２３は実際の対象ユーザーの基準発話から基準特徴量を決定する。ここで注意すべき点は、前述した実施例とは異なり、この基準特徴量決定用データを用いる例においては、対象ユーザーから受け付ける基準発話は平常時のものに限られず、感情を込めた発話であってもよいということである。具体的に基準特徴量決定部２３は、対象ユーザーの基準発話の音声特徴量を算出し、算出した音声特徴量が最もよく一致する対比用特徴量データを特定する。例えば対象ユーザーから得られる基準発話の音声特徴量が、基準特徴量決定用データに含まれる複数のカテゴリのうち、（２０代、男性、低音、怒り）のカテゴリに対応付けられた対比用特徴量データに最も近いと判定される場合、対象ユーザーの基準発話はこのカテゴリに属する発話であると推定し、当該カテゴリに対応付けられた基準特徴量候補のデータを、以降の処理において使用する基準特徴量として決定する。このような手法によれば、対象ユーザーが基準発話として平常時の発話を行わずとも、その対象ユーザーの平常時の発話の特徴を示すと想定される基準特徴量を得ることができる。

１情報処理装置、１１制御部、１２記憶部、１３インタフェース部、１４表示装置、１５マイクロホン、１６スピーカー、２１音声信号取得部、２２発話特徴量取得部、２３基準特徴量決定部、２４評価部。

Claims

評価対象となるユーザーの発話に基づいて、当該ユーザーの平常時の発話の特徴を表す基準特徴量を決定する基準特徴量決定部と、
前記ユーザーによる評価対象となる対象発話の音声特徴量のデータを取得する発話特徴量取得部と、
前記対象発話の音声特徴量と前記基準特徴量との比較結果に基づいて、前記対象発話の特徴を評価する評価部と、
を含み、
前記評価部は、前記評価対象となるユーザーについて取得された前記基準特徴量に基づいて、当該評価対象となるユーザーを発話の特徴の傾向が互いに異なる複数のユーザーグループのいずれかに分類し、それぞれ前記複数のユーザーグループのいずれかを対象とし、前記対象発話の音声特徴量と前記基準特徴量との比較結果を評価するために用いられる複数の評価基準のうち、前記評価対象となるユーザーが属するユーザーグループを対象とする評価基準を用いて、前記対象発話の特徴を評価する
ことを特徴とする情報処理装置。
請求項１に記載の情報処理装置において、
前記基準特徴量決定部は、前記ユーザーによる平常時の複数回の発話に基づいて、当該複数回の発話おける音声特徴量の変動幅に応じた数値範囲として前記基準特徴量を決定し、
前記評価部は、前記対象発話の音声特徴量が、前記基準特徴量の数値範囲に含まれるか、前記数値範囲の上限値を上回るか、または前記数値範囲の下限値を下回るかを、前記比較結果として用いる
ことを特徴とする情報処理装置。
請求項１又は２に記載の情報処理装置において、
前記対象発話の音声特徴量は、前記ユーザーに対して発話を促す出力がされてから、前記ユーザーが前記対象発話を開始するまでの経過時間を含む
ことを特徴とする情報処理装置。
請求項１から３のいずれか一項に記載の情報処理装置において、
前記対象発話の音声特徴量は、前記対象発話の一部の時間区間の特徴を表す音声特徴量を含む
ことを特徴とする情報処理装置。
請求項４に記載の情報処理装置において、
前記一部の時間区間は、前記対象発話の話し始めの時間区間、及び、話し終わりの時間区間の少なくとも一方を含む
ことを特徴とする情報処理装置。
請求項５に記載の情報処理装置において、
前記対象発話の音声特徴量は、前記話し始めの時間区間の音声特徴量と、前記話し終わりの時間区間の音声特徴量と、の差の値を含む
ことを特徴とする情報処理装置。
請求項１から６のいずれか一項に記載の情報処理装置において、
前記評価部は、複数種類の感情のそれぞれについて、前記対象発話に当該感情が込められている可能性を示す指標値を前記対象発話の特徴として算出し、
前記情報処理装置は、前記算出される指標値に応じた出力を行う出力部をさらに含む
ことを特徴とする情報処理装置。
請求項７に記載の情報処理装置において、
前記出力部は、前記複数種類の感情のそれぞれについて算出される指標値の大きさを、前記音声特徴量に関して相対的に強い相関を示す感情が隣接する態様で表示装置に表示させる
ことを特徴とする情報処理装置。
基準特徴量決定部が、評価対象となるユーザーによる平常時の複数回の発話に基づいて、当該ユーザーの平常時の発話の特徴を表す基準特徴量を決定するステップと、
発話特徴量取得部が、前記ユーザーによる評価対象となる対象発話の音声特徴量のデータを取得するステップと、
評価部が、前記対象発話の音声特徴量と前記基準特徴量との比較結果に基づいて、前記対象発話の特徴を評価するステップと、
前記評価部が、前記評価対象となるユーザーについて取得された前記基準特徴量に基づいて、当該評価対象となるユーザーを発話の特徴の傾向が互いに異なる複数のユーザーグループのいずれかに分類するステップと、
を含み、
前記評価部が前記対象発話の特徴を評価するステップでは、それぞれ前記複数のユーザーグループのいずれかを対象とし、前記対象発話の音声特徴量と前記基準特徴量との比較結果を評価するために用いられる複数の評価基準のうち、前記評価対象となるユーザーが属するユーザーグループを対象とする評価基準を用いて、前記対象発話の特徴を評価する
ことを特徴とする情報処理方法。
評価対象となるユーザーによる平常時の複数回の発話に基づいて、当該ユーザーの平常時の発話の特徴を表す基準特徴量を決定する基準特徴量決定部、
前記ユーザーによる評価対象となる対象発話の音声特徴量のデータを取得する発話特徴量取得部、及び、
前記対象発話の音声特徴量と前記基準特徴量との比較結果に基づいて、前記対象発話の特徴を評価する評価部、
としてコンピュータを機能させるためのプログラムであって、
前記評価部は、前記評価対象となるユーザーについて取得された前記基準特徴量に基づいて、当該評価対象となるユーザーを発話の特徴の傾向が互いに異なる複数のユーザーグループのいずれかに分類し、それぞれ前記複数のユーザーグループのいずれかを対象とし、前記対象発話の音声特徴量と前記基準特徴量との比較結果を評価するために用いられる複数の評価基準のうち、前記評価対象となるユーザーが属するユーザーグループを対象とする評価基準を用いて、前記対象発話の特徴を評価する
プログラム。
請求項１０に記載のプログラムを記憶した、コンピュータ読み取り可能な情報記憶媒体。