JP4437224B2 - 同調度検出装置および同調度検出プログラム - Google Patents

Description

この発明は、同調度検出装置または同調度検出プログラムに関し、特にたとえば、２人の被験者の対話の同調度を検出する、同調度検出装置または同調度検出プログラムに関する。

従来のこの種の同調度検出方法が、非特許文献１および非特許文献２に開示されている。この従来技術は、子供がコンピュータと対話を行う際に、コンピュータが出力する対話パターンの変化に対して子供の反応がどのように変化(同調)するかを検出しようとするものである。
Courtney Darves and Sharon Oviatt，"Adaptation of Users’ Spoken Dialogue Patterns in a Conversational Interface",アメリカ合衆国，２００２年９月１７日 Rachel Coulston, Sharon Oviatt and Courtney Darves, "Amplitude convergence in children’s conversational speech with animated personas", アメリカ合衆国，２００２年９月１７日

しかし、従来技術では、コンピュータと子供との同調度を検出するもので、またその同調度の検出はリアルタイム処理ではなく、オフライン処理(バッチ処理)にて対話後に一括して行われる。したがって、対話の同調度をリアルタイムで把握することはできない。

それゆえに、この発明の主たる目的は、コンピュータと人との対話ではなく、人間同士の対話の同調度をリアルタイムで把握することができる、同調度検出装置または同調度検出プログラムを提供することである。

請求項１の発明に従う同調度検出装置は、第１被験者の発話音声である第１発話音声を取り込む第１取り込み手段、第１被験者と対話する第２被験者の発話音声である第２発話音声を取り込む第２取り込み手段、第１発話音声の韻律パラメータ値と第２発話音声の韻律パラメータ値との差分を閾値と比較する比較手段、および比較手段の比較結果に応じて異なるメッセージを出力する出力手段を備える。

第１被験者および第２被験者が対話するとき、第１被験者の第１発話音声および第２被験者の第２発話音声は、第１取り込み手段および第２取り込み手段によってそれぞれ取り込まれる。第１発話音声の韻律パラメータ値と第２発話音声の韻律パラメータ値との差分は、比較手段によって閾値と比較される。出力手段によって出力されるメッセージは、比較手段の比較結果に応じて異なる。これによって、第１被験者および第２被験者の対話の同調度をリアルタイムで把握することができる。

請求項２の発明に従う同調度検出装置は、請求項１に従属し、韻律パラメータ値は声量，発話速度および応答遅れ時間の少なくとも１つを含む。韻律パラメータを増やすことによって、対話の同調度の検出精度を向上させることができる。

請求項３の発明に従う同調度検出装置は、請求項２に従属し、比較手段は同じ韻律パラメータ毎に比較を行い、出力手段は、少なくとも１つの比較結果が所定条件を満たすとき第１メッセージを出力する第１メッセージ出力手段、および全ての比較結果が所定条件を満たさないとき第２メッセージを出力する第２メッセージ出力手段を含む。これによって、いずれか１つの韻律パラメータに関する比較結果が所定条件を満たされたときに、同調が確保されたとみなされ、第１メッセージが出力される。

請求項４の発明に従う同調度検出装置は、請求項２または３に従属し、比較手段は、応答遅れ時間の比較に優先して声量の比較を行い、声量の比較に優先して発話速度の比較を行う。これによって、優先度の高い韻律パラメータに関する比較結果が所定条件を満たせば、優先度の低い韻律パラメータに関する比較結果に関係なく、第１メッセージが出力される。

請求項５に従う同調度検出装置は、請求項１ないし４のいずれかに従属し、第１取り込み手段および第２取り込み手段を部屋の中に配置し、出力手段を前記部屋の外に配置するようにした。これによって、部屋の外部からの観察が可能となる。

請求項６の発明に従う同調度検出装置は、請求項５に従属し、部屋を複数用意し、各々の部屋の中に第１取り込み手段および第２取り込み手段を配置し、各々の部屋の外に出力手段を配置するようにした。これによって、どの部屋の対話が盛り上がっているかを容易に把握することができる。

請求項７の発明に従う同調度検出プログラムは、同調度検出装置のプロセサに実行させる同調度検出プログラムであって、第１被験者の発話音声である第１発話音声を取り込む第１取り込みステップ、第１被験者と対話する第２被験者の発話音声である第２発話音声を取り込む第２取り込みステップ、第１発話音声の韻律パラメータ値と第２発話音声の韻律パラメータ値との差分を閾値と比較する比較ステップ、および比較ステップの比較結果に応じて異なるメッセージを出力する出力ステップを備える。

この発明によれば、第１発話音声の韻律パラメータ値と第２発話音声の韻律パラメータ値との差分を閾値と比較し、比較結果に応じて異なるメッセージを出力するようにしたため、第１被験者および第２被験者の対話の同調度をリアルタイムで把握することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例の同調度検出装置１０は、被験者Ａの発話音声を取り込むマイク１８と、被験者Ｂの発話音声を取り込むマイク２０とを含む。マイク１８によって取り込まれた発話音声は、Ａ／Ｄ変換器１４を介してＣＰＵ１２に与えられ、メモリ２２に書き込まれる。また、マイク２０によって取り込まれた発話音声は、Ａ／Ｄ変換器１６およびＣＰＵ１２を介してメモリ２２に書き込まれる。

ＣＰＵ１２は、メモリ２２に確保された発話音声データに基づいて、被験者ＡおよびＢのコミュニケーションが同調しているか否か、つまり被験者ＡおよびＢの会話が盛り上がっているか否かを判別する。ＣＰＵ１２は、コミュニケーションの同調が検出されたときランプ２４を点灯させ、コミュニケーションの同調が検出されなくなったときランプ２４を消灯させる。

ＣＰＵ１２は、具体的には、図３に示すフロー図に従う処理を実行する。なお、被験者ＡおよびＢの発話音声データは、別のタスクによってメモリ２２に蓄積される。また、これらの処理を実行するための制御プログラムは、メモリ２２に記憶されている。

まずステップＳ１で、メモリ２２に確保された最新のＴ１秒（＝３０秒）の被験者Ａの発話音声データに基づいて、発話音声の韻律パラメータ、すなわち被験者Ａの発話速度Ｖａ，声量Ｐａおよび応答遅れ時間（発話間隔）Ｔａを検出する。ステップＳ３では、メモリ２２に確保された最新のＴ１秒の被験者Ｂの発話音声データに基づいて、被験者Ｂの発話速度Ｖｂ，声量Ｐｂおよび応答遅れ時間Ｔｂの韻律パラメータを検出する。

ここで、発話速度の単位は、“mora/sec”であり、声量の単位は“dB”であり、そして応答遅れ時間の単位は“sec”である。また、応答遅れ時間とは、被験者ＡおよびＢの一方の発話が終了してから被験者ＡおよびＢの他方の発話が開始されるまでの時間のことである。

なお、発話速度および応答遅れ時間の検出に必要な音素および有声音区間は、既存の音声特徴抽出法に従って抽出される。音声特徴抽出法については、特開平７−２９５５８８号公報および特開平１０−７０７９０号公報や、次の参考文献に詳しく述べられている。
[参考文献]
鹿野清宏，伊藤克亘，河原達也，武田一哉，山本幹雄，「ＩＴ Ｔｅｘｔ 音声認識システム」，情報処理学会編集，オーム社
ステップＳ５では、検出された発話速度ＶａおよびＶｂの差分絶対値を閾値ＴＨｖ（＝０．１mora/sec）と比較する。ステップＳ７では、検出された声量ＰａおよびＰｂの差分絶対値を閾値ＴＨｐ（＝０．２dB）と比較する。ステップＳ９では、検出された応答遅れ時間ＴａおよびＴｂの差分絶対値を閾値ＴＨｔ（＝０．０５sec）と比較する。

ステップＳ５で｜Ｖａ−Ｖｂ｜＜ＴＨｖと判断されるか、ステップＳ７で｜Ｐａ−Ｐｂ｜＜ＴＨｐと判断されるか、あるいはステップＳ９で｜Ｔａ−Ｔｂ｜＜ＴＨｔと判断されると、ステップＳ１１でランプ２４を点灯させる。これに対して、ステップＳ５で｜Ｖａ−Ｖｂ｜≧ＴＨｖと判断され、ステップＳ７で｜Ｐａ−Ｐｂ｜≧ＴＨｐと判断され、そしてステップＳ９で｜Ｔａ−Ｔｂ｜≧ＴＨｔと判断されると、ステップＳ１３でランプ２４を消灯させる。

つまり、ステップＳ５，Ｓ７およびＳ９のいずれにおいてもＮＯであれば、被験者ＡおよびＢのコミュニケーションは同調していない、すなわち会話が弾んでいないとみなし、ステップＳ１３でランプ２４を消灯させる。これに対して、ステップＳ５，Ｓ７およびＳ９のいずれかでもＹＥＳであれば、被験者ＡおよびＢのコミュニケーションは弾んでいるとみなし、ステップＳ１１でランプ２４を点灯させる。

ステップＳ１１またはＳ１３の処理が完了すると、被験者ＡおよびＢが対話をしない非発話期間がＴ２秒（たとえば６００秒）に達したか否かをステップＳ１５で判別する。ここでＮＯであれば、メモリ２２に新たに蓄積されたＴ１秒分の発話音声データについて上述の処理を実行するべく、ステップＳ１に戻る。一方、ステップＳ１５でＹＥＳと判断されると、処理を終了する。

かかる同調度検出装置１０は、具体的には、図２に示すような形態で使用される。図２によれば、テーブル２６と２つの椅子２８および３０が部屋１００の中に準備される。被験者Ａは椅子２８に座り、被験者Ｂは椅子３０に座る。マイク１８はテーブル２６上の被験者Ａの近傍に配置され、マイク２０はテーブル２６上の被験者Ｂの近傍に配置される。ランプ２４は、部屋１００の外側（具体的には出入り口１００ａが設けられた壁１００ｂ）に設置される。部屋１００の外部に居る観察者は、部屋１００の中での被験者ＡおよびＢの会話の盛り上がりの程度（同調度）を、ランプ２４の点灯／消灯によって把握する。

この実施例によれば、発話速度，声量，応答遅れ時間の３つの韻律パラメータを用いるようにしたため、同調度の検出精度を向上させることができる。また、同調度の検出結果に応じてランプ２４を点灯／消灯させるようにしたため、対話の同調度をリアルタイムで容易に判別することができる。

なお、図４に示すように複数の部屋１００，１００，…を用意すれば、各々の部屋１００毎のコミュニケーションの同調度を視覚的に観察することができ、同調度を観察するときの利便性が向上する。つまり、どの部屋の対話が盛り上がっているかを容易に把握することができる。

また、この実施例では、対話の同調度をランプの点灯／消灯のような可視メッセージによって表現するようにしているが、可視メッセージに代えてあるいは可視メッセージとともに、可聴メッセージによって同調度を表現するようにしてもよい。

さらに、この実施例では、対話の同調度を検出するにあたって、発話速度→声量→応答遅れ時間の順で比較処理を行うようにしたが（S7, S9, S11）、比較処理の順序はこれに限られるものではない。また、対話の同調度の検出は、発話速度，声量および応答遅れ時間のうち、任意の１つによっても、あるいは任意の２つの組み合わせによっても、可能であることは言うまでもない。

この発明の一実施例の構成を示すブロック図である。 図１実施例の使用状態の一例を示す図解図である。 図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１実施例の使用状態の他の一例を示す図解図である。

符号の説明

１０ … 同調度検出装置
１２ … ＣＰＵ
１８，２０ … マイク
２２ … メモリ
２４ … 表示装置

Claims (7)

1. 第１被験者の発話音声である第１発話音声を取り込む第１取り込み手段、
   前記第１被験者と対話する第２被験者の発話音声である第２発話音声を取り込む第２取り込み手段、
   前記第１発話音声の韻律パラメータ値と前記第２発話音声の韻律パラメータ値との差分を閾値と比較する比較手段、および
   前記比較手段の比較結果に応じて異なるメッセージを出力する出力手段を備える、同調度検出装置。
2. 前記韻律パラメータ値は発話速度，声量および応答遅れ時間の少なくとも１つを含む、請求項１記載の同調度検出装置。
3. 前記比較手段は同じ韻律パラメータ毎に比較を行い、
   前記出力手段は、少なくとも１つの比較結果が所定条件を満たすとき第１メッセージを出力する第１メッセージ出力手段、および全ての比較結果が前記所定条件を満たさないとき第２メッセージを出力する第２メッセージ出力手段を含む、請求項２記載の同調度検出装置。
4. 前記比較手段は、前記応答遅れ時間の比較に優先して前記声量の比較を行い、前記声量の比較に優先して前記発話速度の比較を行う、請求項２または３記載の同調度検出装置。
5. 前記第１取り込み手段および前記第２取り込み手段を部屋の中に配置し、前記出力手段を前記部屋の外に配置するようにした、請求項１ないし４のいずれかに記載の同調度検出装置。
6. 前記部屋を複数用意し、
   各々の前記部屋の中に前記第１取り込み手段および前記第２取り込み手段を配置し、各々の前記部屋の外に前記出力手段を配置するようにした、請求項５記載の同調度検出装置。
7. 同調度検出装置のプロセサに実行させる同調度検出プログラムであって、
   第１被験者の発話音声である第１発話音声を取り込む第１取り込みステップ、
   前記第１被験者と対話する第２被験者の発話音声である第２発話音声を取り込む第２取り込みステップ、
   前記第１発話音声の韻律パラメータ値と前記第２発話音声の韻律パラメータ値との差分を閾値と比較する比較ステップ、および
   前記比較ステップの比較結果に応じて異なるメッセージを出力する出力ステップを備える、同調度検出プログラム。

Images