図1は、この発明の第1の実施の形態による会話支援システムの概略構成の一例を示したブロック図である。
図を参照して、この実施の形態による会話支援システム1は、サーバー3a及び3bと通信会社等のキャリア5とが通信網を介して接続されて構成されている。そして、ユーザー6a(ユーザーA)の携帯電話4aと、ユーザー6b(ユーザーB)の携帯電話4bとがそれぞれ通信網を介して、サーバー3a及び3bに接続されている。尚、ここでは、会話支援システム1には2台のサーバー3a及び3bが含まれているが、サーバーの数は特に限られず、例えば1つのサーバーに携帯電話4a及び4bの両方を接続するようなシステム構成としても良い。この会話支援システム1は、話し手であるユーザー6a及び6bが発した音声に含まれる感情の状態を解析し、話し手の感情を抑制したり、話し手の感情を相手に伝達するための感情制御情報を音声と共に発信するものである。以下、詳細に説明する。
図2は、この発明の第1の実施の形態による会話支援システムの携帯電話に表示される画面の一例を示した図である。
携帯電話4aの画面7には、ユーザーが会話時にサーバーで解析しようとする感情の種類を指定するための感情メニューが表示されている。画面7はまず、「自動」ボタン以下の一群のグループと、「手動」ボタン以下のボタンの一群のグループとに大きく区分けされている。
「自動」ボタンは、使用者が特に意識することなく予め定められた一定の基準に従って、音声に含まれる感情を解析したい場合に使用するものである。「自動」ボタンの下には更に、「自分に送信」、「相手に送信」、「双方に送信」の3つのボタンが配置されている。これは、ユーザーの感情を制御するための感情制御情報を、いずれのユーザーに送信するかを指定するためのものである。「自分に送信」を指定した場合には、話し手自身に感情制御情報がフィードバックされ、話し手は自分の感情の状態を把握しその後の会話に反映させることができるようになる。一方、「相手に送信」を指定した場合には、感情制御情報が会話の相手に送信され、話し手の感情の状態を会話の相手へと伝達して、会話相手がその後の会話に反映させることができるようになる。また、「双方に送信」を指定した場合は、「自分に送信」と「相手に送信」との両方が同時に行われ、話し手の感情の状態が自分自身にフィードバックされると共に会話相手にも伝達される。よって、双方が話し手の感情の状態をその後の会話に反映させることができるようになる。
「手動」ボタンは、話し手が特定の感情についてのみ解析を希望する場合に使用するものであり、図の例ではその特定の感情として、「喜び」、「怒り」、「寂しさ」、「悲しみ」の各ボタンが配置されている。これらの感情は、同時に複数指定することも可能であり、例えばユーザーが会話中において、「怒り」と「悲しみ」とを同時に解析したいと考える場合は、両方のボタンを押して感情を指定する。ここでは、4種類の感情のボタンのみを配置しているが、その他の感情の種類のボタンを配置しても良い。また、各感情指定ボタンの下にはそれぞれ、送信先選択ボタンが配置されているが、これらは上記の「自動」ボタンにおけるものと同様である。
ここで、会話支援システムによる音声及び感情制御情報の送受信の流れについて説明する。
図3は、この発明の第1の実施の形態による会話支援システムにおける送受信の概要を示したシーケンス図であって、図2で「自動」を指定した場合に対応する図である。
まず、図3の(1)は、話し手であるユーザーAが図2で示した画面で送信先として「自分に送信」を指定した場合に対応する処理を示したものである。図を参照して、ユーザーAから発せられた音声は、ユーザーAの携帯電話から、システム、ユーザーBの携帯電話を経てユーザーBへと送信される。システムは、受信したユーザーAの音声を解析して、予め定められた種類の感情が基準を超えているかどうか判断し、必要に応じて感情制御情報を作成しユーザーAへと発信する。発信された感情制御情報は、ユーザーAの携帯電話を経てユーザーAへとフィードバックされ、ユーザーAには発信された感情制御情報が聞こえる。この感情制御情報が聞こえるタイミングは、必ずしもユーザーAまたはユーザーBが発言している最中である必要はなく、ユーザーAが沈黙している最中であっても良い。尚、ユーザーBには、通常の携帯電話での会話と同様にユーザーAの音声が聞こえるだけである。
次に、図3の(2)は、図2で示した「相手に送信」を指定した場合に対応する処理を示したものである。図を参照して、ユーザーAから発せられた音声は、図3の(1)と同様にユーザーBに送信される。システムは、受信したユーザーAの音声を解析して必要に応じて感情制御情報を作成し、これをユーザーBへと発信する。発信された感情制御情報は、ユーザーBの携帯電話を経てユーザーBへと送信され、ユーザーBにはシステムから発信された感情制御情報が聞こえる。これによって、ユーザーBにユーザーAの感情の状態が伝達されることになる。尚、ユーザーAには、通常の携帯電話での会話と同様にユーザーBの音声がそのまま聞こえるだけである。
そして、図3の(3)は、図2で示した「双方に送信」を指定した場合に対応する処理を示したものである。図を参照して、ユーザーAから発せられた音声は、図3の(1)と同様にユーザーBに送信される。システムは、ユーザーAの音声を解析して必要に応じて感情制御情報を作成し、これをユーザーA及びユーザーBの双方へと発信する。ユーザーA及びユーザーBはそれぞれ、発信された感情制御情報が聞こえる状態となる。
図4は、この発明の第1の実施の形態による会話支援システムにおける送受信の概要を示したシーケンス図であって、図2で「手動」を指定した場合に対応する図である。
図4の(1)は、話し手であるユーザーAが送信先として図2における「自分に送信」を選択した場合に対応するものである。図を参照して、ユーザーAが携帯電話の画面から、例えば「怒り」のボタンを選択すると、選択された内容が感情情報としてユーザーAの携帯電話からシステムへと送信される。システムは、感情情報を受信してユーザーAの指定情報として登録する。その後、ユーザーAが発した音声は、ユーザーAの携帯電話、システム、ユーザーBの携帯電話を経由してユーザーBへと送信される。システムは、ユーザーAから登録された感情情報と併せてユーザーAの音声を解析し、指定された感情が基準を超えている場合には感情制御情報を作成する。例えば、指定された「怒り」に関して、ユーザーAの音声から解析された感情のレベルが基準を超えているとシステムが判断した場合は、「怒り」を制御するための感情制御情報を作成する。作成された感情制御情報は、ユーザーAの携帯電話を介してユーザーAへとフィードバックされ、ユーザーAにはシステムから発信された感情制御情報が聞こえる
一方、図4の(2)は、ユーザーAが送信先として「相手に送信」を選択した場合に対応するものである。図を参照して、図4の(1)と同様に、ユーザーAから指定された感情の種類はシステムへと送信されて感情情報として登録され、ユーザーAが発した音声はユーザーBへと送信される。システムは、ユーザーAから登録された感情情報と併せてユーザーAの音声を解析し、必要に応じて感情制御情報を作成する。作成された感情制御情報は、ユーザーBの携帯電話を経てユーザーBへと発信され、ユーザーBには感情制御情報が聞こえる。
尚、「手動」ボタン選択時に、送信先として「双方に送信」を指定した場合は、上記の組み合わせであるので、詳細の説明は省略する。
次に、会話支援システムが備える機能の詳細について説明する。
図5は、この発明の第1の実施の形態による会話支援システムの機能の概略構成を示したブロック図であり、図6は、この発明の第1の実施の形態による会話支援システムで記憶されている感情制御情報の一例を示した図である。
図5を参照して、システムサーバー3aには、測定部10、解析部11、作成部12及び発信部13と、これらを統括的に制御すると共に、携帯電話4a及びキャリア5との通信を制御する制御部9とが含まれている。
測定部10は、ユーザーAの携帯電話4aから送信された音声に含まれている特定の情報の変化を測定する手段である。この特定の情報としては、例えば、音声の大きさや話者の呼吸数、音声や無音状態が継続する時間、音声の周波数など数値化でき変化を判断可能なものであれば、様々なものを測定対象とすることができる。また、測定する特定の情報は、1つでも複数でも良い。
解析部11は、測定部10で測定された特定の情報の変化に基づいて、話し手(ここでは、携帯電話4aのユーザーA)の感情の状態を解析する手段である。解析部11は、特定の情報の変化の1つまたは複数の組み合わせと、話し手の感情の状態とを対応させた定義づけを保有しており、この定義づけを参照して話し手の感情を解析する。例えば、仮に、一定時間毎に測定された話し手の音声の大きさが上昇し続けていると共に音声の大きさが所定のレベル以上になったときは、話し手が「怒り」の状態であると判断するように定義づけられているとする。解析部11は、測定部10において測定された音声の大きさの変化を解析して、「怒り」の状態の定義を満たしている場合は、携帯電話4aの話し手は「怒り」の状態にあると判断する。
作成部12は、解析部11で解析された話し手の感情の状態に基づいて、感情を制御するための感情制御情報を作成する。この感情制御情報は、会話の音声と共にシステムから携帯電話4a及び4bの少なくとも一方へと送信され、話し手の感情を伝達したり、制御したりするためのものである。感情制御情報は、例えば図6に示すように、解析部11で解析可能な感情の種類及びその強度、音楽や効果音等の音源、音の大きさが関連づけられて構成されている。このような感情情報は複数記憶されており、作成部12は、例えば解析部11で解析された感情の状態が「怒り」である場合には、「怒り」に対応する感情制御情報(図6のNo.4〜No.6)を選択する。
別の例として、作成部12では、感情の状態に応じてビープ音の種類や音の大きさを組み合わせることによって感情制御情報を作成するように構成しても良い。例えば、「ピー」と「ピッピ」の2種類のビープ音を予め用意しておいて、「怒り」の状態に対しては、「ピー+ピッピ」というように組み合わせ、音の大きさを徐々に大きくするといった感情制御情報を動的に作成するように構成しても良い。
また、感情制御情報は必ずしも音源に限らず、例えば、携帯電話の着信ランプを所定のタイミングで点滅させたり色を変化させたりする等の指示としても良い。
図5に戻って、発信部13は、作成部12で作成された感情制御情報を発信する手段である。発信手段13は、話し手と相手のいずれか一方または双方へと感情制御情報を発信する。このとき、図2で示した画面において送信先が指定されている場合は、指定内容に従って送信する。
以上のような各手段における処理を順に経て、携帯電話4aの話し手の音声に対する感情制御情報が作成され、制御部9を介して携帯電話4aへとフィードバックされ、またはキャリア5、サーバー3bを経由して携帯電話4bへと発信される。
次に、ユーザーAの音声を解析して感情制御情報を発信する方法について、具体例に即して説明する。
図7は、この発明の第1の実施の形態による会話支援システムにおける感情の解析方法の一例を示した図であり、図8は、この発明の第1の実施の形態による会話支援システムから発信された感情制御情報の一例を示した図である。
まず、図2で示した画面で「自動」が選択された場合の解析方法について説明する。ここでは、説明上、測定部によって測定された音声の大きさがしきい値以上となったときに、話者が「怒り」の状態であると解析部が判断するものとする。
図7を参照して、横軸は携帯電話での会話開始からの経過時間(1単位時間は5秒)を示し、縦軸は話し手の音声の大きさを示している。このグラフは、一方の話し手の音声の大きさの測定値をプロットしたものであり、不連続部分はこの話し手が音声を発していない状態を示している。また、Laは「自動」が選択された場合の音声の大きさのしきい値(音声の大きさ「7」)を示している。
会話開始後(時間1)から時間21までの間は、話し手の音声の大きさの測定値は、しきい値Laを超えることはなく変化している。その後、時間22から時間26までの間は、話し手の声の大きさが「3」から「6」まで上昇するものの、しきい値Laの「7」より小さいレベルに維持されている。これらの間、解析部では音声の大きさの測定値を継続して解析しているが、しきい値La以上となることがないため、話し手の感情が「怒り」の状態であると判断することはない。
ところが、時間29になると、測定部により話し手の音声の大きさが「7」と測定される。すると、解析部は、「音声の大きさの測定値がしきい値La「7」以上」である状態を、「怒り」の状態であると判断する。
解析部において話し手の「怒り」の状態が判断されると、作成部は話し手の「怒り」の状態を制御するための感情制御情報を作成する。例えば、図6で示した一覧から、作成部は「怒り」の感情に対応した感情制御情報「No.4−エリーゼのために−音の大きさ1(小)」を選択する。尚、ここでは、話し手の「怒り」の発生回数と、図6の一覧における強度とを対応させて感情制御情報を選択するように構成されている。すなわち、時間29で「怒り」が判断されたのは会話開始後初めてであるので、「怒り」の状態の強度が「弱」である感情制御情報を選択している。また他には、音声の大きさのしきい値以上の範囲に更に複数の基準値を設けて、基準値と感情の強度とを対応させるように構成しても良い。このように感情の強度に応じて感情制御情報を作成するように構成すれば、より的確に感情を解析することが可能となるが、必ずしも必要なものではない。
そして、作成部で作成された感情制御情報は発信部によって、話し手及び相手の一方または双方へと発信される。
話し手へと発信された場合、話し手には発信された「エリーゼのために」が「音の大きさ1(小)」で聞こえる。話し手はこれにより自分が「怒り」の状態にあることを把握することができるため、その後の会話において、自分の「怒り」の状態を意識的に抑えようと試みる場合や、逆に相手に自分の「怒り」を的確に伝えたい場合などで、感情制御情報を自分の感情の状態を客観的に判断するための指標として活用することが可能となる。また、感情制御情報の音楽自体によるリラックス効果で話し手の感情を制御する(例えば、「怒り」を沈静化する)という効果も期待することができる。
また、話し相手へと発信された場合、相手には発信された音楽が聞こえ、相手は話し手が「怒り」の状態にあることを把握することができる。そのため、相手は話し手が「怒り」の状態であることを把握した上で、その後の会話において的確な応対をすることが可能となる。
尚、感情制御情報の発信の継続時間は、予め所定の時間に決めておいても良いが、例えば、音声の大きさが一旦しきい値La以上となってから、再びしきい値Laより小さくなるまでの間(図7における時間29〜時間32)発信し続けるようにしても良い。
その後も、解析手段では会話終了まで続けて測定された音声の大きさがしきい値La以上となるかどうかを解析し続けており、時間39(音声の大きさ「8」)及び時間49(音声の大きさ「7」)でそれぞれ話し手が「怒り」の状態であると判断する。この例では、上述したように、しきい値La以上となった回数が増すにつれて、より効果的な感情制御情報を発信するように構成されている。すなわち、図8に示すように、2回目(時間39)には図6に示した「No.5−運命−音の大きさ1(小)」を発信し、3回目(時間49)には「No.6−運命−音の大きさ3(中)」を発信している。
一方、図2で示した画面で「手動」と感情の種類「怒り」が選択された場合について説明する。この場合も、基本的には、選択された感情の各々について、「自動」の場合と同様の方法で感情の状態を解析する。この実施の形態では更に、話し手が意図的に「手動」を選択して感情を指定した場合は、より積極的に感情の状態を解析することができるようにしきい値を変化させている。すなわち、「自動」の際のしきい値La「7」に対して、「手動」の際は、しきい値がLm「6」へと小さく設定される。
その結果、図7の例を再度参照して、「手動」の際には、上述した「自動」の場合に加えて、更に時間24〜時間26と、時間38及び時間40と、時間50とにおいて話し手の音声の大きさがしきい値Lm以上となる。解析部では、しきい値Lmを超えた各々の時間において、話し手の「怒り」の状態を解析することになる。よって、話し手やその相手がより厳密に感情の状態を把握することが可能となる。
このように、この実施の形態による会話支援システムを使用すれば、会話の際に話し手自身または相手の感情の状態を把握し、その後の会話に反映させることが可能となるため、円滑且つ的確なコミュニケーションを図ることが可能となる。また、この実施の形態であれば、携帯電話等の通信手段を利用して容易に感情の状態を解析できるため、手軽にコミュニケーションスキルの向上を図ることができる。更に、画面から解析を希望する感情を指定することができるため、話し手または相手をより積極的に特定の感情について制御することが可能となる。
図9は、この発明の第2の実施の形態による会話支援システムの機能の概略構成を示したブロック図である。
この実施の形態による会話支援システム1では、1台のサーバー3に一対の携帯電話4a及び4bが共に接続されている点が、先の第1の実施の形態で示したものとは異なっている。尚、通信会社等のキャリアは図示していないが、携帯電話4a及び4bとサーバー3とは通信網を介して接続されている。
また、サーバー3の機能の基本的な構成については、先の第1の実施の形態で示したものと同様であるが、測定部10及び解析部11の機能が異なっている。この実施の形態による測定部10は、携帯電話4a及び4bの各々から送信された音声それぞれについて、音声に含まれている特定の情報を測定する手段である。測定する特定の情報の種類については、先の第1の実施の形態におけるものと同様のものを対象とすることが可能である。またこの実施の形態による解析部11は、測定部10で測定された特定の情報の各々同志が所定の相関関係にあるかどうかを解析する手段である。
図10は、この発明の第2の実施の形態による会話支援システムにおける送受信の概要を示したシーケンス図である。
図10の(1)は、感情制御情報をそれぞれのユーザーにフィードバックする場合の処理を示したものである。図を参照して、ユーザーAから発せられた音声(A)は、ユーザーAの携帯電話から、システム、ユーザーBの携帯電話を経てユーザーBへと送信される。また、ユーザーBから発せられた音声(B)は、ユーザーAの音声とは独立にシステムを経てユーザーAへと送信される。
システムは、測定部において、受信した音声(A)及び音声(B)の各々に含まれる特定の情報をそれぞれ測定する。そして、解析部において、音声(A)から測定された特定の情報と、音声(B)から測定された特定の情報との相関関係を解析する。作成部は解析された相関関係に基づいた感情制御情報(A)と感情制御情報(B)とを作成し、発信部はこれらを発信する。例えば、ユーザーAの音声がユーザーBの音声と比べてより大きいという相関関係を解析した場合、この相関関係に基づいてユーザーAには声を小さくさせるような感情制御情報(A)を発信し、ユーザーBには声を大きくさせるような感情制御情報(B)を発信する。発信された感情制御情報(A)及び感情制御情報(B)はそれぞれユーザーA及びユーザーBにフィードバックされ、ユーザーAには感情制御情報(A)が聞こえると共に、ユーザーBには感情制御情報(B)が聞こえる状態となる。
図10の(2)は、感情制御情報を互いに相手へと送信する場合の処理を示したものである。図を参照して、ユーザーA及びユーザーBから発せられた音声は、図10の(1)と同様にそれぞれシステムを経由して、相手のユーザーへと送信される。また、システムは、測定部及び解析部を経て解析した相関関係に基づいて、作成部において感情制御情報(B)及び感情制御情報(A)を作成し、発信部においてこれらを発信する。例えば、ユーザーAの音声がユーザーBの音声と比べてより大きいという相関関係を解析した場合、この相関関係に基づいて、ユーザーAには、ユーザーBの音声が小さくても発言が強調されるような感情制御情報(B)を発信し、ユーザーBには、ユーザーAの音声が大きくても聞き取りやすくなるような感情制御情報(A)を発信する。発信された感情制御情報(B)及び感情制御情報(A)はそれぞれユーザーA及びユーザーBへと送信され、ユーザーAには感情制御情報(B)が聞こえると共に、ユーザーBには感情制御情報(A)が聞こえる。
尚、上記の(1)及び(2)を組み合わせて、各々のユーザーに、感情制御情報(A)と感情制御情報(B)との両方が同時に送信されるように構成することも可能である。
図11は、この発明の第2の実施の形態による会話支援システムにおける会話の相関関係の解析方法の一例を示した図であり、図12は、図11で示した例において発信される感情制御情報の一例を示した図である。
図11を参照して、横軸は携帯電話での会話開始からの経過時間(1単位時間は5秒)を示し、縦軸は2人の話し手の会話支配度を示している。棒グラフで示される部分は、測定部によって測定されたユーザーの発声の有無を示したものであり、ユーザーAに発声があった場合は「+1」ポイントとし、ユーザーBに発声があった場合は「−1」ポイントとなるように表示されている。また、折れ線グラフで示される部分は、解析部により算出されるものであって、ユーザーA及びユーザーBの発声の有無によるポイントを会話開始から累計したものである。すなわち、ユーザーAが発声している時間がユーザーBに対して相対的に大きくなるとプラス側に振れて、ユーザーAが会話を支配していると判断することが可能である。以下、この累積値を「会話支配度」とする。更に、縦軸の会話支配度には基準値L1〜L3が設定されている。これらの基準値L1〜L3は、会話の偏りの程度を判断するために設定されているものである。
会話開始から時間12までの間では、棒グラフに示すようにユーザーAとユーザーBとの発声の割合は均衡しており、折れ線グラフで示す会話支配度もほぼ一定の範囲を推移している。この状態においては、ユーザーAとユーザーBとの発言量がほぼ等しく、対等な発言のやり取りが行われていると推測することできる。
時間13から時間24までの間では、棒グラフに示すようにユーザーBが発声した時間は減少し、ユーザーAの発声した時間が相対的に大きくなるため、会話支配度が「3」から「9」まで上昇している。
上記の会話開始から時間24までの間は、会話支配度は基準値L1より小さいため、解析部によって会話が偏っていると判断されることはない。
時間25になると、会話支配度が「10」となって基準値L1以上となる。このとき、ユーザーA及びユーザーBの音声から測定された特定の情報(発声の有無)同志の相関関係である会話支配度に基づいて、解析部は会話がユーザーAに偏っていると判断する。すると、作成手段はこの相関関係である会話支配度を制御するための感情制御情報を作成する。感情制御情報は、例えば図12に示すように、会話支配度の基準値毎に予め記憶されているものを選択して使用することも可能である。また、図12に示したような警告音以外でも、第1の実施の形態と同様に音楽等を用いた感情制御情報を構成しても良い。
作成部で作成された感情制御情報は発信部によって、ユーザーA及びユーザーBの一方または双方へと発信される。
ユーザーAへと発信された場合、ユーザーAには相手の音声と同時に、発信された警告音「ピー」が音の大きさ「1(小)」で聞こえ、これによりユーザーAは話しすぎであることを把握することができる。そして、その後の会話において発言を少し控えて相手の話を聞こうと試みるなどの対処をすることが可能となる。
また、ユーザーBへと発信された場合、ユーザーBには相手の音声と同時に、発信された警告音「ピー」が音の大きさ「1(小)」が聞こえる。これにより、ユーザーBは、会話の比率がユーザーAに偏っており、より積極的に発言する必要があることを把握することができる。尚、この例では、ユーザーA及びユーザーBには同じ警告音を発信しているが、必ずしも同じものを発信する必要ない。例えば、ユーザーAには話しすぎであることを知らせる警告音を発信し、ユーザーBには積極的な発言を促すメッセージを発信するように構成しても良い。
その後、会話支配度は更にプラス側に増加し、時間39及び時間50で基準値L2及びL3に達している。時間39及び時間50においては、より会話の比率がユーザーAに偏っているため、図12に示すように、程度に応じてより効果的な警告音が発信されるように設定されている。
図13は、この発明の第2の実施の形態による会話支援システムにおける会話の相関関係の解析方法の別の一例を示した図である。
図13の(1)は、横軸に時間経過(1単位時間は5秒)を示し、縦軸に携帯電話から送信される音声の大きさを示している。そして、このグラフにはユーザーA及びユーザーBの音声の大きさがそれぞれプロットされている。
また、図13の(2)は、横軸に図13の(1)に対応した時間経過を示し、左側の第1縦軸に棒グラフで示されるユーザーA及びユーザーBの音声の大きさの差分を示しており、ユーザーAの音声の大きさの方が大きいときはプラスとなるように表示されている。また、右側の第2縦軸に折れ線グラフで示される音声の大きさの差分の累積を示している。ここでは説明上、音声の大きさの差分及びその累計は、ユーザーAの音声が相対的に大きいときにプラスに振れて、興奮状態にあると判断するものとする。以下、この累積値を「興奮度」とする。更に、第2縦軸の興奮度には基準値L1及びL2が設定されているが、これらは、興奮状態の程度を判断するためのものである。
図13の(1)及び(2)を併せて参照して、会話開始後から時間24までの間は、図13の(1)に示すように、ユーザーAの音声の大きさが相対的に大きく測定されている。すると、各時間毎の音声の大きさの差分は、図13の(2)に示すようにプラスの値が多くなる。したがって、音声の大きさの差分の累計値である興奮度もまた、プラス側に増加する。しかしながら、この間は興奮度が基準値L1より小さいため、解析部は興奮状態を判断することはない。
時間25になると、興奮度が基準値L1以上となるため、解析部はこの相関関係に基づいて、ユーザーAが一方的に興奮していると判断する。すると、作成部はこの相対関係を制御するための感情制御情報を、図11及び図12の例と同様に作成し、発信部はこれをユーザーA及びユーザーBへと発信する。
発信された感情制御情報によって、ユーザーAは自分自身が一方的に興奮していることを把握することができるため、その後の会話で興奮を抑えるための指標となる。また、ユーザーBはユーザーAが興奮状態にあり、自分の声が相対的に小さいことを把握できるため、その後の会話を円滑に進めるための指標として活用することが可能となる。
その後も継続して、解析部によってユーザーA及びユーザーBの会話の相関関係である興奮度が解析される。よって、時間39では、興奮度が基準値L2を超えたことによりユーザーAがより一層一方的に興奮していることが判断され、同様の感情制御情報が発信される。
このように、この実施の形態による会話支援システムを使用すれば、双方の音声から会話における相関関係を解析して感情制御情報が発信されるため、ユーザーは会話の状態を客観的に把握し、その後の会話に反映させることができる。これにより、双方のコミュニケーションの向上を図ることが可能となる。また、携帯電話等の通信手段を利用して容易に会話の状態を解析できるため、あらゆる会話においてコミュニケーションスキルの向上を図ることができる。
図14は、この第3の実施の形態による会話支援システムの機能の概略構成を示したブロック図である。
図を参照して、この実施の形態による会話支援システム1の基本的な構成は、第1の実施の形態によるものと同様であるが、サーバー3aに更に判定部14と記憶部15とが含まれている点が先の第1の実施の形態とは大きく異なっている。
判定部14は、発信部13から感情制御情報が発信された後に、感情制御情報を受信した携帯電話から送信される音声を解析し、感情制御情報による制御の効果を判定する手段である。例えば、携帯電話4aの話し手が「怒り」の状態にあるときには、第1の実施の形態と同様に、「怒り」を制御するための感情制御情報を作成して、携帯電話4aへと発信する。判定部14はその後、携帯電話4aから送信される音声に含まれる特定の情報の時間的変化を測定し、測定結果に基づいて発信した感情制御情報が「怒り」に対して効果があったかどうかを判定する。
この判定部14は、推測部21と比較部22とを含んでいる。推測部21は、特定の情報の将来における時間的変化を推測する手段であり、比較部22は、推測部21により推測された特定の情報の将来の時間的変化と、特定の情報の実際に測定される時間的変化とを比較する手段である。これらの推測部21と比較部22とによって、感情制御情報の制御の効果の有無が判定されるが、詳細については後述する。
記憶部15は、判定部14によって判定された感情制御情報の制御の効果の有無を記憶するための手段である。記憶部15には、発信された感情制御情報の内容と判定された効果とが固有情報としてユーザー毎に記憶されている。この記憶部15の内容についても詳細は後述する。
ここで、判定部による制御の効果の評価方法について具体例に即して説明する。
図15は、この発明の第3の実施の形態による会話支援システムにおける感情制御情報の制御の効果の解析方法の一例を示した図であり、図16は、図15において、制御の効果があった場合の記憶手段の更新の過程を示した図であり、図17は、図15において、制御の効果がなかった場合の記憶手段の更新の過程を示した図である。尚、図15のグラフの意味合いは、先に示した図11と同様であって、ユーザーA及びユーザーBの会話における会話支配度を示したものである。
図15を参照して、会話開始から時間10までの間は、ユーザーAとユーザーBとの会話の比率はほぼ均等であり、会話支配度は一定の範囲を推移している。しかしながら、時間11から時間24までの間では、棒グラフに示すようにユーザーAの発言の割合が相対的に増加するため、会話支配度は「2」から「9」まで上昇している。そして、時間25になると遂に会話支配度が基準値L1の「10」となるため、作成部は感情制御情報を作成し、発信部はこれをユーザーAに発信する。
判定部は、上述したように、感情制御情報を発信後のユーザーAにおける制御の効果を判定する。この実施の形態では、効果判定の基準として会話支配度の予想直線17を算出し、予想直線17に対して実際の会話支配度が下回るかどうかによって判定を行う。尚、効果の判定方法は、この実施の形態によるものに限られず、単に所定時間後に会話支配度が基準値L1より低下したかどうかを判断したり、所定時間後に所定値だけ会話支配度が低下したかどうかを判断する方法で行っても良い。予想直線17を推測するためには、一般的な統計的手法を用いて算出すれば良いが、ここでは便宜上、感情制御情報を送信しない場合は、過去の会話支配度と同じ増加率で変化するものと仮定して推測する方法で説明する。
推測部は、感情制御情報が発信された以前の10単位時間(時間16〜時間25)における会話支配度の増加率を算出する。この例では、「4」から「10」へと増加しているので、増加率は0.6[会話支配度/単位時間]となる。この増加率を用いて、感情制御情報発信後の10単位時間(時間26〜時間35)の会話支配度を算出し、予想直線17を得る。比較部は、以後この予想直線17に対して実際の会話支配度を比較して、制御の効果を算出する。
まず、感情制御情報による制御の効果があるケースの処理について説明する。
図15と図16とを併せて参照して、時間25において、作成部は、図16の(1)に示すような感情制御情報の一覧から、「話しすぎ」を制御するのに有効な感情制御情報「No.6−ピアノ曲A−音の大きさ1(小)」を選択する。発信部によって感情制御情報を発信した後、実際の会話支配度は図15の曲線18のようになったとする。
感情制御情報の発信から所定時間後において、比較部は予想直線17に対して、会話支配度の実際の時間的変化(曲線18)を比較する。例えば、発信から5単位時間経過後の時間30において、曲線18と予想直線17とを比較する。その結果、実際の会話支配度は、予想直線17を下回っているため、制御の効果があったと判定する。そして、図16の(2)に示すように、発信した感情制御情報と制御の効果とを固有情報として記憶部に記憶する。この例では、制御の効果の欄には「3」ポイントが設定されている。効果の数値化の方法は、例えば単に効果の有無を2種類の数値で表現しても良いし、予想直線17との差異に応じて重みづけした数値でも良い。
更に、5単位時間経過した時間35において、比較手段は予想直線17と曲線18とを再度比較し、同様に制御の効果があったと判定する。このとき、発信した感情制御情報の効果が更に認められたため、図16の(2)で示した固有情報を、図16の(3)で示すように更新し、制御の効果を「3」ポイント上積みして「6」ポイントとする。
次に、感情制御情報による制御の効果がないケースの処理について説明する。
図15と図17とを併せて参照して、作成部は時間25において、感情制御情報の一覧(図17の(1))から、「話しすぎ」を制御するのに有効な感情制御情報「No.4−警告音1−音の大きさ1(小)」を選択する。発信部によって感情制御情報を発信した後、実際の会話支配度は図15の曲線19のようになったとする。
比較部は、発信から5単位時間経過後の時間30において、曲線19と予想直線17とを比較する。その結果、会話支配度が予想直線17を上回っているため、比較部は制御の効果はなかったと判定する。そして、図17の(2)に示すように、発信した感情制御情報と効果とを固有情報として記憶部に記憶させる。尚、効果の欄には効果がなかったことを示す「0」ポイントが設定されている。
またこのとき、時間25において発信した感情制御情報は全く効果が認められなかったため、感情制御情報を変更する。作成部は、再度、図17の(1)の一覧を参照して、別の感情制御情報「No.5−警告音2−音の大きさ3(中)」を選択し、発信部はこれをユーザーAに発信する。
判定部は、感情制御情報の種類を変更した後、同様にして制御の効果の判定を継続する。すなわち、更に5単位時間経過後の時間35において、比較手段は予想直線17と曲線19とを比較した結果、実際の会話支配度は予想直線17を上回っているため、比較部は制御の効果がなかったと判定する。そして、図17の(3)に示すように、図17の(2)の固有情報に加えて、変更後の感情制御情報とその効果とを固有情報として記憶手段に追加する。
このように、特定の情報の推測された時間的変化と、実際に測定された時間的変化との比較によって効果を判定すると、単に基準値との比較によって効果を判定する場合と比べて、より正確な判定が可能となる。
図18は、この発明の第3の実施の形態による会話支援システムにおいて蓄積される固有情報の一例を示した図である。
図を参照して、ユーザーAが会話支援システムを繰り返し使用することで、先の図16及び図17で説明した処理が繰り返し行われ、記憶手段にはユーザーAの固有情報がデータベースとして継続して蓄積される。そのため、ユーザーの成長や変化に応じて適切な対応が常に可能となる。また、蓄積された固有情報データベースには、実際の制御の効果が累積されており、固有情報はこの累積値の順に並び替え自在となるように構成されている。この固有情報により、ユーザーにとって特有の感情制御情報が明らかになる。例えば図の例で、ユーザーAの「怒り」の状態に対しては、「ピアノ曲A」が最も効果的であり、話しすぎの場合には、「警告音」より「メッセージ1」の方が効果があることが明らかである。
更に、作成部がこの固有情報データベースに基づいて感情制御情報を作成するように、システムを構成しても良い。このように構成すれば、システムは、累積された制御の効果を参照して、ユーザーにとって最も有効な感情制御情報を作成することが可能となる。よって、感情制御情報を作成する精度が向上し、話し手同志のコミュニケーションのずれを更に的確且つ迅速に是正することが可能となる。
このように、この実施の会話支援システムでは、発信された感情制御情報の制御の効果が判定されて、話し手毎に固有情報として記憶されるため、話し手に対する感情制御情報の効果の有無が明確になる。したがって、会話支援システムによって、感情や会話の相関関係の制御をより効率的に行うことが可能となる。
ここで、上記のような各実施の形態による会話支援システムを実現するためのシステム制御の一例について説明する。
図19は、この発明の第1の実施の形態による会話支援システムのサーバー処理の内容を示したフローチャートである。
図を参照して、ユーザーAが携帯電話で通話する際にサーバーに接続を試みると(S100)、サーバーは認証等を行った後ユーザーAと接続する(S200)。ユーザーAが解析する感情の種類を指定する場合は(S101でYes、図2の「手動」選択時)、画面上の感情のボタンを押下すると、携帯電話からサーバーへと感情情報を送信する(S102)。サーバーは、携帯電話から送信された感情情報をユーザーAの指定情報として登録する(S201)。ユーザーAが感情の種類を指定せずに解析を行う場合は(S101でNo)、携帯電話の画面から「自動」を選択する(図2)。
ユーザーAが話し相手との会話を開始して音声を送信すると(S103)、サーバーは音声を受信して(S202)、受信した音声に含まれる特定の情報の変化を測定する(S203)。サーバーは続いて、測定した特定の情報の変化が基準以上であるかどうかを解析する(S204)。解析の結果、ユーザーAの所定の感情の状態が基準以上であると判断したときは(S204でYes)、サーバーは感情制御情報を作成し(S205)、これをユーザーAの携帯電話へと発信する(S206)。解析結果が基準に至らないときは(S204でNo)、感情制御情報を作成せずにステップS207へ進む。
ユーザーAは、発信された感情制御情報を受信して(S104)、自分自身や話し相手の感情の状態を把握することができる。その後、ユーザーAが会話を終了する場合には(S105でYes)、サーバーからの切断処理を行って(S106)、その後終了する。サーバーは、携帯電話からの切断指示を受けて(S207でYes)、処理を終了する。また、ユーザーAが会話を継続する場合(S105でNo)、ステップS103に戻って会話を続ける。サーバーは、携帯電話からの切断指示がない場合は(S207でNo)ステップS202に戻って上記の処理を繰り返す(S202〜S207)。
尚、感情制御情報を話し相手に発信する場合は、ステップS206での発信先が異なるだけで基本的な処理内容は同様である。
図20は、この発明の第2の実施の形態による会話支援システムのサーバー処理の内容を示したフローチャートである。
図を参照して、ユーザーA及びユーザーBが携帯電話で会話を開始する際にサーバーに接続を試みると(S110)、サーバーは認証等を行った後、各々の携帯電話と接続する(S210)。
ユーザーA及びユーザーBが会話を開始して音声を送信すると(S111)、サーバーは各々の音声を受信して(S211)、受信した音声に含まれる特定の情報を測定する(S212)。サーバーは、測定した特定の情報同志の相関関係を解析し(S213)、解析した相関関係が基準以上であるかどうかを判断する(S214)。解析結果が基準以上である場合は(S214でYes)、サーバーは感情制御情報を作成し(S215)、これをユーザーA及びユーザーBの少なくとも一方の携帯電話へと発信する(S216)。解析結果が基準に至らないときは(S214でNo)、感情制御情報を作成せずにステップS217へ進む。
ユーザーA及びユーザーBは、発信された感情制御情報を受信して(S112)、会話の状態を把握することができる。その後、ユーザーA及びユーザーBが会話を終了する場合には(S113でYes)、サーバーからの切断処理を行って(S114)、その後終了する。サーバーは、携帯電話からの切断指示を受けて(S217でYes)、処理を終了する。また、ユーザーA及びユーザーBが会話を継続する場合(S113でNo)、ステップS111に戻って会話を続ける(S111〜S113)。サーバーは、携帯電話からの切断指示がない場合は(S217でNo)ステップS211に戻って上記の処理を繰り返す(S211〜S217)。
図21は、この発明の第3の実施の形態による会話支援システムのサーバー処理の内容を示したフローチャートであり、図22は、図21に続く部分のフローチャートである。
まず、図21を参照して、ユーザーA及びユーザーBが携帯電話で会話を開始する際にサーバーに接続を試みると(S120)、サーバーは認証等を行った後、各々の携帯電話と接続する(S220)。
ユーザーA及びユーザーBが会話を開始して音声を送信すると(S121)、サーバーは各々の音声を受信し(S221)、音声の各々に含まれる特定の情報を測定する(S222)。ここでまずサーバーは、測定した特定の情報同志の相関関係を解析する(S223)。次にサーバーは、特定の情報の将来の時間的変化を推測し(S224)、この推測された将来の時間的変化と、実際に測定された時間的変化とを比較する(S225)。サーバーは、比較した結果に基づいて感情制御情報による制御の効果を算出し、既に感情制御情報を発信済みであれば、これと制御の効果とをユーザーの固有情報として記憶する(S226)。尚、感情制御情報を未発信の場合は、制御の効果を記憶しないように適宜処理を行う。
続いて図22を参照して、まず、ステップS223において解析された相関関係が基準以上であって(S227でYes)、且つ、感情制御情報による制御の効果がない場合(S228でYes、未発信の場合を含む)は、サーバーは感情制御情報を作成または再作成し(S229)、これをユーザーA及びユーザーBの少なくとも一方の携帯電話に発信する(S230)。その後、ステップS240から次の処理を行う。
次に、解析された相関関係が基準より低いとき(S227でNo)は、サーバーは感情制御情報を作成せずにステップS240から次の処理を行う。また、解析された相関関係が基準以上(S227でYes)であっても、感情制御情報による制御の効果がある場合は(S228でNo)、サーバーは感情制御情報を再作成せずにステップS240から次の処理を行う。
ユーザーA及びユーザーBは、発信された感情制御情報を受信して(S122)、会話の状態を把握することができる。その後、ユーザーA及びユーザーBが会話を終了する場合には(S123でYes)、サーバーからの切断処理を行って(S124)、その後終了する。システムは、携帯電話からの切断指示を受けると(S240でYes)、処理を終了する。一方、ユーザーA及びユーザーBが会話を継続する場合は(S123でNo)、結合子Bから図21のステップS121に戻って会話を続ける(S121〜S123)。サーバーは、携帯電話からの切断指示がない場合は(S240でNo)、結合子YからステップS221に戻って上記の処理を繰り返す(S221〜S240)。
以上のように制御することにより、各実施の形態において説明したような、会話支援装置を構成することが可能となる。
尚、上記の各実施の形態では、端末手段として携帯電話を使用しているが、必ずしも携帯電話である必要はなく、固定電話機等の他の装置を使用しても良い。また、通信網についても携帯電話網に限らず、固定電話やIP電話の通信網を使用しても良い。
また、上記の各実施の形態では、会話支援システムには2台の携帯電話が接続されているが、必ずしも2台である必要はなく、同時通話が可能な3台以上の端末手段を接続しても良い。
更に、上記の各実施の形態では、ユーザーの各々が特定の携帯電話を固定的に使用しているが、必ずしもこのように端末手段を限定する必要はなく、システムにログインすればどの端末手段からも利用できるように構成しても良い。このように構成すれば、場所を選ばず、会話支援システムをより手軽に利用することが可能となる。
更に、上記の各実施の形態では、解析時の基準として用いるしきい値や基準値を予め設定しているが、開始から所定時間の会話に基づいて、これらのしきい値等を動的に設定するように構成しても良い。このように構成すれば、例えば各々のユーザーの声の大きさや会話の特徴などがしきい値等に反映されるため、より正確に感情や相関関係の解析を行うことが可能となる。
更に、上記の各実施の形態では、サーバーを用いて会話支援システムを構成しているが、必ずしもこのように構成する必要はなく、端末手段にシステムの一部または全部を内蔵しても良い。
更に、上記の各実施の形態では、会話音声に加えて感情制御情報を送信するように構成しているが、音声自体を制御して送信するように構成することも可能である。
更に、上記の各実施の形態では、システムでの感情の解析の一例として、怒りの感情、会話支配度及び興奮度について説明したが、必ずしも解析する対象及びその方法はこれらのみに限定されるものではない。例えば、話し手の音声の乱れを母音の波形で分析するという疲労の測定技術を適用して、話し手の疲労度を緩和したり、元気づけたりするような感情制御情報を送信するように構成することも可能である。ここで、感情制御情報における感情とは、単に喜怒哀楽等の状態のみならず、会話においてある相関関係の起因となる状態や、疲労や元気さといった精神的または肉体的な状態まで広く含む概念である。
更に、上記の各実施の形態では、感情制御情報として音楽や効果音等の音源を送信しているが、必ずしもこのように構成する必要はなく、例えば、話し手及び相手の少なくとも一方の端末手段へと、解析された感情等に対応する文字、静止画、動画、光、振動等の知覚可能な情報自体またはこれらの出力の指示を送信するように構成しても良い。
更に、上記の各実施の形態では、説明上、測定手段において一種類のみの特定の情報(の変化)を測定する例を示しているが、複数の特定の情報(の変化)を同時に測定し、解析手段において測定結果の様々な組み合わせを解析するように構成しても良い。
更に、上記の各実施の形態では、各ユーザーに対して所定の感情制御情報を共通して使用しているが、生年月日や性別、出生地等のユーザーの個人情報に基づいて、ユーザー毎に感情制御情報を選択または作成することができるように構成しても良い。このように構成すれば、ユーザーのそれぞれにより適した感情制御情報が送信されるため、ユーザーにとってシステムを利用しやすくなる。
更に、上記の各実施の形態においては、音声から言葉自体を認識し、所定の言葉(例えば、怒りのフレーズ)の出現の有無や頻度等に基づいて、話し手の感情や、会話における双方の相関関係を解析するように構成しても良い。
更に、上記の第2及び第3の各実施の形態では、会話支配度や興奮度を解析するために、数値化した情報を会話開始時から累積しているが、必ずしもこのように構成する必要はなく、例えば、当該数値化した情報を直近の所定時間積分したり、移動平均を算出するように構成しても良い。
更に、上記の第1の実施の形態においては、携帯電話の画面において、感情の種類や送信先に加えて、感情の解析時のしきい値を設定することができるように構成しても良い。
更に、上記の第1の実施の形態では、解析しようとする感情を話し手のみが指定しているが、必ずしも話し手のみに限らず、指定手段による所定の感情の指定のみを会話相手(聞き手)の側から行えるようにしても良い。例えば、図4の(1)及び(2)において、ユーザーA(話し手)が感情情報をシステムへと送信する代わりに、ユーザーB(聞き手)が感情情報を送信することができるように指定手段を構成することが可能である。図4の(1)において、このように構成すると、ユーザーA(話し手)の音声に対するユーザーB(聞き手)の感じ方が音声解析に反映されるため、ユーザーA(話し手)は相手による受け止め方を加味して自分の感情の状態を把握することができ、より良いコミュニケーションが可能となる。また、図4の(2)において、このように構成すると、ユーザーB(聞き手)は、聞き手の側からユーザーA(話し手)の音声を聞きやすくなるように制御することができ、より円滑なコミュニケーションが可能となる。
更に、上記の第2の実施の形態では、感情制御情報を2台の携帯電話の両方に発信しているが、必ずしもこのように構成する必要はなく、会話を構成する2以上の端末手段のうち少なくとも1つに発信することができれば良い。
更に、上記の第2の実施の形態においては、第1の実施の形態と同様に、解析する相関関係を指定するための手段を設けても良い。
更に、上記の第2の実施の形態においては、特定の情報同志の相関関係を解析するために、統計的手法を用いて解析するように構成しても良い。
更に、上記の第3の実施の形態では、発信した感情制御情報とその効果とを含む固有情報をユーザー毎に記憶するように構成されているが、これに加えて、固有情報に話し相手のユーザー名や時間帯等の情報を含むように構成すれば、更に精密な情報を蓄積することが可能である。また、より精密な固有情報を蓄積して感情制御情報の作成時に利用すれば、感情制御情報の作成の精度をより一層向上させることが可能となる。
更に、上記の第3の実施の形態において、蓄積された固有情報をユーザーが参照する手段を更に設けて、ユーザーにとって効果の高い音楽のメディア等を購入したり、携帯電話にその音楽を配信することができるように構成することも可能である。