JP4169712B2 - 会話支援システム - Google Patents

Description

この発明は、会話支援システムに関し、特に通信手段を介した会話を支援するための会話支援システムに関するものである。

コミュニケーションは、人間が生活を営む上で必要不可欠であって、そのスキルを向上させることができれば、他者との意志の疎通をより的確且つ円滑に行うことができるようになる。

そのための手段として、対面カウンセリングやビデオチャット、話し方教室の講義等が従来より行われている。

上記の対面カウンセリング等は、コミュニケーションスキルの向上には有効な手段であるが、一般的には気軽に参加し難く、敷居が高いと思われているのが現状である。また、費用や時間も必要であるため、誰もが手軽に利用できる方法であるとは必ずしも言えない。

ところで、近年は携帯電話が広く普及しており、携帯電話を用いた会話によって、コミュニケーションを図る機会も頻繁に生じている。しかしながら、現在のところ、携帯電話は単に会話をするための通信手段の１つに過ぎない。

この発明は、上記の課題を解決するためになされたもので、携帯電話等の通信手段を利用して会話を支援し、コミュニケーションの向上を図ることができる会話支援システムを提供することを目的とする。

上記の目的を達成するために、請求項１記載の発明は、通信手段を介した会話を支援するための会話支援システムであって、話し手から発せられた音声を送受信する機能を有する少なくとも２つの端末手段と、端末手段の１つから送信された音声に含まれる特定の情報の変化を測定する測定手段と、測定された特定の情報の変化に基づいて、送信された音声を発した話し手の、所定の感情の状態を解析する解析手段と、解析された所定の感情の状態に基づいて、所定の感情を制御するための感情制御情報を作成する作成手段と、作成された感情制御情報を端末手段の少なくとも１つに発信する発信手段とを備えたものである。

このように構成すると、１つの端末から送信された話し手の音声に含まれる感情が解析され、解析された感情を制御するための感情制御情報が発信される。

請求項２記載の発明は、請求項１記載の発明の構成において、所定の感情を指定する指定手段を更に備えたものである。

このように構成すると、指定した感情について解析が行われる。

請求項３記載の発明は、通信手段を介した会話を支援するための会話支援システムであって、話し手から発せられた音声を送受信する機能を有する少なくとも２つの端末手段と、会話を構成する端末手段の各々から送信された音声の各々に含まれる特定の情報を測定する測定手段と、測定された特定の情報の相関関係を解析する解析手段と、解析された相関関係に基づいて、相関関係を制御するための感情制御情報を作成する作成手段と、作成された感情制御情報を会話を構成する端末手段の少なくとも１つに発信する発信手段とを備えたものである。

このように構成すると、２以上の端末手段から送信された音声同志の相関関係が解析され、解析された相関関係を制御するための感情制御情報が発信される。

請求項４記載の発明は、請求項３記載の発明の構成において、所定の相関関係を指定する指定手段を更に備えたものである。

このように構成すると、指定された相関関係が解析される。

請求項５記載の発明は、請求項１から請求項４のいずれかに記載の発明の構成において、発信された感情制御情報を受信した端末手段から続いて送信される音声に対して、特定の情報の時間的変化を測定し、測定された時間的変化に基づいて、感情制御情報による制御の効果を判定する判定手段と、発信された感情制御情報と判定された制御の効果とを含む固有情報を話し手毎に記憶する記憶手段とを更に備えたものである。

このように構成すると、発信された感情制御情報の制御の効果が判定され、その判定結果が話し手毎に記憶手段に記憶される。

請求項６記載の発明は、請求項５記載の発明の構成において、判定手段は、特定の情報の将来の時間的変化を推測する推測手段と、推測された将来の時間的変化に対して、測定された時間的変化を比較する比較手段とを含むものである。

このように構成すると、特定の情報の推測された時間的変化と実際に測定された時間的変化との比較によって効果の有無が判定される。

請求項７記載の発明は、請求項５または請求項６記載の発明の構成において、作成手段は、記憶手段に記憶された固有情報から、話し手にとって制御の効果が最も有効な感情制御情報を選択するものである。

このように構成すると、過去の実績に基づいて、話し手にとって最も有効な感情制御情報が作成される。

請求項８記載の発明は、請求項５から請求項７のいずれかに記載の発明の構成において、固有情報の制御の効果は、判定手段による判定の度に累積され、固有情報は、累積された制御の効果の高い順に並び替え自在に蓄積されるものである。

このように構成すると、固有情報は制御の効果の高い順に並び替え自在に蓄積される。

以上説明したように、請求項１記載の発明は、発信された感情制御情報によって、話し手が感情を制御することができ、コミュニケーションの向上を図ることが可能となる。

請求項２記載の発明は、請求項１記載の発明の効果に加えて、指定した感情について解析が行われるため、話し手が積極的に特定の種類の感情を制御することが可能となる。

請求項３記載の発明は、発信された感情制御情報によって、会話における話し手同志の相関関係を話し手が客観的に把握することができ、話し手同志のコミュニケーションの向上を図ることが可能となる。

請求項４記載の発明は、請求項３記載の発明の効果に加えて、指定された相関関係が解析されるため、話し手が特定の相関関係を積極的に制御することが可能となる。

請求項５記載の発明は、請求項１から請求項４のいずれかに記載の発明の効果に加えて、発信された感情制御情報の制御の効果が判定され、その判定結果が話し手毎に記憶手段に記憶されるため、話し手に対する感情制御情報の効果の有無が明確になる。

請求項６記載の発明は、請求項５記載の発明の構成に加えて、特定の情報の推測された時間的変化と、実際に測定された時間的変化との比較によって効果の有無が判定されるため、より正確な効果の判定が可能となる。

請求項７記載の発明は、請求項５または請求項６記載の発明の構成に加えて、過去の実績に基づいて、話し手にとって最も有効な感情制御情報が作成されるため、会話におけるコミュニケーションのずれをより効率的に制御することが可能となる。

請求項８記載の発明は、請求項５から請求項７のいずれかに記載の発明の構成において、固有情報は制御の効果の高い順に並び替え自在に蓄積されるため、話し手の成長や変化に応じた適切な対応が常に可能となる。また、話し手にとって特有の感情制御情報が明らかになる。

図１は、この発明の第１の実施の形態による会話支援システムの概略構成の一例を示したブロック図である。

図を参照して、この実施の形態による会話支援システム１は、サーバー３ａ及び３ｂと通信会社等のキャリア５とが通信網を介して接続されて構成されている。そして、ユーザー６ａ（ユーザーＡ）の携帯電話４ａと、ユーザー６ｂ（ユーザーＢ）の携帯電話４ｂとがそれぞれ通信網を介して、サーバー３ａ及び３ｂに接続されている。尚、ここでは、会話支援システム１には２台のサーバー３ａ及び３ｂが含まれているが、サーバーの数は特に限られず、例えば１つのサーバーに携帯電話４ａ及び４ｂの両方を接続するようなシステム構成としても良い。この会話支援システム１は、話し手であるユーザー６ａ及び６ｂが発した音声に含まれる感情の状態を解析し、話し手の感情を抑制したり、話し手の感情を相手に伝達するための感情制御情報を音声と共に発信するものである。以下、詳細に説明する。

図２は、この発明の第１の実施の形態による会話支援システムの携帯電話に表示される画面の一例を示した図である。

携帯電話４ａの画面７には、ユーザーが会話時にサーバーで解析しようとする感情の種類を指定するための感情メニューが表示されている。画面７はまず、「自動」ボタン以下の一群のグループと、「手動」ボタン以下のボタンの一群のグループとに大きく区分けされている。

「自動」ボタンは、使用者が特に意識することなく予め定められた一定の基準に従って、音声に含まれる感情を解析したい場合に使用するものである。「自動」ボタンの下には更に、「自分に送信」、「相手に送信」、「双方に送信」の３つのボタンが配置されている。これは、ユーザーの感情を制御するための感情制御情報を、いずれのユーザーに送信するかを指定するためのものである。「自分に送信」を指定した場合には、話し手自身に感情制御情報がフィードバックされ、話し手は自分の感情の状態を把握しその後の会話に反映させることができるようになる。一方、「相手に送信」を指定した場合には、感情制御情報が会話の相手に送信され、話し手の感情の状態を会話の相手へと伝達して、会話相手がその後の会話に反映させることができるようになる。また、「双方に送信」を指定した場合は、「自分に送信」と「相手に送信」との両方が同時に行われ、話し手の感情の状態が自分自身にフィードバックされると共に会話相手にも伝達される。よって、双方が話し手の感情の状態をその後の会話に反映させることができるようになる。

「手動」ボタンは、話し手が特定の感情についてのみ解析を希望する場合に使用するものであり、図の例ではその特定の感情として、「喜び」、「怒り」、「寂しさ」、「悲しみ」の各ボタンが配置されている。これらの感情は、同時に複数指定することも可能であり、例えばユーザーが会話中において、「怒り」と「悲しみ」とを同時に解析したいと考える場合は、両方のボタンを押して感情を指定する。ここでは、４種類の感情のボタンのみを配置しているが、その他の感情の種類のボタンを配置しても良い。また、各感情指定ボタンの下にはそれぞれ、送信先選択ボタンが配置されているが、これらは上記の「自動」ボタンにおけるものと同様である。

ここで、会話支援システムによる音声及び感情制御情報の送受信の流れについて説明する。

図３は、この発明の第１の実施の形態による会話支援システムにおける送受信の概要を示したシーケンス図であって、図２で「自動」を指定した場合に対応する図である。

まず、図３の（１）は、話し手であるユーザーＡが図２で示した画面で送信先として「自分に送信」を指定した場合に対応する処理を示したものである。図を参照して、ユーザーＡから発せられた音声は、ユーザーＡの携帯電話から、システム、ユーザーＢの携帯電話を経てユーザーＢへと送信される。システムは、受信したユーザーＡの音声を解析して、予め定められた種類の感情が基準を超えているかどうか判断し、必要に応じて感情制御情報を作成しユーザーＡへと発信する。発信された感情制御情報は、ユーザーＡの携帯電話を経てユーザーＡへとフィードバックされ、ユーザーＡには発信された感情制御情報が聞こえる。この感情制御情報が聞こえるタイミングは、必ずしもユーザーＡまたはユーザーＢが発言している最中である必要はなく、ユーザーＡが沈黙している最中であっても良い。尚、ユーザーＢには、通常の携帯電話での会話と同様にユーザーＡの音声が聞こえるだけである。

次に、図３の（２）は、図２で示した「相手に送信」を指定した場合に対応する処理を示したものである。図を参照して、ユーザーＡから発せられた音声は、図３の（１）と同様にユーザーＢに送信される。システムは、受信したユーザーＡの音声を解析して必要に応じて感情制御情報を作成し、これをユーザーＢへと発信する。発信された感情制御情報は、ユーザーＢの携帯電話を経てユーザーＢへと送信され、ユーザーＢにはシステムから発信された感情制御情報が聞こえる。これによって、ユーザーＢにユーザーＡの感情の状態が伝達されることになる。尚、ユーザーＡには、通常の携帯電話での会話と同様にユーザーＢの音声がそのまま聞こえるだけである。

そして、図３の（３）は、図２で示した「双方に送信」を指定した場合に対応する処理を示したものである。図を参照して、ユーザーＡから発せられた音声は、図３の（１）と同様にユーザーＢに送信される。システムは、ユーザーＡの音声を解析して必要に応じて感情制御情報を作成し、これをユーザーＡ及びユーザーＢの双方へと発信する。ユーザーＡ及びユーザーＢはそれぞれ、発信された感情制御情報が聞こえる状態となる。

図４は、この発明の第１の実施の形態による会話支援システムにおける送受信の概要を示したシーケンス図であって、図２で「手動」を指定した場合に対応する図である。

図４の（１）は、話し手であるユーザーＡが送信先として図２における「自分に送信」を選択した場合に対応するものである。図を参照して、ユーザーＡが携帯電話の画面から、例えば「怒り」のボタンを選択すると、選択された内容が感情情報としてユーザーＡの携帯電話からシステムへと送信される。システムは、感情情報を受信してユーザーＡの指定情報として登録する。その後、ユーザーＡが発した音声は、ユーザーＡの携帯電話、システム、ユーザーＢの携帯電話を経由してユーザーＢへと送信される。システムは、ユーザーＡから登録された感情情報と併せてユーザーＡの音声を解析し、指定された感情が基準を超えている場合には感情制御情報を作成する。例えば、指定された「怒り」に関して、ユーザーＡの音声から解析された感情のレベルが基準を超えているとシステムが判断した場合は、「怒り」を制御するための感情制御情報を作成する。作成された感情制御情報は、ユーザーＡの携帯電話を介してユーザーＡへとフィードバックされ、ユーザーＡにはシステムから発信された感情制御情報が聞こえる

一方、図４の（２）は、ユーザーＡが送信先として「相手に送信」を選択した場合に対応するものである。図を参照して、図４の（１）と同様に、ユーザーＡから指定された感情の種類はシステムへと送信されて感情情報として登録され、ユーザーＡが発した音声はユーザーＢへと送信される。システムは、ユーザーＡから登録された感情情報と併せてユーザーＡの音声を解析し、必要に応じて感情制御情報を作成する。作成された感情制御情報は、ユーザーＢの携帯電話を経てユーザーＢへと発信され、ユーザーＢには感情制御情報が聞こえる。

尚、「手動」ボタン選択時に、送信先として「双方に送信」を指定した場合は、上記の組み合わせであるので、詳細の説明は省略する。

次に、会話支援システムが備える機能の詳細について説明する。

図５は、この発明の第１の実施の形態による会話支援システムの機能の概略構成を示したブロック図であり、図６は、この発明の第１の実施の形態による会話支援システムで記憶されている感情制御情報の一例を示した図である。

図５を参照して、システムサーバー３ａには、測定部１０、解析部１１、作成部１２及び発信部１３と、これらを統括的に制御すると共に、携帯電話４ａ及びキャリア５との通信を制御する制御部９とが含まれている。

測定部１０は、ユーザーＡの携帯電話４ａから送信された音声に含まれている特定の情報の変化を測定する手段である。この特定の情報としては、例えば、音声の大きさや話者の呼吸数、音声や無音状態が継続する時間、音声の周波数など数値化でき変化を判断可能なものであれば、様々なものを測定対象とすることができる。また、測定する特定の情報は、１つでも複数でも良い。

解析部１１は、測定部１０で測定された特定の情報の変化に基づいて、話し手（ここでは、携帯電話４ａのユーザーＡ）の感情の状態を解析する手段である。解析部１１は、特定の情報の変化の１つまたは複数の組み合わせと、話し手の感情の状態とを対応させた定義づけを保有しており、この定義づけを参照して話し手の感情を解析する。例えば、仮に、一定時間毎に測定された話し手の音声の大きさが上昇し続けていると共に音声の大きさが所定のレベル以上になったときは、話し手が「怒り」の状態であると判断するように定義づけられているとする。解析部１１は、測定部１０において測定された音声の大きさの変化を解析して、「怒り」の状態の定義を満たしている場合は、携帯電話４ａの話し手は「怒り」の状態にあると判断する。

作成部１２は、解析部１１で解析された話し手の感情の状態に基づいて、感情を制御するための感情制御情報を作成する。この感情制御情報は、会話の音声と共にシステムから携帯電話４ａ及び４ｂの少なくとも一方へと送信され、話し手の感情を伝達したり、制御したりするためのものである。感情制御情報は、例えば図６に示すように、解析部１１で解析可能な感情の種類及びその強度、音楽や効果音等の音源、音の大きさが関連づけられて構成されている。このような感情情報は複数記憶されており、作成部１２は、例えば解析部１１で解析された感情の状態が「怒り」である場合には、「怒り」に対応する感情制御情報（図６のＮｏ．４〜Ｎｏ．６）を選択する。

別の例として、作成部１２では、感情の状態に応じてビープ音の種類や音の大きさを組み合わせることによって感情制御情報を作成するように構成しても良い。例えば、「ピー」と「ピッピ」の２種類のビープ音を予め用意しておいて、「怒り」の状態に対しては、「ピー＋ピッピ」というように組み合わせ、音の大きさを徐々に大きくするといった感情制御情報を動的に作成するように構成しても良い。

また、感情制御情報は必ずしも音源に限らず、例えば、携帯電話の着信ランプを所定のタイミングで点滅させたり色を変化させたりする等の指示としても良い。

図５に戻って、発信部１３は、作成部１２で作成された感情制御情報を発信する手段である。発信手段１３は、話し手と相手のいずれか一方または双方へと感情制御情報を発信する。このとき、図２で示した画面において送信先が指定されている場合は、指定内容に従って送信する。

以上のような各手段における処理を順に経て、携帯電話４ａの話し手の音声に対する感情制御情報が作成され、制御部９を介して携帯電話４ａへとフィードバックされ、またはキャリア５、サーバー３ｂを経由して携帯電話４ｂへと発信される。

次に、ユーザーＡの音声を解析して感情制御情報を発信する方法について、具体例に即して説明する。

図７は、この発明の第１の実施の形態による会話支援システムにおける感情の解析方法の一例を示した図であり、図８は、この発明の第１の実施の形態による会話支援システムから発信された感情制御情報の一例を示した図である。

まず、図２で示した画面で「自動」が選択された場合の解析方法について説明する。ここでは、説明上、測定部によって測定された音声の大きさがしきい値以上となったときに、話者が「怒り」の状態であると解析部が判断するものとする。

図７を参照して、横軸は携帯電話での会話開始からの経過時間（１単位時間は５秒）を示し、縦軸は話し手の音声の大きさを示している。このグラフは、一方の話し手の音声の大きさの測定値をプロットしたものであり、不連続部分はこの話し手が音声を発していない状態を示している。また、Ｌ_ａは「自動」が選択された場合の音声の大きさのしきい値（音声の大きさ「７」）を示している。

会話開始後（時間１）から時間２１までの間は、話し手の音声の大きさの測定値は、しきい値Ｌ_ａを超えることはなく変化している。その後、時間２２から時間２６までの間は、話し手の声の大きさが「３」から「６」まで上昇するものの、しきい値Ｌ_ａの「７」より小さいレベルに維持されている。これらの間、解析部では音声の大きさの測定値を継続して解析しているが、しきい値Ｌ_ａ以上となることがないため、話し手の感情が「怒り」の状態であると判断することはない。

ところが、時間２９になると、測定部により話し手の音声の大きさが「７」と測定される。すると、解析部は、「音声の大きさの測定値がしきい値Ｌ_ａ「７」以上」である状態を、「怒り」の状態であると判断する。

解析部において話し手の「怒り」の状態が判断されると、作成部は話し手の「怒り」の状態を制御するための感情制御情報を作成する。例えば、図６で示した一覧から、作成部は「怒り」の感情に対応した感情制御情報「Ｎｏ．４−エリーゼのために−音の大きさ１（小）」を選択する。尚、ここでは、話し手の「怒り」の発生回数と、図６の一覧における強度とを対応させて感情制御情報を選択するように構成されている。すなわち、時間２９で「怒り」が判断されたのは会話開始後初めてであるので、「怒り」の状態の強度が「弱」である感情制御情報を選択している。また他には、音声の大きさのしきい値以上の範囲に更に複数の基準値を設けて、基準値と感情の強度とを対応させるように構成しても良い。このように感情の強度に応じて感情制御情報を作成するように構成すれば、より的確に感情を解析することが可能となるが、必ずしも必要なものではない。

そして、作成部で作成された感情制御情報は発信部によって、話し手及び相手の一方または双方へと発信される。

話し手へと発信された場合、話し手には発信された「エリーゼのために」が「音の大きさ１（小）」で聞こえる。話し手はこれにより自分が「怒り」の状態にあることを把握することができるため、その後の会話において、自分の「怒り」の状態を意識的に抑えようと試みる場合や、逆に相手に自分の「怒り」を的確に伝えたい場合などで、感情制御情報を自分の感情の状態を客観的に判断するための指標として活用することが可能となる。また、感情制御情報の音楽自体によるリラックス効果で話し手の感情を制御する（例えば、「怒り」を沈静化する）という効果も期待することができる。

また、話し相手へと発信された場合、相手には発信された音楽が聞こえ、相手は話し手が「怒り」の状態にあることを把握することができる。そのため、相手は話し手が「怒り」の状態であることを把握した上で、その後の会話において的確な応対をすることが可能となる。

尚、感情制御情報の発信の継続時間は、予め所定の時間に決めておいても良いが、例えば、音声の大きさが一旦しきい値Ｌ_ａ以上となってから、再びしきい値Ｌ_ａより小さくなるまでの間（図７における時間２９〜時間３２）発信し続けるようにしても良い。

その後も、解析手段では会話終了まで続けて測定された音声の大きさがしきい値Ｌ_ａ以上となるかどうかを解析し続けており、時間３９（音声の大きさ「８」）及び時間４９（音声の大きさ「７」）でそれぞれ話し手が「怒り」の状態であると判断する。この例では、上述したように、しきい値Ｌ_ａ以上となった回数が増すにつれて、より効果的な感情制御情報を発信するように構成されている。すなわち、図８に示すように、２回目（時間３９）には図６に示した「Ｎｏ．５−運命−音の大きさ１（小）」を発信し、３回目（時間４９）には「Ｎｏ．６−運命−音の大きさ３（中）」を発信している。

一方、図２で示した画面で「手動」と感情の種類「怒り」が選択された場合について説明する。この場合も、基本的には、選択された感情の各々について、「自動」の場合と同様の方法で感情の状態を解析する。この実施の形態では更に、話し手が意図的に「手動」を選択して感情を指定した場合は、より積極的に感情の状態を解析することができるようにしきい値を変化させている。すなわち、「自動」の際のしきい値Ｌ_ａ「７」に対して、「手動」の際は、しきい値がＬ_ｍ「６」へと小さく設定される。

その結果、図７の例を再度参照して、「手動」の際には、上述した「自動」の場合に加えて、更に時間２４〜時間２６と、時間３８及び時間４０と、時間５０とにおいて話し手の音声の大きさがしきい値Ｌ_ｍ以上となる。解析部では、しきい値Ｌ_ｍを超えた各々の時間において、話し手の「怒り」の状態を解析することになる。よって、話し手やその相手がより厳密に感情の状態を把握することが可能となる。

このように、この実施の形態による会話支援システムを使用すれば、会話の際に話し手自身または相手の感情の状態を把握し、その後の会話に反映させることが可能となるため、円滑且つ的確なコミュニケーションを図ることが可能となる。また、この実施の形態であれば、携帯電話等の通信手段を利用して容易に感情の状態を解析できるため、手軽にコミュニケーションスキルの向上を図ることができる。更に、画面から解析を希望する感情を指定することができるため、話し手または相手をより積極的に特定の感情について制御することが可能となる。

図９は、この発明の第２の実施の形態による会話支援システムの機能の概略構成を示したブロック図である。

この実施の形態による会話支援システム１では、１台のサーバー３に一対の携帯電話４ａ及び４ｂが共に接続されている点が、先の第１の実施の形態で示したものとは異なっている。尚、通信会社等のキャリアは図示していないが、携帯電話４ａ及び４ｂとサーバー３とは通信網を介して接続されている。

また、サーバー３の機能の基本的な構成については、先の第１の実施の形態で示したものと同様であるが、測定部１０及び解析部１１の機能が異なっている。この実施の形態による測定部１０は、携帯電話４ａ及び４ｂの各々から送信された音声それぞれについて、音声に含まれている特定の情報を測定する手段である。測定する特定の情報の種類については、先の第１の実施の形態におけるものと同様のものを対象とすることが可能である。またこの実施の形態による解析部１１は、測定部１０で測定された特定の情報の各々同志が所定の相関関係にあるかどうかを解析する手段である。

図１０は、この発明の第２の実施の形態による会話支援システムにおける送受信の概要を示したシーケンス図である。

図１０の（１）は、感情制御情報をそれぞれのユーザーにフィードバックする場合の処理を示したものである。図を参照して、ユーザーＡから発せられた音声（Ａ）は、ユーザーＡの携帯電話から、システム、ユーザーＢの携帯電話を経てユーザーＢへと送信される。また、ユーザーＢから発せられた音声（Ｂ）は、ユーザーＡの音声とは独立にシステムを経てユーザーＡへと送信される。

システムは、測定部において、受信した音声（Ａ）及び音声（Ｂ）の各々に含まれる特定の情報をそれぞれ測定する。そして、解析部において、音声（Ａ）から測定された特定の情報と、音声（Ｂ）から測定された特定の情報との相関関係を解析する。作成部は解析された相関関係に基づいた感情制御情報（Ａ）と感情制御情報（Ｂ）とを作成し、発信部はこれらを発信する。例えば、ユーザーＡの音声がユーザーＢの音声と比べてより大きいという相関関係を解析した場合、この相関関係に基づいてユーザーＡには声を小さくさせるような感情制御情報（Ａ）を発信し、ユーザーＢには声を大きくさせるような感情制御情報（Ｂ）を発信する。発信された感情制御情報（Ａ）及び感情制御情報（Ｂ）はそれぞれユーザーＡ及びユーザーＢにフィードバックされ、ユーザーＡには感情制御情報（Ａ）が聞こえると共に、ユーザーＢには感情制御情報（Ｂ）が聞こえる状態となる。

図１０の（２）は、感情制御情報を互いに相手へと送信する場合の処理を示したものである。図を参照して、ユーザーＡ及びユーザーＢから発せられた音声は、図１０の（１）と同様にそれぞれシステムを経由して、相手のユーザーへと送信される。また、システムは、測定部及び解析部を経て解析した相関関係に基づいて、作成部において感情制御情報（Ｂ）及び感情制御情報（Ａ）を作成し、発信部においてこれらを発信する。例えば、ユーザーＡの音声がユーザーＢの音声と比べてより大きいという相関関係を解析した場合、この相関関係に基づいて、ユーザーＡには、ユーザーＢの音声が小さくても発言が強調されるような感情制御情報（Ｂ）を発信し、ユーザーＢには、ユーザーＡの音声が大きくても聞き取りやすくなるような感情制御情報（Ａ）を発信する。発信された感情制御情報（Ｂ）及び感情制御情報（Ａ）はそれぞれユーザーＡ及びユーザーＢへと送信され、ユーザーＡには感情制御情報（Ｂ）が聞こえると共に、ユーザーＢには感情制御情報（Ａ）が聞こえる。

尚、上記の（１）及び（２）を組み合わせて、各々のユーザーに、感情制御情報（Ａ）と感情制御情報（Ｂ）との両方が同時に送信されるように構成することも可能である。

図１１は、この発明の第２の実施の形態による会話支援システムにおける会話の相関関係の解析方法の一例を示した図であり、図１２は、図１１で示した例において発信される感情制御情報の一例を示した図である。

図１１を参照して、横軸は携帯電話での会話開始からの経過時間（１単位時間は５秒）を示し、縦軸は２人の話し手の会話支配度を示している。棒グラフで示される部分は、測定部によって測定されたユーザーの発声の有無を示したものであり、ユーザーＡに発声があった場合は「＋１」ポイントとし、ユーザーＢに発声があった場合は「−１」ポイントとなるように表示されている。また、折れ線グラフで示される部分は、解析部により算出されるものであって、ユーザーＡ及びユーザーＢの発声の有無によるポイントを会話開始から累計したものである。すなわち、ユーザーＡが発声している時間がユーザーＢに対して相対的に大きくなるとプラス側に振れて、ユーザーＡが会話を支配していると判断することが可能である。以下、この累積値を「会話支配度」とする。更に、縦軸の会話支配度には基準値Ｌ_１〜Ｌ_３が設定されている。これらの基準値Ｌ_１〜Ｌ_３は、会話の偏りの程度を判断するために設定されているものである。

会話開始から時間１２までの間では、棒グラフに示すようにユーザーＡとユーザーＢとの発声の割合は均衡しており、折れ線グラフで示す会話支配度もほぼ一定の範囲を推移している。この状態においては、ユーザーＡとユーザーＢとの発言量がほぼ等しく、対等な発言のやり取りが行われていると推測することできる。

時間１３から時間２４までの間では、棒グラフに示すようにユーザーＢが発声した時間は減少し、ユーザーＡの発声した時間が相対的に大きくなるため、会話支配度が「３」から「９」まで上昇している。

上記の会話開始から時間２４までの間は、会話支配度は基準値Ｌ_１より小さいため、解析部によって会話が偏っていると判断されることはない。

時間２５になると、会話支配度が「１０」となって基準値Ｌ_１以上となる。このとき、ユーザーＡ及びユーザーＢの音声から測定された特定の情報（発声の有無）同志の相関関係である会話支配度に基づいて、解析部は会話がユーザーＡに偏っていると判断する。すると、作成手段はこの相関関係である会話支配度を制御するための感情制御情報を作成する。感情制御情報は、例えば図１２に示すように、会話支配度の基準値毎に予め記憶されているものを選択して使用することも可能である。また、図１２に示したような警告音以外でも、第１の実施の形態と同様に音楽等を用いた感情制御情報を構成しても良い。

作成部で作成された感情制御情報は発信部によって、ユーザーＡ及びユーザーＢの一方または双方へと発信される。

ユーザーＡへと発信された場合、ユーザーＡには相手の音声と同時に、発信された警告音「ピー」が音の大きさ「１（小）」で聞こえ、これによりユーザーＡは話しすぎであることを把握することができる。そして、その後の会話において発言を少し控えて相手の話を聞こうと試みるなどの対処をすることが可能となる。

また、ユーザーＢへと発信された場合、ユーザーＢには相手の音声と同時に、発信された警告音「ピー」が音の大きさ「１（小）」が聞こえる。これにより、ユーザーＢは、会話の比率がユーザーＡに偏っており、より積極的に発言する必要があることを把握することができる。尚、この例では、ユーザーＡ及びユーザーＢには同じ警告音を発信しているが、必ずしも同じものを発信する必要ない。例えば、ユーザーＡには話しすぎであることを知らせる警告音を発信し、ユーザーＢには積極的な発言を促すメッセージを発信するように構成しても良い。

その後、会話支配度は更にプラス側に増加し、時間３９及び時間５０で基準値Ｌ_２及びＬ_３に達している。時間３９及び時間５０においては、より会話の比率がユーザーＡに偏っているため、図１２に示すように、程度に応じてより効果的な警告音が発信されるように設定されている。

図１３は、この発明の第２の実施の形態による会話支援システムにおける会話の相関関係の解析方法の別の一例を示した図である。

図１３の（１）は、横軸に時間経過（１単位時間は５秒）を示し、縦軸に携帯電話から送信される音声の大きさを示している。そして、このグラフにはユーザーＡ及びユーザーＢの音声の大きさがそれぞれプロットされている。

また、図１３の（２）は、横軸に図１３の（１）に対応した時間経過を示し、左側の第１縦軸に棒グラフで示されるユーザーＡ及びユーザーＢの音声の大きさの差分を示しており、ユーザーＡの音声の大きさの方が大きいときはプラスとなるように表示されている。また、右側の第２縦軸に折れ線グラフで示される音声の大きさの差分の累積を示している。ここでは説明上、音声の大きさの差分及びその累計は、ユーザーＡの音声が相対的に大きいときにプラスに振れて、興奮状態にあると判断するものとする。以下、この累積値を「興奮度」とする。更に、第２縦軸の興奮度には基準値Ｌ_１及びＬ_２が設定されているが、これらは、興奮状態の程度を判断するためのものである。

図１３の（１）及び（２）を併せて参照して、会話開始後から時間２４までの間は、図１３の（１）に示すように、ユーザーＡの音声の大きさが相対的に大きく測定されている。すると、各時間毎の音声の大きさの差分は、図１３の（２）に示すようにプラスの値が多くなる。したがって、音声の大きさの差分の累計値である興奮度もまた、プラス側に増加する。しかしながら、この間は興奮度が基準値Ｌ_１より小さいため、解析部は興奮状態を判断することはない。

時間２５になると、興奮度が基準値Ｌ_１以上となるため、解析部はこの相関関係に基づいて、ユーザーＡが一方的に興奮していると判断する。すると、作成部はこの相対関係を制御するための感情制御情報を、図１１及び図１２の例と同様に作成し、発信部はこれをユーザーＡ及びユーザーＢへと発信する。

発信された感情制御情報によって、ユーザーＡは自分自身が一方的に興奮していることを把握することができるため、その後の会話で興奮を抑えるための指標となる。また、ユーザーＢはユーザーＡが興奮状態にあり、自分の声が相対的に小さいことを把握できるため、その後の会話を円滑に進めるための指標として活用することが可能となる。

その後も継続して、解析部によってユーザーＡ及びユーザーＢの会話の相関関係である興奮度が解析される。よって、時間３９では、興奮度が基準値Ｌ_２を超えたことによりユーザーＡがより一層一方的に興奮していることが判断され、同様の感情制御情報が発信される。

このように、この実施の形態による会話支援システムを使用すれば、双方の音声から会話における相関関係を解析して感情制御情報が発信されるため、ユーザーは会話の状態を客観的に把握し、その後の会話に反映させることができる。これにより、双方のコミュニケーションの向上を図ることが可能となる。また、携帯電話等の通信手段を利用して容易に会話の状態を解析できるため、あらゆる会話においてコミュニケーションスキルの向上を図ることができる。

図１４は、この第３の実施の形態による会話支援システムの機能の概略構成を示したブロック図である。

図を参照して、この実施の形態による会話支援システム１の基本的な構成は、第１の実施の形態によるものと同様であるが、サーバー３ａに更に判定部１４と記憶部１５とが含まれている点が先の第１の実施の形態とは大きく異なっている。

判定部１４は、発信部１３から感情制御情報が発信された後に、感情制御情報を受信した携帯電話から送信される音声を解析し、感情制御情報による制御の効果を判定する手段である。例えば、携帯電話４ａの話し手が「怒り」の状態にあるときには、第１の実施の形態と同様に、「怒り」を制御するための感情制御情報を作成して、携帯電話４ａへと発信する。判定部１４はその後、携帯電話４ａから送信される音声に含まれる特定の情報の時間的変化を測定し、測定結果に基づいて発信した感情制御情報が「怒り」に対して効果があったかどうかを判定する。

この判定部１４は、推測部２１と比較部２２とを含んでいる。推測部２１は、特定の情報の将来における時間的変化を推測する手段であり、比較部２２は、推測部２１により推測された特定の情報の将来の時間的変化と、特定の情報の実際に測定される時間的変化とを比較する手段である。これらの推測部２１と比較部２２とによって、感情制御情報の制御の効果の有無が判定されるが、詳細については後述する。

記憶部１５は、判定部１４によって判定された感情制御情報の制御の効果の有無を記憶するための手段である。記憶部１５には、発信された感情制御情報の内容と判定された効果とが固有情報としてユーザー毎に記憶されている。この記憶部１５の内容についても詳細は後述する。

ここで、判定部による制御の効果の評価方法について具体例に即して説明する。

図１５は、この発明の第３の実施の形態による会話支援システムにおける感情制御情報の制御の効果の解析方法の一例を示した図であり、図１６は、図１５において、制御の効果があった場合の記憶手段の更新の過程を示した図であり、図１７は、図１５において、制御の効果がなかった場合の記憶手段の更新の過程を示した図である。尚、図１５のグラフの意味合いは、先に示した図１１と同様であって、ユーザーＡ及びユーザーＢの会話における会話支配度を示したものである。

図１５を参照して、会話開始から時間１０までの間は、ユーザーＡとユーザーＢとの会話の比率はほぼ均等であり、会話支配度は一定の範囲を推移している。しかしながら、時間１１から時間２４までの間では、棒グラフに示すようにユーザーＡの発言の割合が相対的に増加するため、会話支配度は「２」から「９」まで上昇している。そして、時間２５になると遂に会話支配度が基準値Ｌ_１の「１０」となるため、作成部は感情制御情報を作成し、発信部はこれをユーザーＡに発信する。

判定部は、上述したように、感情制御情報を発信後のユーザーＡにおける制御の効果を判定する。この実施の形態では、効果判定の基準として会話支配度の予想直線１７を算出し、予想直線１７に対して実際の会話支配度が下回るかどうかによって判定を行う。尚、効果の判定方法は、この実施の形態によるものに限られず、単に所定時間後に会話支配度が基準値Ｌ_１より低下したかどうかを判断したり、所定時間後に所定値だけ会話支配度が低下したかどうかを判断する方法で行っても良い。予想直線１７を推測するためには、一般的な統計的手法を用いて算出すれば良いが、ここでは便宜上、感情制御情報を送信しない場合は、過去の会話支配度と同じ増加率で変化するものと仮定して推測する方法で説明する。

推測部は、感情制御情報が発信された以前の１０単位時間（時間１６〜時間２５）における会話支配度の増加率を算出する。この例では、「４」から「１０」へと増加しているので、増加率は０．６［会話支配度／単位時間］となる。この増加率を用いて、感情制御情報発信後の１０単位時間（時間２６〜時間３５）の会話支配度を算出し、予想直線１７を得る。比較部は、以後この予想直線１７に対して実際の会話支配度を比較して、制御の効果を算出する。

まず、感情制御情報による制御の効果があるケースの処理について説明する。

図１５と図１６とを併せて参照して、時間２５において、作成部は、図１６の（１）に示すような感情制御情報の一覧から、「話しすぎ」を制御するのに有効な感情制御情報「Ｎｏ．６−ピアノ曲Ａ−音の大きさ１（小）」を選択する。発信部によって感情制御情報を発信した後、実際の会話支配度は図１５の曲線１８のようになったとする。

感情制御情報の発信から所定時間後において、比較部は予想直線１７に対して、会話支配度の実際の時間的変化（曲線１８）を比較する。例えば、発信から５単位時間経過後の時間３０において、曲線１８と予想直線１７とを比較する。その結果、実際の会話支配度は、予想直線１７を下回っているため、制御の効果があったと判定する。そして、図１６の（２）に示すように、発信した感情制御情報と制御の効果とを固有情報として記憶部に記憶する。この例では、制御の効果の欄には「３」ポイントが設定されている。効果の数値化の方法は、例えば単に効果の有無を２種類の数値で表現しても良いし、予想直線１７との差異に応じて重みづけした数値でも良い。

更に、５単位時間経過した時間３５において、比較手段は予想直線１７と曲線１８とを再度比較し、同様に制御の効果があったと判定する。このとき、発信した感情制御情報の効果が更に認められたため、図１６の（２）で示した固有情報を、図１６の（３）で示すように更新し、制御の効果を「３」ポイント上積みして「６」ポイントとする。

次に、感情制御情報による制御の効果がないケースの処理について説明する。

図１５と図１７とを併せて参照して、作成部は時間２５において、感情制御情報の一覧（図１７の（１））から、「話しすぎ」を制御するのに有効な感情制御情報「Ｎｏ．４−警告音１−音の大きさ１（小）」を選択する。発信部によって感情制御情報を発信した後、実際の会話支配度は図１５の曲線１９のようになったとする。

比較部は、発信から５単位時間経過後の時間３０において、曲線１９と予想直線１７とを比較する。その結果、会話支配度が予想直線１７を上回っているため、比較部は制御の効果はなかったと判定する。そして、図１７の（２）に示すように、発信した感情制御情報と効果とを固有情報として記憶部に記憶させる。尚、効果の欄には効果がなかったことを示す「０」ポイントが設定されている。

またこのとき、時間２５において発信した感情制御情報は全く効果が認められなかったため、感情制御情報を変更する。作成部は、再度、図１７の（１）の一覧を参照して、別の感情制御情報「Ｎｏ．５−警告音２−音の大きさ３（中）」を選択し、発信部はこれをユーザーＡに発信する。

判定部は、感情制御情報の種類を変更した後、同様にして制御の効果の判定を継続する。すなわち、更に５単位時間経過後の時間３５において、比較手段は予想直線１７と曲線１９とを比較した結果、実際の会話支配度は予想直線１７を上回っているため、比較部は制御の効果がなかったと判定する。そして、図１７の（３）に示すように、図１７の（２）の固有情報に加えて、変更後の感情制御情報とその効果とを固有情報として記憶手段に追加する。

このように、特定の情報の推測された時間的変化と、実際に測定された時間的変化との比較によって効果を判定すると、単に基準値との比較によって効果を判定する場合と比べて、より正確な判定が可能となる。

図１８は、この発明の第３の実施の形態による会話支援システムにおいて蓄積される固有情報の一例を示した図である。

図を参照して、ユーザーＡが会話支援システムを繰り返し使用することで、先の図１６及び図１７で説明した処理が繰り返し行われ、記憶手段にはユーザーＡの固有情報がデータベースとして継続して蓄積される。そのため、ユーザーの成長や変化に応じて適切な対応が常に可能となる。また、蓄積された固有情報データベースには、実際の制御の効果が累積されており、固有情報はこの累積値の順に並び替え自在となるように構成されている。この固有情報により、ユーザーにとって特有の感情制御情報が明らかになる。例えば図の例で、ユーザーＡの「怒り」の状態に対しては、「ピアノ曲Ａ」が最も効果的であり、話しすぎの場合には、「警告音」より「メッセージ１」の方が効果があることが明らかである。

更に、作成部がこの固有情報データベースに基づいて感情制御情報を作成するように、システムを構成しても良い。このように構成すれば、システムは、累積された制御の効果を参照して、ユーザーにとって最も有効な感情制御情報を作成することが可能となる。よって、感情制御情報を作成する精度が向上し、話し手同志のコミュニケーションのずれを更に的確且つ迅速に是正することが可能となる。

このように、この実施の会話支援システムでは、発信された感情制御情報の制御の効果が判定されて、話し手毎に固有情報として記憶されるため、話し手に対する感情制御情報の効果の有無が明確になる。したがって、会話支援システムによって、感情や会話の相関関係の制御をより効率的に行うことが可能となる。

ここで、上記のような各実施の形態による会話支援システムを実現するためのシステム制御の一例について説明する。

図１９は、この発明の第１の実施の形態による会話支援システムのサーバー処理の内容を示したフローチャートである。

図を参照して、ユーザーＡが携帯電話で通話する際にサーバーに接続を試みると（Ｓ１００）、サーバーは認証等を行った後ユーザーＡと接続する（Ｓ２００）。ユーザーＡが解析する感情の種類を指定する場合は（Ｓ１０１でＹｅｓ、図２の「手動」選択時）、画面上の感情のボタンを押下すると、携帯電話からサーバーへと感情情報を送信する（Ｓ１０２）。サーバーは、携帯電話から送信された感情情報をユーザーＡの指定情報として登録する（Ｓ２０１）。ユーザーＡが感情の種類を指定せずに解析を行う場合は（Ｓ１０１でＮｏ）、携帯電話の画面から「自動」を選択する（図２）。

ユーザーＡが話し相手との会話を開始して音声を送信すると（Ｓ１０３）、サーバーは音声を受信して（Ｓ２０２）、受信した音声に含まれる特定の情報の変化を測定する（Ｓ２０３）。サーバーは続いて、測定した特定の情報の変化が基準以上であるかどうかを解析する（Ｓ２０４）。解析の結果、ユーザーＡの所定の感情の状態が基準以上であると判断したときは（Ｓ２０４でＹｅｓ）、サーバーは感情制御情報を作成し（Ｓ２０５）、これをユーザーＡの携帯電話へと発信する（Ｓ２０６）。解析結果が基準に至らないときは（Ｓ２０４でＮｏ）、感情制御情報を作成せずにステップＳ２０７へ進む。

ユーザーＡは、発信された感情制御情報を受信して（Ｓ１０４）、自分自身や話し相手の感情の状態を把握することができる。その後、ユーザーＡが会話を終了する場合には（Ｓ１０５でＹｅｓ）、サーバーからの切断処理を行って（Ｓ１０６）、その後終了する。サーバーは、携帯電話からの切断指示を受けて（Ｓ２０７でＹｅｓ）、処理を終了する。また、ユーザーＡが会話を継続する場合（Ｓ１０５でＮｏ）、ステップＳ１０３に戻って会話を続ける。サーバーは、携帯電話からの切断指示がない場合は（Ｓ２０７でＮｏ）ステップＳ２０２に戻って上記の処理を繰り返す（Ｓ２０２〜Ｓ２０７）。

尚、感情制御情報を話し相手に発信する場合は、ステップＳ２０６での発信先が異なるだけで基本的な処理内容は同様である。

図２０は、この発明の第２の実施の形態による会話支援システムのサーバー処理の内容を示したフローチャートである。

図を参照して、ユーザーＡ及びユーザーＢが携帯電話で会話を開始する際にサーバーに接続を試みると（Ｓ１１０）、サーバーは認証等を行った後、各々の携帯電話と接続する（Ｓ２１０）。

ユーザーＡ及びユーザーＢが会話を開始して音声を送信すると（Ｓ１１１）、サーバーは各々の音声を受信して（Ｓ２１１）、受信した音声に含まれる特定の情報を測定する（Ｓ２１２）。サーバーは、測定した特定の情報同志の相関関係を解析し（Ｓ２１３）、解析した相関関係が基準以上であるかどうかを判断する（Ｓ２１４）。解析結果が基準以上である場合は（Ｓ２１４でＹｅｓ）、サーバーは感情制御情報を作成し（Ｓ２１５）、これをユーザーＡ及びユーザーＢの少なくとも一方の携帯電話へと発信する（Ｓ２１６）。解析結果が基準に至らないときは（Ｓ２１４でＮｏ）、感情制御情報を作成せずにステップＳ２１７へ進む。

ユーザーＡ及びユーザーＢは、発信された感情制御情報を受信して（Ｓ１１２）、会話の状態を把握することができる。その後、ユーザーＡ及びユーザーＢが会話を終了する場合には（Ｓ１１３でＹｅｓ）、サーバーからの切断処理を行って（Ｓ１１４）、その後終了する。サーバーは、携帯電話からの切断指示を受けて（Ｓ２１７でＹｅｓ）、処理を終了する。また、ユーザーＡ及びユーザーＢが会話を継続する場合（Ｓ１１３でＮｏ）、ステップＳ１１１に戻って会話を続ける（Ｓ１１１〜Ｓ１１３）。サーバーは、携帯電話からの切断指示がない場合は（Ｓ２１７でＮｏ）ステップＳ２１１に戻って上記の処理を繰り返す（Ｓ２１１〜Ｓ２１７）。

図２１は、この発明の第３の実施の形態による会話支援システムのサーバー処理の内容を示したフローチャートであり、図２２は、図２１に続く部分のフローチャートである。

まず、図２１を参照して、ユーザーＡ及びユーザーＢが携帯電話で会話を開始する際にサーバーに接続を試みると（Ｓ１２０）、サーバーは認証等を行った後、各々の携帯電話と接続する（Ｓ２２０）。

ユーザーＡ及びユーザーＢが会話を開始して音声を送信すると（Ｓ１２１）、サーバーは各々の音声を受信し（Ｓ２２１）、音声の各々に含まれる特定の情報を測定する（Ｓ２２２）。ここでまずサーバーは、測定した特定の情報同志の相関関係を解析する（Ｓ２２３）。次にサーバーは、特定の情報の将来の時間的変化を推測し（Ｓ２２４）、この推測された将来の時間的変化と、実際に測定された時間的変化とを比較する（Ｓ２２５）。サーバーは、比較した結果に基づいて感情制御情報による制御の効果を算出し、既に感情制御情報を発信済みであれば、これと制御の効果とをユーザーの固有情報として記憶する（Ｓ２２６）。尚、感情制御情報を未発信の場合は、制御の効果を記憶しないように適宜処理を行う。

続いて図２２を参照して、まず、ステップＳ２２３において解析された相関関係が基準以上であって（Ｓ２２７でＹｅｓ）、且つ、感情制御情報による制御の効果がない場合（Ｓ２２８でＹｅｓ、未発信の場合を含む）は、サーバーは感情制御情報を作成または再作成し（Ｓ２２９）、これをユーザーＡ及びユーザーＢの少なくとも一方の携帯電話に発信する（Ｓ２３０）。その後、ステップＳ２４０から次の処理を行う。

次に、解析された相関関係が基準より低いとき（Ｓ２２７でＮｏ）は、サーバーは感情制御情報を作成せずにステップＳ２４０から次の処理を行う。また、解析された相関関係が基準以上（Ｓ２２７でＹｅｓ）であっても、感情制御情報による制御の効果がある場合は（Ｓ２２８でＮｏ）、サーバーは感情制御情報を再作成せずにステップＳ２４０から次の処理を行う。

ユーザーＡ及びユーザーＢは、発信された感情制御情報を受信して（Ｓ１２２）、会話の状態を把握することができる。その後、ユーザーＡ及びユーザーＢが会話を終了する場合には（Ｓ１２３でＹｅｓ）、サーバーからの切断処理を行って（Ｓ１２４）、その後終了する。システムは、携帯電話からの切断指示を受けると（Ｓ２４０でＹｅｓ）、処理を終了する。一方、ユーザーＡ及びユーザーＢが会話を継続する場合は（Ｓ１２３でＮｏ）、結合子Ｂから図２１のステップＳ１２１に戻って会話を続ける（Ｓ１２１〜Ｓ１２３）。サーバーは、携帯電話からの切断指示がない場合は（Ｓ２４０でＮｏ）、結合子ＹからステップＳ２２１に戻って上記の処理を繰り返す（Ｓ２２１〜Ｓ２４０）。

以上のように制御することにより、各実施の形態において説明したような、会話支援装置を構成することが可能となる。

尚、上記の各実施の形態では、端末手段として携帯電話を使用しているが、必ずしも携帯電話である必要はなく、固定電話機等の他の装置を使用しても良い。また、通信網についても携帯電話網に限らず、固定電話やＩＰ電話の通信網を使用しても良い。

また、上記の各実施の形態では、会話支援システムには２台の携帯電話が接続されているが、必ずしも２台である必要はなく、同時通話が可能な３台以上の端末手段を接続しても良い。

更に、上記の各実施の形態では、ユーザーの各々が特定の携帯電話を固定的に使用しているが、必ずしもこのように端末手段を限定する必要はなく、システムにログインすればどの端末手段からも利用できるように構成しても良い。このように構成すれば、場所を選ばず、会話支援システムをより手軽に利用することが可能となる。

更に、上記の各実施の形態では、解析時の基準として用いるしきい値や基準値を予め設定しているが、開始から所定時間の会話に基づいて、これらのしきい値等を動的に設定するように構成しても良い。このように構成すれば、例えば各々のユーザーの声の大きさや会話の特徴などがしきい値等に反映されるため、より正確に感情や相関関係の解析を行うことが可能となる。

更に、上記の各実施の形態では、サーバーを用いて会話支援システムを構成しているが、必ずしもこのように構成する必要はなく、端末手段にシステムの一部または全部を内蔵しても良い。

更に、上記の各実施の形態では、会話音声に加えて感情制御情報を送信するように構成しているが、音声自体を制御して送信するように構成することも可能である。

更に、上記の各実施の形態では、システムでの感情の解析の一例として、怒りの感情、会話支配度及び興奮度について説明したが、必ずしも解析する対象及びその方法はこれらのみに限定されるものではない。例えば、話し手の音声の乱れを母音の波形で分析するという疲労の測定技術を適用して、話し手の疲労度を緩和したり、元気づけたりするような感情制御情報を送信するように構成することも可能である。ここで、感情制御情報における感情とは、単に喜怒哀楽等の状態のみならず、会話においてある相関関係の起因となる状態や、疲労や元気さといった精神的または肉体的な状態まで広く含む概念である。

更に、上記の各実施の形態では、感情制御情報として音楽や効果音等の音源を送信しているが、必ずしもこのように構成する必要はなく、例えば、話し手及び相手の少なくとも一方の端末手段へと、解析された感情等に対応する文字、静止画、動画、光、振動等の知覚可能な情報自体またはこれらの出力の指示を送信するように構成しても良い。

更に、上記の各実施の形態では、説明上、測定手段において一種類のみの特定の情報（の変化）を測定する例を示しているが、複数の特定の情報（の変化）を同時に測定し、解析手段において測定結果の様々な組み合わせを解析するように構成しても良い。

更に、上記の各実施の形態では、各ユーザーに対して所定の感情制御情報を共通して使用しているが、生年月日や性別、出生地等のユーザーの個人情報に基づいて、ユーザー毎に感情制御情報を選択または作成することができるように構成しても良い。このように構成すれば、ユーザーのそれぞれにより適した感情制御情報が送信されるため、ユーザーにとってシステムを利用しやすくなる。

更に、上記の各実施の形態においては、音声から言葉自体を認識し、所定の言葉（例えば、怒りのフレーズ）の出現の有無や頻度等に基づいて、話し手の感情や、会話における双方の相関関係を解析するように構成しても良い。

更に、上記の第２及び第３の各実施の形態では、会話支配度や興奮度を解析するために、数値化した情報を会話開始時から累積しているが、必ずしもこのように構成する必要はなく、例えば、当該数値化した情報を直近の所定時間積分したり、移動平均を算出するように構成しても良い。

更に、上記の第１の実施の形態においては、携帯電話の画面において、感情の種類や送信先に加えて、感情の解析時のしきい値を設定することができるように構成しても良い。

更に、上記の第１の実施の形態では、解析しようとする感情を話し手のみが指定しているが、必ずしも話し手のみに限らず、指定手段による所定の感情の指定のみを会話相手（聞き手）の側から行えるようにしても良い。例えば、図４の（１）及び（２）において、ユーザーＡ（話し手）が感情情報をシステムへと送信する代わりに、ユーザーＢ（聞き手）が感情情報を送信することができるように指定手段を構成することが可能である。図４の（１）において、このように構成すると、ユーザーＡ（話し手）の音声に対するユーザーＢ（聞き手）の感じ方が音声解析に反映されるため、ユーザーＡ（話し手）は相手による受け止め方を加味して自分の感情の状態を把握することができ、より良いコミュニケーションが可能となる。また、図４の（２）において、このように構成すると、ユーザーＢ（聞き手）は、聞き手の側からユーザーＡ（話し手）の音声を聞きやすくなるように制御することができ、より円滑なコミュニケーションが可能となる。

更に、上記の第２の実施の形態では、感情制御情報を２台の携帯電話の両方に発信しているが、必ずしもこのように構成する必要はなく、会話を構成する２以上の端末手段のうち少なくとも１つに発信することができれば良い。

更に、上記の第２の実施の形態においては、第１の実施の形態と同様に、解析する相関関係を指定するための手段を設けても良い。

更に、上記の第２の実施の形態においては、特定の情報同志の相関関係を解析するために、統計的手法を用いて解析するように構成しても良い。

更に、上記の第３の実施の形態では、発信した感情制御情報とその効果とを含む固有情報をユーザー毎に記憶するように構成されているが、これに加えて、固有情報に話し相手のユーザー名や時間帯等の情報を含むように構成すれば、更に精密な情報を蓄積することが可能である。また、より精密な固有情報を蓄積して感情制御情報の作成時に利用すれば、感情制御情報の作成の精度をより一層向上させることが可能となる。

更に、上記の第３の実施の形態において、蓄積された固有情報をユーザーが参照する手段を更に設けて、ユーザーにとって効果の高い音楽のメディア等を購入したり、携帯電話にその音楽を配信することができるように構成することも可能である。

この発明の第１の実施の形態による会話支援システムの概略構成の一例を示したブロック図である。 この発明の第１の実施の形態による会話支援システムの携帯電話に表示される画面の一例を示した図である。 この発明の第１の実施の形態による会話支援システムにおける送受信の概要を示したシーケンス図であって、図２で「自動」を指定した場合に対応する図である。 この発明の第１の実施の形態による会話支援システムにおける送受信の概要を示したシーケンス図であって、図２で「手動」を指定した場合に対応する図である。 この発明の第１の実施の形態による会話支援システムの機能の概略構成を示したブロック図である。 この発明の第１の実施の形態による会話支援システムで記憶されている感情制御情報の一例を示した図である。 この発明の第１の実施の形態による会話支援システムにおける感情の解析方法の一例を示した図である。 この発明の第１の実施の形態による会話支援システムから発信された感情制御情報の一例を示した図である。 この発明の第２の実施の形態による会話支援システムの機能の概略構成を示したブロック図である。 この発明の第２の実施の形態による会話支援システムにおける送受信の概要を示したシーケンス図である。 この発明の第２の実施の形態による会話支援システムにおける会話の相関関係の解析方法の一例を示した図である。 図１１で示した例において発信される感情制御情報の一例を示した図である。 この発明の第２の実施の形態による会話支援システムにおける会話の相関関係の解析方法の別の一例を示した図である。 この発明の第３の実施の形態による会話支援システムの機能の概略構成を示したブロック図である。 この発明の第３の実施の形態による会話支援システムにおける感情制御情報の制御の効果の解析方法の一例を示した図である。 図１５において、制御の効果があった場合の記憶手段の更新の過程を示した図である。 図１５において、制御の効果がなかった場合の記憶手段の更新の過程を示した図である。 この発明の第３の実施の形態による会話支援システムにおいて蓄積される固有情報の一例を示した図である。 この発明の第１の実施の形態による会話支援システムのサーバー処理の内容を示したフローチャートである。 この発明の第２の実施の形態による会話支援システムのサーバー処理の内容を示したフローチャートである。 この発明の第３の実施の形態による会話支援システムのサーバー処理の内容を示したフローチャートである。 図２１に続く部分のフローチャートである。

符号の説明

１…会話支援システム
３…サーバー
４…携帯電話
５…キャリア
１０…測定部
１１…解析部
１２…作成部
１３…発信部
１４…判定部
１５…記憶部
２１…推測部
２２…比較部
尚、各図中同一符号は同一または相当部分を示す。

Claims (7)

1. 通信手段を介した会話を支援するための会話支援システムであって、
   話し手から発せられた音声を送受信する機能を有する少なくとも２つの端末手段と、
   前記端末手段の１つから送信された音声に含まれる音声の大きさ、話し手の呼吸数、音声や無音状態が継続する時間、音声の周波数などを数値化することで変化を判断可能な情報である特定の情報の変化を測定する測定手段と、
   喜び、怒り、寂しさ、悲しみなど感情の種類と、各感情を判断するための音声の大きさ、話し手の呼吸数、音声や無音状態が継続する時間、音声の周波数などの特定の情報のしきい値とを対応させた定義づけ手段と、
   前記測定された特定の情報の変化に基づいて、前記定義づけ手段を参照して、前記送信された音声を発した話し手の感情の種類を解析する解析手段と、
   喜び、怒り、寂しさ、悲しみなどの解析可能な話し手の感情の種類及び、各感情の種類に応じた音楽や効果音などの感情の種類に応じた感情制御情報とを関連付けて記憶する感情制御情報記憶手段と、
   前記解析された所定の感情の状態に基づいて、前記感情制御情報記憶手段を参照して、前記解析された感情に対応する感情制御情報を作成する作成手段と、
   前記作成された感情制御情報を前記話し手の端末手段に発信する発信手段と、
   を備えることを特徴とする会話支援システム。
2. 前記感情のうち、話し手が選択した感情の種類を入力する入力手段をさらに有し、
   上記解析手段は、入力された感情について解析を行う、
   請求項１記載の会話支援システム。
3. 通信手段を介した会話を支援するための会話支援システムであって、
   話し手から発せられた音声を送受信する機能を有する少なくとも２つの端末手段と、
   前記端末手段の１つから送信された音声に含まれる音声の大きさ、話し手の呼吸数、音声や無音状態が継続する時間、音声の周波数などの数値化することで変化を判断可能な情報である特定の情報の変化を測定する測定手段と、
   複数の話し手の間での相対的な声の大きさ、相対的に音声が大きくなった時間を表す会話支配度、会話支配度が高くなった回数の累積値を表す興奮度などの話し手同士の相関関係と、各相関関係を判断するための音声の大きさ、話し手の呼吸数、音声や無音状態が継続する時間、音声の周波数などの特定の情報のしきい値とを対応させた定義づけ手段と、
   前記測定された特定の情報の変化に基づいて、前記定義づけ手段を参照して、前記送信された音声を発した話し手同士の相関関係を解析する解析手段と、
   前記話し手同士の相関関係と、各相関関係に応じた音楽や効果音などの感情制御情報とを関連付けて記憶する感情制御情報記憶手段と、
   前記解析された話し手同士の相関関係に基づいて、前記感情制御情報記憶手段を参照して、前記解析された相関関係に対応する感情制御情報を作成する作成手段と、
   前記作成された感情制御情報を前記端末手段の少なくとも１つに発信する発信手段と、
   を備えることを特徴とする会話支援システム。
4. 所定時間経過後に、複数の話し手の間での相対的な声の大きさ、相対的に音声が大きくなった時間を表す会話支配度が所定の基準値よりも低下したかどうかを判定すること、又は所定時間後に所定値だけ会話支配度が低下したかどうかを判定することにより前記感情制御情報による制御の効果を判定する判定手段と、
   前記発信された感情制御情報と、当該感情制御情報が発信された際に前記判定された制御の効果とを含む固有情報を話し手毎に記憶する記憶手段とを更に備えた、
   請求項１〜３のいずれかに記載の会話支援システム。
5. 単位時間当たりの前記会話支配度を算出することにより前記特定の情報の将来の時間的変化を推測する推測手段をさらに有し、
   前記判定手段は、前記推測された将来の時間的変化に対して、測定された実際の会話支配度が下がっているかどうかを判定することで制御の効果を判定する、
   請求項４記載の会話支援システム。
6. 前記固有情報の前記制御の効果は、前記判定手段による判定の度に累積され、
   前記固有情報は、前記累積された前記制御の効果の高い順に並び替え自在に蓄積される、
   請求項４に記載の会話支援システム。
7. 前記発信された感情制御情報と、当該感情制御情報が発信された際に前記判定された制御の効果とを含む固有情報を話し手毎に記憶する記憶手段をさらに有し、
   前記作成手段は、前記記憶手段に記憶された固有情報から、前記話し手にとって感情を制御する効果が最も高い感情制御情報を選択する、
   請求項４〜６のいずれかに記載の会話支援システム。

Images