JP5834521B2

JP5834521B2 - 音声解析装置

Info

Publication number: JP5834521B2
Application number: JP2011135584A
Authority: JP
Inventors: 毅境
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2011-06-17
Filing date: 2011-06-17
Publication date: 2015-12-24
Anticipated expiration: 2031-06-17
Also published as: JP2013000408A

Description

本発明は、人の精神状態を良好に保つ技術に関する。

特許文献１には、利用者の身体に装着した各種センサの検出値から利用者の精神状態を解析し、利用者の精神が不安定な状態に陥っている場合にその不安定な状態を和らげる技術の開示がある。同文献に開示されたシステムは、室内に固定される空気調和機（空調機）とその室内の利用者の身体に装着される検出装置とを有する。検出装置は、利用者の脳波、血圧、発汗量などの生体情報をセンサにより検出し、この生体情報を空気調和機に送信する。空気調和機は、リラックス効果を奏する芳香剤が充填された芳香剤放出部を有している。そして、空気調和機は、検出装置から当該空気調和機に送信された生体情報から利用者の精神が緊張状態に陥っているか否かを判断し、緊張状態に陥っている場合には、芳香剤放出部から芳香剤を放出させる。この芳香剤が、利用者の嗅覚を刺激し、利用者の精神状態が改善される。

特開２００６−３２０６２１号公報

しかしながら、特許文献１に記載の技術では、検出装置の側に利用者の生体情報を検出する為のセンサを搭載せねばならず、装置が大掛かりな構成になってしまうという問題があった。

本発明は、このような背景の下に案出されたものであり、簡易な構成により、利用者の精神状態を解析することができる技術的手段を提供することを目的とする。

本発明は、利用者の耳の中の音を収音する第２の収音部と、耳の外の音を収音する第１の収音部と、前記第２の収音部の出力信号と前記第１の収音部の出力信号とから前記挿入部を耳に装着している利用者の会話の状態を解析する解析部とを具備する音声解析装置を提供する。

人にとって、他人との会話は、その本人の精神を高揚させる場合もあるし、落ち着かせたり安静にさせる場合もあるし、ストレスを与える場合もある。従って、他人との会話は、本人の健康状態、特に精神状態に大きな影響を与える重要な要素であると考えられる。そこで、本発明では、利用者の耳に挿入部を挿入した状態における耳の中の音と耳の外の音の２種類の音の音信号から利用者の会話の状態を解析する。この会話の状態の解析結果を利用することにより、利用者の精神状態を解析することができる。

この発明の第１実施形態である音声解析装置を示す図である。同音声解析装置による解析処理を説明するための図である。この発明の第２実施形態である音声解析装置を示す図である。

以下、図面を参照しつつ本発明の実施形態について説明する。
＜第１実施形態＞
図１は、この発明の第１実施形態である音声解析装置１０の構成を示す図である。この音声解析装置１０は、イヤホンマイクの筐体である本体部１１内に制御部２０を埋め込んだものである。より詳細に説明すると、この音声解析装置１０の本体部１１の一端面１２には収音部１３が設けられている。本体部１１の他端面１４からは利用者Ｓの耳に挿入される部分である挿入部１５が突出している。挿入部１５の先端には収音部１６と放音部１７とが併設されている。また、音声解析装置１０からはケーブル４０が引き出されており、このケーブル４０は携帯音楽プレーヤ５０に接続される。音声解析装置１０は、本体部１１の端面１４から突出している挿入部１５を利用者Ｓの耳の外耳道ＥＡＣ内に挿入することにより、利用者Ｓの耳に装着される。利用者Ｓの耳の外耳道ＥＡＣ内に挿入部１５が挿入されると、挿入部１５の先端の収音部１６及び放音部１７は鼓膜ＤＲＭと対向し、本体部１１における挿入部１５の反対側の端面１２上の収音部１３は耳の外側に露出する。

この装着状態において、収音部１３は、利用者Ｓの耳の外の音を収音し、収音した音を音信号Ｘ_ＥＸＴとして制御部２０に供給する。収音部１６は、利用者Ｓの耳の中の音を収音し、収音した音を音信号Ｘ_ＩＮＴとして制御部２０に供給する。放音部１７は、携帯音楽プレーヤ５０からケーブル４０を介して当該放音部１７に音信号Ｍが供給されている場合には、その音信号Ｍを利用者Ｓの耳の中に音として放音する。また、放音部１７は、制御部２０から当該放音部１７に音信号Ｙが供給されている場合には、その音信号Ｙを利用者Ｓの耳の中に音として放音する。

制御部２０は、解析部２１及び報知部２２とこれら両部間で授受される各種情報等を記憶する記憶部２３とを有する。解析部２１は、収音部１３の出力信号Ｘ_ＥＸＴ及び収音部１６の出力信号Ｘ_ＩＮＴから、利用者Ｓとその会話相手Ｃとの会話の状態が、利用者Ｓの会話音声ＳＡと会話相手Ｃの会話音声ＣＡのいずれも発生していない状態Ｓ０、利用者Ｓの会話音声ＳＡが発生しておらず会話相手Ｃの会話音声ＣＡが発生している状態Ｓ１、利用者Ｓの会話音声ＳＡが発生しており会話相手Ｃの会話音声ＣＡが発生していない状態Ｓ２、及び利用者Ｓの会話音声ＳＡと会話相手Ｃの会話音声ＣＡの両方が発生している状態Ｓ３のうちのどの状態に該当するかを判定し、会話中における状態Ｓ０，Ｓ１，Ｓ２，Ｓ３の遷移を解析する役割を果たす。

ここで、状態Ｓ０では、利用者Ｓの会話音声ＳＡと会話相手Ｃの会話音声ＣＡのいずれも発生していないため、信号Ｘ_ＥＸＴ及びＸ_ＩＮＴの振幅がほぼ０になる。これに対し、状態Ｓ１では、会話相手Ｃを発生源とする音声ＣＡが、利用者Ｓの耳に装着された音声解析装置１０の収音部１３に伝わり、さらに音声解析装置１０及び挿入部１５と耳との間の隙間を介して耳の中に伝搬して収音部１６にも僅かに伝わる。状態Ｓ２では、利用者Ｓの声帯を発生源とする音声ＳＡが、利用者Ｓの対外に一旦放音された後、空気伝搬音として収音部１３及び収音部１６に伝わるとともに、利用者Ｓの声帯の振動が、体内を経由する固体伝搬音として直接収音部１６に伝わる。状態Ｓ３では、会話相手Ｃを発生源とする音声ＣＡと利用者Ｓを発生源とする音声ＳＡの合成音が収音部１３及び収音部１６に伝わる。このため、状態Ｓ０以外の３つの状態Ｓ１，Ｓ２，Ｓ３では何れも信号Ｘ_ＥＸＴ及びＸ_ＩＮＴの振幅が０より大きくなる。よって、音声解析装置１０における２つの収音部１３及び１６の出力信号Ｘ_ＥＸＴ及びＸ_ＩＮＴの振幅からは状態Ｓ０か否かを判定することはできるものの、残り３つの状態Ｓ１，Ｓ２，Ｓ３のいずれであるかまでは判定できない。そこで、解析部２１は、収音部１３及び１６から信号Ｘ_ＥＸＴ及びＸ_ＩＮＴが出力される度に、最新の所定サンプル分の信号Ｘ_ＥＸＴ及びＸ_ＩＮＴの平均値を求めるとともに、最新の所定サンプル分の信号Ｘ_ＥＸＴ及びＸ_ＩＮＴの相互相関値Ｖを求め、信号Ｘ_ＥＸＴ、Ｘ_ＩＮＴに相互相関値Ｖを加えた３つのパラメータを利用して状態Ｓ０，Ｓ１，Ｓ２，及びＳ３のいずれに該当するかを判定する。

より詳細に説明すると、図２のタイミングチャートに例示されるように、解析部２１は、信号Ｘ_ＥＸＴと閾値ＴＨ１の大小関係がＸ_ＥＸＴ＜ＴＨ１である場合は、現在の状態がＳ０状態であるとみなす。また、解析部２１は、信号Ｘ_ＥＸＴと閾値ＴＨ１の大小関係がＸ_ＥＸＴ≧ＴＨ１であり、信号Ｘ_ＩＮＴと２つの閾値ＴＨ２_Ｄ及びＴＨ２_Ｕ（ＴＨ２_Ｕ＞ＴＨ２_Ｄ）との大小関係がＴＨ２_Ｄ≦Ｘ_ＩＮＴ＜ＴＨ２_Ｕである場合は、現在の状態がＳ１状態であるとみなす。そして、解析部２１は、信号Ｘ_ＥＸＴと閾値ＴＨ１の大小関係がＸ_ＥＸＴ≧ＴＨ１であり、信号Ｘ_ＩＮＴと閾値ＴＨ２_Ｕの大小関係がＸ_ＩＮＴ≧ＴＨ２_Ｕである場合は、現在の状態が状態Ｓ２及びＳ３の何れかであるとみなし、その何れであるかを相互相関値Ｖと閾値ＴＨ３との大小関係に基づいて判定する。すなわち、解析部２１は、Ｘ_ＥＸＴ≧ＴＨ１，Ｘ_ＩＮＴ≧ＴＨ２_Ｕ，且つＶ≧ＴＨ３の場合は現在の状態が状態Ｓ２であるとし、Ｘ_ＥＸＴ≧ＴＨ１，Ｘ_ＩＮＴ≧ＴＨ２_Ｕ，且つＶ＜ＴＨ３の場合は現在の状態が状態Ｓ３であるとする。このように判定し得る理由は次の通りである。状態Ｓ２では、収音部１３及び収音部１６にある程度の大きさのレベルを有する音声ＳＡが伝わるため、収音部１３の出力信号Ｘ_ＥＸＴと収音部１６の出力信号Ｘ_ＩＮＴの相互相関値Ｖは１に近い高い値となる。これに対し、状態Ｓ３では、収音部１３には音声ＳＡと音声ＣＡの双方を含む音が伝わり、収音部１６には音声ＳＡを含み音声ＣＡを殆ど含まない音が伝わるため、収音部１３の出力信号Ｘ_ＥＸＴと収音部１６の出力信号Ｘ_ＩＮＴの相互相関値Ｖは、状態Ｓ２の場合よりも十分に小さな値となる。以上の理由から、状態Ｓ２の場合の相互相関値Ｖの予測値Ｖ_Ｓ２（Ｖ_Ｓ２≒１）よりも小さく状態Ｓ３の場合の相互相関値Ｖの予測値Ｖ_Ｓ３よりも大きい値を閾値ＴＨ３とし、最新の信号Ｘ_ＥＸＴ及びＸ_ＩＮＴから求まる相互相関値Ｖとこの閾値ＴＨ３とを比較することにより、現在の状態が状態Ｓ２であるか状態Ｓ３であるかを判定し得る。

また、解析部２１は、この信号Ｘ_ＩＮＴ及びＸ_ＥＸＴと相互相関値Ｖの３つのパラメータを用いた判定の判定結果を利用して以下の５種類の解析項目ａ１〜ｅ１を解析する処理を行い、各解析処理の解析結果を記憶部２３に記憶する。

ａ１．会話相手Ｃの発言に対する利用者Ｓの応答性
利用者Ｓは日常生活の中で様々な者を会話相手Ｃとして会話を行う。この会話において、例えば図２に示すシーン１のように、利用者Ｓが会話相手Ｃの発言を最後まで聞いた上でそれに対する返答を一定のテンポで返す傾向がみられる場合、利用者Ｓは比較的落ち着いた安静な精神状態にあるといえる。また、会話相手Ｃが発言を終えているのに相当時間が経っても利用者Ｓが自身の発言を始めない、という傾向がみられる場合、利用者Ｓは精神的に疲れているといえる。逆に、例えば図２に示すシーン２のように、会話相手Ｃが発言している間にその発言を遮るようにして利用者Ｓが自身の発言を始める傾向がみられる場合、利用者Ｓは精神的に興奮しているか焦っているといえる。そこで、この解析処理では、解析部２１は、利用者Ｓが誰かを会話相手Ｃとして会話する度に、その会話内において会話相手Ｃが発言を終えてから時間長Ｔ１（例えば、Ｔ１≦１０秒）以内に利用者Ｓが発言を始めた回数ＮｕｍＡ、会話相手Ｃが発言を終えてから時間長Ｔ１が過ぎた後に利用者Ｓが発言を始めた回数ＮｕｍＢ、及び会話相手Ｃが発言を終える前に利用者Ｓが発言を始めた回数ＮｕｍＣを個別に集計する。

より具体的に説明すると、解析部２１は、状態Ｓ１から状態Ｓ０への遷移が発生してから時間Ｔ１以内に状態Ｓ２への遷移が発生した場合に回数ＮｕｍＡを１だけインクリメントする動作を繰り返す。また、解析部２１は、状態Ｓ１から状態Ｓ０への遷移が発生してから時間Ｔ１が経過した後に状態Ｓ２への遷移が発生した場合に回数ＮｕｍＢを１だけインクリメントする動作を繰り返す。また、解析部２１は、状態Ｓ１から状態Ｓ３への遷移が発生した場合に回数ＮｕｍＣを１だけインクリメントする動作を繰り返す。解析部２１は、利用者Ｓが誰かを会話相手Ｃとする会話を始めてからその会話を終えるまでの間に亘って以上の処理を行う。そして、解析部２１は、この間に集計した回数ＮｕｍＡ，ＮｕｍＢ，及びＮｕｍＣを会話相手Ｃの発言に対する利用者Ｓの応答性の解析結果を示す解析結果データＰ１として記憶部２３に記憶する。

ｂ１．利用者Ｓと会話相手Ｃの発話時間のバランス
利用者Ｓが日常生活の中で行う会話において、例えば、図２に示すシーン３のように、利用者Ｓが会話相手Ｃにほとんど発言させずに自分だけ一方的に発言する傾向がみられる場合、利用者Ｓはその鬱積したストレスを会話を通じて解消したがっている、あるいは自分の考えを強く主張したいという精神状態にあるといえる。逆に、図２に示すシーン４のように、利用者Ｓが会話相手Ｃの発言を聴いているだけで自分はほとんど発言しない、という傾向がみられる場合、利用者Ｓが精神的に塞ぎ込んでいる、あるいは会話に積極的に参加したくないような精神状態にあるといえる。そこで、この解析処理では、解析部２１は、利用者Ｓが誰かを会話相手Ｃとして会話する度に、利用者Ｓの発言時間Ｔ_Ｓと会話相手Ｃの発言時間Ｔ_Ｃの割合Ｔ_Ｓ／Ｔ_Ｃ、及び利用者Ｓの発言の総数ＮｕｍＳと利用者Ｓが会話相手Ｃの発言を遮って行った発言の回数ＮｕｍＳ_ＩＮＴとの割合ＮｕｍＳ_ＩＮＴ／ＮｕｍＳを求める。

より具体的に説明すると、解析部２１は、状態Ｓ０から状態Ｓ２への遷移が発生した時に時間Ｔ_Ｓの計時を開始し状態Ｓ２から状態Ｓ０への遷移が発生した時に時間Ｔ_Ｓの計時を停止する第１の計時処理と、状態Ｓ０から状態Ｓ１への遷移が発生した時から時間Ｔ_Ｃの計時を開始し状態Ｓ１から状態Ｓ０への遷移が発生した時に時間Ｔ_Ｃの計時を停止する第２の計時処理とを行う。また、解析部２１は、状態Ｓ０から状態Ｓ２への遷移が発生した場合と状態Ｓ１から状態Ｓ３への遷移が発生した場合に回数ＮｕｍＳを１だけインクリメントする動作を繰り返す。また、解析部２１は、状態Ｓ１から状態Ｓ３への遷移が発生した場合にＮｕｍＳ_ＩＮＴを１だけインクリメントする動作を繰り返す。解析部２１は、利用者Ｓが誰かを会話相手Ｃとする会話を始めてからその会話を終えるまでの間に亘って以上の処理を行う。そして、解析部２１は、時間Ｔ_Ｓを時間Ｔ_Ｃで除算した値Ｔ_Ｓ／Ｔ_Ｃ、及び回数ＮｕｍＳ_ＩＮＴを回数ＮｕｍＳで除算した値ＮｕｍＳ_ＩＮＴ／ＮｕｍＳを、利用者Ｓと会話相手Ｃの発話時間のバランスの解析結果を示す解析結果データＰ２として記憶部２３に記憶する。

ｃ１．利用者Ｓの声の調子
利用者Ｓが日常会話の中で行う会話において、利用者Ｓが低く陰鬱な調子で発言する傾向がみられる場合、利用者Ｓは無気力感に苛まれているといえる。逆に、利用者Ｓが高く浮ついた調子で発言する傾向がみられる場合、利用者Ｓは精神的に緊張しているといえる。また、利用者Ｓの声の調子は、利用者Ｓの声における優勢な周波数成分であるフォルマントの周波数軸上の位置から求めることができる。そこで、この解析処理では、解析部２１は、利用者Ｓが誰かを会話相手Ｃとして会話をする度に、その会話内の利用者Ｓの発言の音声における代表的な音韻（例えば、「あ」とする）の第１フォルマントＦ１及び第２フォルマントＦ２を抽出し、この第１フォルマントＦ１及び第２フォルマントＦ２と利用者Ｓの精神状態が安静であるときの音声から予め抽出しておいた音韻（あ）の第１フォルマントＦ１_ＲＥＦ及び第２フォルマントＦ２_ＲＥＦの周波数差を求める。

より具体的に説明すると、解析部２１は、所定時間以上に亙って状態Ｓ０が続いた後、状態Ｓ２に遷移した場合に、利用者Ｓがある程度静かな環境の下で発言しているみなし、状態Ｓ０から状態Ｓ２に遷移した以降の収音部１６の出力信号Ｘ_ＩＮＴを解析対象とする。解析部２１は、解析対象の信号Ｘ_ＩＮＴから音韻（あ）の波形区間の信号Ｘ_ＩＮＴを切り出し、この波形区間の信号Ｘ_ＩＮＴにＦＦＴ（Fast Fourier Transform）処理を施し、ＦＦＴ処理により得られたパワースペクトルにおける最も大きなパワーを持った周波数ｆ１及び次に大きなパワーを持った周波数ｆ２を第１フォルマントＦ１及び第２フォルマントＦ２とする。解析部２１は、フォルマントＦ１とフォルマントＦ１_ＲＥＦの周波数差ΔＦ１、及びフォルマントＦ２とフォルマントＦ２_ＲＥＦの周波数差ΔＦ２を各々算出する。解析部２１は、この周波数差ΔＦ１及びΔＦ２の合計値ΔＦ１＋ΔＦ２を、利用者Ｓの声の調子の解析結果を示す解析結果データＰ３として記憶部２３に記憶する。

ｄ１．利用者Ｓの会話中における同じ言葉の繰り返し
利用者Ｓが日常生活の中で行う会話において、同じ言葉を繰り返す傾向がみられる場合、疲れて言葉を考え出すのが困難であったり、別のことに気をとられて会話に集中できない状態であるといえる。そこで、この解析処理では、解析部２１は、利用者Ｓが誰かを会話相手Ｃとして会話する度に、その会話内の言葉（単語）が繰り返し話されているものであるかを判定する。

より具体的に説明すると、解析部２１は、状態Ｓ２における収音部１６の出力信号Ｘ_ＩＮＴを解析対象とする。そして、この状態Ｓ２における信号Ｘ_ＩＮＴに音声／テキスト変換処理を施し、利用者Ｓの発言を示すテキストデータを生成して、バッファに順次蓄積する。解析部２１は、蓄積したテキストデータ中にＮ（例えば、Ｎ＝５）文字以上の同じ配列順の文字列が続けて出現した場合には、同じ会話の出現回数ＮｕｍＤを１だけインクリメントする。そして、解析部２１は、この出現回数ＮｕｍＤを利用者Ｓの会話中における同じ言葉の繰り返しの解析結果を示す解析結果データＰ４として記憶部２３に記憶する。

ｅ１．利用者Ｓの独り言
利用者Ｓが、その日常生活の中で独り言を発する回数が多い場合、利用者Ｓがストレスをため込んでいるとみることができる。そこで、この解析処理では、解析部２１は、利用者Ｓの独り言の回数を集計する。より具体的に説明すると、解析部２１は、状態Ｓ０を間に挟んで状態Ｓ２が繰り返し発生した場合にその状態Ｓ２の繰り返し回数を独り言の回数ＮｕｍＥとして計数する。そして、制御部２１は、この回数ＮｕｍＥを利用者Ｓの独り言の解析結果を示す解析結果データＰ５として記憶部２３に記憶する。

報知部２２は、解析部２１による解析の結果に応じた報知を行う。より具体的に説明すると、報知部２２は、時間Ｔ３（例えば、Ｔ３＝３０分とする）毎に記憶部２３内の解析結果データＰ１〜Ｐ５を参照する。報知部２２は、参照した解析結果データＰ１〜Ｐ５の中に適正範囲から外れるものがある場合には、精神状態を安定化させるための推奨行動を案内する報知音の音信号Ｙを放音部１７に供給し、この報知音を放音部１７から放音させる。具体例を挙げると次の通りである。
（１）回数ＮｕｍＢが所定の閾値より多い場合には、「お疲れのようなので休んだらどうですか」という音声を放音させる。
（２）回数ＮｕｍＣが所定の閾値より多い場合には、「落ち着いて下さい」という音声を放音させる。
（３）時間比Ｔ_Ｓ／Ｔ_Ｃが所定の閾値より小さい場合は、「もっと会話に参加したらどうですか」という音声を放音させ、回数比ＮｕｍＳ_ＩＮＴ／ＮｕｍＳが大きい場合は、「もう少し落ち着きましょう」という音声を放音させる。
（４）精神的に鬱積した状態であるときの声の調子であることを解析結果データＰ３が示している場合には、「音楽でも聴きませんか」という音声を放音させる。

以上説明した本実施形態では、利用者Ｓの耳に挿入部１５を装着した状態における耳の中の音と耳の外の音を収音部１６及び１３によって収音し、収音部１６及び１３の出力信号Ｘ_ＩＮＴ及びＸ_ＥＸＴから利用者Ｓの会話の状態を解析する。本実施形態によると、この会話の状態の解析結果を用いることにより、利用者Ｓの精神状態を解析することができる。

＜第２実施形態＞
図３は、本発明の第２実施形態である音声解析装置１０Ａの構成を示す図である。本実施形態では、携帯音楽プレーヤ５０の操作部５１によって解析結果を閲覧する操作が行われると、携帯音楽プレーヤ５０は解析結果の提供を求める信号をケーブル４０を介して音声解析装置１０Ａの報知部２２に供給する。報知部２２は、この信号を受け取ると、記憶部２３内における最新の解析結果データＰ１〜Ｐ５を読み出し、これらの解析結果データＰ１〜Ｐ５を正五角形の中心及び各頂点間のスケール上にプロットしたレーダーチャートＲＣを生成する。ここで、解析結果データＰ１については、回数ＮｕｍＡ、ＮｕｍＢ、ＮｕｍＣのうちから選択した値（例えば、ＮｕｍＣ）に基づいてスケール上のプロット位置を決定する。報知部２２は、生成したレーダーチャートＲＣの表示制御データをケーブル４０を介して携帯音楽プレーヤ５０に供給し、このレーダーチャートＲＣをディスプレイ５２に表示させる。

本実施形態では、利用者Ｓの精神状態の解析結果である５種類の解析結果データＰ１〜Ｐ５がレーダーチャートＲＣの画像としてディスプレイ５２に表示される。よって、本実施形態によると、利用者Ｓは、５つの解析項目毎の個別の解析結果を視覚により確認することができる。

以上、この発明の第１及び第２実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
（１）上記第１及び第２実施形態において、収音部１３及び１６の出力信号Ｘ_ＥＸＴ及びＸ_ＩＮＴを発話履歴データとして記憶部２３内に記憶するようにしてもよい。この場合において、記憶部２３内の発話履歴データをパーソナルコンピュータに送信し、精神状態の起伏の傾向、各種治療の効果、治療後の経過観察などの解析に供してもよい。また、解析部２１の解析結果として生成された解析結果データＰ１〜Ｐ５のいずれが適正範囲を外れている場合にのみ、収音部１３及び１６の出力信号Ｘ_ＥＸＴ及びＸ_ＩＮＴを発話履歴データとして記憶部２３内に記憶するようにしてもよい。

（２）上記第１及び第２実施形態では、解析部２１の解析結果して生成された解析結果データＰ１〜Ｐ５のいずれかが適正範囲を外れている場合、精神状態を安定化させるための推奨行動を案内する報知音の音信号Ｙを放音部１７に供給し、この報知音を放音部１７から放音させた。しかし、この場合に、精神状態を安定化させるための音楽であるヒーリングミュージックの音信号Ｙ’を放音部１７に供給し、放音部１７からヒーリングミュージックを放音させてもよい。

（３）上記第１及び第２実施形態において、各種生体センサにより検出した血圧、血流、発汗等の生体情報と音信号Ｘ_ＥＸＴ及びＸ_ＩＮＴの解析とを併用して利用者Ｓの精神状態の解析を行ってもよい。

（４）上記第１及び第２実施形態において、利用者Ｓと会話相手Ｃとの間の会話中に予め設定されたパターンと異なる異常な状態Ｓ０，Ｓ１，Ｓ２，Ｓ３の遷移が現れた場合、利用者Ｓが精神的なダメージを受けたとみなしてその回数をカウントし、利用者Ｓに報知するようにしてもよい。

（５）上記第１及び第２実施形態において、会話の状態から利用者Ｓが健康を害するような発言を行った場合にその記録を行うようにしてもよい。例えば図２において、状態Ｓ３から状態Ｓ２へ遷移したときの信号Ｘ_ＩＮＴの振幅が所定限度を越えて大きい場合、利用者Ｓが声を荒げて会話相手を遮り、発言を行ったと考えられる。このような行為は健康上好ましくないので、その回数をカウントし、利用者Ｓに報知することが好ましい。

（６）上記第１及び第２実施形態における同じ言葉の繰り返しを解析対象とする処理では、利用者Ｓの発言を示すテキストデータ中にＮ文字以上の同じ文字列が続けて出現した場合に、同じ言葉の繰り返し回数ＮｕｍＤを１つインクリメントした。しかし、利用者Ｓの発言を示すテキストデータ中に現れた文字列の意味に応じて回数ＮｕｎＤに加算する値に重みづけを与えてもよい。例えば、利用者Ｓと会話相手Ｃとの会話中に、「そうだね」、「そう」、「すばらしい」といった肯定的な意味の言葉が繰り返し現れている場合は、その会話が円滑、円満に行われていることが多い。その一方、利用者Ｓと会話相手Ｃとの会話中に、「でも」、「いや」、「だから」といった否定的な意味の言葉が繰り返し現れている場合は、その会話が円滑、円満に行われていないことが多い。よって、肯定的な意味を有する言葉と高い値の評価値とを対応付けるとともに、否定的な意味を有する言葉と低い値の評価値を対応付けたテーブルを設け、利用者Ｓの発言を示すテキストデータ中にＮ文字以上の同じ文字列が続けて現れる度に、テーブル内における該当する言葉の評価値をＮｕｍＤに加算していくようにするとよい。

（７）上記第１及び第２実施形態において、耳の外の音を収音する収音部１３と解析部２０との間にＬＰＦ（Low Pass Filter）を介挿し、このＬＰＦを通過した信号Ｘ_ＥＸＴ’と収音部１６の出力信号Ｘ_ＩＮＴとの相互相関値Ｖ’を求め、この相互相関値Ｖ’に基づいて状態Ｓ２であるか状態Ｓ３であるかの判定が行なうようにしてもよい。利用者Ｓの体外を伝搬する空気伝搬音は、低域から高域に至る成分が殆ど失われずに収音部１３に到達するのに対し、利用者Ｓの体内を伝搬する固体伝搬音は、頭蓋骨や鼓膜を経由する過程において高域の成分が失われる。この実施形態によると、利用者Ｓの会話音声ＳＡが発生しており会話相手Ｃの会話音声ＣＡが発生していないにも拘わらず相互相関値Ｖが１よりも十分に小さな値となってしまい、状態Ｓ２と状態Ｓ３を判別し難くなる、という事態の発生を防ぐことができる。

１０、１０Ａ…音声解析装置、１１…本体部、１２，１４…端面、１３，１６…収音部、１７…放音部、２０…制御部、２１…解析部、２２…報知部、２３…記憶部。

Claims

利用者の耳の外の音を収音する第１の収音部と、
前記耳の中の音を収音する第２の収音部と、
前記第１の収音部の出力信号と前記第２の収音部の出力信号とから前記利用者及び当該利用者の会話相手の会話の状態を解析する解析部と
を具備することを特徴とする音声解析装置。
前記解析部は、前記第１の収音部の出力信号と前記第２の収音部の出力信号の相互相関値に基づいて、前記利用者と前記会話相手の両者が発言している状態であるかそれとも前記利用者だけが発言している状態なのかを判定することを特徴とする請求項１に記載の音声解析装置。
前記解析部は、前記会話相手が発言を終えてから所定時間以内に前記利用者が発言を始めた回数及び前記会話相手が発言を終えてから前記所定時間が過ぎた後に利用者が発言を始めた回数のうちの一方または両方を前記第１の収音部の出力信号と前記第２の収音部の出力信号とを用いて集計し、集計した回数を前記会話の状態の解析結果とすることを特徴とする請求項１または２に記載の音声解析装置。
前記解析部は、前記利用者の発言時間と前記利用者の会話相手の発言時間を前記第１の収音部の出力信号と前記第２の収音部の出力信号とを用いて個別に計測し、前記利用者の発言時間と前記会話相手の発言時間の関係を前記会話の状態の解析結果とすることを特徴と請求項１または２に記載の音声解析装置。
前記解析部は、前記利用者の発言の音声における所定の音韻のフォルマントを前記第２の収音部の出力信号から抽出し、抽出したフォルマントと前記利用者の精神状態が安静であるときの音声から予め抽出された前記音韻のフォルマントとを比較し、この比較の結果を前記会話の状態の解析結果とすることを特徴とする請求項１または２に記載の音声解析装置。
前記解析部は、前記利用者における同じ言葉の繰り返しの回数を前記第１の収音部の出力信号と前記第２の収音部の出力信号とを用いて集計し、この集計した回数を前記会話の状態の解析結果とすることを特徴とする請求項１または２に記載の音声解析装置。
前記解析部は、前記利用者における独り言の回数を前記第１の収音部の出力信号と前記第２の収音部の出力信号とを用いて集計し、この集計した回数を前記会話の状態の解析結果とすることを特徴とする請求項１または２に記載の音声解析装置。