JP3668034B2

JP3668034B2 - Mental condition evaluation device

Info

Publication number: JP3668034B2
Application number: JP05074999A
Authority: JP
Inventors: 広和源野; 誠菊本
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1999-02-26
Filing date: 1999-02-26
Publication date: 2005-07-06
Anticipated expiration: 2019-02-26
Also published as: JP2000245718A

Description

【０００１】
【発明の属する技術分野】
本発明は、表情、声、運動量に基づいて精神状態を評価して鬱状態を発見する精神状態評価装置に関する。
【０００２】
【従来の技術】
従来から、被験者の脈拍、呼吸、体温、血圧などの生理量を測定し、測定した生理量に基づいて被験者の健康状態を評価する種々の装置が提案されている。
【０００３】
例えば、脈拍、呼吸、体温などの生理量を測定する生理量測定装置をベッドサイドに設け、その生理量測定装置の出力を予め設定した生体信号の許容上限値及び許容下限値と比較することにより、ベッドに横たわった使用者の体調を評価する装置がある。この装置においては、生理量測定装置の出力が許容上限値を上回った場合あるいは許容下限値を下回った場合、アラームブザーによって監視者に報知されるように構成されている。
【０００４】
【発明が解決しようとする課題】
しかしながらこのような従来の装置は、身体的な健康を評価・管理するためのものであり、精神的な健康を評価・管理することについては考慮されておらず、このため年々増加する鬱病を始めとする精神性疾患に対応できない。
【０００５】
そこで、本発明は、精神的な健康を評価・管理することが可能な精神状態評価装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の精神状態評価装置は、表情の変化を測定する表情測定手段と、音声の変化を測定する音声測定手段と、体動を測定する体動測定手段と、各測定手段の出力に基づいて精神状態を評価する精神状態評価手段と、その精神状態評価手段の評価結果を報知する報知手段とを備えているものである。このような構成とすることにより、表情、音声、体動に基づいて精神状態が評価される。
【０００７】
具体的には、表情測定手段が撮像カメラを含み、精神状態評価手段は撮像カメラにて撮像された撮像表情画像と予め登録しておいた基準表情画像との差が第１の閾値より小さいとき精神状態が鬱状態にあると判断し、また、音声測定手段がマイクロフォンを含み、精神状態評価手段はマイクロフォンにて入力された入力音声の周波数が予め登録しておいた基準音声の周波数より低くかつその差が第２の閾値より大きいとき精神状態が鬱状態にあると判断し、更に、体動測定手段が加速度センサを含み、精神状態評価手段は加速度センサの出力に基づいて演算された移動量が第３の閾値より小さいとき、精神状態が鬱状態にあると判断するものである。
【０００８】
また、精神状態評価手段が重度の鬱状態であると判断した場合、予め設定した連絡先に自動的に通信を行なう通信手段を備えているものである。このような構成とすることにより、重度の鬱状態である場合には、自動的に予め設定した連絡先に対して通信が行われる。
【０００９】
【発明の実施の形態】
本実施の形態における精神状態評価装置について、図面を参照しつつ以下に説明する。
【００１０】
本実施の形態において、図１は精神状態評価装置の外観構成を表す概略構成図、図２はその回路構成を表すブロック図である。
【００１１】
本実施の形態における精神状態評価装置は、図１に示すように、パーソナルコンピュータ（以下、パソコンと称する）１を中心に構成され、そのパソコン１に接続されたキーボード２と、ディスプレイ３と、ＣＣＤカメラ４と、マイク５と、スピーカ６と、加速度センサ７とを備えている。
【００１２】
ＣＣＤカメラ４は、ディスプレイ３の上部においてパソコン１に対してキーボード２を操作して作業を行なう使用者に向かうように配置されており、ディスプレイ３を見る使用者の顔が撮像されてパソコン１に入力される。
【００１３】
マイク５は、ＣＣＤカメラ４同様ディスプレイ３上において使用者の顔に向かうように配置されており、使用者の発した音声が取り込まれてパソコン１に入力される。
【００１４】
また、加速度センサ７は、ベルト装着用のフック（図示省略）を用いて使用者の腰部に装着されるものであり、歩数計のように使用者の移動に伴い発生する出力が累積して記録される。このように記録されたデータは、使用者がパソコン１を起動させたときに、無線でパソコン１に入力される。このため、使用者は、加速度センサ７を常時携帯することが望ましく、これにより、使用者がパソコン１に向かっているとき以外についてもデータが収集される。
【００１５】
パソコン１は、図２に示すように、ＣＣＤカメラ４の出力を解析する表情解析部１１と、マイク５の出力を解析する音声解析部１２と、加速度センサ７の出力を受信して解析する加速度解析部１３と、各解析部１１、１２、１３の解析結果に基づいて精神状態を判定する精神状態判定部１４とを備えている。
【００１６】
表情解析部１１では、ＣＣＤカメラ４の撮像画像についてエッジ抽出処理を行なった後、２値化して使用者の顔に相当する領域を表情データとして抽出する。この表情データは、使用者がパソコン１に向かっている間、ＣＣＤカメラ４から入力される撮像画像について１分毎に求められる。５分分の表情データがパソコン１に取り込まれた時点で、表情の変化をみる指標として表情データの変化量Ｈが演算される。この表情データの変化量Ｈは、時刻ｔ分における表情データをｈ（ｔ）とすると、下記数１で求められる。
【００１７】
【数１】

そして、数１で求めた変化量Ｈと使用者の過去１０日間における表情データの変化量を平均した値αとが比較され、その比較結果が精神状態判定部１４に入力されるとともに、メモリ１５に格納される。なお、これらの処理は、１時間毎に繰り返される。
【００１８】
また、音声解析部１２は、マイク５にて取り込まれた音声について周波数解析処理を行なった後、平均周波数Ｆを音声データとして演算する。この音声データは、パソコン１の起動時及び稼働中１時間毎にパソコン１から使用者に対して行われる質問に応答するすることにより入力される。このとき、質問内容は、ディスプレイ３に表示されるとともに、スピーカ６から音声で出力される。
【００１９】
そして、得られた平均周波数Ｆと予め普段の会話における音声について求めておいた平均周波数の値βとが比較され、その比較結果が精神状態判定部１４に入力されるとともに、メモリ１５に格納される。
【００２０】
更に、加速度解析部１３では、パソコン１の起動時に、加速度センサ７に格納された過去１日分のデータが無線でパソコン１に入力された後、入力されたデータについて２回積分処理が行なわれて、移動量Ｄが演算される。そして、得られた移動量Ｄと使用者の過去１０日間における移動量を平均した値γとが比較され、その比較結果が精神状態判定部１４に入力されるとともに、メモリ１５に格納される。
【００２１】
精神状態判定部１４では、各解析部１１、１２、１３の出力に基づいて、使用者の精神状態が判定される。ここでは、精神状態として使用者の鬱状態が判定される。
【００２２】
まず、表情解析部１１から入力された表情データの変化量Ｈと使用者の過去１０日間における表情データの変化量の平均値αとの比較結果に基づいて、精神状態判定部１４では、変化量Ｈが平均値αより大きい場合正常と判断され、逆に、変化量Ｈが平均値αより小さい場合鬱状態の可能性有りと判断される。精神状態判定部１４では、鬱状態の可能性有りと判断された場合、内蔵するカウンタ１４ａが１インクリメントされ、逆に、正常と判定された場合、カウンタ１４ａが１デクリメントされる。
【００２３】
また、音声解析部１２から入力された音声データの平均周波数Ｆと予め普段の会話における音声について求めておいた周波数の平均値βとの比較結果についても同様に、精神状態判定部１４において、音声データの平均周波数Ｆが平均値βより高い場合正常と判断され、カウンタ１４ａが１デクリメントされ、逆に、音声データの平均周波数Ｆが平均値βより低い場合鬱状態の可能性有りと判断され、カウンタ１４ａが１インクリメントされる。
【００２４】
但し、正常な状態が長時間に渡って継続しても、カウンタ１４ａの値は、負の値にならないように設定されている。
【００２５】
更に、パソコン１の起動時に加速度解析部１３から入力された移動量Ｄと過去１０日間における移動量の平均値γとの比較結果についても同様に、精神状態判定部１４において、移動量Ｄが平均値γより高い場合正常と判断され、内蔵するカウンタ１４ｂが０に設定され、逆に、移動量Ｄが平均値γより低い場合鬱状態の可能性有りと判断され、カウンタ１４ｂが１に設定される。
【００２６】
次に、得られたカウンタ１４ａ、１４ｂの合計値Ｓが１時間毎に演算され、鬱状態が判定されるとともに、この合計値Ｓが対処方法判定部１６に入力される。ここでは、合計値Ｓの値に応じて、鬱状態を３段階にレベル分けして判定している。
【００２７】
対処方法判定部１６では、使用者の鬱状態のレベルに応じて、以下のような対処が指示される。
【００２８】
レベル１（合計値Ｓ＝１）：軽度の鬱状態のため、ディスプレイ３に人物を表示するとともに、その人物の声としてスピーカ６から使用者に対話を求める音声を出力して、使用者の気分転換を図る。
【００２９】
レベル２（合計値Ｓ＝２）：鬱状態が進んでいるため、使用者のパソコン１での作業を停止させるべく、使用者に運動を求める指示をディスプレイ３に表示するとともにスピーカ６に出力する。
【００３０】
レベル３（合計値Ｓ＝３）：鬱病の疑いがあるため、医療機関等の予め設定してある連絡先に対しモデム１７を介して自動的に連絡が行われる。そして、連絡を受けた医療機関等においては、その使用者に対し電話等によるカウンセリング等が行われる。
【００３１】
上述したように、本実施の形態によれば、ＣＣＤカメラ４、マイク５、加速度センサ７の出力に基づいて、鬱状態において現れる無表情、音声のトーン低下、運動量の低下が評価できるように構成されているため、使用者はこの評価結果に基づいて鬱状態が進行しないよう防止に努めることができる。これにより、使用者の精神的な健康が維持され、快適な生活を送ることが可能となる。
【００３２】
また、鬱状態のレベルに応じて、対処方法を指示できるように構成されているため、使用者はこの指示を参考に鬱状態の解消に努めることができる。これにより、使用者は処方法を誤ることなく適切な対処を行なうことが可能となる。
【００３３】
また、使用者の鬱状態が鬱病の疑いがある程進んでいるような場合には、自動的に医療機関等に連絡するように構成されているため、使用者自身で対処できない場合においても、連絡先となっている医療機関等に連絡が行われる。使用者は、その指示やカウンセリングを仰ぐことができ、より適切な対処を行なうことが可能となる。
【００３４】
尚、本実施の形態においては、表情、音声、運動量を閾値評価した後、それらを総合的に評価して鬱状態をレベル分けしたが、表情、音声、運動量それぞれについて鬱状態をレベル分けしてもよい。この場合、例えば、表情、音声、運動量のうち最も高い鬱状態レベル、もしくは各鬱状態レベルの平均値等を、使用者の鬱状態レベルとする。
【００３５】
【発明の効果】
本発明によれば、鬱状態において現れる無表情、音声のトーン低下、運動量の低下が評価できるように構成されているため、使用者はこの評価結果に基づいて鬱状態が進行しないよう防止に努めることができる。これにより、使用者の精神的な健康が維持され、快適な生活を送ることが可能となる。
【図面の簡単な説明】
【図１】図１は精神状態評価装置の外観構成を表す概略構成図である。
【図２】図２は図１の精神状態評価装置の回路構成を表すブロック図である。
【符号の説明】
１：パソコン
１１：表情解析部
１２：音声解析部
１３：加速度解析部
１４：精神状態評価部
１５：メモリ
１６：対処方法判定部
１７：モデム
２：キーボード
３：ディスプレイ
４：ＣＣＤカメラ
５：マイク
６：スピーカ
７：加速度センサ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a mental state evaluation apparatus that evaluates a mental state based on facial expressions, voices, and momentum to find a depressed state.
[0002]
[Prior art]
Conventionally, various devices for measuring physiological quantities such as a subject's pulse, respiration, body temperature, blood pressure, etc. and evaluating the health condition of the subject based on the measured physiological quantities have been proposed.
[0003]
For example, by providing a physiological quantity measuring device for measuring physiological quantities such as pulse, respiration, body temperature, etc. on the bedside, and comparing the output of the physiological quantity measuring device with the allowable upper limit value and allowable lower limit value of biological signals set in advance There is a device that evaluates the physical condition of the user lying on the bed. In this apparatus, when the output of the physiological quantity measuring device exceeds the allowable upper limit value or falls below the allowable lower limit value, an alarm buzzer notifies the monitor.
[0004]
[Problems to be solved by the invention]
However, such conventional devices are intended to assess and manage physical health, and are not considered for assessing and managing mental health. Cannot cope with mental illness.
[0005]
Therefore, an object of the present invention is to provide a mental state evaluation apparatus capable of evaluating and managing mental health.
[0006]
[Means for Solving the Problems]
The mental state evaluation device of the present invention is based on facial expression measuring means for measuring changes in facial expressions, voice measuring means for measuring changes in speech, body movement measuring means for measuring body movements, and outputs of the respective measuring means. The apparatus includes a mental state evaluation unit that evaluates the mental state, and a notification unit that notifies the evaluation result of the mental state evaluation unit. With this configuration, the mental state is evaluated based on facial expressions, voice, and body movement.
[0007]
Specifically, the facial expression measuring means includes an imaging camera, and the mental state evaluation means is when the difference between the captured facial expression image captured by the imaging camera and a reference facial expression image registered in advance is smaller than the first threshold value. The mental state is determined to be depressed, and the voice measurement means includes a microphone, and the mental state evaluation means has a frequency of the input voice inputted by the microphone lower than the frequency of the reference voice registered in advance. When the difference is larger than the second threshold, it is determined that the mental state is in a depressed state, and the body movement measuring means includes an acceleration sensor, and the mental state evaluating means calculates the amount of movement calculated based on the output of the acceleration sensor. Is smaller than the third threshold value, it is determined that the mental state is depressed.
[0008]
In addition, when the mental state evaluation means determines that the person is in a severe depression, the communication means is provided that automatically communicates with a preset contact address. By adopting such a configuration, in a severe depression, communication is automatically performed with a preset contact address.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
The mental state evaluation apparatus in the present embodiment will be described below with reference to the drawings.
[0010]
In the present embodiment, FIG. 1 is a schematic configuration diagram showing an external configuration of the mental state evaluation apparatus, and FIG. 2 is a block diagram showing its circuit configuration.
[0011]
As shown in FIG. 1, the mental state evaluation apparatus according to the present embodiment is configured with a personal computer (hereinafter referred to as a personal computer) 1 as the center, a keyboard 2 connected to the personal computer 1, a display 3, and a CCD. A camera 4, a microphone 5, a speaker 6, and an acceleration sensor 7 are provided.
[0012]
The CCD camera 4 is arranged at the upper part of the display 3 so as to face the user who operates the keyboard 2 with respect to the personal computer 1, and the face of the user who looks at the display 3 is imaged to the personal computer 1. Entered.
[0013]
Similarly to the CCD camera 4, the microphone 5 is arranged on the display 3 so as to face the user's face, and the sound produced by the user is captured and input to the personal computer 1.
[0014]
The acceleration sensor 7 is attached to the user's waist using a hook (not shown) for belt attachment, and the output generated with the movement of the user is accumulated and recorded like a pedometer. Is done. The data recorded in this way is input to the personal computer 1 wirelessly when the user activates the personal computer 1. For this reason, it is desirable for the user to always carry the acceleration sensor 7, whereby data is collected even when the user is not facing the personal computer 1.
[0015]
As shown in FIG. 2, the personal computer 1 includes an expression analysis unit 11 that analyzes the output of the CCD camera 4, a voice analysis unit 12 that analyzes the output of the microphone 5, and an acceleration that receives and analyzes the output of the acceleration sensor 7. An analysis unit 13 and a mental state determination unit 14 that determines a mental state based on the analysis results of the

analysis units

11, 12, and 13 are provided.
[0016]
The facial expression analysis unit 11 performs edge extraction processing on the image captured by the CCD camera 4 and then binarizes and extracts an area corresponding to the user's face as facial expression data. This facial expression data is obtained every minute for the captured image input from the CCD camera 4 while the user is facing the personal computer 1. When the facial expression data for 5 minutes is taken into the personal computer 1, the facial expression data change amount H is calculated as an index for viewing facial expression changes. The change amount H of the expression data is obtained by the following equation 1 where the expression data at time t is h (t).
[0017]
[Expression 1]

Then, the amount of change H obtained in Equation 1 is compared with the value α obtained by averaging the amount of change in facial expression data of the user over the past 10 days, and the comparison result is input to the mental state determination unit 14 and the memory 15 Stored in These processes are repeated every hour.
[0018]
The voice analysis unit 12 performs frequency analysis processing on the voice captured by the microphone 5 and then calculates the average frequency F as voice data. The voice data is input by responding to questions asked from the personal computer 1 to the user when the personal computer 1 is started and every hour during operation. At this time, the contents of the question are displayed on the display 3 and are output from the speaker 6 by voice.
[0019]
Then, the obtained average frequency F is compared with the average frequency value β obtained in advance for speech in a normal conversation, and the comparison result is input to the mental state determination unit 14 and stored in the memory 15. The
[0020]
Further, in the acceleration analysis unit 13, after the data for the past day stored in the acceleration sensor 7 is wirelessly input to the personal computer 1 when the personal computer 1 is started up, the input data is subjected to integration processing twice. Thus, the movement amount D is calculated. Then, the obtained movement amount D is compared with a value γ obtained by averaging the movement amounts of the user over the past 10 days, and the comparison result is input to the mental state determination unit 14 and stored in the memory 15.
[0021]
The mental state determination unit 14 determines the mental state of the user based on the outputs of the

analysis units

11, 12, and 13. Here, the depressed state of the user is determined as the mental state.
[0022]
First, based on the comparison result between the change amount H of the expression data input from the expression analysis unit 11 and the average value α of the change amount of the expression data of the user over the past 10 days, the mental state determination unit 14 determines the change amount. When H is larger than the average value α, it is determined as normal, and conversely, when the change amount H is smaller than the average value α, it is determined that there is a possibility of depression. When the mental state determination unit 14 determines that there is a possibility of depression, the built-in counter 14a is incremented by 1, and conversely, when determined to be normal, the counter 14a is decremented by 1.
[0023]
Similarly, in the mental state determination unit 14, the speech condition is compared with the comparison result between the average frequency F of the speech data input from the speech analysis unit 12 and the average value β of the frequency obtained in advance for speech in a normal conversation. If the average frequency F of the data is higher than the average value β, it is determined to be normal, and the counter 14a is decremented by 1. Conversely, if the average frequency F of the voice data is lower than the average value β, it is determined that there is a possibility of depression. The counter 14a is incremented by one.
[0024]
However, even if the normal state continues for a long time, the value of the counter 14a is set so as not to be a negative value.
[0025]
Further, the comparison of the movement amount D input from the acceleration analysis unit 13 when the personal computer 1 is started up with the average value γ of the movement amount in the past 10 days is similarly performed in the mental state determination unit 14 with the movement amount D being the average. If it is higher than the value γ, it is judged as normal and the built-in counter 14b is set to 0. Conversely, if the movement amount D is lower than the average value γ, it is determined that there is a possibility of depression, and the counter 14b is set to 1. The
[0026]
Next, the total value S of the obtained counters 14 a and 14 b is calculated every hour to determine depression and this total value S is input to the coping method determination unit 16. Here, according to the value of the total value S, the depressed state is determined in three levels.
[0027]
The coping method determination unit 16 instructs the following coping according to the level of depression of the user.
[0028]
Level 1 (total value S = 1): Since the person is mildly depressed, a person is displayed on the display 3, and a voice asking the user for dialogue is output from the speaker 6 as the voice of the person. Make a transition.
[0029]
Level 2 (total value S = 2): Since the depression is progressing, an instruction to the user for exercise is displayed on the display 3 and output to the speaker 6 in order to stop the user's work on the personal computer 1. .
[0030]
Level 3 (total value S = 3): Since there is a suspicion of depression, contact is automatically made via the modem 17 to a preset contact address such as a medical institution. In the medical institution or the like that receives the communication, the user is counseled by telephone or the like.
[0031]
As described above, according to the present embodiment, it is possible to evaluate the expressionlessness appearing in the depressed state, the voice tone decrease, and the momentum decrease based on the outputs of the CCD camera 4, the microphone 5, and the acceleration sensor 7. Therefore, the user can try to prevent the depression from proceeding based on the evaluation result. Thereby, a user's mental health is maintained and it becomes possible to lead a comfortable life.
[0032]
Moreover, since it is comprised so that a coping method can be instruct | indicated according to the level of a depression state, the user can try for the cancellation of a depression state with reference to this instruction | indication. As a result, the user can take appropriate measures without mistakes in the processing method.
[0033]
In addition, when the user's depression is progressing to the extent that there is a suspicion of depression, it is configured to automatically contact a medical institution, etc. Contact is made with the medical institution that is in contact. The user can ask for instructions and counseling, and can take more appropriate measures.
[0034]
In the present embodiment, after evaluating threshold values for facial expressions, speech, and momentum, they are comprehensively evaluated to classify the depressed state. However, the depressed states are classified into levels for facial expressions, speech, and momentum. Also good. In this case, for example, the highest depression level among facial expressions, voice, and exercise amount, or the average value of each depression level is set as the depression level of the user.
[0035]
【The invention's effect】
According to the present invention, since it is configured to be able to evaluate the expressionlessness, the tone decrease of the voice, and the decrease of the momentum that appear in the depression, the user tries to prevent the depression from proceeding based on the evaluation result. be able to. Thereby, a user's mental health is maintained and it becomes possible to lead a comfortable life.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram showing an external configuration of a mental state evaluation apparatus.
FIG. 2 is a block diagram showing a circuit configuration of the mental state evaluation apparatus of FIG.
[Explanation of symbols]
1: PC 11: Facial expression analysis unit 12: Speech analysis unit 13: Acceleration analysis unit 14: Mental state evaluation unit 15: Memory 16: Countermeasure determination unit 17: Modem 2: Keyboard 3: Display 4: CCD camera 5: Microphone 6 : Speaker 7: Acceleration sensor

Claims

Expression measuring means for measuring changes in expression, sound measuring means for measuring changes in voice, body movement measuring means for measuring body movements, and mental state evaluation for evaluating mental states based on the outputs of the respective measuring means And a notifying means for notifying an evaluation result of the mental condition evaluating means.

The facial expression measurement means includes an imaging camera, and the mental state evaluation means has a difference between a captured facial expression image captured by the imaging camera and a reference facial expression image registered in advance smaller than a first threshold value. The mental state evaluation apparatus according to claim 1, wherein the mental state is determined to be depressed.

The voice measuring means includes a microphone, and the mental state evaluating means is such that the frequency of the input voice inputted by the microphone is lower than the frequency of the reference voice registered in advance and the difference is larger than the second threshold value. The mental state evaluation device according to claim 1, wherein the mental state is determined to be depressed.

The body movement measuring unit includes an acceleration sensor, and the mental state evaluating unit determines that the mental state is in a depressed state when a movement amount calculated based on an output of the acceleration sensor is smaller than a third threshold. The mental state evaluation apparatus according to claim 1.

5. The communication device according to claim 1, further comprising a communication unit configured to automatically communicate with a preset contact when the mental state evaluation unit determines that the state is severe depression. Mental state evaluation device.