JP5714411B2 - Behavior analysis method and behavior analysis device - Google Patents
Behavior analysis method and behavior analysis device Download PDFInfo
- Publication number
- JP5714411B2 JP5714411B2 JP2011109393A JP2011109393A JP5714411B2 JP 5714411 B2 JP5714411 B2 JP 5714411B2 JP 2011109393 A JP2011109393 A JP 2011109393A JP 2011109393 A JP2011109393 A JP 2011109393A JP 5714411 B2 JP5714411 B2 JP 5714411B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- behavior
- physiological information
- behavior analysis
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 94
- 230000002996 emotional effect Effects 0.000 claims description 67
- 238000000034 method Methods 0.000 claims description 22
- 230000005236 sound signal Effects 0.000 claims description 17
- 230000007704 transition Effects 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 14
- 230000003542 behavioural effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001766 physiological effect Effects 0.000 claims 3
- 230000008451 emotion Effects 0.000 description 123
- 230000006399 behavior Effects 0.000 description 103
- 230000006996 mental state Effects 0.000 description 32
- 238000005259 measurement Methods 0.000 description 31
- 230000008859 change Effects 0.000 description 27
- 238000011156 evaluation Methods 0.000 description 27
- 238000003066 decision tree Methods 0.000 description 26
- 238000006243 chemical reaction Methods 0.000 description 19
- 208000022821 personality disease Diseases 0.000 description 17
- 230000000694 effects Effects 0.000 description 13
- 238000012360 testing method Methods 0.000 description 13
- 208000019901 Anxiety disease Diseases 0.000 description 12
- 230000036506 anxiety Effects 0.000 description 11
- 230000029058 respiratory gaseous exchange Effects 0.000 description 9
- 230000003340 mental effect Effects 0.000 description 8
- 230000001537 neural effect Effects 0.000 description 8
- 229940001470 psychoactive drug Drugs 0.000 description 8
- 239000004089 psychotropic agent Substances 0.000 description 8
- 230000007177 brain activity Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 230000036760 body temperature Effects 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 210000005036 nerve Anatomy 0.000 description 6
- QZAYGJVTTNCVMB-UHFFFAOYSA-N serotonin Chemical compound C1=C(O)C=C2C(CCN)=CNC2=C1 QZAYGJVTTNCVMB-UHFFFAOYSA-N 0.000 description 6
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 208000019022 Mood disease Diseases 0.000 description 4
- DMULVCHRPCFFGV-UHFFFAOYSA-N N,N-dimethyltryptamine Chemical compound C1=CC=C2C(CCN(C)C)=CNC2=C1 DMULVCHRPCFFGV-UHFFFAOYSA-N 0.000 description 4
- UCTWMZQNUQWSLP-UHFFFAOYSA-N adrenaline Chemical compound CNCC(O)C1=CC=C(O)C(O)=C1 UCTWMZQNUQWSLP-UHFFFAOYSA-N 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 230000003001 depressive effect Effects 0.000 description 4
- 210000000750 endocrine system Anatomy 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 230000008035 nerve activity Effects 0.000 description 4
- 230000000926 neurological effect Effects 0.000 description 4
- 230000035479 physiological effects, processes and functions Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 210000003296 saliva Anatomy 0.000 description 4
- 210000002784 stomach Anatomy 0.000 description 4
- 230000035900 sweating Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000009278 visceral effect Effects 0.000 description 4
- 210000001260 vocal cord Anatomy 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 208000035475 disorder Diseases 0.000 description 3
- 230000006397 emotional response Effects 0.000 description 3
- 230000002068 genetic effect Effects 0.000 description 3
- 229940088597 hormone Drugs 0.000 description 3
- 239000005556 hormone Substances 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 210000000653 nervous system Anatomy 0.000 description 3
- 230000028327 secretion Effects 0.000 description 3
- 229940076279 serotonin Drugs 0.000 description 3
- 230000008733 trauma Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- RYYVLZVUVIJVGH-UHFFFAOYSA-N caffeine Chemical compound CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 description 2
- 230000013872 defecation Effects 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 235000005911 diet Nutrition 0.000 description 2
- 230000000378 dietary effect Effects 0.000 description 2
- VYFYYTLLBUKUHU-UHFFFAOYSA-N dopamine Chemical compound NCCC1=CC=C(O)C(O)=C1 VYFYYTLLBUKUHU-UHFFFAOYSA-N 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000001647 drug administration Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 210000003016 hypothalamus Anatomy 0.000 description 2
- 230000000968 intestinal effect Effects 0.000 description 2
- 210000000936 intestine Anatomy 0.000 description 2
- 210000003715 limbic system Anatomy 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000019906 panic disease Diseases 0.000 description 2
- 230000006461 physiological response Effects 0.000 description 2
- 208000028173 post-traumatic stress disease Diseases 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 230000002889 sympathetic effect Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 210000002700 urine Anatomy 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 208000031636 Body Temperature Changes Diseases 0.000 description 1
- 208000027534 Emotional disease Diseases 0.000 description 1
- LPHGQDQBBGAPDZ-UHFFFAOYSA-N Isocaffeine Natural products CN1C(=O)N(C)C(=O)C2=C1N(C)C=N2 LPHGQDQBBGAPDZ-UHFFFAOYSA-N 0.000 description 1
- UELITFHSCLAHKR-UHFFFAOYSA-N acibenzolar-S-methyl Chemical compound CSC(=O)C1=CC=CC2=C1SN=N2 UELITFHSCLAHKR-UHFFFAOYSA-N 0.000 description 1
- 238000013019 agitation Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 229960001948 caffeine Drugs 0.000 description 1
- VJEONQKOZGKCAK-UHFFFAOYSA-N caffeine Natural products CN1C(=O)N(C)C(=O)C2=C1C=CN2C VJEONQKOZGKCAK-UHFFFAOYSA-N 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 229960003638 dopamine Drugs 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000013632 homeostatic process Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000005037 parasympathetic nerve Anatomy 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 201000000980 schizophrenia Diseases 0.000 description 1
- 229940124834 selective serotonin reuptake inhibitor Drugs 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000003204 tranquilizing agent Substances 0.000 description 1
- 230000002936 tranquilizing effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、被験者の感情や精神を分析して行動を予測する行動分析方法および行動分析装置に関する。 The present invention relates to a behavior analysis method and a behavior analysis apparatus for predicting a behavior by analyzing the emotion and spirit of a subject.
近年、被験者の発話に基づいて被験者の感情を認識する技術開発が盛んに行われており(例えば、特許文献1など)、そうした音声感情認識技術が、ロボットやテレビゲームとともに、医療用診断装置やうそ発見器などに応用されている。 In recent years, technology development for recognizing a subject's emotion based on the utterance of the subject has been actively performed (for example, Patent Document 1), and such voice emotion recognition technology has been developed together with a robot and a video game, It is applied to lie detectors.
しかしながら、従来技術では、人の主観に基づいて作成された感情の判断基準となる指標に基づいて、被験者の感情を分析することから、医師や学習に用いられる被験者などの主観のズレや揺らぎにより、医療レベルに求められる精度で被験者の感情、心理、本音の識別することは非常に困難である。 However, in the prior art, since the subject's emotion is analyzed based on an index that is a criterion for emotion created based on the subjectivity of the person, the subject is subject to shifts and fluctuations in subjectivity such as doctors and subjects used for learning. It is very difficult to identify the subject's emotions, psychology, and real intentions with the accuracy required for the medical level.
また、生理指標だけから人の心を知ることも困難である。 It is also difficult to know a person's heart only from physiological indices.
上記従来技術が有する問題を鑑み、本発明の目的は、被験者の感情状態および精神状態を分析して、被験者の行動を確度高く予測できる技術を提供することにある。 In view of the above-described problems of the prior art, an object of the present invention is to provide a technique that can analyze a subject's emotional state and mental state and predict a subject's behavior with high accuracy.
本発明を例示する行動分析方法の一態様は、被験者の発話を音声信号として取得する入力手順と、音声信号から複数の音声特徴量を算出する演算手順と、複数の音声特徴量と人の生理活動を示す複数の生理情報とを関係付けた第1テーブルに基づいて、算出された複数の音声特徴量から被験者における各生理情報の特徴量を決定し、複数の音声特徴量および各生理情報の特徴量と人の複数の感情状態とを関係付けた第2テーブルに基づいて、算出された複数の音声特徴量と決定された各生理情報の特徴量とから被験者における感情状態を判定し、判定された感情状態に基づいて被験者の行動を予測する予測手順と、を備える。 An aspect of the behavior analysis method illustrating the present invention includes an input procedure for acquiring a subject's utterance as a speech signal, a calculation procedure for calculating a plurality of speech feature amounts from the speech signal, a plurality of speech feature amounts, and a human physiology. Based on the first table that associates a plurality of physiological information indicating activity with each other, the feature amount of each physiological information in the subject is determined from the calculated plurality of voice feature amounts, and the plurality of voice feature amounts and each physiological information based on the second table associated with a plurality of emotional state of the features and the human, to determine the emotional state in a subject and a feature amount of each physiological information determined with a plurality of speech feature amounts calculated, determined A prediction procedure for predicting the behavior of the subject based on the emotional state .
本発明を例示する行動分析装置の一態様は、被験者の発話を音声信号として取得する入力部と、音声信号から複数の音声特徴量を算出する演算部と、複数の音声特徴量と人の生理活動を示す複数の生理情報とを関係付けた第1テーブルに基づいて、算出された複数の音声特徴量から被験者における各生理情報の特徴量を決定し、複数の音声特徴量および各生理情報の特徴量と人の複数の感情状態とを関係付けた第2テーブルに基づいて、算出された複数の音声特徴量と決定された各生理情報の特徴量とから被験者における感情状態を判定し、判定された感情状態に基づいて被験者の行動を予測する予測部と、を備える。 An aspect of the behavior analysis apparatus illustrating the present invention includes an input unit that acquires a speech of a subject as a voice signal, a calculation unit that calculates a plurality of voice feature amounts from the voice signal, a plurality of voice feature amounts, and human physiology. Based on the first table that associates a plurality of physiological information indicating activity with each other, the feature amount of each physiological information in the subject is determined from the calculated plurality of voice feature amounts, and the plurality of voice feature amounts and each physiological information based on the second table associated with a plurality of emotional state of the features and the human, to determine the emotional state in a subject and a feature amount of each physiological information determined with a plurality of speech feature amounts calculated, determined A predicting unit that predicts the behavior of the subject based on the emotional state .
本発明によれば、被験者の感情状態および精神状態を分析して、被験者の行動を確度高く予測できる。 According to the present invention, the emotional state and the mental state of the subject can be analyzed, and the behavior of the subject can be predicted with high accuracy.
《第1の実施形態》
図1は、本発明の第1の実施形態に係る行動分析装置100の構成を示すブロック図である。
<< First Embodiment >>
FIG. 1 is a block diagram showing a configuration of a behavior analysis apparatus 100 according to the first embodiment of the present invention.
図1に示す行動分析装置100は、コンピュータ1、マイクロフォン2、デジタルカメラ3、生理測定装置4から構成される。これにより、本実施形態の行動分析装置100は、精神分析、行動予測および分析を行う。また、行動分析装置100は、本音などについても生理指標(特に脳神経系の影響をうけた音声パラメータなど)を根拠とした分析手法で分析し表示する。
A behavior analysis apparatus 100 illustrated in FIG. 1 includes a
コンピュータ1は、CPU10、記憶部11、メモリ12、入出力インタフェース(入出力I/F)13、バス14から構成される。CPU10、記憶部11、メモリ12、入出力I/F13は、バス14を介して情報伝達可能に接続されている。また、コンピュータ1には、入出力I/F13を介して、音声信号処理などの途中経過や処理結果を表示する表示装置15、ユーザからの入力を受け付ける入力装置16がそれぞれ接続される。
The
CPU10は、コンピュータ1の各部の動作を統括的に制御するプロセッサである。CPU10は、後述するように、行動分析のプログラムを実行させることにより、入出力I/F13を経由して、マイクロフォン2で受信した被験者や医師などの音声信号および生理測定装置4で測定した被験者などの生理情報を用い、被験者の感情状態の分析、精神分析および行動予測を行う予測部として動作する。具体的には、CPU10は、被験者の音声信号から算出した複数の音声パラメータの値および測定された生理情報と、後述する生理と心と関係を示すモデルであるテンプレート(または生理感情モデル)とに基づいて、被験者の感情状態を分析し行動を予測する。CPU10は、その被験者の感情分析、精神分析、行動予測の結果を、表示装置15に表示する。CPU10には、一般的な中央演算装置を用いることができる。
The
記憶部11は、マイクロフォン2が受信した被験者の発話や医師との会話の音声信号の音声データ、生理測定装置4によって測定された被験者の生理情報のデータとともに、CPU10がそれらのデータに基づいて被験者の感情状態、精神分析、行動予測を行う行動予測プログラム、精神状態や本音などを分析するプログラムなどを記憶する。また、記憶部11には、後述するように、CPU10が行動予測を行うのに必要な主観感情テーブル(音声特徴テーブル)、各種生理情報の影響を受ける音声パラメータを生理情報毎に一覧にしたパラメータテーブル、これらテーブルに基づいて生成された各種判断木(ロジックテーブル)を記憶する。記憶部11に記憶されるデータ、プログラム、テーブル、判断木などは、バス14を介して、CPU10から適宜参照することができる。記憶部11には、一般的なハードディスク装置、光磁気ディスク装置などの記憶装置を選択して用いることができる。
The
メモリ12は、CPU10が処理する音声データ、生理情報、各種テーブルや判断木等のデータを一時記憶する。メモリ12には、揮発性メモリなどの半導体メモリを適宜選択して用いることができる。
The
表示装置15は、被験者に関する情報などを表示するとともに、被験者の感情状態、行動予測、精神状態、生理状態、本音などの分析結果を表示する。表示装置15には、一般的な液晶モニタなどを用いることができる。
The
入力装置16は、ユーザである医師または被験者からの要求や問い合わせの指示、診断結果などを受け付ける装置である。入力装置16には、キーボードやマウスなどをそれぞれ適宜選択して使用できる。
The
マイクロフォン2は、被験者などの音声を受信して電気信号である音声信号に変換し、コンピュータ1に出力する。コンピュータ1は、マイクロフォン2からの音声信号を受信して、記憶部11に記録する。CPU10が、演算部として、マイクロフォン2により取得された被験者の音声データを、FFTやウェーブレットなどの公知の解析方法を用いて、複数の音声パラメータ(F0など)(音声特徴量)の値を算出する。CPU10は、音声パラメータと後述する被験者の各種生理情報とを用い、脳の情動制御部位(辺縁系や視床下部など)と迷走神経で直結する声帯や音声特徴(声質にも関係する)を検出する。また、マイクロフォン2は、音声再生時などの場合において、記録された音声信号を音波として出力するスピーカとして動作する。
The
デジタルカメラ3は、被験者の顔を撮影し、撮影した画像データを、入出力I/F13を介して、コンピュータ1に送信する。コンピュータ1は、受信した画像データを記憶部11に記憶する。CPU10は、その画像データを表示装置15に表示し、被験者自身または医師に被験者の表情変化を観察させて、その観察結果を入力装置16を介して受け付け、記憶部11またはメモリ12に記録する。あるいは、CPU10は、その画像データを読み込み、公知の手法を用いて、顔認識して被験者の表情の心理的な属性を求めてもよい。本実施形態では、この表情変化、例えば、顔を顰めたり、瞬きや瞳孔の変化などの目の動き、首の傾きなども生理情報の1つとして用いる。これは、精神障害などの症状が表情に表れることによる。
The
生理測定装置4は、被験者を測定し複数の生理情報を取得する。生理測定装置4は、MRI、PET、血圧計、体温計などであり適宜選択して用いる。生理測定装置4は、取得した生理情報を入出力I/F13を介して、コンピュータ1に送信する。コンピュータ1は、受信した生理情報を記憶部11に記憶する。本発明の生理測定装置4が測定する生理情報は、呼気、脳活動、神経活動、レセプタ、向精神薬投与、内臓情報、眼球活動、心拍心電、内蔵、身体活動であるとする。
The
ここで、呼気に基づいて測定される生理情報には、オフスイッチ、タイミング、長さ、量、深呼吸がある。オフスイッチとは、呼吸と感情との関係は深いという研究報告があることから、公知の呼吸のオフスウィッチモデル(例えば、意図的に呼吸を止めていても、いつかは再開してしまう)に基づいて求まるものであり、そのオフスイッチと感情の性質(例えば、いつまでも怒っていられない)との比較を行う。タイミングは、呼吸の回数は心的要素にも影響を受けることから、これを測定する。また、ため息なども測定するため、タイミングは必要である。長さは、どの程度の呼吸状態かを知る必要があり、呼吸の長さや深さを測定する。量は、呼吸の質を知る必要があり、呼吸量を測定する。深呼吸は、深呼吸するとその間はネガティヴな感情を想起できなくなるという人間の特徴から、深呼吸を測定し深呼吸による感情のオフモデルをつくる。 Here, the physiological information measured based on exhalation includes an off switch, timing, length, amount, and deep breathing. Since there are research reports that the relationship between breathing and emotion is deeply related to off-switching, it is based on the known off-switch model of breathing (for example, even if breathing is intentionally stopped, it will resume someday) Compare the off switch with the nature of the emotion (for example, you can't be angry forever). Timing is measured because the number of breaths is also influenced by mental factors. In addition, timing is necessary to measure sighs and the like. The length needs to know how much the respiratory state is, and measures the length and depth of the breath. The quantity needs to know the quality of breathing and measures the breathing volume. Deep breathing measures the deep breath and creates an off-model of the emotion due to the deep breath from the human characteristic that when you take a deep breath, you cannot recall negative emotions during that time.
脳活動の生理情報は、感情発話時の脳の情動制御部位(辺縁系や視床下部・そのミラー反応など)の脳波やMRIなどによって測定される脳活動を指す。測定された脳活動とマイクロフォン2による音声の感情性反応やその他の生理情報との比較を行う。また、発話がない場合における情動活動も知る必要があり、本実施形態ではその場合の脳波や脳活動も測定する。なお、MRIなどによる測定時には、騒音軽減のために、非磁性マイクが防音マスクの中に装備され、自然呼吸ができるように新鮮な空気を供給する防音ホースが装備された装置をマイクロフォン2として用いて実施する。
Physiological information of brain activity refers to brain activity measured by brain waves, MRI, etc. of the emotional control part (limbic system, hypothalamus, mirror reaction, etc.) of the brain during emotional speech. The measured brain activity is compared with the emotional response of the voice by the
神経活動の生理情報は、一般的な公知の手法を用いて測定される交感神経や副交感神経の状態、各種神経の状態を指す。本実施形態では、測定されたそれら神経活動の生理情報を、マイクロフォン2による音声の感情性反応やその他の生理情報と比較する。なお、神経活動の生理情報は、心拍心電などの他の生理指標からも測定可能である。
Physiological information of nerve activity refers to the state of sympathetic nerves and parasympathetic nerves and various nerve states measured using a general known method. In the present embodiment, the measured physiological information of the neural activity is compared with the emotional response of the voice by the
レセプタの生理情報は、セロトニンや感情や呼吸などに関係する神経・レセプタの状態を指し、PETなどで測定される。そして、本実施形態では、レセプタの生理情報を音声の感情性反応やその他の生理反応と比較する。 The physiological information of the receptor indicates the state of the nerve / receptor related to serotonin, emotion, breathing, etc., and is measured by PET or the like. In this embodiment, the physiological information of the receptor is compared with the emotional response of voice and other physiological responses.
向精神薬投与の生理情報は、SSRI、精神安定剤、向精神薬、神経薬剤などに関する情報であり、本実施形態では、それらを投与する前後の状態と音声の感情性反応やその他の生理反応とを比較する。 Physiological information on psychotropic drug administration is information on SSRIs, tranquilizers, psychotropic drugs, neuropharmaceuticals, etc., and in this embodiment, the state before and after the administration of the psychotropic drug and the emotional reaction of voice and other physiological reactions And compare.
内臓情報の生理情報とは、人の内蔵活動を指す。例えば、セロトニンなどは腸に多く存在し、セロトニンのようなホルモンなどの影響が、腸の活動を介して、逆に脳にフィードバック(バイオフィードバックという)される場合がある。そこで、被験者の感情が、脳活動による影響か、腸などの内蔵活動による影響かを分析する必要があり、その他の要素をスクリーニングするために、生理測定装置4は内臓活動に関する生理情報を測定する。なお、本実施形態では、生理測定装置4として、例えば、超音波検査装置などを用い、内蔵活動として腸の活動を測定するものとする。
Physiological information of internal organs information refers to human built-in activities. For example, serotonin and the like are often present in the intestine, and the influence of a hormone such as serotonin may be fed back to the brain (called biofeedback) via the intestinal activity. Therefore, it is necessary to analyze whether the subject's emotion is an effect of brain activity or an internal activity such as the intestine. In order to screen for other factors, the
眼球活動の生理情報には、瞳孔、瞬き、眼球運動がある。瞳孔とは、興味を持つと瞳孔は開く、驚いても同様であるため、これを測定する。瞬きは、例えば、動揺や相手を意識した場合には多くなり、注意や関心がある場合には集中して少なくなるので、瞬きの回数の回数を測定する。本実施形態における眼球活動の測定は、例えば、デジタルカメラ3により撮影される被験者の顔の画像を見ながら、医師などにより行われる。
Physiological information on eyeball activity includes pupils, blinks, and eye movements. The pupil is opened when interested, and it is the same even if surprised. For example, the number of blinks increases when the user is conscious of shaking or the other party, and decreases when there is attention or interest, so the number of blinks is measured. The measurement of the eyeball activity in the present embodiment is performed by a doctor or the like while viewing the face image of the subject photographed by the
なお、本実施形態では、生理測定装置4が測定する生理情報は、呼気、脳活動、神経活動、レセプタ、向精神薬、内臓情報、眼球活動としたが、これに限定されない。例えば、心電、血液、唾液、排便・尿、体温、ホルモン、生体物質、伝達物質、遺伝子情報、発汗、皮膚電位を合わせて用いることが好ましい。これにより、より正確に、被験者の感情状態や行動予測などが可能となる。
In the present embodiment, the physiological information measured by the
ここで、心電の生理情報は、公知の一般的な手法により測定される、感情変化に伴う心拍変化や心臓活動の変化のことである。血液の生理情報は、うつ状態やストレスや病気の原因による感情変化を分析するために、実験前後および最中で採取された血液に関する情報である。唾液の生理情報は、ストレスやうつ状態を計測するために、実験の前後、最中に測定される唾液に関する情報である。排便・尿の生理情報は、食事状態や健康状態を測定するために、実験の直前に採取測定される。体温の生理情報は、体温変化による情動の影響、ストレスや感情の変化を知るために測定される体温の変化に関する情報である。発汗の生理情報は、緊張、ストレスや動揺などの反応が発汗にも出るため測定する。皮膚電位の生理情報は、緊張やストレスなどの反応が皮膚電位にも出るため測定する。 Here, the physiological information of the electrocardiogram is a change in heart rate or a change in heart activity accompanying an emotional change, which is measured by a known general method. The physiological information of blood is information about blood collected before, during, and during an experiment in order to analyze emotional changes caused by depression, stress, and illness. The saliva physiological information is information about saliva measured before, during and after the experiment in order to measure stress and depression. Physiological information on defecation and urine is collected and measured immediately before the experiment in order to measure dietary status and health status. Physiological information of body temperature is information about changes in body temperature that are measured in order to know the influence of emotion due to changes in body temperature, changes in stress and emotions. Physiological information on sweating is measured because reactions such as tension, stress and agitation appear in sweating. Physiological information on skin potential is measured because reactions such as tension and stress also appear on skin potential.
また、生体物質、伝達物質、遺伝子情報の生理情報とは、アドレナリン、ドーパミン、カフェインなどの生体物質と、興奮、ストレス、不安、うつなどの身体反応および情動との関係を一覧にしたものである。その生体物質、伝達物質、遺伝子情報の生理情報において、例えば、アドレナリンは、興奮、不安、闘争、恐怖などの情動や、心拍、瞳孔、交感神経などの身体反応と関係し、カフェインは、興奮やストレスの情動と関係することなどが示されている。 Physiological information such as biological substances, transmitters, and genetic information is a list of relationships between biological substances such as adrenaline, dopamine, and caffeine, and physical reactions and emotions such as excitement, stress, anxiety, and depression. is there. For example, adrenaline is related to emotions such as excitement, anxiety, struggle, and fear, and body reactions such as heartbeat, pupils, and sympathetic nerves. It is shown that it is related to the emotion of stress.
次に、本実施形態に係る行動分析装置100の動作について説明する。ただし、行動分析装置100の動作の説明の前に、その行動分析装置100の動作に必要となる、主観感情テーブル、パラメータテーブル、判断木とそれらの生成について説明する。 Next, the operation of the behavior analysis apparatus 100 according to the present embodiment will be described. However, before describing the operation of the behavior analysis apparatus 100, a subjective emotion table, a parameter table, a decision tree, and generation thereof necessary for the operation of the behavior analysis apparatus 100 will be described.
最初に、主観感情テーブルについて説明する。主観感情テーブルとは、複数の被験者(例えば、100名以上)が自身および他者が発した発話を聴いて、主観的に発話時点の感情を評価(本人確認または他者評価)し、その評価結果を発話単位毎に対応付けして一覧にしたものである。 First, the subjective emotion table will be described. A subjective emotion table is a method in which a plurality of subjects (for example, 100 or more) listen to utterances uttered by themselves and others, and subjectively evaluate emotions at the time of utterance (identity confirmation or others evaluation) The results are listed in association with each utterance unit.
具体的には、被験者の各々は、マイクロフォン2に向かって、自由に音声を発する。マイクロフォン2は、その発せられた音声を受信して、音声信号としてコンピュータ1に出力する。コンピュータ1は、受信した音声信号を音声データとして被験者毎に記憶部11に記録する。
Specifically, each of the subjects speaks freely toward the
CPU10は、入力装置16を介して、被験者より本人確認を行うためのアプリケーションのプログラムの起動指示を受け付ける。CPU10は、その起動指示に基づいて、アプリケーションを起動し、図2に示すような、自身の発話を聴いて主観的に感情を評価するためのユーザインタフェースを表示装置15に表示する。被験者は、自分自身の音声データのファイルを選択し再生の指令を、入力装置16を介して、CPU10に出力する。CPU10は、被験者自身の音声データを発話単位で再生する。被験者は、再生された自身の発話単位の音声を聴き、各発話に対して、主観的な快・不快評価、感情評価、興奮評価(感情の度合い)などを、入力装置16を用いて行う。例えば、被験者は、ある発話に対して、不快、怒り3や快、喜び2などのように評価する。CPU10は、被験者によるそれらの評価を受け付け、発話とそれに対する評価結果とを対応付けて記憶部11に記録する。
The
なお、図2は、感情評価として平常、怒り、喜び、哀しみ、不安、苦痛を表示したが、これに限定されず、それら以外の感情を有することが好ましい。また、それらの感情に対する感情の度合いである興奮評価は、1〜3としたがこれに限定されず、10段階評価などであってもよい。また、再生される発話は、時系列に沿って再生されてもよいが、シャッフルされてランダムに再生されるのが好ましい。さらに、過去に取得された発話や他の被験者の発話も含まれていてもよい。これにより、主観による評価であってもより安定した主観感情テーブルを取得することができる。また、発話単位だけでなく、連続の音声で再生されてもよい。連続の音声で再生されることにより、被験者自身が、その音声を発したときの状況を把握することが可能となり、その状況と合わせてその時の感情を判定することが可能となる。 Although FIG. 2 shows normality, anger, joy, sadness, anxiety, and pain as emotion evaluation, it is not limited to this, and it is preferable to have emotions other than those. Moreover, although the excitement evaluation which is the degree of the feeling with respect to those feelings was set to 1-3, it is not limited to this, A 10-step evaluation etc. may be sufficient. The utterances to be played may be played back in time series, but are preferably shuffled and played back at random. Furthermore, utterances acquired in the past and utterances of other subjects may be included. Thereby, even if it is evaluation by subjectivity, the more stable subjective emotion table can be acquired. Moreover, you may reproduce | regenerate by continuous audio | voice not only in a speech unit. By being played back with continuous voice, the subject himself / herself can grasp the situation when the voice is uttered, and the emotion at that time can be determined together with the situation.
次に、被験者は、例えば、上記アプリケーションを用いて、他の被験者の音声データを発話単位でランダムに再生させて他者評価する指令を、入力装置16を介して、CPU10に出力する。CPU10は、他の複数の被験者の音声データを発話単位にランダムに再生する。被験者は、再生された他者の音声を発話単位に聴き、各発話に対して、主観的な快・不快評価、感情評価、興奮評価(感情の度合い)を、入力装置16を用いて行う。CPU10は、被験者によるそれらの評価を受け付け、発話とそれに対する評価結果とを対応付けて記憶部11に記録する。
Next, a test subject outputs the instruction | command which reproduces another test subject's audio | voice data at random by speech unit, for example, using the said application, and evaluates others to the CPU10 via the
そして、CPU10は、上記本人確認および他者評価の結果のうち、主観に基づいた発話と感情とにおける安定した評価結果を取得するために、複数の被験者による評価結果のうち、発話とそれに対する評価結果とが80%以上一致したものを選び出して主観感情テーブルを生成する。
And in order to acquire the stable evaluation result in the speech and emotion based on subjectivity among the results of the above identity verification and other person evaluation, the
なお、本実施形態において、CPU10は、各被験者が、マイクロフォン2に向かって音声を発した後、どのような行動を取ったかの行動記録を、入力装置16を介してユーザである医師などから取得し、各被験者の音声データと対応付けて記憶部11に記録する。この行動記録は、後述する行動予測との比較や行動予測のパターンを導出するための試料となる。同時に、CPU10は、その時の天候、食事内容、体調など、感情や心理に影響を与える環境・状況の事前情報も、医師などから取得し、各被験者の音声データと対応付けて記憶部11に記録する。また、CPU10は、被験者が音声を発する際、周りの環境などの影響(バイアス)を受けていたか否かの認知影響の有無についても、医師などから取得し確認する。
In the present embodiment, the
さらに、本実施形態では、各被験者は、自身の音声データに基づく本人確認を、音声データ取得直後に行ったが、これに限定されず、翌日など時間を空けて行ってもよいし、1日などの所定の時間を空けて再度本人確認を行ってもよい。同様に、他者評価についても、所定の時間を空けて再度行うことが好ましい。これにより、より安定した主観感情テーブルを生成することができる。 Furthermore, in this embodiment, each subject has performed identity verification based on his / her voice data immediately after obtaining the voice data. However, the present invention is not limited to this. The user may be confirmed again after a predetermined time. Similarly, it is preferable to perform another person evaluation again after a predetermined time interval. Thereby, a more stable subjective emotion table can be generated.
次に、パラメータテーブルについて説明する。パラメータテーブルは、複数の被験者それぞれに発話させるとともに、生理測定装置4による上記各種生理測定を行い、発話の音声信号から算出される複数の音声パラメータと各種生理情報とを比較し、生理変化に応じて影響を受ける音声パラメータを、生理情報毎に一覧にしたものである。ただし、パラメータテーブルが主観感情テーブルの場合と異なる点は、被験者による発話が、自然な状態で感情が強く強調される状況下で行われることにある。すなわち、音声と感情、脳、神経系とは密接に関係しており、被験者に対して明らかに特定の感情が想起されるような状況下で行う。ここで、自然な状態で感情が強く強調される状況とは、「被験者を狭い部屋に入れる」、「体が動かないように固定する」、「知人などから被験者にとってあまり触れられたくない質問を受け付ける」、「被験者の感情が刺激されるような映像を見せたり小説を聞かせたりする」などのストレスが加えられた状況をいう。
Next, the parameter table will be described. The parameter table causes each of a plurality of subjects to speak, performs the various physiological measurements by the
なお、本実施形態では、自然な状態で感情が強く強調される状況には、通常の自由な状況も含まれる。すなわち、先に求めた主観感情テーブルも、複数のパラメータテーブルのうち主観の影響を受けるパラメータテーブルをなす。これにより、通常の場合での感情状態と、ストレスの状況下での感情状態との差を観ることが可能となる。 In the present embodiment, the situation where the emotion is strongly emphasized in a natural state includes a normal free situation. That is, the previously obtained subjective emotion table is also a parameter table that is subject to the subjective influence among the plurality of parameter tables. This makes it possible to see the difference between the emotional state in the normal case and the emotional state under the stress condition.
具体的には、被験者は、例えば、生理測定装置4を構成する血圧計や体温計などが装着されるとともに、fMRIなどの測定のために体が固定される。そのような状態で、デジタルカメラ3および生理測定装置4は、図3に示すようなタイムスケジュールに基づいて、被験者の各種生理情報を測定するとともに、マイクロフォン2は、被験者が自由に発する音声を受信する。マイクロフォン2は、受信した音声信号としてコンピュータ1に出力する。同時に、デジタルカメラ3は撮像した被験者の画像を、生理測定装置4は測定した被験者の各種生理情報をコンピュータ1にそれぞれ出力する。コンピュータ1は、受信した音声信号、画像、生理情報を被験者毎に記憶部11に記録する。
Specifically, for example, the subject is equipped with a blood pressure meter, a thermometer, or the like that constitutes the
ここで、図3に示すように、本実施形態のタイムスケジュールにおいて、デジタルカメラ3は、被験者が発話を開始する前から終了後まで、被験者の表情や眼球活動の生理情報を測定するために、被験者の顔を撮像する。同時に、生理測定装置4は、心電、皮膚電位、発汗、体温、呼気などの身体状態の測定を行う。さらに、医師などは、被験者の排泄物を実験の直前に採取測定して、食事状態や健康状態を確認するとともに、周りの環境の気温や天候などを、入力装置16を介して、各被験者の音声データと対応付けて記録部11に記録する。また、発話開始の前に、医師は、被験者に向精神薬投与の有無を確認し記録する。
Here, as shown in FIG. 3, in the time schedule of the present embodiment, the
また、本実施形態では、生理測定装置4は、発話開始後、上記身体状態の測定とともに、脳状態、神経状態、レセプタなどの神経活動の測定、および血液、唾液、内臓状態、ホルモンなどの内臓・内分泌系の測定を開始し、発話終了後まで行う。
In the present embodiment, the
なお、このような測定は、24時間行われるのが理想的であるが、例えば、最低1時間以上あればよい。ただし、1時間などの短い期間で測定を行う場合、起床時、各食事の前後、就寝時のそれぞれの期間において行われるのが好ましい。また、各測定は、ストレスのない通常の場合とストレスの状況下の場合とで行われてもよい。あるいは、起床時の測定は、例えば、通常の場合で、就寝時の測定は、ストレスの状況下の場合のように、各測定が異なる状況下でそれぞれ行われてもよい。さらに、ストレスの与え方も測定毎に変えて行われるのが好ましい。 Note that such measurement is ideally performed for 24 hours, but for example, it may be at least 1 hour. However, when the measurement is performed in a short period such as 1 hour, it is preferable that the measurement is performed at the time of getting up, before and after each meal, and at the time of going to bed. In addition, each measurement may be performed in a normal case without stress and in a stress situation. Alternatively, the measurement at the time of waking up may be performed in a different situation, for example, in a normal case, and the measurement at the time of going to bed may be performed in a different situation, such as in a stress situation. Furthermore, it is preferable that the method of applying stress is changed for each measurement.
上記測定後、医師などは、各被験者が、どのような行動を取ったかの行動確認を行い、各被験者の音声データと対応づけて記憶部11に記録する。同時に、医師は、認知影響が無いか否かも確認する。
After the measurement, the doctor or the like confirms the behavior of each subject, and records it in the
一方、CPU10は、上述したように、取得した音声信号を公知の手法(FFTやウェーブレットなど)で解析し、F0や周波数などの複数の音声パラメータの値を算出する。CPU10は、一般的な解析手法を用い、それら音声パラメータおよび各種生理情報の値の時間変化に基づいて、通常の状況やストレスの状況とかの環境に拘わらず、生理情報毎に、複数の音声パラメータのうち、その生理情報の影響を受ける音声パラメータを抽出し、抽出された音声パラメータからなるパラメータテーブルを生成する。例えば、体温が、所定の閾値以上で大きく変化した場合、CPU10は、その影響を大きく受けて変化した音声パラメータ(F0パワーや周波数の変位量Δf)を、体温という生理情報の影響を受ける音声パラメータとして抽出し、パラメータテーブルに付加する。
On the other hand, as described above, the
本実施形態では、神経活動の影響を受けるパラメータのパラメータテーブル、内蔵・内分泌系の影響を受けるパラメータのパラメータテーブルなどが生成され、記憶部11に記録される。これにより、感情の正確さという指標を取得することができ、抽象的な感情を定量化することができる。
In the present embodiment, a parameter table for parameters affected by nerve activity, a parameter table for parameters affected by the internal / endocrine system, and the like are generated and recorded in the
なお、音声パラメータの変化と生理情報の変化とは、実際にはタイムラグがある。したがって、そのタイムラグを考慮しつつ音声パラメータと生理情報との変化を捉えないといけない。 Note that there is actually a time lag between the change in voice parameters and the change in physiological information. Therefore, it is necessary to capture the change between the voice parameter and the physiological information while considering the time lag.
また、このようなパラメータテーブルの生成は、最低1ヶ月間の測定が必要である。好ましくは、四季などの変化に伴う感情変化も考慮する必要であることから、1年間の測定期間が理想的である。 In addition, the generation of such a parameter table requires a measurement for at least one month. Preferably, a measurement period of one year is ideal because it is necessary to consider emotional changes accompanying changes such as the four seasons.
また、被験者は、図2に示すユーザインタフェースを用いて、図3に示すタイムスケジュールで取得された音声データによる本人確認および他者評価を行ってもよい。これにより、より安定した主観感情テーブルを生成することができる。 In addition, the subject may perform identity verification and other person evaluation using the voice data acquired in the time schedule shown in FIG. 3 using the user interface shown in FIG. Thereby, a more stable subjective emotion table can be generated.
次に、主観感情テーブルを含む各種パラメータテーブルに基づいて、生成される各種感情クラス判定の判断木(ロジックテーブル)について説明する。 Next, a determination tree (logic table) for various emotion class determinations generated based on various parameter tables including a subjective emotion table will be described.
具体的には、CPU10は、入力装置16からのユーザ指示に基づいて、記憶部11から公知の判断木作成プログラムもしくは分析判定プログラムを読み込み起動する。CPU10は、記憶部11から主観感情テーブルを含む各種パラメータテーブルを読み込み、様々な生理情報および主観の組み合わせの判断木を生成する。すなわち、CPU10は、音声パラメータを生理根拠から来る群と主観から来る群とに分けて、主観評価から作られたロジックと、生理変化の影響を受ける音声パラメータとを独立させ、根源的感情や精神状態を表示する生理情報と認知影響も含む主観パラメータとの組み合わせの各種感情クラス判定の判断木を生成する。
Specifically, the
なお、本実施形態では、各種感情クラス判定の判断木を生成するにあたり、神経活動の影響を受けるパラメータテーブル、内蔵・内分泌系の影響を受けるパラメータテーブル、身体状態の影響を受けるパラメータテーブル、脳神経系と内蔵分泌系の影響を受けるパラメータテーブル、内蔵分泌系と身体反応との影響を受けるパラメータテーブル、神経、内蔵分泌系、身体反応の影響を受けるパラメータテーブル、主観の影響を受けるパラメータテーブル(主観感情テーブル)を用いるものとする。しかしながら、これに限定されず、例えば、神経活動の影響を受けるパラメータテーブル、内蔵・内分泌系の影響を受けるパラメータテーブル、身体状態の影響を受けるパラメータテーブル、主観の影響を受けるパラメータテーブル(主観感情テーブル)のみを用いて、判断木を生成してもよい。 In this embodiment, in generating a decision tree for various emotion class determinations, a parameter table affected by neural activity, a parameter table affected by the internal / endocrine system, a parameter table affected by the body condition, the cranial nervous system Parameter table affected by the internal secretion system, parameter table affected by the internal secretion system and body reaction, nerve, internal secretion system, parameter table affected by the body reaction, parameter table affected by the subjective (subjective emotion Table). However, the present invention is not limited to this. For example, a parameter table affected by nerve activity, a parameter table affected by the internal / endocrine system, a parameter table affected by body condition, a parameter table affected by subjective (subjective emotion table) ) May be used to generate a decision tree.
図4および図5は、感情クラス判定の判断木の一例を示す。図4は、心拍数と音声パラメータに基づいて、被験者の感情状態を判断する判断木を示す。図5は、音声パラメータのF0の高さおよびパワーに基づいて、被験者の感情状態を判断する判断木を示す。 4 and 5 show an example of a decision tree for emotion class determination. FIG. 4 shows a decision tree for judging the emotional state of the subject based on the heart rate and the voice parameters. FIG. 5 shows a judgment tree for judging the emotional state of the subject based on the height and power of the voice parameter F0.
以上により、主観感情テーブル、各種パラメータテーブル、各種判断木が生成される。そして、本実施形態の行動分析装置100は、これらを用いることにより、マイクロフォン2から入力される音声信号のみに基づいて、被験者の感情状態を診断することが可能となる。
Thus, the subjective emotion table, various parameter tables, and various decision trees are generated. And the behavioral analysis apparatus 100 of this embodiment can diagnose a test subject's emotional state only based on the audio | voice signal input from the
そこで、本実施形態に係る行動分析装置100の動作について、図6のフローチャートを参照しつつ説明する。 Therefore, the operation of the behavior analysis apparatus 100 according to the present embodiment will be described with reference to the flowchart of FIG.
例えば、医師などのユーザが、入力装置16を用いて、CPU10に行動分析プログラムの起動指令を送信する。CPU10は、その起動指令を受け付けると、記憶部11から行動分析プログラムを読み込み実行する。
For example, a user such as a doctor uses the
ステップS10:マイクロフォン2は、患者である被験者の音声の音声信号を取得する。マイクロフォン2は、音声の音声信号をコンピュータ1に出力する。なお、マイクロフォン2は、被験者とともに、ユーザである医師の音声も取得してもよい。
Step S10: The
ステップS11:コンピュータ1のCPU10は、受信した音声信号をFFTやウェーブレットなどで解析し、複数の音声パラメータの値を算出する。CPU10は、算出された音声パラメータおよび各種パラメータテーブルに基づいて、算出された音声パラメータに影響を与える神経活動などの生理情報の値を決定する。なお、本実施形態では、生理情報の値の決定において、CPU10は、医師などのユーザによる手動調整を受け付けて、生理情報の値を微調整できるのが好ましい。つまり、行動分析プログラムのようなアプリケーションでは捉えられない、被験者毎の個人差などに起因する音声信号の微妙な変化を捉え調整するのが好ましい。
Step S11: The
ステップS12:CPU10は、音声パラメータおよび決定した各種生理情報の値を、各種感情クラス判定の判断木に代入する。CPU10は、それら各種感情クラス判定の判断木に基づいて被験者の感情状態を判定し、その判定結果を表示装置15に表示する。
Step S12: The
本実施形態のCPU10は、表示装置15に、少なくとも、図7aに示すような内蔵影響度合い、および図7bに示すような身体反応影響度合いのグラフなどとともに、判定された被験者の感情状態およびそれに基づいて予測される行動を、図8に示すようなグラフィカルなテンプレートを用いて表示する。
The
ここで、図8は、各種感情クラス判定の判定木による各感情の発達の仕方を、同心円状のダイアグラムで示すテンプレートの一例を示す。図8に示すテンプレートは、中心に向かうに従い原始的な情動である「快」、「不快」からなる。一方、外周に向かうにつれて、より内側の情動に応じた行動のパターンが分布する。これにより、医師は、被験者の情動変化や精神状態を可視化して確認することができる。また、外周に向かって行動予測ができることから、被験者の行動と環境状況とを確認することにより、診察経過観察が可能になる。さらに、医師は、被験者の行動と中心部の情動変化分析との比較から精神分析、人格判定を行うことができる。 Here, FIG. 8 shows an example of a template that shows how emotions are developed by a decision tree for various emotion class determinations, as a concentric diagram. The template shown in FIG. 8 is composed of “pleasant” and “unpleasant” that are primitive emotions toward the center. On the other hand, behavior patterns corresponding to inner emotions are distributed toward the outer periphery. Thereby, the doctor can visualize and confirm a subject's emotional change and mental state. In addition, since the behavior can be predicted toward the outer periphery, the examination progress can be observed by confirming the behavior of the subject and the environmental situation. Furthermore, the doctor can perform psychoanalysis and personality determination from the comparison between the behavior of the subject and the emotional change analysis in the center.
なお、発明者は、本実施形態の行動分析装置100に様々な曲のデータを入力させることより、それらの曲を歌う歌手の感情状態の分析を行った。その結果、例えば、女性歌手による明るいバラードの曲の場合、行動分析装置100は、前向きな歌詞の部分では「喜び」の感情と判別し、力づける宣言のような歌詞の部分では「怒り」の感情と判別した。一方、男性歌手による落ち着いた曲の場合、行動分析装置100は、基本的に「平常」の感情しか判別されず、あまり感情の変化は見られなかった。 In addition, the inventor analyzed the emotional state of the singer who sings those music by inputting the data of various music into the behavior analysis apparatus 100 of this embodiment. As a result, for example, in the case of a bright ballad song by a female singer, the behavior analysis apparatus 100 discriminates the emotion of “joy” in the positive lyrics part, and the “angry” emotion in the lyrics part such as a declaration to strengthen. It was determined. On the other hand, in the case of a calm song by a male singer, the behavior analysis apparatus 100 basically discriminates only “normal” emotions, and changes in emotions were not seen much.
このように、本実施形態では、医師が直感的に患者の精神状態や感情変化をリアルタイムに把握することができ、生理指標と確実な主観評価手段によって、人の感情の真値が求められる。 Thus, in this embodiment, a doctor can intuitively grasp a patient's mental state and emotion change in real time, and a true value of a person's emotion is obtained by a physiological index and reliable subjective evaluation means.
また、主観感情テーブルを含む各種パラメータテーブル、各種感情クラス判定の判断木を用いて、被験者の感情状態を判定することにより、例えば、「お腹が痛い」と言っている被験者が、本当に痛いから痛いと言っている生理的(神経性)な原因によるものか、演技で言っているうつ的(心因性)な原因によるものかの判定が音声のみからできる。 Also, by determining the emotional state of the subject using the various parameter tables including the subjective emotion table and the decision tree for determining the various emotion classes, for example, the subject who says “the stomach hurts” hurts because it really hurts Whether it is due to a physiological (neurological) cause, or a depressive (psychogenic) cause of acting, can be determined from the voice alone.
また、本実施形態によれば、音声データに基づいて、容易に感情やストレスなどの精神状態の識別と、それの変化状態からくる行動予測、精神分析、本音、人格の推定、および生理指標との連携による医療レベルでの「心のレントゲン」としての精神分析と治療改善を行うことができる。
《第2の実施形態》
第2の実施形態に係る行動分析装置は、第1の実施形態の行動分析装置100と同じである。よって、図1に示す行動分析装置100を本実施形態に係る行動分析装置とし、各構成要素についての詳細な説明は省略する。
In addition, according to the present embodiment, based on voice data, it is easy to identify mental states such as emotions and stress, predict behaviors from the change state, psychoanalysis, real intention, personality estimation, and physiological indices Psychiatric analysis and treatment improvement as “X-ray of the heart” at the medical level by cooperation of
<< Second Embodiment >>
The behavior analysis apparatus according to the second embodiment is the same as the behavior analysis apparatus 100 according to the first embodiment. Therefore, the behavior analysis apparatus 100 shown in FIG. 1 is a behavior analysis apparatus according to the present embodiment, and a detailed description of each component is omitted.
第2の実施形態は、行動分析装置100による行動分析を、ユーザである医師が、患者である被験者に適用し、音声パラメータから被験者の精神状態要素の分析を行うとともに、同時にICD10やDSM4からの生理指標、医師の診断確認を行う。なお、本実施形態に係る行動分析装置100が、第1の実施形態のものと異なる点は、被験者毎に感情状態の判定をカスタマイズすることができる点にある。 In the second embodiment, a behavioral analysis by the behavioral analysis device 100 is applied to a subject who is a patient by a doctor as a user, and the mental state element of the subject is analyzed from voice parameters, and at the same time from the ICD10 and the DSM4. Physiological index, doctor's diagnosis confirmation. Note that the behavior analysis apparatus 100 according to this embodiment is different from that of the first embodiment in that the determination of the emotional state can be customized for each subject.
そこで、感情状態の判定のカスタマイズを含めた行動分析装置100の動作について、図9のフローチャートを参照しつつ説明する。 Therefore, the operation of the behavior analysis apparatus 100 including customization of emotion state determination will be described with reference to the flowchart of FIG.
なお、本実施形態に係る行動分析装置100の記憶部11には、一の実施形態で求めた主観感情テーブルを含む各種パラメータテーブルおよび各種感情クラス判定の判断木を予め有しているものとする。ただし、本実施形態の各種パラメータテーブルおよび各種感情クラス判定の判断木における、例えば、図4、5に示すような音声パラメータと生理情報および感情状態とを関係付ける度合いを示す閾値は、医師が、行動分析装置100を用いて、うつ病患者である被験者の特性(平常と悲しみの偏り)、そう患者の特徴(怒り・喜び軸での偏り)、人格障害(そう特徴・うつ特徴の同時計測)、不安神経症(不安・不快の偏り)などを、ICD10やDSM4などの医療規格に基づいて予め分析し、設定されているものとする。具体的には、医師が、ICD10やDSM4などの医療規格に基づいて、精神分析規格(臨床用)から欲しい分析項目を決め、「抑うつ」、「そう」、「不安神経症」、「人格障害」などを示す音声パラメータの閾値を導出する。あるいは、医師が、ICD10やDSM4などの医療規格に応じた各種質問を被験者に行うことにより、「抑うつ」「そう」、「不安神経症」、「人格障害」などを示す音声パラメータの閾値を導出し設定してもよい。
Note that the
ステップS101:CPU10は、表示装置15に感情は入らない台詞、例えば、「氏名・年齢」、「いろはにほへとににぬるをあか」や「ABCDEFGHIJK」などを表示して、被験者に発話させる。
Step S101: The
ステップS102:マイクロフォン2は、感情が入らない台詞の被験者による発話を受信する。マイクロフォン2は、受信した音声信号をコンピュータ1に送信する。CPU10は、受信した感情が入らない台詞の音声信号をFFTやウェーブレットなどで解析し、複数の音声パラメータの値を算出する。CPU10は、算出した音声パラメータの値および各種パラメータテーブルに基づいて、算出された音声パラメータに影響を与える神経活動などの生理情報の値を決定する。CPU10は、音声パラメータおよび決定した生理情報の値を、各種感情クラス判定の判断木に代入する。CPU10は、精神分析用の感情状態を判定し、その判定結果を出力する。
Step S102: The
ステップS103:CPU10は、表示装置15に、明るいイメージを想起させる、例えば、「いい天気だね」などの明るい表現の台詞を表示し、被験者に発話させる。同様に、CPU10は、悲しいイメージや怒りのイメージの台詞を表示装置15に表示し、被験者に発話させる。CPU10は、被験者によるそれぞれの台詞の音声信号に基づいて神分析用の感情状態を判定し、その判定結果を出力する。CPU10は、ステップS102およびステップS103の判定結果を表示装置15に表示し、医師に対して、被験者における精神分析用の感情状態の判定結果の状態遷移を示す。なお、状態遷移の表示として、図8に示すようなテンプレートを用いて行われることが好ましい。
Step S103: The
ステップS104:CPU10は、入力装置16を介して、テンプレートに基づいた医師による被験者の感情状態の状態遷移の観察結果を受け付け、「抑うつ」、「そう」、「不安神経症」、「人格障害」などの気分障害の度合いを測定し、被験者の基本精神状態を決定する。例えば、明るいイメージで基本的な感情状態よりも悲しい反応が多ければ、気分障害において「うつ」の度合いが測定される。また、悲しいイメージで明るい反応では「そう」の度合いが測定される。一方、常に「怒り」が多い場合や「そう」、「うつ」の度合いが同時に高いなどの反応の場合、パーソナリティ障害などを確認することができる。また、PTSDやトラウマの場合、情動の急激な変化や躁鬱(双極性反応)パーソナリティ障害反応などを同時にかつリアルタイムに検出される。
Step S104: The
図10a〜cは、「うつ」、「そう」、「統合失調型人格障害」それぞれにおけるテンプレートの表示の一例を示す。なお、テンプレートの内周の各情動の幅は、被験者における各情動の出現頻度と度合いとに応じて決定され、外周の各行動状態の幅は、被験者の情動および予測された行動と実際の行動との差に応じて決定される。そして、医師は、上記情動の幅および行動状態の幅を被験者毎に調節するために、「抑うつ」、「そう」、「不安神経症」、「人格障害」などの音声特徴に基づいて、被験者毎に各種パラメータテーブルや各種感情クラス判定の判断木における閾値を調整し設定することが好ましい。 FIGS. 10A to 10C show examples of template display in each of “depression”, “so”, and “schizophrenia personality disorder”. The width of each emotion on the inner periphery of the template is determined according to the appearance frequency and degree of each emotion in the subject, and the width of each behavior state on the outer periphery is determined based on the emotion of the subject, the predicted behavior, and the actual behavior. It is determined according to the difference. Then, in order to adjust the range of the emotion and the behavioral state for each subject, the doctor determines the subject based on the voice characteristics such as “depression”, “so”, “anxiety”, “personality disorder”, etc. It is preferable to adjust and set the threshold value in the decision tree for various parameter tables and various emotion class determinations.
また、感情状態の判定結果の状態遷移の表示は、基本感情状態・基本精神状態である「抑うつ」、「そう」、「不安神経症」、「人格障害(パーソナリティ障害)」などを、例えば、図11〜図14に示すような棒グラフ、度合い、または色などで表示してもよい。ここで、図11〜図14において、左チャンネルおよび右チャンネルは、被験者および医師それぞれの快・不快値、感情評価値、興奮値の時間変動を示す。図11は、健康な人の場合のサンプルを示す。図12は、裁判所指定人格障害者の治療済みの一例を示す。図13は、図12の裁判所指定人格障害者の治療前の状態を示す。図14は、度合いを数値で示す場合の一例を示す。また、図11〜図14において、トラウマ反応の表示、気分障害度合い、「抑うつ」、「そう」のリアルタイム変化が表示されてもよい。 In addition, the state transition display of the determination result of the emotional state includes “depression”, “so”, “anxiety”, “personality disorder (personality disorder)” which are basic emotional states / basic mental states, for example, You may display by a bar graph, a degree, or a color as shown in FIGS. Here, in FIGS. 11 to 14, the left channel and the right channel indicate temporal fluctuations of the pleasant / unpleasant value, emotion evaluation value, and excitement value of the subject and the doctor, respectively. FIG. 11 shows a sample for a healthy person. FIG. 12 shows an example of treatment of a person with a personality disorder designated by the court. FIG. 13 shows a state before treatment of the person with a personality disorder designated by the court in FIG. FIG. 14 shows an example when the degree is indicated by a numerical value. In addition, in FIGS. 11 to 14, the display of trauma reaction, the degree of mood disorder, “depressed”, and “real” changes in “so” may be displayed.
このように、本実施形態では、医師が直感的に患者の精神状態や感情変化をリアルタイムに把握することができ、生理指標と確実な主観評価手段によって、人の感情の真値が求められる。 Thus, in this embodiment, a doctor can intuitively grasp a patient's mental state and emotion change in real time, and a true value of a person's emotion is obtained by a physiological index and reliable subjective evaluation means.
また、主観感情テーブルを含む各種パラメータテーブル、各種感情クラス判定の判断木を用いて、被験者の感情状態を判定することにより、例えば、「お腹が痛い」と言っている被験者が、本当に痛いから痛いと言っている生理的(神経性)な原因によるものか、演技で言っているうつ的(心因性)な原因によるものかの判定が音声のみからできる。 Also, by determining the emotional state of the subject using the various parameter tables including the subjective emotion table and the decision tree for determining the various emotion classes, for example, the subject who says “the stomach hurts” hurts because it really hurts Whether it is due to a physiological (neurological) cause, or a depressive (psychogenic) cause of acting, can be determined from the voice alone.
さらに、ユーザである医師は、各種パラメータテーブルおよび各種感情クラス判定の判断木の閾値を、被験者毎に調整することができることから、より正確に人の感情の真値を求めることができる。 Furthermore, since the doctor who is a user can adjust the threshold values of various parameter tables and various emotion class determination trees for each subject, the true value of human emotion can be obtained more accurately.
また、音声データに基づいて、容易に感情やストレスなどの精神状態の識別と、それの変化状態からくる行動予測、精神分析、本音、人格の推定、および生理指標との連携による医療レベルでの「心のレントゲン」としての精神分析と治療改善を行うことができる。 In addition, based on voice data, it is easy to identify mental states such as emotions and stresses, predict behavior based on the change state, psychoanalysis, real intention, estimation of personality, and link with physiological indicators at the medical level. Psychoanalysis and treatment improvement can be performed as "mental X-ray".
また、求められる感情の値から、従来の時間遷移手法ではなく、時間変化とは関係なく精神状態要素を検出することができる。
《第3の実施形態》
第3の実施形態に係る行動分析装置は、第1の実施形態の行動分析装置100と同じである。よって、図1に示す行動分析装置100を本実施形態に係る行動分析装置とし、各構成要素についての詳細な説明は省略する。
Also, the mental state element can be detected from the required emotion value regardless of the time change, instead of the conventional time transition method.
<< Third Embodiment >>
The behavior analysis apparatus according to the third embodiment is the same as the behavior analysis apparatus 100 according to the first embodiment. Therefore, the behavior analysis apparatus 100 shown in FIG. 1 is a behavior analysis apparatus according to the present embodiment, and a detailed description of each component is omitted.
本実施形態に係る行動分析装置100は、第2の実施形態の行動分析装置と同様に、感情分析の結果を、生理と心と関係を示すモデルであるテンプレートに適用して、被験者の心理的特性(本音、人格、行動予測、精神分析など)を決定する。つまり、行動分析装置100は、双極性特徴(そう特徴、うつ特徴の時間遷移による交互検出)、パニック障害(平常からの不安や苦痛、人格障害特徴が混乱している状況)など時間遷移で見える精神状態を検出するとともに、ICD10やDSM4などの医療規格に合わせて閾値を分析設定し変化特徴を導出する。 Similar to the behavior analysis device of the second embodiment, the behavior analysis device 100 according to the present embodiment applies the result of emotion analysis to a template that is a model indicating the relationship between the physiology and the mind, and the psychological of the subject. Determine characteristics (real intention, personality, behavior prediction, psychoanalysis, etc.). In other words, the behavior analysis apparatus 100 can be seen with time transitions such as bipolar features (alternate detection by temporal transitions of so-called features and depression features), panic disorder (a situation in which anxiety and pain from normal, and personality disorder features are confused). While detecting the mental state, the threshold value is analyzed and set according to medical standards such as ICD10 and DSM4 to derive the change feature.
なお、本実施形態の主観感情テーブルを含む各種パラメータテーブル、および各種感情クラス判定の判断木は、第1の実施形態および第2の実施形態の場合と同様の手順で予め生成されるが、本実施形態の複数の被験者は、健常者と精神的な疾患を有する患者とから構成される点が、第1の実施形態および第2の実施形態の場合と異なる。 Note that the various parameter tables including the subjective emotion table of this embodiment and the decision tree for various emotion class determinations are generated in advance in the same procedure as in the first embodiment and the second embodiment. The subject of embodiment differs from the case of 1st Embodiment and 2nd Embodiment by the point comprised from the healthy subject and the patient who has a mental illness.
また、本実施形態の各種パラメータテーブルを生成するにあたり、医師が、各被験者に対して向精神薬を投薬する、すなわち投薬の影響を受けている点が、第1の実施形態および第2の実施形態の場合と異なる。つまり、CPU10は、向精神薬の投薬のフラグを付与し、被験者に発話させるとともに、デジタルカメラ3に撮像された画像から観測された被験者の表情変化、およびMRIなどを用いて測定された測定値の各種生理情報を用いて、本実施形態の各種パラメータテーブルおよび各種感情クラス判定の判断木を生成している。
Further, in generating the various parameter tables of the present embodiment, the point that the doctor dispenses a psychotropic drug to each subject, that is, is affected by the administration, is the first embodiment and the second implementation. Different from the case of form. That is, the
次に、本実施形態の行動分析装置100の動作について、図15のフローチャートを参照しつつ説明する。なお、本実施形態は、上述した第2の実施形態の被験者の基本精神状態の観察が長期間に亘って行われることを前提とする。 Next, operation | movement of the behavior analysis apparatus 100 of this embodiment is demonstrated, referring the flowchart of FIG. In addition, this embodiment presupposes that the test subject's basic mental state of 2nd Embodiment mentioned above is observed over a long period of time.
ステップS201:CPU10は、被験者の長期に亘って観察された基本精神状態を表示装置15に表示する。CPU10は、医師自身の判断基準に準じた期間のうち、被験者において、例えば、うつやそうなどの障害が所定の期間以上の長期に亘って確認されたか否かを医師に判定させ、入力装置16を介して、その判定結果を受け付ける。CPU10は、障害が所定の期間以上の長期に亘って確認されなかった場合(NO側)、被験者の基本精神状態は正常であると判定して行動分析の処理を終了する。一方、CPU10は、障害が所定の期間以上確認された場合、ステップS202(YES側)へ移行する。なお、医師自身の判断基準に準じた期間とは、医師自身の経験に基づいて決められる期間で、1時間、1日、1ヶ月、1年など、被験者の性格や状況などに応じて決められることが好ましい。また、本実施形態における所定の期間以上の長期とは、障害の内容や被験者毎に決まり、例えば、うつやそうの場合、およそ14日である。
Step S201: The
ステップS202:CPU10は、ステップS201における医師の判定結果に基づいて、「症状の度合い」を決定する。CPU10は、その結果を、例えば、図12〜14に示すように、被験者の双極性状態、パニック障害状態などの精神状態を棒グラフや色(属性)と量(度合い)とで表示装置15に表示する。
Step S202: The
ステップS203:CPU10は、生体物質、伝達物質、遺伝子情報の生理情報である生理比較マトリックスに基づいて、投薬の影響を受ける生理情報の値の変化をテンプレートに反映させ、表示装置15に表示する。
Step S203: The
ステップS204:CPU10は、表示装置15に感情は入らない台詞、例えば、「氏名・年齢」、「いろはにほへとににぬるをあか」や「ABCDEFGHIJK」などを表示して、被験者に発話させる。
Step S204: The
ステップS205:マイクロフォン2は、感情が入らない台詞の被験者による発話を受信する。マイクロフォン2は、受信した音声信号をコンピュータ1に送信する。CPU10は、受信した感情が入らない台詞の音声信号をFFTやウェーブレットなどで解析し、複数の音声パラメータの値を算出する。CPU10は、算出した音声パラメータの値および各種パラメータテーブルに基づいて、算出された音声パラメータに影響を与える神経活動などの生理情報の値を決定する。CPU10は、音声パラメータおよび決定した生理情報の値を、各種感情クラス判定の判断木に代入する。CPU10は、精神分析用の感情状態を判定し、その判定結果を出力する。
Step S205: The
ステップS206:CPU10は、表示装置15に、明るいイメージを想起させる、例えば、「いい天気だね」などの明るい表現の台詞を表示し、被験者に発話させる。同様に、CPU10は、悲しいイメージや怒りのイメージの台詞を表示装置15に表示し、被験者に発話させる。CPU10は、被験者によるそれぞれの台詞の音声信号に基づいて神分析用の感情状態を判定し、その判定結果を出力する。CPU10は、ステップS205およびステップS206の判定結果を表示装置15に表示し、医師に対して、被験者における神分析用の感情状態の判定結果の状態遷移を示す。なお、状態遷移を示す表示としては、図8に示すようなテンプレートで医師に示されることが好ましい。
Step S206: The
ステップS207:CPU10は、入力装置16を介して、テンプレートに基づいた医師による被験者の感情状態の状態遷移の観察結果を受け付け、「抑うつ」、「そう」、「不安神経症」、「人格障害」などの気分障害の度合いを測定し、被験者の基本精神状態を決定する。
Step S207: The
ステップS208:CPU10は、入力装置16からの医師の指示に基づいて、ICD10やDSM4などの医療規格に応じた各種質問を表示装置15に表示し、被験者に質問する。CPU10は、入力装置16を介して、質問に対する被験者からの回答を受け付ける。CPU10は、被験者の回答に応じてテンプレートを動的に変化させ、その変化を表示装置15に表示する。CPU10は、医師に、質問事項とそれに対する回答に応じたテンプレートの動的な変化を観察させて、トラウマやPTSDなどの人格判定をさせる。すなわち、測定される各種生理情報との関係性から脳や身体反応から来る情動(生理反応で確認できる感情要素)を本音とし、精神状態の時間的出現特徴と本音と質問事項との比較から、医師は、被験者の人格を推定することができる。CPU10は、医師による、被験者のサディストやマゾフィストなどの人格障害状態の診断結果を、入力装置16を介して受け付ける。
Step S208: The
ステップS209:CPU10は、ステップS208の人格判定とテンプレートの状態遷移に基づいて状況確認を行い、被験者の行動を予測する。つまり、CPU10は、医師による人格判定、検出されるリアルタイムの感情および精神状態の変化、それらに応じたテンプレートの状態遷移に基づいて、被験者の行動予測を行う。CPU10は、表示装置15に被験者の本音や人格とともに、予測された行動に対するコメントを表示する。例えば、医師が被験者をサディストと人格判定した場合、CPU10は、サディストであるならば、ある状況のとき喜びを感じるであろうと行動予測する。そして、CPU10は、医師から上記人格判定後に確認された被験者の実際の行動や感情状態を、入力装置16を介して、行動確認入力として受け付ける。そして、CPU10は、その被験者から喜び以外の感情状態が検出されるなど、テンプレートの標準的反応以外の反応が出た場合、その被験者は人格障害であると判定したり、表示装置15にアラートを表示したりすることが好ましい。
Step S209: The
ステップS210:CPU10は、予測された行動と行動確認入力とを比較するとともに、被験者に現れた情動の出現頻度および度合いを算出し、被験者毎により適したテンプレートとなるように、各種パラメータテーブルおよび各種感情クラス判定の判断木における閾値を調整する。すなわち、CPU10は、例えば、被験者をサディストであると判定したにも拘わらず、予測された行動と異なる行動や感情状態を被験者が示した場合、各種パラメータテーブルおよび各種感情クラス判定の判断木における閾値が、その被験者にとって最適ではないと判定する。CPU10は、判定結果に基づいて、各種パラメータテーブルおよび判断木の閾値を調節する。CPU10は、その閾値の調節に応じて、テンプレートにおける情動および行動状態それぞれの幅を調整する。これにより、行動分析装置100における行動予測の精度向上を図ることができる。
Step S210: The
このように、本実施形態では、医師が直感的に患者の精神状態や感情変化をリアルタイムに把握することができ、生理指標と確実な主観評価手段によって、人の感情の真値が求められる。 Thus, in this embodiment, a doctor can intuitively grasp a patient's mental state and emotion change in real time, and a true value of a person's emotion is obtained by a physiological index and reliable subjective evaluation means.
また、主観感情テーブルを含む各種パラメータテーブル、各種感情クラス判定の判断木を用いて、被験者の感情状態を判定することにより、例えば、「お腹が痛い」と言っている被験者が、本当に痛いから痛いと言っている生理的(神経性)な原因によるものか、演技で言っているうつ的(心因性)な原因によるものかの判定が音声のみからできる。 Also, by determining the emotional state of the subject using the various parameter tables including the subjective emotion table and the decision tree for determining the various emotion classes, for example, the subject who says “the stomach hurts” hurts because it really hurts Whether it is due to a physiological (neurological) cause, or a depressive (psychogenic) cause of acting, can be determined from the voice alone.
さらに、各種パラメータテーブルおよび各種感情クラス判定の判断木の閾値を、被験者に応じて調整し、テンプレートを変化させることにより、本音・人格・行動予測・時間遷移に基づいた被験者の精神分析をより正確に行うことができる。 Furthermore, by adjusting the thresholds of various parameter tables and judgment trees for various emotion class judgments according to the subject and changing the template, the subject's psychoanalysis based on real intention, personality, behavior prediction, and time transition can be more accurately performed. Can be done.
また、音声データに基づいて、容易に感情やストレスなどの精神状態の識別と、それの変化状態からくる行動予測、精神分析、本音、人格の推定、および生理指標との連携による医療レベルでの「心のレントゲン」としての精神分析と治療改善を行うことができる。
《第3の実施形態の変形例》
第3の実施形態の変形例に係る行動分析装置は、第1の実施形態の行動分析装置100と同じである。よって、図1に示す行動分析装置100を本実施形態に係る行動分析装置とし、各構成要素についての詳細な説明は省略する。
In addition, based on voice data, it is easy to identify mental states such as emotions and stresses, predict behavior based on the change state, psychoanalysis, real intention, estimation of personality, and link with physiological indicators at the medical level. Psychoanalysis and treatment improvement can be performed as "mental X-ray"
<< Modification of Third Embodiment >>
The behavior analysis apparatus according to the modified example of the third embodiment is the same as the behavior analysis apparatus 100 of the first embodiment. Therefore, the behavior analysis apparatus 100 shown in FIG. 1 is a behavior analysis apparatus according to the present embodiment, and a detailed description of each component is omitted.
本実施形態に係る行動分析装置100は、第3の実施形態の行動分析装置と基本的に同じであり、図15に示すフローチャートに従って処理動作を行う。ただし、本実施形態の行動分析装置100と第3の実施形態のものとの相違点は、下記の通りである。 The behavior analysis apparatus 100 according to the present embodiment is basically the same as the behavior analysis apparatus according to the third embodiment, and performs a processing operation according to the flowchart shown in FIG. However, the difference between the behavior analysis apparatus 100 of the present embodiment and that of the third embodiment is as follows.
1)ステップS206において、CPU10は、被験者における神分析用の感情状態の判定結果の状態遷移から、所定の演算子や判断木生成などの公知の一般的な手法を用い、生理情報が有する恒常性(例えば、血圧を一定に保とうとすること)のバランス状態を分析する。なお、所定の演算子とは、例えば、ある生理情報とその生理情報の影響を受け易い音声パラメータとの関係を線形に表現した演算子である。
1) In step S206, the
2)ステップS210において、CPU10は、被験者に対して予測された行動と実際の行動との比較、および上述のバランス状態の分析結果に基づいて、医師に被験者の障害判定を行わせる。CPU10は、判定された障害およびその障害におけるバランス変化の特徴の組み合わせを、テンプレートに反映させて記録する。そして、CPU10は、記録されたテンプレートに基づいて、各種パラメータテーブルおよび各種感情クラス判定の判断木における閾値を調整する。これにより、被験者の特性および医師の診断特性を反映したものとなる。なお、記録されたテンプレートおよび閾値の情報は、その被験者の情報として、カルテに記録されることが好ましい。
2) In step S210, the
また、CPU10は、上記被験者のテンプレートおよび閾値を他の被験者に適用し、医師により障害判定の診断において整合性が確認された場合、そのテンプレートおよび閾値の情報を、所定の障害の判定における基準データとして、重要度を引き上げる設定を行ってもよい。また、CPU10は、例えば、行動分析装置100がネットワークに接続されている場合、他の医師による診断結果を集計し、それらの診断結果に基づいて、所定の障害の判定の基準データを随時更新し、他の医師と共有されることが好ましい。
Further, the
このように、本実施形態では、医師が直感的に患者の精神状態や感情変化をリアルタイムに把握することができ、生理指標と確実な主観評価手段によって、人の感情の真値が求められる。 Thus, in this embodiment, a doctor can intuitively grasp a patient's mental state and emotion change in real time, and a true value of a person's emotion is obtained by a physiological index and reliable subjective evaluation means.
また、主観感情テーブルを含む各種パラメータテーブル、各種感情クラス判定の判断木を用いて、被験者の感情状態を判定することにより、例えば、「お腹が痛い」と言っている被験者が、本当に痛いから痛いと言っている生理的(神経性)な原因によるものか、演技で言っているうつ的(心因性)な原因によるものかの判定が音声のみからできる。 Also, by determining the emotional state of the subject using the various parameter tables including the subjective emotion table and the decision tree for determining the various emotion classes, for example, the subject who says “the stomach hurts” hurts because it really hurts Whether it is due to a physiological (neurological) cause, or a depressive (psychogenic) cause of acting, can be determined from the voice alone.
さらに、生理情報における恒常性のバランス状態と医師による障害判定とに基づいて、被験者に応じたテンプレートや、各種パラメータテーブルおよび各種感情クラス判定の判断木の閾値に調整することにより、本音・人格・行動予測・時間遷移に基づいた被験者の精神分析をより正確に行うことができる。 Furthermore, based on the balance state of homeostasis in physiological information and the failure determination by the doctor, by adjusting the template according to the subject, the thresholds of the decision tree for various parameter tables and various emotion class determinations, The subject's psychoanalysis based on behavior prediction and time transition can be performed more accurately.
また、音声データに基づいて、容易に感情やストレスなどの精神状態の識別と、それの変化状態からくる行動予測、精神分析、本音、人格の推定、および生理指標との連携による医療レベルでの「心のレントゲン」としての精神分析と治療改善を行うことができる。
《実施形態の補足事項》
(1)上記実施形態では、ユーザを医師などとしたが、本発明はこれに限定されない。例えば、被験者自身が、本発明を用いて、正常な精神状態となるまで繰り返し発話することにより、被験者自身が精神状態を改善するようにしてもよい。なお、この場合、被験者が、発話しながら自身の精神状態などの判定結果をリアルタイムに確認できるようにし、行動分析装置100に対する安心感および信頼性を得られるようにすることが好ましい。
In addition, based on voice data, it is easy to identify mental states such as emotions and stresses, predict behavior based on the change state, psychoanalysis, real intention, estimation of personality, and link with physiological indicators at the medical level. Psychoanalysis and treatment improvement can be performed as "mental X-ray".
<< Additional items of embodiment >>
(1) In the above embodiment, the user is a doctor or the like, but the present invention is not limited to this. For example, the subject himself / herself may improve the mental state by repeatedly speaking using the present invention until the normal mental state is reached. In this case, it is preferable that the subject can confirm the determination result such as his / her mental state in real time while speaking, and obtain a sense of security and reliability with respect to the behavior analysis apparatus 100.
また、行動分析装置100は、被験者自身の発話が徐々に変化するように誘導するアナウンスやコメントを表示し、被験者自身の声質を変えさせることにより、被験者自身が精神状態の変化を自己学習できるようにすることが好ましい。 In addition, the behavior analysis apparatus 100 displays announcements and comments that guide the subject's own utterance to change gradually, and changes the voice quality of the subject so that the subject can self-learn mental state changes. It is preferable to make it.
また、行動分析装置100は、被験者に対して、音声を再生して自己学習させたり、1週間毎や月毎に変化をレポートしたりすることにより、長期的改善へ誘導することが好ましい。これにより、今までに無い手法で作られたシステムを利用した音声発声からの精神状態の改善と処方箋の提示とを行うことができる。 Moreover, it is preferable that the behavior analysis apparatus 100 induces the subject to make a long-term improvement by reproducing the voice and self-learning the subject or reporting a change every week or every month. Thereby, it is possible to improve the mental state and present the prescription from voice utterance using a system made by a method that has never been made.
(2)上記実施形態では、生理感情モデルとして、図8に示すテンプレートを用いたが、本発明はこれに限定されず、ビオン・グリッドなど公知の他の生理感情モデルを用いてもよい。 (2) In the above embodiment, the template shown in FIG. 8 is used as the physiological emotion model. However, the present invention is not limited to this, and other known physiological emotion models such as Bion grid may be used.
また、図8に示すテンプレートにおける階層、情動および行動状態の数は、適宜変更することができる。すなわち、階層、情動および行動状態がより細分化されたテンプレートを用いてもよいし、より簡略化されたテンプレートを用いてもよい。 Further, the number of layers, emotions, and behavior states in the template shown in FIG. 8 can be changed as appropriate. That is, a template with a more detailed hierarchy, emotion, and action state may be used, or a more simplified template may be used.
(3)上記実施形態では、行動分析装置100として、図1に示す構成を有したが、本発明はこれに限定されない。例えば、マイクロフォン2を用いて、被験者の発話の音声信号から複数の音声パラメータを取得すると同時に、声帯が位置する被験者の首の部分に1つまたは複数のセンサを配置することにより、声帯の振動を新たな音声パラメータとして測定してもよい。あるいは、鼻などから光ファイバを通して、例えば、1000〜2000fpsで動画撮像可能なカメラで被験者の声帯を撮像し、直接声帯の形状の変化などを新たな音声パラメータとして測定してもよい。
(3) In the above embodiment, the behavior analysis apparatus 100 has the configuration shown in FIG. 1, but the present invention is not limited to this. For example, the
(4)上記実施形態では、精神分析、行動予測、行動分析などの心理カウンセリング、精神医療、一般医療における面接や処方へ適用した場合を示したが、本発明はこれに限定されない。例えば、行動分析装置をロボットや自動車へ適用、コールセンター、エンターテイメントやインターネットやケイタイ電話アプリケーションやサービス、検索システムへの応用、金融与信管理システムや行動予測、企業、学校、行政機関、警察や軍事、情報収集活動などでの情報分析、虚偽発見に繋がる心理分析、組織グループ管理への応用、組織の構成員、研究者や従業員、管理者などの心の健康や行動予測を管理するシステムへの応用、住居やオフィス、飛行機や宇宙船といった環境を制御するシステムへの応用、家族や友人の心の状態や行動予測を知るための手段や、音楽や映画配信への応用、一般的な情報検索・情報分析管理・情報処理への応用、顧客感性嗜好マーケット分析などへの応用、これらをネットワークやスタンドアローンで管理するシステムの応用等へ適用することも可能である。例えば、ロボットに適用する場合には、人の発話による人の感情状態及び行動予測に基づいて、それらに対応した発話や行動をしてもよい。また、自動車に適用する場合には、運転者の発話による運転者の感情状態及び行動予測に基づいて、それらに対応した注意喚起等を音声又は表示装置による表示を行ったり、自動車の操作を制限したりすることで、事故等を未然に防ぐようにしてもよい。 (4) In the above-described embodiment, the case where psychological counseling such as psychoanalysis, behavior prediction, and behavior analysis is applied to interviews and prescriptions in psychiatry and general medicine has been described, but the present invention is not limited thereto. For example, application of behavior analysis devices to robots and automobiles, call centers, entertainment, Internet and mobile phone applications and services, search systems, financial credit management systems and behavior prediction, companies, schools, government agencies, police and military, information Information analysis in collection activities, psychological analysis leading to false discovery, application to organizational group management, application to systems that manage mental health and behavior prediction of organizational members, researchers, employees, managers, etc. Application to systems that control the environment such as homes and offices, airplanes and spacecrafts, means to know the state of mind and behavior of family and friends, application to music and movie distribution, general information retrieval Application to information analysis management and information processing, application to customer sensibility preference market analysis, etc. It is also possible to apply to the application or the like of a system for managing in. For example, when applied to a robot, utterances or actions corresponding to the emotional state and behavior prediction of a person based on the person's utterance may be performed. In addition, when applied to a car, based on the driver's emotional state and behavior prediction based on the driver's utterance, a warning or the like corresponding to them is displayed by voice or a display device, or the operation of the car is restricted. By doing so, an accident or the like may be prevented in advance.
例えば、コールセンターの場合、行動分析装置100は、顧客の発話の音声信号を解析し、オペレータに対して、顧客の現在の精神状態および行動予測の結果を表示装置15に表示することにより、顧客が商品などに対して本当に問い合わせてきているのか、または単に嫌がらせできているのかの判別が可能となり、より適切な顧客対応が可能となる。
For example, in the case of a call center, the behavior analysis device 100 analyzes the voice signal of the customer's utterance and displays the customer's current mental state and the result of behavior prediction on the
(5)上記第3の実施形態では、第2の実施形態と連続して行われてもよく、その場合、ステップS204からステップS207を省略することが好ましい。 (5) In the said 3rd Embodiment, you may carry out continuously with 2nd Embodiment and it is preferable to abbreviate | omit step S204 to step S207 in that case.
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。 From the above detailed description, features and advantages of the embodiments will become apparent. It is intended that the scope of the claims extend to the features and advantages of the embodiments as described above without departing from the spirit and scope of the right. Further, any person having ordinary knowledge in the technical field should be able to easily come up with any improvements and modifications, and there is no intention to limit the scope of the embodiments having the invention to those described above. It is also possible to use appropriate improvements and equivalents within the scope disclosed in.
1 コンピュータ、2 マイクロフォン、3 デジタルカメラ、4 生理測定装置、10CPU、11 記憶部、12 メモリ、13 入出力I/F、14 バス、15 表示装置、16 入力装置、100 行動分析装置
DESCRIPTION OF
Claims (8)
前記音声信号から複数の音声特徴量を算出する演算手順と、
前記複数の音声特徴量と人の生理活動を示す複数の生理情報とを関係付けた第1テーブルに基づいて、算出された前記複数の音声特徴量から前記被験者における前記各生理情報の特徴量を決定し、前記複数の音声特徴量および前記各生理情報の特徴量と人の複数の感情状態とを関係付けた第2テーブルに基づいて、算出された前記複数の音声特徴量と決定された前記各生理情報の特徴量とから前記被験者における感情状態を判定し、判定された前記感情状態に基づいて前記被験者の行動を予測する予測手順と、
を備えることを特徴とする行動分析方法。 An input procedure for acquiring the speech of the subject as an audio signal;
A calculation procedure for calculating a plurality of audio feature values from the audio signal;
Based on the first table associating the plurality of voice feature quantities with a plurality of physiological information indicating physiological activities of a person, the feature quantities of the physiological information in the subject are calculated from the calculated voice feature quantities. And determining the plurality of sound feature amounts calculated based on the second table in which the plurality of sound feature amounts and the feature amounts of the physiological information are associated with a plurality of emotional states of a person. A prediction procedure for determining an emotional state in the subject from the feature amount of each physiological information, and predicting the behavior of the subject based on the determined emotional state ;
A behavior analysis method comprising:
前記予測手順は、判定された前記各感情状態の遷移、出現頻度および度合いに基づいて、前記被験者の行動を予測することを特徴とする行動分析方法。 The behavior analysis method according to claim 1 ,
The prediction procedure predicts the behavior of the subject based on the determined transition, appearance frequency, and degree of each emotional state .
前記予測手順は、人の感情状態と行動とを関係付けるモデルを用いて、判定された前記感情状態から前記被験者の行動を予測することを特徴とする行動分析方法。 The behavior analysis method according to claim 1 ,
The prediction procedure, using a model that relates the behavior and emotional state of a person, behavior analysis method characterized by predicting the behavior of the subject from the determined said emotional state.
前記入力手順は、前記予測手順による予測後に観察された前記被験者の行動結果を取得し、
前記予測手段は、予測結果と前記行動結果との比較に基づいて、前記第1テーブルにおける前記複数の音声特徴量と前記複数の生理情報との関係付けの度合い、および前記第2テーブルにおける前記複数の音声特徴量および前記各生理情報の特徴量と人の複数の感情状態との関係付けの度合いを調整する
ことを特徴とする行動分析方法。 The behavior analysis method according to any one of claims 1 to 3,
The input procedure obtains the behavior result of the subject observed after prediction by the prediction procedure,
The predicting means is based on a comparison between a prediction result and the action result , and a degree of association between the plurality of voice feature amounts in the first table and the plurality of physiological information, and the plurality in the second table . The behavioral analysis method characterized by adjusting the voice feature amount and the degree of association between the feature amount of each physiological information and a plurality of emotional states of the person.
前記予測手段は、前記被験者毎に前記度合いを調整することを特徴とする行動分析方法。 The behavior analysis method according to claim 4,
The prediction means adjusts the degree for each subject.
前記予測手段は、前記感情状態毎に前記度合いを調整することを特徴とする行動分析方法。 The behavior analysis method according to claim 4,
The behavior analysis method, wherein the prediction means adjusts the degree for each emotional state.
前記予測手順による前記被験者の生理活動および感情状態と予測結果とを表示する表示手順を備える
ことを特徴とする行動分析方法。 The behavior analysis method according to any one of claims 1 to 6, further comprising: a display procedure for displaying the subject's physiological activities and emotional states according to the prediction procedure, and a prediction result. .
前記音声信号から複数の音声特徴量を算出する演算部と、
前記複数の音声特徴量と人の生理活動を示す複数の生理情報とを関係付けた第1テーブルに基づいて、算出された前記複数の音声特徴量から前記被験者における前記各生理情報の特徴量を決定し、前記複数の音声特徴量および前記各生理情報の特徴量と人の複数の感情状態とを関係付けた第2テーブルに基づいて、算出された前記複数の音声特徴量と決定された前記各生理情報の特徴量とから前記被験者における感情状態を判定し、判定された前記感情状態に基づいて前記被験者の行動を予測する予測部と、
を備えることを特徴とする行動分析装置。 An input unit for acquiring the speech of the subject as an audio signal;
A calculation unit for calculating a plurality of audio feature values from the audio signal;
Based on the first table associating the plurality of voice feature quantities with a plurality of physiological information indicating physiological activities of a person, the feature quantities of the physiological information in the subject are calculated from the calculated voice feature quantities. And determining the plurality of sound feature amounts calculated based on the second table in which the plurality of sound feature amounts and the feature amounts of the physiological information are associated with a plurality of emotional states of a person. A prediction unit that determines an emotional state of the subject from the feature amount of each physiological information, and predicts the behavior of the subject based on the determined emotional state ;
A behavior analysis apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011109393A JP5714411B2 (en) | 2010-05-17 | 2011-05-16 | Behavior analysis method and behavior analysis device |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010113446 | 2010-05-17 | ||
JP2010113446 | 2010-05-17 | ||
JP2011109393A JP5714411B2 (en) | 2010-05-17 | 2011-05-16 | Behavior analysis method and behavior analysis device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012000449A JP2012000449A (en) | 2012-01-05 |
JP5714411B2 true JP5714411B2 (en) | 2015-05-07 |
Family
ID=45533111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011109393A Active JP5714411B2 (en) | 2010-05-17 | 2011-05-16 | Behavior analysis method and behavior analysis device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5714411B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190054501A (en) * | 2017-11-13 | 2019-05-22 | 주식회사 하가 | Apparatus for analyzing emotion of examinee, method thereof and computer recordable medium storing program to perform the method |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104363948B (en) * | 2012-06-15 | 2016-08-24 | 株式会社日立制作所 | Stimulate and present system |
US9500865B2 (en) * | 2013-03-04 | 2016-11-22 | Alex C. Chen | Method and apparatus for recognizing behavior and providing information |
JP5755791B2 (en) * | 2013-12-05 | 2015-07-29 | Pst株式会社 | Estimation device, program, operation method of estimation device, and estimation system |
JP6122816B2 (en) | 2014-08-07 | 2017-04-26 | シャープ株式会社 | Audio output device, network system, audio output method, and audio output program |
US10478111B2 (en) * | 2014-08-22 | 2019-11-19 | Sri International | Systems for speech-based assessment of a patient's state-of-mind |
JP6467966B2 (en) * | 2015-02-13 | 2019-02-13 | オムロン株式会社 | Health care assistance device and health care assistance method |
WO2016142393A1 (en) * | 2015-03-09 | 2016-09-15 | Koninklijke Philips N.V. | System, device and method for remotely monitoring the well-being of a user with a wearable device |
JP2017187915A (en) * | 2016-04-05 | 2017-10-12 | ソニー株式会社 | Information processing device, information processing method, and program |
JP6351692B2 (en) * | 2016-11-17 | 2018-07-04 | Cocoro Sb株式会社 | Display control device |
US10958742B2 (en) * | 2017-02-16 | 2021-03-23 | International Business Machines Corporation | Cognitive content filtering |
JP7265313B2 (en) * | 2017-07-12 | 2023-04-26 | パラマウントベッド株式会社 | medical support system |
GB2567826B (en) * | 2017-10-24 | 2023-04-26 | Cambridge Cognition Ltd | System and method for assessing physiological state |
JP2019148925A (en) * | 2018-02-26 | 2019-09-05 | 国立大学法人山口大学 | Behavior analysis system |
JP7174589B2 (en) * | 2018-10-10 | 2022-11-17 | 大和ハウス工業株式会社 | Health status determination system |
JP7249572B2 (en) * | 2018-12-17 | 2023-03-31 | 株式会社日立ソリューションズ東日本 | Unpleasant emotion estimation device |
CN110991654A (en) * | 2019-12-10 | 2020-04-10 | 电子科技大学 | Personalized machine learning mental stress analysis algorithm based on sleep and diet analysis |
JP6960193B1 (en) * | 2021-02-16 | 2021-11-05 | 株式会社World Life Mapping | Server equipment, systems, and programs |
CN117958763B (en) * | 2024-03-29 | 2024-05-31 | 四川互慧软件有限公司 | 360-Degree index detection method for patient based on time axis |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI981508A (en) * | 1998-06-30 | 1999-12-31 | Nokia Mobile Phones Ltd | A method, apparatus, and system for evaluating a user's condition |
JP3824848B2 (en) * | 2000-07-24 | 2006-09-20 | シャープ株式会社 | Communication apparatus and communication method |
JP2002073634A (en) * | 2000-09-05 | 2002-03-12 | Alpine Electronics Inc | Device for processing behavioral pattern |
JP3931889B2 (en) * | 2003-08-19 | 2007-06-20 | ソニー株式会社 | Image display system, image display apparatus, and image display method |
JP2005137896A (en) * | 2003-10-16 | 2005-06-02 | Sanyo Electric Co Ltd | Relaxation system, relaxation method and relaxation program |
JP5394118B2 (en) * | 2008-05-09 | 2014-01-22 | 株式会社Agi | Behavior analysis device and call center system |
-
2011
- 2011-05-16 JP JP2011109393A patent/JP5714411B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190054501A (en) * | 2017-11-13 | 2019-05-22 | 주식회사 하가 | Apparatus for analyzing emotion of examinee, method thereof and computer recordable medium storing program to perform the method |
KR102106517B1 (en) | 2017-11-13 | 2020-05-06 | 주식회사 하가 | Apparatus for analyzing emotion of examinee, method thereof and computer recordable medium storing program to perform the method |
Also Published As
Publication number | Publication date |
---|---|
JP2012000449A (en) | 2012-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5714411B2 (en) | Behavior analysis method and behavior analysis device | |
Giannakakis et al. | Review on psychological stress detection using biosignals | |
JP6124140B2 (en) | Assessment of patient cognitive function | |
JP2021500209A (en) | Systems and methods for determining physiological conditions | |
CN102149319B (en) | Alzheimer's cognitive enabler | |
WO2020119355A1 (en) | Method for evaluating multi-modal emotional understanding capability of patient with autism spectrum disorder | |
US20230320647A1 (en) | Cognitive health assessment for core cognitive functions | |
US20190313966A1 (en) | Pain level determination method, apparatus, and system | |
US20080045805A1 (en) | Method and System of Indicating a Condition of an Individual | |
WO2017069644A2 (en) | Wireless eeg headphones for cognitive tracking and neurofeedback | |
KR101854812B1 (en) | Psychiatric symptoms rating scale system using multiple contents and bio-signal analysis | |
CN109102862A (en) | Concentrate the mind on breathing depressurized system and method, storage medium, operating system | |
CN115517681A (en) | Method and system for monitoring mood fluctuation and evaluating emotional disorder state of MD (MD) patient | |
CN116807476A (en) | Multi-mode psychological health assessment system and method based on interface type emotion interaction | |
van den Broek et al. | Unobtrusive sensing of emotions (USE) | |
WO2004043259A1 (en) | Psychosomatic condition diagnosis system | |
JP3764663B2 (en) | Psychosomatic diagnosis system | |
Fortin et al. | Laughter and tickles: Toward novel approaches for emotion and behavior elicitation | |
WO2020209846A1 (en) | Pain level determination method, apparatus, and system | |
US20240008783A1 (en) | Method and system for sensor signals dependent dialog generation during a medical imaging process | |
KR20230112197A (en) | Method and apparatus for controlling anxiety using virtual reality | |
JP2022520211A (en) | Methods and systems for monitoring the level of non-pharmacologically induced modified state of consciousness | |
US20240293082A1 (en) | Integrated data collection devices for use in various therapeutic and wellness applications | |
US20230012989A1 (en) | Systems and methods for rapid neurological assessment of clinical trial patients | |
WO2023053267A1 (en) | Information processing system, information processing device, information processing method, and non-transitory computer-readable medium having program stored therein |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140814 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150310 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5714411 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |