JP5071850B2 - 認知状態判定装置 - Google Patents
認知状態判定装置 Download PDFInfo
- Publication number
- JP5071850B2 JP5071850B2 JP2007228058A JP2007228058A JP5071850B2 JP 5071850 B2 JP5071850 B2 JP 5071850B2 JP 2007228058 A JP2007228058 A JP 2007228058A JP 2007228058 A JP2007228058 A JP 2007228058A JP 5071850 B2 JP5071850 B2 JP 5071850B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- meta
- cognitive
- fractal dimension
- electroencephalogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000006998 cognitive state Effects 0.000 title claims description 51
- 230000000284 resting effect Effects 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000000926 separation method Methods 0.000 claims description 31
- 210000004556 brain Anatomy 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 20
- 230000035945 sensitivity Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 11
- 210000003478 temporal lobe Anatomy 0.000 claims description 11
- 230000001149 cognitive effect Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 46
- 239000010410 layer Substances 0.000 description 43
- 210000002569 neuron Anatomy 0.000 description 43
- 238000012360 testing method Methods 0.000 description 33
- 238000005259 measurement Methods 0.000 description 24
- 238000012030 stroop test Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 10
- 238000011160 research Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 238000012876 topography Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000007177 brain activity Effects 0.000 description 2
- 230000003925 brain function Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 238000013101 initial test Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
"脳波におけるカオスとフラクタル性",信学論,Vol. J78−A, No.2,pp. 161−168,(1995). "On the Chaosand Fractal Properties in EEG Data", Electronics andCommunications in Japan Part III−FundamentalsVol.78−10 pp27−36, (1995) "Chaos and Fractals inEngineering", World Scientific, Inc (1999). "フラクタル次元解析を用いた感情の定量化手法", 信学技報,HIP2002−12,pp.13−18, 2002. "光トポグラフィによる感性情報解析",信学論,Vol.J88−A,No.8,pp.994−1001. "脳波のフラクタル次元解析を用いたヒューマンインターフェースへの応用",信学技報,CAS2005−42,NLP2005−54,(2005).
まず、脳波計により得た「安静状態」と「メタ認知状態」での脳波にフラクタル次元解析を行い、思考状態によって違いに差異が見られることを確認した。その後、「安静」、「メタ認知」、「メタメタ認知」の3種類の思考状態を維持し、その脳波信号のフラクタル次元推定値を特徴量として、前述の感性フラクタル次元解析手法と同様の方法で認識処理を行い、それぞれの思考状態を識別できるか評価を行った。意図した思考状態を識別することできたことを確認後、ストループ試験を行い、思考状態が学習効果(試験の得点)に与える影響を評価した。ここで用いたストループ試験とは、様々な色で書かれた文字を見て、色に惑わされず色を示す漢字の意味を答える試験である。この試験は簡単な試験だが、色と意味が混同して出題されるため脳の中で葛藤が生じる。さらにこの試験は、慣れによって葛藤が生じにくくなるため、試験を繰り返すことにより成績が向上する学習効果を判断できる最適な試験である。
脳波測定装置は日本光電社製MEG−6116Mを使用した。測定データはA/D変換ボード(ComputerBoards社製PCM−DAS16S/16、A/D変換分解能16bits、チャンネル数16Ch)を通し、パーソナルコンピュータで記録を行った。測定時のサンプリング周波数を512Hzとし、1.5Hzのローカットフィルタおよび、100Hzのハイカットフィルタを設定した。また、商用電源に対するHUMフィルタを脳波測定時に使用した。測定部位は国際10−20電極法に基づき、1Ch〜16Chの単極測定とし、右耳朶A2を基準電極とした(図3)。測定は通常環境下での測定を行った。被験者は心身共に健康な44歳の男性で、メタ認知・メタメタ認知を修得し、脳波測定に関する基礎的な知識と被験者としの経験を持っている者である。
タスク中は「安静状態」、「メタ認知状態」、「メタメタ認知状態」の3種類の思考状態を維持する。試験は以下の手順で行う。
ストループ試験には「赤」、「青」、「緑」、「黄」4種類の色を用い、文字の色に関係なく文字の意味をコントローラを用いて答えていく方法である。1問あたりの回答時間は1秒、全16問を1セットとして各思考状態10回測定を繰り返す。10セット通じて意図した思考状態を維持し続けながら試験を行う。試験は以下の手順で行う。
フラクタル次元解析結果
脳波測定によって得られる16Chの脳波信号のうち、側頭葉に対応する7〜10Chの信号にフラクタル次元解析を施した結果の一例を図6に示す。なお、示す波形は、60秒間の安静の後、継続して120秒間安静状態を維持したもの(A)と、メタ認知状態へ思考を移行した結果(B)である。結果より、安静状態を維持している結果では、7〜10Chすべてのチャンネルで次元の変化が少ない。しかし安静状態からメタ認知へ思考を移行し始めてからフラクタル次元推定値が一様に下がり変化している。このことから、安静状態とメタ認知時の脳の変化をフラクタル次元解析により抽出できることが確認できる。このようにして得られたフラクタル次元推定値を特徴量として感性フラクタル次元解析を行い思考想起試験や、ストループ試験を行った。
リファレンスデータに対する解析結果
脳波測定によって得られる16Ch脳波信号の差分信号を求め、図6に示すようなフラクタル次元解析した120組(=16C2)の入力ベクトルを入力とし、3種類の思考状態(安静、メタ認知、メタメタ認知)について解析を行った。学習に用いたリファレンスデータを再入力した際の、時々刻々の割合を算出した結果を図7に示す。図7の結果は、(a)に安静、(b)にメタ認知、(c)にメタメタ認知の思考状態を行った時のそれぞれの思考状態対する出力の割合を示したものである。その結果、3つの思考状態に対し識別できていることが確認でき、状態分離マトリックスが正確に決定されていることが確認できる。(a)の安静状態では、安静(relax)の出力が+1に近く、(b)のメタ認知状態では、メタ認知(meta-cognition)の出力が+1に近く、(c)のメタメタ認知状態では、メタメタ認知(meta-meta-congnition)の出力が+1に近い状態になっている。なお一部でもマイナス方向の出力が出ている場合には、発現レベルを−1と考えることとする。
状態分離マトリックスを決定する際に用いていない、評価用データを入力データとしたとき時々刻々の出力に対する割合を図8に示す。図8の結果は、(a)に安静、(b)にメタ認知、(c)にメタメタ認知の思考状態を行ったときのそれぞれの思考に対する出力を示したものである。その結果60秒まで安静をした後、思考状態に安静を選択した際には、引き続き安静の出力が高く出ている事が確認できる。また、メタ認知、メタメタ認知状態へ変化させた際には60秒からそれぞれ意図した思考状態の出力が大きくなっていくことが確認できる。
思考状態に対する解析結果
実際に2種類の思考状態を保ちながらストループ試験を行った際に、学習効果に与える影響を検討した。思考想起試験と同様な解析を10回行った。そのとき同様な解析をした思考状態ごとの平均出力と、標準偏差の結果を図9に示す。この結果より、被験者は任意の思考状態を十分再現して保ちながらストループ試験を行えると言える。結果より、各思考状態で10回ずつ実験を行った際に十分に意図した思考状態で試験ができたといえる。
安静状態とメタ認知状態をそれぞれ保ち、52セットずつストループ試験を行った結果を図10に示す。図10(A)は安静状態における試験結果であり、図10(B)はメタ認知状態における試験結果である。図10の結果より、ストループ試験中の思考をメタ認知状態で行ったほうが得点のばらつきが少なく、且つ、より高得点側に分布している事が分かる。これにより、単純作業を繰り返して、慣れによって脳内の混乱が起きにくくなるようなストループ試験を行う場合、自己の行動をモニタリングし、修正していく事が学習効果に影響を及ぼす事が確認できた。
次に判定基準としてニューラルネットを利用した本発明の認知状態判定装置の他の実施の形態について説明する。図11はこの実施の形態の構成を示す図である。この実施の形態では、ニューラルネットNNの内部状態を決定する学習作業を事前に行って、ニューラルネットNNを構築する。図11に示したニューラルネットワークNNは、入力層11と、1以上の中間層12と、出力層13とを備えている。なおこの例では中間層12は1層である。入力層11は、r個(r前述の脳波差信号の組み合わせの数すなわち16C2=120)の自己アフィンフラクタル次元がそれぞれ入力される120個のニューロンn1〜n120からなる第1のニューロン群N1を含んでいる。また中間層12は、q(2×16C2=240)個のニューロンn201〜n440からなる第2のニューロン群N2を備えている。そして出力層13は、3個のニューロンn501〜n503からなる第3のニューロン群N3を備えている。第1のニューロン群N1を構成する120個のニューロンn1〜n120には入力パターン切り替え手段14の端子T1〜T120を介して後述する3種類の学習用入力パターンP1〜P3と入力信号ベクトルとが入力される。
2 脳波差信号演算手段
3 自己アフィンフラクタル次元演算手段
4 認知状態判定手段
5 記憶部
6 判定部
7 状態分離マトリックス決定手段
11 入力層
12 中間層
13 出力層
NN ニューラルネット
Claims (5)
- 被験者の脳の複数の領域のうち側頭葉を含む複数の領域から測定した複数の脳波信号から、順列組み合わせにより選択した複数組の2つの異なる前記脳波信号についてそれぞれ差信号を求め、これら差信号を複数の脳波差信号として出力する脳波差信号演算手段と、
前記脳波差信号演算手段から出力される前記複数の脳波差信号のそれぞれから、自己アフィンフラクタル次元を求める自己アフィンフラクタル次元演算手段と、
安静状態、メタ認知状態またはメタメタ認知状態に意図的になることができる基準者から得た前記安静状態、前記メタ認知状態及び前記メタメタ認知状態における前記複数の脳波信号をリファレンスデータとして用いて予め定めた判定基準に基づいて、前記自己アフィンフラクタル次元のデータを入力として、前記被験者が安静状態、メタ認知状態またはメタメタ認知状態のいずれにあるのかを判定する認知状態判定手段とを備えていることを特徴とする認知状態判定装置。 - 前記認知状態判定手段は、前記判定基準を記憶する記憶部と、前記判定基準と前記自己アフィンフラクタル次元のデータとに基づいて前記被験者が安静状態、メタ認知状態またはメタメタ認知状態のいずれにあるかを判定する判定部とを備え、
前記記憶部に記憶されている前記判定基準は、前記基準者から得た前記安静状態、前記メタ認知状態及び前記メタメタ認知状態における前記リファレンスデータとしての前記複数の脳波信号から前記複数の脳波差信号を演算し、該複数の脳波差信号のそれぞれから自己アフィンフラクタル次元を求め、前記安静状態、前記メタ認知状態及び前記メタメタ認知状態における前記自己アフィンフラクタル次元が前記判定部にそれぞれ入力されたときに、入力された前記自己アフィンフラクタル次元に対応する認知状態を前記判定部が正しく判定するように定められている請求項1に記載の認知状態判定装置。 - 前記判定部は、線形写像判別法により下記の判定式を用いて判定するように構成され、
- 状態分離マトリックス決定手段を更に備え、
前記状態分離マトリックス及び前記定数ベクトルは、任意に前記安静状態、前記メタ認知状態及び前記メタメタ認知状態を作ることができる前記基準者の脳の複数の領域のうち側頭葉を含む複数の領域から測定した複数の脳波信号から、順列組み合わせにより選択した複数組の2つの異なる前記脳波信号について、それぞれ脳波差信号を前記脳波差信号演算手段により求め、前記自己アフィンフラクタル次元演算手段により前記複数の脳波差信号のそれぞれから自己アフィンフラクタル次元を求めて、前記状態分離マトリックス決定手段により、前記自己アフィンフラクタル次元を前記判定式の入力信号ベクトルとして入力し、前記基準者が前記安静状態にあるとき、前記メタ認知状態にあるとき及び前記メタメタ認知状態にあるときに、それぞれ前記判定式の前記演算結果がそれらの状態を示すように事前に決定することを特徴とする請求項3に記載の認知状態判定装置。 - 前記認知状態判定手段は、判定基準としてニューラルネットを用いて認知状態を判定するように構成されており、
前記ニューラルネットはその内部状態が、前記基準者から得た前記安静状態、前記メタ認知状態及び前記メタメタ認知状態における前記複数の脳波信号から前記複数の脳波差信号を演算し、該複数の脳波差信号のそれぞれから自己アフィンフラクタル次元を求め、前記安静状態、前記メタ認知状態及び前記メタメタ認知状態における前記自己アフィンフラクタル次元を3種類の学習用入力パターンと定め、前記3種類の学習用入力パターンから所定時間幅間隔で規則正しくまたは不規則に選択した前記学習入力パターンのデータを順次入力として学習を行って決定されたものである請求項1に記載の認知状態判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007228058A JP5071850B2 (ja) | 2007-09-03 | 2007-09-03 | 認知状態判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007228058A JP5071850B2 (ja) | 2007-09-03 | 2007-09-03 | 認知状態判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009056231A JP2009056231A (ja) | 2009-03-19 |
JP5071850B2 true JP5071850B2 (ja) | 2012-11-14 |
Family
ID=40552520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007228058A Expired - Fee Related JP5071850B2 (ja) | 2007-09-03 | 2007-09-03 | 認知状態判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5071850B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103189817B (zh) | 2010-11-02 | 2016-08-24 | 日本电气株式会社 | 信息处理系统和信息处理方法 |
CN103815920B (zh) * | 2014-02-27 | 2015-09-09 | 首都医科大学 | 一种应用家用检测仪的检测方法 |
JP2018079294A (ja) * | 2016-11-08 | 2018-05-24 | 群馬電機株式会社 | 運動支援装置 |
KR102149179B1 (ko) * | 2017-12-04 | 2020-08-28 | 주식회사 로지브라더스 | Eeg 기반 학습 집중력파 검출 장치 및 방법 |
CN115500794B (zh) * | 2022-10-08 | 2023-04-28 | 南京邮电大学 | 一种识别主观认知下降的方法及电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6652283B1 (en) * | 1999-12-30 | 2003-11-25 | Cerego, Llc | System apparatus and method for maximizing effectiveness and efficiency of learning retaining and retrieving knowledge and skills |
JP3933568B2 (ja) * | 2002-12-18 | 2007-06-20 | 独立行政法人科学技術振興機構 | 脳機能計測装置 |
JP4590555B2 (ja) * | 2004-09-02 | 2010-12-01 | 国立大学法人長岡技術科学大学 | 感性状態判別方法及び装置 |
CN101331490A (zh) * | 2005-09-12 | 2008-12-24 | 埃默迪弗系统股份有限公司 | 心理状态的检测和使用心理状态的互动 |
-
2007
- 2007-09-03 JP JP2007228058A patent/JP5071850B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009056231A (ja) | 2009-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112137627B (zh) | 智能人因测评和训练方法及系统 | |
JP5448199B2 (ja) | 感性状態判定装置 | |
EP0699413B1 (en) | Apparatus and method for analyzing information relating to physical and mental condition | |
EP3474743B1 (en) | Method and system for detection and analysis of cognitive flow | |
US11123002B1 (en) | Brain matching | |
JP5071850B2 (ja) | 認知状態判定装置 | |
Liu et al. | Driving fatigue prediction with pre-event electroencephalography (EEG) via a recurrent fuzzy neural network | |
RU2441585C1 (ru) | Способ оценки уровня внимания оператора при компьютерном тестировании | |
JP2013178601A (ja) | 序列化装置、序列化方法及びプログラム | |
Mukherjee et al. | Detection of stress in human brain | |
Wang et al. | A CNN-based personalized system for attention detection in wayfinding tasks | |
Saputra et al. | K-Nearest Neighbor of Beta Signal Brainwave to Accelerate Detection of Concentration on Student Learning Outcomes. | |
Aksu et al. | Investigating the relationship between EEG features and n-back task difficulty levels with NASA-TLX scores among undergraduate students | |
Khodadadi et al. | Relationship between intelligence and reaction time; a review study | |
Sharan et al. | Detecting personality traits using inter-hemispheric asynchrony of the brainwaves | |
Sharma et al. | Quantification of Mental Workload Using a Cascaded Deep One-dimensional Convolution Neural Network and Bi-directional Long Short-Term Memory Model | |
JP3933568B2 (ja) | 脳機能計測装置 | |
Rajasekharan et al. | EEG-based Mental Workload Assessment using a Graph Attention Network | |
Jawed et al. | Differentiating between visual and non-visual learners using EEG power spectrum entropy | |
Jawed et al. | EEG visual and non-visual learner classification using LSTM recurrent neural networks | |
CN113065595A (zh) | 一种用于在线视频学习的基于眼动信号的情感识别方法 | |
Abdullah et al. | EEG Emotion Detection Using Multi-Model Classification | |
US20220054072A1 (en) | Brain Activation Matching | |
JP2021504068A (ja) | 認知機能の活動のリアルタイム測定のためのシステムおよびかかるシステムを較正する方法 | |
CN110693509A (zh) | 一种案件相关性确定方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100202 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100729 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5071850 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150831 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |