JP6628341B2 - 意思解読装置及び意思伝達支援装置 - Google Patents
意思解読装置及び意思伝達支援装置 Download PDFInfo
- Publication number
- JP6628341B2 JP6628341B2 JP2018511979A JP2018511979A JP6628341B2 JP 6628341 B2 JP6628341 B2 JP 6628341B2 JP 2018511979 A JP2018511979 A JP 2018511979A JP 2018511979 A JP2018511979 A JP 2018511979A JP 6628341 B2 JP6628341 B2 JP 6628341B2
- Authority
- JP
- Japan
- Prior art keywords
- stimulus
- event
- events
- target
- variance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims description 15
- 210000004556 brain Anatomy 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 38
- 230000000638 stimulation Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 8
- 230000001186 cumulative effect Effects 0.000 description 7
- 230000036992 cognitive tasks Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000007177 brain activity Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 210000004761 scalp Anatomy 0.000 description 4
- 208000016285 Movement disease Diseases 0.000 description 3
- 230000003935 attention Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241000282693 Cercopithecidae Species 0.000 description 2
- 206010061296 Motor dysfunction Diseases 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007659 motor function Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000010332 selective attention Effects 0.000 description 1
- 210000003863 superior colliculi Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0808—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Psychiatry (AREA)
- Neurology (AREA)
- Artificial Intelligence (AREA)
- Psychology (AREA)
- Radiology & Medical Imaging (AREA)
- Educational Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Educational Administration (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Business, Economics & Management (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Dermatology (AREA)
Description
本発明は、脳波を解析して意思決定を解読する解読装置、意思解読方法、該意思決定解読結果を用いた意思伝達支援装置、意思伝達支援システム、及びプログラムに関する。
近年、人の思考や行動と脳活動との関係性について様々な研究がなされ、脳活動などの生体信号に着目して外部機器を制御したり、他者に意思を伝達したりするＢｒａｉｎ−Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ（ＢＭＩ）技術が注目されている。
本発明者は、仮想意思決定関数を提案し、その計算方法を示した（非特許文献１参照）。非特許文献１では、サルの単一ニューロン活動を例にとって神経活動から二者択一の行動予測方法を示した。
また、本発明者は、脳活動の解析により意思を伝達できる意思伝達支援装置及び方法を提案した（特許文献１、２参照）。特許文献１、２の技術により、例えば、発話や書字の困難な運動障がい者、手足等による各種機器の入力操作が困難な重度の運動障がい者のために、意思伝達を支援できる。
また、本発明者は、健常者を含めた一般の被験者を対象として、脳波解析により脳内情報表現を地図的に示す手法を提案した（特許文献３参照）。また、本発明者は、脳波解析により、調査対象物を序列化する装置及び方法を提案した（特許文献４参照）。また、本発明者は、脳波解析により、被験者の認知機能を評価する装置及び方法を提案した（特許文献５参照）。
長谷川良平他「Single trial-based prediction of a go/no-go decision in monkey superior colliculus」Neural Networks 19(2006)1223−1232
脳卒中や神経難病の主症状である運動機能障害は、日常生活動作だけでなく、家族や介護者への意思伝達をも困難にする。そのため、残存運動機能に着目する従来の支援技術では、症状が全身に及ぶ重度の運動機能障がい者に対しては、有効でないことが多い。
また、脳波データを解析することにより、脳内における意思決定を解読するために、高速で高精度で解読できることが望まれている。本発明者は、重度の運動機能障がい者のコミュニケーション支援を目指し、脳と機械を直結するＢＭＩ技術として、特に頭皮上で計測される脳波に基づく意思伝達装置技術（「ニューロコミュニケーター」とも呼ぶ。）の提案をしてきた（特許文献１、２、３等参照）。ニューロコミュニケーターは、ユーザーの選択的注意を反映する事象関連電位に着目した脳内意思解読によって、パソコン画面上に表示された複数の絵カードのうちから１つ（標的）を選び、関連したメッセージを表出可能なシステムである。これまでの提案では、コンパクトな無線脳波計や樹脂製ヘッドギアを用いて高品質な脳波データを簡便に計測できることや、提案したアルゴリズムで高速・高精度で脳波から標的を解読できることを示した。
上述のニューロコミュニケーターを利用する前提として、各ユーザーに独特の脳波パターン（標的か非標的かによって異なる事象関連電位の時系列データ）を線形判別分析などのパターン識別手法によって解読するために、予測モデル式の重みづけ係数の値を最適化するためのデータ収集（以下「キャリブレーション」とも呼ぶ。）のプロセスが不可欠であった。
図６は、教師信号を必要とする従来の脳波解読の手順を説明する図である。図６に示すように、次のステップ（１）（２）（３）で脳波解読を行う。図６は刺激事象が８個の場合の例で説明した図である。
（１） 教師信号の有るデータを取得する工程。
複数の刺激事象のうちの１つを「標的」として被験者に指示しておき、複数の刺激事象を提示し、刺激事象に対する被験者の脳の反応として、脳波を計測する。図中（１）のように、刺激事象ＩＤ１〜８に対して、ＩＤ１が「標的」、それ以外は「非標的」として被験者が反応した脳波データ、ＩＤ２が「標的」、それ以外は「非標的」として被験者が反応した脳波データ、以下同様の脳波データを取得する。取得した脳波データは、指示された標的に対して被験者が標的として選択した際の脳波データと、指示された標的以外に対して被験者が示した脳波データとからなる。全ての刺激事象に対して「標的」と指示して、脳波データを取得する。該脳波データを、教師信号の有る脳波データとして使用する。
複数の刺激事象のうちの１つを「標的」として被験者に指示しておき、複数の刺激事象を提示し、刺激事象に対する被験者の脳の反応として、脳波を計測する。図中（１）のように、刺激事象ＩＤ１〜８に対して、ＩＤ１が「標的」、それ以外は「非標的」として被験者が反応した脳波データ、ＩＤ２が「標的」、それ以外は「非標的」として被験者が反応した脳波データ、以下同様の脳波データを取得する。取得した脳波データは、指示された標的に対して被験者が標的として選択した際の脳波データと、指示された標的以外に対して被験者が示した脳波データとからなる。全ての刺激事象に対して「標的」と指示して、脳波データを取得する。該脳波データを、教師信号の有る脳波データとして使用する。
（２） １種類のモデル式を作成する工程。
（１）で取得した教師信号の有る脳波データから、図中（２）で示すような判別モデル式（「判別関数」とも呼ぶ。）を作成する。脳波データは、刺激事象毎に、標的の場合の脳波データと、非標的の場合の脳波データとで、電極位置によるチャンネルや刺激後の経過時間によって異なっている。各チャンネルと刺激後の経過時間に応じて、判別分析の重み係数を求めることができる。図中、判別モデル式は、判別得点が正のとき第１クラス（標的）、負のとき第２クラス（非標的）に分ける判別関数である。ｙは判別得点である。
（１）で取得した教師信号の有る脳波データから、図中（２）で示すような判別モデル式（「判別関数」とも呼ぶ。）を作成する。脳波データは、刺激事象毎に、標的の場合の脳波データと、非標的の場合の脳波データとで、電極位置によるチャンネルや刺激後の経過時間によって異なっている。各チャンネルと刺激後の経過時間に応じて、判別分析の重み係数を求めることができる。図中、判別モデル式は、判別得点が正のとき第１クラス（標的）、負のとき第２クラス（非標的）に分ける判別関数である。ｙは判別得点である。
（３） 教師信号の無い新規データを解読する工程。
被験者に対して、標的を指示しないで、複数の刺激事象を提示して被験者の脳波を計測する。得られた、教師信号の無い脳波データについて、（２）で求めた判別モデル式を用いて、各刺激事象毎の判別得点を算出する。算出される判別得点のうちで、最大の判別得点を示す刺激事象を、刺激事象が脳内で意思決定された刺激事象であると、決定する。より解読の精度をあげるために、判別得点として、同じ刺激事象に対する累積した判別得点で実施する。
被験者に対して、標的を指示しないで、複数の刺激事象を提示して被験者の脳波を計測する。得られた、教師信号の無い脳波データについて、（２）で求めた判別モデル式を用いて、各刺激事象毎の判別得点を算出する。算出される判別得点のうちで、最大の判別得点を示す刺激事象を、刺激事象が脳内で意思決定された刺激事象であると、決定する。より解読の精度をあげるために、判別得点として、同じ刺激事象に対する累積した判別得点で実施する。
上述の工程（１）（２）はキャリブレーション工程である。キャリブレーション工程では、「システム側の指定する任意の絵カードを標的、それ以外の絵カードを非標的とする条件」をユーザーに提示し、その条件で各絵カードに対する事象関連電位を取得する。つまり、各脳波データが、標的に対するものか、非標的に対するものかの「教師信号」が存在する条件で、判別モデル式が１種類、生成されるのである。なお、システムからの指示で、絵カードに依存しないタグ付けを行うためにキャリブレーション途中で標的の絵カードを変更する場合があるが、その場合もシステム側の定義に応じて教師信号の内容（標的かどうか）が決定される。
キャリブレーションの具体例を説明する。キャリブレーション工程では、キャリブレーション後の意思解読の実施工程と同様の、画面に表示される複数の絵カード（例えば８種類の絵カード）を刺激対象として用いる。従来の手法では、被験者に対して、特定の絵カードを「標的」と指示した後、絵カードを順次提示する。絵カードは１種類ずつ、擬似ランダムで提示する。絵カード１種類ずつを擬似ランダムで１度ずつ提示する単位を「ブロック」と呼ぶ。ブロックを複数回繰り返す。同一の標的に対する刺激提示の繰り返しを「１ゲーム」と呼ぶ。通常、各ゲームの開始後、ユーザーは標的の提示回数を頭の中でカウントする作業を行う。これは標的に対する注意を促すためであるが、標的かどうかという観点からユーザーの注意が絵カードに対する維持される限り、必ずしもカウントは必要ではない。指示した標的を提示した直後の脳波データであるか、それ以外の非標的の提示直後の脳波データであるか、が区別されている脳波データを、「教師信号付き脳波データ」という。判別モデル式作成のために教師信号付き脳波データを用いる場合には、キャリブレーションのために数ゲームを実施する。各ゲームでは、実験者（システム側）が例えば８種類の絵カードのうち、１種類を標的と定義し、被験者（ユーザー側）に教示する。これにより自動的にそれ以外の７種類は非標的となる。数ゲーム分の刺激提示によって、判別モデル式の項目数との関係（項目数の多さに比例して必要なデータ数が増える）で十分なデータを取得後、判別モデル式の重みづけ係数を最適化する。通常、判別モデル式の出力が標的に対して正の値に、非標的に対して負の値になるように設定する。この一連の作業によって生成された判別モデル式を用いることにより、その後の（教師信号の無い）新規データに対する解読が可能となる。
キャリブレーションを予め行っておくことによって、キャリブレーション後の意思解読の実施工程で、ユーザーが標的を任意に選んだ時の脳波データのセット（教師信号が存在しない）に対しても、どの絵カードが標的であったのかが推定できることになる。
しかしながら、このようなモデル生成のためのキャリブレーションは、重度患者にとっては体力を消耗する余分なプロセスであり、このプロセスを省略できる手法の可能性を本発明者は検討してきた。
以上のように、従来の脳波解析による意思解読技術では、判別分析関数（判別モデル式）を作成するための脳波計測を必要とし、該計測により取得した脳波データに基づいて判別モデルを作成する工程（キャリブレーション工程）を必要としたので、脳波データの取得やそれに基づく判別モデル作成処理に、時間を要するという問題がある。一方、キャリブレーションのための脳波データを準備しないと、判別モデル式を作成することができないという問題がある。また、キャリブレーション工程を前提としないと、正確な脳内意思決定を解読できないという問題がある。
本発明は、これらの問題を解決しようとするものであり、事前の準備工程を必要としないで迅速で、かつ正確に、脳波を解析して意思決定を解読する解読装置、解読方法、解読システム、プログラム、並びに脳内意思決定解読結果を用いた意思伝達支援装置、意思伝達支援方法、意思伝達支援システム及びプログラムを提供することを目的とする。
本発明は、前記目的を達成するために、以下の特徴を有する。
（１） 本発明は、脳波を解析して意思を解読する意思解読装置であって、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定することを特徴とする。
（２） 前記（１）において、前記処理は、前記複数の刺激事象のうちの１つの刺激事象とその他の刺激事象とを判別する判別関数の判別モデル式を求めて前記１つの刺激事象の判別得点を算出する処理であり、得られた判別得点の値に基づき、前記分散が最も大きくなる刺激事象のクラス分けを特定することを特徴とする。
（３） 本発明は、意思伝達支援装置であって、前記（１）又は（２）記載の意思解読装置の解読結果を提示する提示部を備えることを特徴とする。
（４） 本発明は、刺激事象を提示する刺激事象提示装置と、脳波計と、該脳波計からの脳波データを処理する処理装置と、処理結果の提示装置とを、備える意思伝達支援システムであって、前記刺激事象提示装置は、複数の刺激事象を、それぞれ１回以上提示し、前記脳波計は、該刺激事象提示装置による刺激事象提示直後の脳波を計測し、前記処理装置は、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定し、前記提示装置は処理結果を提示することを特徴とする。
（５） 本発明は、脳波を解析して意思を解読する意思解読方法であって、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定することを特徴とする。
（６） 本発明は、プログラムであって、コンピューターを、複数の刺激事象を、それぞれ１回以上提示する刺激事象提示手段と、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定する処理手段と、特定された前記１刺激事象を提示する提示手段として機能させるためのプログラムである。
（１） 本発明は、脳波を解析して意思を解読する意思解読装置であって、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定することを特徴とする。
（２） 前記（１）において、前記処理は、前記複数の刺激事象のうちの１つの刺激事象とその他の刺激事象とを判別する判別関数の判別モデル式を求めて前記１つの刺激事象の判別得点を算出する処理であり、得られた判別得点の値に基づき、前記分散が最も大きくなる刺激事象のクラス分けを特定することを特徴とする。
（３） 本発明は、意思伝達支援装置であって、前記（１）又は（２）記載の意思解読装置の解読結果を提示する提示部を備えることを特徴とする。
（４） 本発明は、刺激事象を提示する刺激事象提示装置と、脳波計と、該脳波計からの脳波データを処理する処理装置と、処理結果の提示装置とを、備える意思伝達支援システムであって、前記刺激事象提示装置は、複数の刺激事象を、それぞれ１回以上提示し、前記脳波計は、該刺激事象提示装置による刺激事象提示直後の脳波を計測し、前記処理装置は、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定し、前記提示装置は処理結果を提示することを特徴とする。
（５） 本発明は、脳波を解析して意思を解読する意思解読方法であって、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定することを特徴とする。
（６） 本発明は、プログラムであって、コンピューターを、複数の刺激事象を、それぞれ１回以上提示する刺激事象提示手段と、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定する処理手段と、特定された前記１刺激事象を提示する提示手段として機能させるためのプログラムである。
本発明により、脳内意思決定解読のための事前の準備を必要としないで、脳波を解析することが可能になる。本発明により、脳内で意思決定される内容を、迅速にかつ高精度で解読できる。また、本発明の意思決定解読による解読結果を種々の手段により提示することにより、介助者等の第三者に意思伝達をすることが可能となる。
本発明は、健常者は勿論、運動障がい者等に対して、有効である。
本発明の実施形態について以下説明する。
本発明は、教師信号を必要としない脳波解読を行うものである。本発明の、教師信号が存在しない条件での脳波解読の原理について説明する。キャリブレーションを行わないにも関わらず、どの刺激が標的であるかを解読できる原理は、「標的刺激と関連した脳波データのクラスは、残り全ての非標的刺激と関連した脳波データのクラスの特徴と著しく異なるために、この組み合わせでクラス分けを行い特徴量の分散を調べた時の方が、他のどの組み合わせのクラス分けを行い特徴量の分散を調べたときよりも大きくなるはず」という仮説に基づく。この仮説に基づけば、標的と想定した刺激が本当に標的だった場合に、計測された脳波データに対する判別得点が他の場合に比べて高い傾向にあるはずである。なお、標的に与えられる判別得点の高さ以外にも、非標的となる残りの刺激の判別得点の平均値の低さに着目した解読、もしくは標的の判別得点の高さと非標的の判別得点の平均値の低さの両方に着目した解読を行うことも可能である。本願で用いる多変量解析では、脳波データを解析して、その脳波データの特徴量の分散を調べるために、脳波データに例えば判別分析を行って判別得点の分散を調べた。
本発明では、複数の刺激に対する脳波データから、複数の刺激のうちいずれの刺激が「脳内で意思決定が行われた場合の決定対象の刺激」であるかどうかを判別する。そのために、脳波データを、判別分析による判別得点により、「脳内で意思決定が行われた場合の決定対象の刺激」（例えば、判別得点が大）と「脳内で意思決定が行われた場合の決定対象の刺激以外の刺激」（例えば、判別得点が小）の２つの群に判別する。ここで、本発明では、例えば、判別モデル式を予め作成しておくのではなく、複数の刺激事象のうちの全てについて、刺激事象が脳内で意思決定された刺激事象と想定したときの他の刺激事象と判別するための判別モデル式を作成し、該判別モデル式により算出される判別得点のうちで、最大の判別得点を示す刺激事象を、脳内で意思決定された刺激事象であると、決定しようとするものである。
図１は、本発明の脳内意思決定を解読するための、脳波解読を説明する概略図である。本発明の実施形態では、図１に示すように、次のステップ（１）（２）（３）（４）で脳波による脳内意思決定を解読する。図１は、刺激事象が８個の場合の例である。
（１） 標的がどの刺激であるか不明のデータを計測する工程。
被験者に対して、標的を指示しないで、複数の刺激事象を提示して、刺激事象の提示に対する被験者の脳波を計測する。
被験者に対して、標的を指示しないで、複数の刺激事象を提示して、刺激事象の提示に対する被験者の脳波を計測する。
（２） 各刺激を標的と想定して複数の判別モデル式を生成する工程。
（１）で取得した、教師信号の無い脳波データから、図中（２）で示すように、判別モデル式を作成する。作成する方法は、従来と同じであるが、本実施形態では、教師信号が無いので、次のように各刺激を標的と想定して複数のモデル式を生成する。前記教師信号の無い脳波データを用いて、ＩＤ１を標的と想定し、それ以外は非標的として、判別モデル式（ＩＤ１標的想定）を作成する。前記教師信号の無い脳波データを用いて、ＩＤ２を標的と想定し、それ以外は非標的として、判別モデル式（ＩＤ２標的想定）を作成する。同様にして、判別モデル式（ＩＤ３標的想定）、・・・判別モデル式（ＩＤ８標的想定）と、８種類の判別モデル式を作成する。ここで、図中では簡略的に、判別得点ｙの式を同じに記載しているが、各脳波データに対する重みづけ係数ｗｉと定数項ｃは、各判別式で異なるものである。なお、ｙの式において、ｘはあるチャネルのある時点における脳波データ（電圧）の値である。ｘの種類はチャンネル数（被験者の頭部の頭皮上の複数の測定箇所における脳波データを得るので、測定箇所の数に応じたチャンネル数）とデータポイント（各刺激後の各時間窓）を掛け合わせた種類（ｎ）が存在する。
（１）で取得した、教師信号の無い脳波データから、図中（２）で示すように、判別モデル式を作成する。作成する方法は、従来と同じであるが、本実施形態では、教師信号が無いので、次のように各刺激を標的と想定して複数のモデル式を生成する。前記教師信号の無い脳波データを用いて、ＩＤ１を標的と想定し、それ以外は非標的として、判別モデル式（ＩＤ１標的想定）を作成する。前記教師信号の無い脳波データを用いて、ＩＤ２を標的と想定し、それ以外は非標的として、判別モデル式（ＩＤ２標的想定）を作成する。同様にして、判別モデル式（ＩＤ３標的想定）、・・・判別モデル式（ＩＤ８標的想定）と、８種類の判別モデル式を作成する。ここで、図中では簡略的に、判別得点ｙの式を同じに記載しているが、各脳波データに対する重みづけ係数ｗｉと定数項ｃは、各判別式で異なるものである。なお、ｙの式において、ｘはあるチャネルのある時点における脳波データ（電圧）の値である。ｘの種類はチャンネル数（被験者の頭部の頭皮上の複数の測定箇所における脳波データを得るので、測定箇所の数に応じたチャンネル数）とデータポイント（各刺激後の各時間窓）を掛け合わせた種類（ｎ）が存在する。
（３） 各モデル式が算出する、標的に対する累積判別得点を、比較する工程。
（１）で取得した、教師信号の無い脳波データについて、（２）で求めた判別モデル式（ＩＤ１標的想定）を用いて、各刺激事象毎の判別得点を算出する。算出される判別得点のうちで、最大の判別得点（以下「最大判別得点（判別モデル式（ＩＤ１標的想定））」と呼ぶ。）を示す刺激事象は、当然、標的と想定したＩＤ１である。同様に、（１）で取得した、教師信号の無い脳波データについて、（２）で求めた判別モデル式（ＩＤ２標的想定）を用いて、各刺激事象毎の判別得点を算出する。算出される判別得点のうちで、最大の判別得点（以下「最大判別得点（判別モデル式（ＩＤ２標的想定））」と呼ぶ。）を示す刺激事象は、当然、標的と想定したＩＤ２である。以下同様にして、各判別モデル式（ＩＤ３〜ＩＤ８標的想定）を用いて、最大判別得点（判別モデル式（ＩＤ３〜ＩＤ８標的想定））を求める。なお、より解読の精度をあげるために、判別得点として、同じ刺激事象に対する累積した判別得点で実施する。得られた最大判別得点（判別モデル式（ＩＤ１〜ＩＤ８標的想定））は、図中に、累積判別得点として、２５、１２、３８、・・２１と図示されている。累積判別得点を比較する。
（１）で取得した、教師信号の無い脳波データについて、（２）で求めた判別モデル式（ＩＤ１標的想定）を用いて、各刺激事象毎の判別得点を算出する。算出される判別得点のうちで、最大の判別得点（以下「最大判別得点（判別モデル式（ＩＤ１標的想定））」と呼ぶ。）を示す刺激事象は、当然、標的と想定したＩＤ１である。同様に、（１）で取得した、教師信号の無い脳波データについて、（２）で求めた判別モデル式（ＩＤ２標的想定）を用いて、各刺激事象毎の判別得点を算出する。算出される判別得点のうちで、最大の判別得点（以下「最大判別得点（判別モデル式（ＩＤ２標的想定））」と呼ぶ。）を示す刺激事象は、当然、標的と想定したＩＤ２である。以下同様にして、各判別モデル式（ＩＤ３〜ＩＤ８標的想定）を用いて、最大判別得点（判別モデル式（ＩＤ３〜ＩＤ８標的想定））を求める。なお、より解読の精度をあげるために、判別得点として、同じ刺激事象に対する累積した判別得点で実施する。得られた最大判別得点（判別モデル式（ＩＤ１〜ＩＤ８標的想定））は、図中に、累積判別得点として、２５、１２、３８、・・２１と図示されている。累積判別得点を比較する。
前記（２）と（３）の工程が、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして特徴量の分散を調べる処理を、全ての刺激事象に対して行う工程である。
（４） 判別得点が最大となる判別モデル式を提供した刺激事象がどれかを特定する工程。
（３）で求めた最大判別得点（判別モデル式（ＩＤ１〜ＩＤ８標的想定））のうち、最大となる判別モデル式を提供した刺激事象が、ＩＤ１〜ＩＤ８のうちのどれであるかを特定する。図１の例では、累積判別得点３８である刺激事象ＩＤ３を特定し、解読結果とする。解読結果（刺激事象ＩＤ３）を、脳内で意思決定された内容として、提示する。
（３）で求めた最大判別得点（判別モデル式（ＩＤ１〜ＩＤ８標的想定））のうち、最大となる判別モデル式を提供した刺激事象が、ＩＤ１〜ＩＤ８のうちのどれであるかを特定する。図１の例では、累積判別得点３８である刺激事象ＩＤ３を特定し、解読結果とする。解読結果（刺激事象ＩＤ３）を、脳内で意思決定された内容として、提示する。
前記（４）の工程が、特徴量の分散が最も大きくなる刺激事象のクラス分けを特定して該クラス分けにおける該刺激事象を前記意思と特定する工程である。
本発明では、脳活動、特に頭皮上で記録される脳波の種類である事象関連電位に着目して、刺激事象の提示に対する脳の反応性を分析する。具体的には、本発明の実施形態は、刺激事象提示、脳波計測、脳波データ解析、解析結果の提示の要素を含む。刺激事象として、画面に表示する視覚刺激、音声で提示する聴覚刺激、皮膚への振動等による触覚刺激、ほか味覚や嗅覚刺激が挙げられる。
図２は、本発明の実施形態における脳波解読装置を説明する図である。本発明の実施形態で用いる装置は、被験者（以下「ユーザー」ともいう。）用サブモニターと、被験者が装着する脳波計測用ヘッドギアと、刺激提示制御およびデータ解析用の処理装置（コンピューター等）とを備える。被験者用サブモニターの表示画面に被験者用の刺激事象を提示する。なお、刺激提示制御およびデータ解析用の処理装置（コンピューター等）と、被験者用サブモニターと、解読結果を提示する表示画面又は音声等出力装置とを、１つのコンピューターで実現できる。
（第１の実施の形態）
本実施の形態を図１〜５を参照して以下説明する。図２のような脳波解読装置を用いて解読を実施する。
本実施の形態を図１〜５を参照して以下説明する。図２のような脳波解読装置を用いて解読を実施する。
図３は、本実施の形態における、脳内意思決定解読用認知課題となる複数の刺激事象の提示と、これに対するユーザーの脳波の反応とを、時間経過と共に模式的に示す図である。図３に示すように、刺激事象（注意喚起事象、テスト刺激事象ともいう。）、例えば簡単な絵を１事象（１枚）ずつユーザーに提示する。これを見たユーザーの脳波を計測し、該脳波をコンピューター等の脳波解析処理装置により解析する。刺激事象は、記号、イラスト、絵、写真などである。これはユーザーが脳内意思決定の提示として利用したい内容により異なる。例えば、図３のように、「飲み物（が飲みたい）」「エアコン（をつけたい）」「寝返り（をしたい）」「トイレ（をしたい）」等の、ユーザーが希望する介助内容を表す絵カードの表示画面を用いる。
教師信号が無い状態での脳波解読が可能な認知課題の詳細を述べる。
例えば、８種類の絵カードの表示画面を刺激事象として用いる。認知課題が開始されると、絵カードが順次提示される。各絵カードの１回当たりの提示時間は２５０ミリ秒間とし、３７５ミリ秒のブランク後、別の絵カードを提示する。絵カード１種類ずつを擬似ランダムで１度ずつ提示する単位を「ブロック」と呼ぶ。ブロックを複数回繰り返す。同一の標的（ユーザーが脳内で設定している事象、ユーザーが脳内で意思決定している事象）に対する刺激提示の繰り返しを「１ゲーム」と呼ぶ。
ゲームの開始後、ユーザーは、標的の提示回数を頭の中でカウントする作業を行う。カウント作業は、標的に対する注意を促すためであるが、標的かどうかという観点からユーザーの注意が絵カードに対する維持される限り、必ずしもカウントは必要ではない。絵カードを一枚ずつ提示する方法以外にも、全絵カードを画面上に並べて提示し続けたうえで、何らかの手がかり刺激を用いて一つずつ注意付けを行う場合もある。例えば、瞬間的に絵カードの輝度を変えたり、言葉やイラストを絵カードに重ねて提示したりする。
本実施形態では、上述のように、ユーザーは、認知課題遂行中に、標的の提示回数を頭の中でカウントするが、標的・非標的の設定は自らの脳内でのみ行い、どの刺激が標的であるかどうかは実験者（システム側）に知らせる必要は一切無い。それにもかかわらず、キャリブレーションを行わずとも新規データの解読が可能となる。
計測により取得した脳波データを、図１ステップ（２）（３）（４）の工程により解析する。
実際の実験データを用いて、キャリブレーションを行わずに標的の解読ができることを次に示す。図４は、標的として想定する刺激を変えた時の、全刺激に対する累積判別得点の比較を示す図である。例えば、図４では、ＩＤ５の刺激を標的と想定し、それ以外の刺激を非標的としてクラス分けを行った際の判別モデル式を用いて、各ＩＤの判別得点を算出してみた。実験では複数のデータを累積した判別得点で比較した。黒丸を結ぶ細線の折れ線は、ＩＤ５をターゲット（標的）と想定して作成した判別モデル式で算出した、各ＩＤの判別得点を、プロットしたものである。その結果、当然のことながら、ＩＤ５の刺激に対する判別得点は、他のどの刺激に対してもよりも高くなる。一方、同様の解析を、ＩＤ２が標的と想定して行ってみると、ＩＤ２の判別得点が、他のどの刺激に対してよりもはるかに高くなっている。白丸を結ぶ太線の折れ線は、ＩＤ２をターゲット（標的）と想定して作成した判別モデル式で算出した、各ＩＤの判別得点を、プロットしたものである。さらに、判別モデル式（ＩＤ２標的想定）で算出した「最大判別得点（判別モデル式（ＩＤ２標的想定））」の値は、判別モデル式（ＩＤ５標的想定）で算出した「最大判別得点（判別モデル式（ＩＤ５標的想定））」の値よりも高くなっていることが分かる。
図５は、各刺激を標的とそれぞれ想定したときの、標的刺激に対する判別得点の比較を示す図である。全刺激に対して、図４に示したＩＤ２やＩＤ５と同様の解析を行い、標的と想定した刺激に対する判別得点どうしを比較してみると、やはりＩＤ２を標的として想定したときに判別得点（図中では縦軸「累積判別得点」）が最大になっている。実際、この脳波データは、ＩＤ−２を標的としてユーザーが設定していたものであった。解読に成功していたことが、実証された。
（第２の実施形態）
第１の実施の形態では、判別得点ｙの式として、ｘの種類はチャンネル数（被験者の頭部の頭皮上の複数の測定箇所における脳波データを得るので、測定箇所の数に応じたチャンネル数）とデータポイント（各刺激後の各時間窓）を掛け合わせた種類（ｎ）が存在する例で説明した。教師信号を必要としない解読法は、１ゲーム単位（複数ブロック）で即時に解読結果を求めることができる一方、判別モデル式の項目数を従来方式のままにすると、最適化に必要なデータ数が十分得られていない場合もある。そのような場合には、チャンネル平均を求めたり、主成分分析の第１〜２主成分を用いたりするなど、次元圧縮を行うことによってモデル式の項目数、すなわち重みづけの係数の種類を大幅に削減する。例えば、８種類の刺激（標的１種類と非標的７種類）を１０ブロック間で提示すると８０回の刺激提示が行われ、８０セット分のデータ系列が存在する。一方、各１セットのデータの構成要素が１チャンネル１５時点ずつの８チャンネル分、つまり計１２０個の電圧値であるとすると、モデルの項目数に対するデータ数が１倍未満の比率しかないために、モデルを作成することが不可能となる。そこで、チャンネル平均を用いることで項目数を８分の１（１５個）に減らすことができるために、比率も５．３となり、モデルの作成が可能となる。
第１の実施の形態では、判別得点ｙの式として、ｘの種類はチャンネル数（被験者の頭部の頭皮上の複数の測定箇所における脳波データを得るので、測定箇所の数に応じたチャンネル数）とデータポイント（各刺激後の各時間窓）を掛け合わせた種類（ｎ）が存在する例で説明した。教師信号を必要としない解読法は、１ゲーム単位（複数ブロック）で即時に解読結果を求めることができる一方、判別モデル式の項目数を従来方式のままにすると、最適化に必要なデータ数が十分得られていない場合もある。そのような場合には、チャンネル平均を求めたり、主成分分析の第１〜２主成分を用いたりするなど、次元圧縮を行うことによってモデル式の項目数、すなわち重みづけの係数の種類を大幅に削減する。例えば、８種類の刺激（標的１種類と非標的７種類）を１０ブロック間で提示すると８０回の刺激提示が行われ、８０セット分のデータ系列が存在する。一方、各１セットのデータの構成要素が１チャンネル１５時点ずつの８チャンネル分、つまり計１２０個の電圧値であるとすると、モデルの項目数に対するデータ数が１倍未満の比率しかないために、モデルを作成することが不可能となる。そこで、チャンネル平均を用いることで項目数を８分の１（１５個）に減らすことができるために、比率も５．３となり、モデルの作成が可能となる。
上記実施の形態等で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。
Claims (6)
- 脳波を解析して意思を解読する意思解読装置であって、
複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定することを特徴とする意思解読装置。 - 前記処理は、前記複数の刺激事象のうちの１つの刺激事象とその他の刺激事象とを判別する判別関数の判別モデル式を求めて前記１つの刺激事象の判別得点を算出する処理であり、
得られた判別得点の値に基づき、前記分散が最も大きくなる刺激事象のクラス分けを特定することを特徴とする請求項１記載の意思解読装置。 - 請求項１又は２記載の意思解読装置の解読結果を提示する提示部を備えることを特徴とする意思伝達支援装置。
- 刺激事象を提示する刺激事象提示装置と、脳波計と、該脳波計からの脳波データを処理する処理装置と、処理結果の提示装置とを、備える意思伝達支援システムであって、
前記刺激事象提示装置は、複数の刺激事象を、それぞれ１回以上提示し、
前記脳波計は、該刺激事象提示装置による刺激事象提示直後の脳波を計測し、
前記処理装置は、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定し、
前記提示装置は処理結果を提示することを特徴とする意思伝達支援システム。 - 脳波を解析して意思を解読する意思解読方法であって、
複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定することを特徴とする意思解読方法。 - コンピューターを、
複数の刺激事象を、それぞれ１回以上提示する刺激事象提示手段と、
複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定する処理手段と、
特定された前記１刺激事象を提示する提示手段として機能させるためのプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016081229 | 2016-04-14 | ||
| JP2016081229 | 2016-04-14 | ||
| PCT/JP2017/014383 WO2017179486A1 (ja) | 2016-04-14 | 2017-04-06 | 意思解読装置及び意思伝達支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2017179486A1 JPWO2017179486A1 (ja) | 2019-03-07 |
| JP6628341B2 true JP6628341B2 (ja) | 2020-01-08 |
Family
ID=60041499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018511979A Active JP6628341B2 (ja) | 2016-04-14 | 2017-04-06 | 意思解読装置及び意思伝達支援装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20200037911A1 (ja) |
| JP (1) | JP6628341B2 (ja) |
| WO (1) | WO2017179486A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7069716B2 (ja) * | 2017-12-28 | 2022-05-18 | 株式会社リコー | 生体機能計測解析システム、生体機能計測解析プログラム及び生体機能計測解析方法 |
| CN111752392B (zh) * | 2020-07-03 | 2022-07-08 | 福州大学 | 脑机接口中精准视觉刺激控制方法 |
| WO2024121115A1 (en) * | 2022-12-06 | 2024-06-13 | Stichting Radboud Universiteit | Processing of event-evoked physiological signals |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5083571A (en) * | 1988-04-18 | 1992-01-28 | New York University | Use of brain electrophysiological quantitative data to classify and subtype an individual into diagnostic categories by discriminant and cluster analysis |
| JP2004275619A (ja) * | 2003-03-19 | 2004-10-07 | Kumamoto Technology & Industry Foundation | 画像刺激−脳波意思伝達方法、及びそれに用いるシステム |
| US7117108B2 (en) * | 2003-05-28 | 2006-10-03 | Paul Ernest Rapp | System and method for categorical analysis of time dependent dynamic processes |
| JP4269827B2 (ja) * | 2003-07-02 | 2009-05-27 | 財団法人くまもとテクノ産業財団 | 画像刺激−脳波意思伝達方法 |
| US20100145215A1 (en) * | 2008-12-09 | 2010-06-10 | Neurofocus, Inc. | Brain pattern analyzer using neuro-response data |
| WO2011105000A1 (ja) * | 2010-02-25 | 2011-09-01 | パナソニック株式会社 | 脳波インタフェースシステム、脳波インタフェース提供装置、脳波インタフェースの実行方法、および、プログラム |
| JP5544620B2 (ja) * | 2010-09-01 | 2014-07-09 | 独立行政法人産業技術総合研究所 | 意思伝達支援装置及び方法 |
| JP5472746B2 (ja) * | 2010-09-28 | 2014-04-16 | 独立行政法人産業技術総合研究所 | 意思伝達支援装置及び方法 |
-
2017
- 2017-04-06 JP JP2018511979A patent/JP6628341B2/ja active Active
- 2017-04-06 US US16/094,637 patent/US20200037911A1/en active Pending
- 2017-04-06 WO PCT/JP2017/014383 patent/WO2017179486A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017179486A1 (ja) | 2017-10-19 |
| JPWO2017179486A1 (ja) | 2019-03-07 |
| US20200037911A1 (en) | 2020-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Epileptic seizure prediction with multi-view convolutional neural networks | |
| EP2613222B1 (en) | Apparatus and method to determine a decision of a user based on brain wave analysis | |
| JP6404239B2 (ja) | 認知機能評価装置、認知機能評価装置の作動方法、システム及びプログラム | |
| US20170344706A1 (en) | Systems and methods for the diagnosis and treatment of neurological disorders | |
| Hosseini et al. | Emotion recognition method using entropy analysis of EEG signals | |
| US20050277813A1 (en) | Brain state recognition system | |
| JP6472144B2 (ja) | 脳波による類似度の評価方法、評価装置、評価システム及びプログラム | |
| WO2014150684A1 (en) | Artifact as a feature in neuro diagnostics | |
| RU2711976C1 (ru) | Способ дистанционного распознавания и коррекции с помощью виртуальной реальности психоэмоционального состояния человека | |
| JP6628341B2 (ja) | 意思解読装置及び意思伝達支援装置 | |
| WO2016080366A1 (ja) | 脳波による認証装置、認証方法、認証システム及びプログラム | |
| KR101854812B1 (ko) | 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템 | |
| CN109715049A (zh) | 用于创伤性脑损伤的多模态生理刺激和评估的协议和签名 | |
| Ehrlich et al. | When to engage in interaction—And how? EEG-based enhancement of robot's ability to sense social signals in HRI | |
| JP2023530501A (ja) | 視覚的処理の行動に関する及び／又は電気生理学的な測定を用いて脳の健康状態を評価する方法 | |
| KR20220028967A (ko) | 뉴로피드백 기반의 치료 장치 및 치료 방법 | |
| KR100341080B1 (ko) | 뇌기능 장애 검사/평가/훈련 시스템 | |
| Liu et al. | EEG-based emotion estimation using adaptive tracking of discriminative frequency components | |
| Cecotti et al. | Suboptimal sensor subset evaluation in a p300 brain-computer interface | |
| Bhattacharyya et al. | Motor imagery-based neuro-feedback system using neuronal excitation of the active synapses | |
| Ivanitsky | Individual stable patterns of human brain rhythms as a reflection of mental processes | |
| Asensio-Cubero et al. | A study on temporal segmentation strategies for extracting common spatial patterns for brain computer interfacing | |
| Martinez et al. | EmoBurnout: An approach for supporting burnout syndrome diagnosis | |
| Orhanbulucu et al. | Detection of amyotrophic lateral sclerosis disease from event-related potentials using variational mode decomposition method | |
| Rivera et al. | Prototype interface for detecting mental fatigue with eeg and xai frameworks in industry 4.0 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191128 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6628341 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |