JP6203324B1 - 認知状態推定システム及び認知状態推定方法 - Google Patents
認知状態推定システム及び認知状態推定方法 Download PDFInfo
- Publication number
- JP6203324B1 JP6203324B1 JP2016082809A JP2016082809A JP6203324B1 JP 6203324 B1 JP6203324 B1 JP 6203324B1 JP 2016082809 A JP2016082809 A JP 2016082809A JP 2016082809 A JP2016082809 A JP 2016082809A JP 6203324 B1 JP6203324 B1 JP 6203324B1
- Authority
- JP
- Japan
- Prior art keywords
- estimation
- state
- learning
- unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
Description
[1.システム全体の構成例]
図1は、本例のシステム全体の構成を示す。図1に示すように、本例のシステムは、データ処理を実行する端末装置100を備える。端末装置100は、例えばコンピュータ装置で構成され、後述する学習処理や推定処理を実行するためのプログラム(ソフトウェア)を実行することにより、脳電図のデータから認知状態を推定するための学習処理及び推定処理を行う。
端末装置100には、各種パラメータなどを入力する入力装置10と、MRI装置20と、脳波計30と、データベース部40と、表示装置50とが接続されている。
データベース部40は、学習用の脳画像及び脳電図を使って得た変換用のデータなどを記憶する。
表示装置50は、端末装置100での演算処理で得られた結果(学習結果や推定結果)を表示する。
図2は、本例の端末装置100の詳細構成例を示す機能ブロック図である。
端末装置100は、計算処理を実行する処理部として、関数学習部101と推定処理部108とを備える。
端末装置100の画像取り込み部102は、MRI装置20から供給される学習用fMRI画像データ21を取り込み、取り込んだfMIR画像データを成分分析処理部103に供給する。成分分析処理部103は、供給されるfMIR画像データの成分分析処理を行い、成分分析結果を関数学習部101に供給する。
関数学習部101で得た関数学習処理結果は、データベース部40に格納される。また、関数学習部101で得た関数学習処理結果は、学習結果出力部111から表示装置50に供給され、表示装置50の学習結果表示部51に表示される。
次に、図3のフローチャートを参照して、関数学習部101が、fMRI画像データ21と学習用EEGデータ31との関数学習処理を行う際のアルゴリズムを説明する。
まず、関数学習部101は、学習用パラメータ入力部11から、学習用パラメータとして、時間遅れτ、最大埋め込み次元dmax、近傍点数k、及び計測対象者の情報などを含む計測条件のデータを取得する(ステップS11)。
ここでは、関数学習部101は、時刻tにおける、学習用EEGデータ31から得られる認知状態の値をxt、fMRI画像データから得られる認知状態の値をytとする。
ここでは、例えば脳電図データから得られる認知状態の値xtを、時間的に複数並べたベクトルx t dmaxとしたとき、以下のように構成する。
ベクトルx t dmax=(xt,xt―τ,・・・xt―(dmax−1)τ)
このベクトルx t dmaxは、多次元(高次元)のベクトル(状態ベクトル)であり、これを表現する空間を状態空間と称する。
ここでは、ベクトルxt dmaxの第1番目から第d番目までの要素を取り出した部分ベクトルをxt dとすると、部分ベクトルxt dは、d次元の部分状態空間で表現される。データ内の2つの時刻のペア(t,t′)について、部分状態空間内でのデータ点xt dと、データ点xt′ dとの間の距離をDt,t′ dとする。これを全ての時間ペアについて計算したものが、行列(距離行列)として表現される。
ここでは、学習用EEGデータ31の状態ベクトルのデータxt dから、fMRI画像データ21に基づく認知状態ytの推定値y^tを求める。なお、記号「^」は、本来は「y」の上に表記されるものであるが、表記上の制約のため、本明細書中では、推定値y^tのように示す。但し、数式では、記号「^」を正しい表記で示す。
このようにして求められる推定値y^tは、ここではEEG−fMRI状態マッピング関数と称する。EEG−fMRI状態マッピング関数y^tは、例えば任意の重み関数wを用いて、次の式で示される。
重み関数wは、例えば次の[数2]式を用いてもよい。
また、同様にパラメータαについても、規定範囲内の全数検索あるいは任意の最適化アルゴリズムを用いて、推定精度を最大化するパラメータαを選択するようにしてもよい。
さらに、変換Rについても、乱数により多数生成したランダム行列から、推定精度を最大化する変換Rを選択したり、その他の任意の最適化アルゴリズムを用いたりして最適な変換Rの値を選択するようにしてもよい。
学習処理が終了した後は、次に説明する推定処理により、推定用EEGデータ32のみから認知状態を推定することが可能になる。
図4のフローチャートは、端末装置100の推定処理部108が、推定用EEGデータ32のみから認知状態を推定する処理のアルゴリズムの一例を示す。
まず、推定用パラメータ入力部12から、計測対象者の情報などを含む計測条件を入力する(ステップS21)。
そして、推定処理部108は、推定用脳電図データ(推定用EEGデータ)32を時系列データとして取り込んで推定処理部108内に記憶させると共に、データベース部40に登録された学習データを読み出す(ステップS22)。
このときには、関数学習部101での処理と同様に、推定用脳電図の時系列データx〜 tから、状態ベクトルx〜 t dmaxを構成する。なお、記号「〜」は、本来は「x」の上に表記されるが、表記上の制約のため、本明細書中では、時系列データx〜 tのように示す。但し、数式では記号「〜」は正しい表記で示す。
ここでは、推定処理部108は、状態ベクトルx〜 t dmaxの第1番目から第d番目までの要素を取出し、部分ベクトルx〜 t dを得る。そして、その部分ベクトルの推定用データ点x〜 t dと、学習用データ点xt′ dとの間の距離を、D〜 t,t′ dとする。推定処理部108は、この距離D〜 t,t′ dを、全ての時刻のペア(t,t′)について計算する。
さらに、推定処理部108は、各推定用データ点x〜 t dについて、学習用データ点から距離が近い順に、k個のデータ点を選んで作成したデータ点の集合(x〜 t dの近傍)B(x〜 t d)を求める。
図5〜図7は、本例の端末装置100を使用して、学習用EEGデータ31及び推定用EEGデータ32から、認知状態を推定した例を示す。
図5は、実際の計測で得られるEEG信号(図5の上側)及びfMRI画像の独立成分(図5の下側)を示す。
また、fMRI画像の独立成分分析については、fMRI画像で示される脳内の各所の活動状況から得られる各空間パターンを、独立成分として示す。
ここで、図5に示すように、例えば後頭中央部電極Ozの波形の特定時刻の状態ベクトルxd tを得たとき、この状態ベクトルxd tは、fMRI画像の独立成分分析結果の特定時刻の認知状態ytに対応する。
なお、この図5に示す電極の種類は一例を示すものであり、本例のシステムが認知状態を推定する上で、図5に示す全ての種類の電極が必要なことを意味するのではない。
図6の縦軸は、推定精度ρ(相関係数)の計測対象者間の平均を示し、横軸は埋め込み次元dを示す。
図6から判るように、埋め込み次元dによって、推定精度ρの平均が変化する。図6の例では、推定精度ρの平均は、埋め込み次元dが一定値になるまで、埋め込み次元dの増加に連動して徐々に高くなるが、一定値を超えると逆に若干低下する傾向がある。したがって、推定精度ρが最大になる次元dを選ぶことで、推定精度ρの高い最適な次元dを選択することができる。
この例では、「デフォルトモードネットワーク」、「顕著性ネットワーク」、「視覚ネットワーク」、「聴覚ネットワーク」、「感覚・運動ネットワーク」、「制御ネットワーク」の6項目の推定結果をレーダーチャートで示す。これら6項目は、脳ネットワークの基本的な構成要素として知られたものである。
計測作業者(医者や検査技師など)は、それぞれの項目ごとの活動状況の推定値を結ぶ線の形状を確認することで、計測対象者の認知状態を判定できるようになる。例えば図7の例では、「デフォルトモードネットワーク」、「感覚・運動ネットワーク」、「制御ネットワーク」の3つの活動が活発であり、他の3つのネットワークの活動が少ない状態と判定でき、脳深部を含む脳全体の活動の特徴が的確に推定できるようになる。これは、各電極の信号の時系列パターンから高次元の状態空間を再構成し、脳全体の活動パターンと同様の情報を復元することで可能となるものである。さらに、学習に用いるデータを増やすことで、この推定精度をさらに向上させることが可能である。
また、図7に示すレーダーチャートによる推定結果の表示形態は、一例を示すものであり、その他の表示形態で推定結果を表示するようにしてもよい。
この場合の情報処理装置に実装するプログラムについては、メモリカードや光ディスクなどの記録媒体に記録して、情報処理装置に読み取らせるようにするか、あるいは、インターネットなどを経由して、情報処理装置に伝送するようにしてもよい。
Claims (3)
- 機能的核磁気共鳴画像法によるfMRI画像データと、頭部の電極から得た学習用の脳電図データとを使って、前記fMRI画像データと前記脳電図データとの対応を示す状態マッピング関数を算出する関数学習部と、
前記関数学習部で算出された状態マッピング関数を格納するデータベース部と、
推定用の脳電図データを取得する推定用脳電図データ取り込み部と、
前記推定用脳電図データ取り込み部が取得した脳電図データを構成する各電極の信号の時系列パターンから多次元の状態空間を再構成し、前記データベース部に格納された前記状態マッピング関数を使った演算により、fMRI画像データで得られる情報に相当する、脳全体の活動パターンの情報を復元して推定する推定処理部と、
前記推定処理部が推定した脳全体の活動パターンの情報を出力する出力部と、を備え、
前記関数学習部が前記状態マッピング関数を算出する際には、脳電図データから得られる少なくとも1つの電極から得た認知状態の値を、時間的に複数並べた多次元の状態ベクトルとして取得すると共に、前記多次元の状態ベクトルについて、脳全体の活動パターンの情報を復元する推定時の推定精度が最大化する次元数の状態ベクトルとするようにした
認知状態推定システム。 - 機能的核磁気共鳴画像法によるfMRI画像データを取得する画像取り込み部と、
学習用の脳電図データを取得する学習用脳電図データ取り込み部とを備え、
前記関数学習部は、前記画像取り込み部が取得したfMRI画像データと、前記学習用脳電図データ取り込み部が取得した学習用脳電図データとから、前記状態マッピング関数を算出する
請求項1に記載の認知状態推定システム。 - 頭部の電極から脳電図データを取得して、その取得した脳電図データに基づいた演算処理で脳全体の活動パターンの情報を得、得られた脳全体の活動パターンの情報を出力する認知状態推定システムを作動させるための認知状態推定方法であり、
機能的核磁気共鳴画像法によるfMRI画像データと、頭部の電極から得た学習用の学習用脳電図データとを使って、前記fMRI画像データと前記脳電図データとの対応を示す状態マッピング関数を、前記認知状態推定システムが備える関数学習部で算出する関数学習処理と、
前記関数学習処理により算出された状態マッピング関数を格納するデータベースを作成して、前記認知状態推定システムが備えるデータベース部に格納する作成処理と、
推定用に取得した脳電図データを構成する各電極の信号の時系列パターンから多次元の状態空間を再構成し、前記データベースに格納された前記状態マッピング関数を使った演算で、fMRI画像データから得られる情報に相当する、脳全体の活動パターンの情報を、前記認知状態推定システムが備える推定処理部で復元して推定する推定処理と、
前記推定処理により推定した脳全体の活動パターンの情報を、前記認知状態推定システムが備える出力部が出力する出力処理と、を含み、
前記関数学習部で関数学習処理により前記状態マッピング関数を算出する際には、脳電図データから得られる少なくとも1つの電極から得た認知状態の値を、時間的に複数並べた多次元の状態ベクトルとして取得すると共に、前記多次元の状態ベクトルについて、脳全体の活動パターンの情報を復元する推定時の推定精度が最大化する次元数の状態ベクトルとする
認知状態推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016082809A JP6203324B1 (ja) | 2016-04-18 | 2016-04-18 | 認知状態推定システム及び認知状態推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016082809A JP6203324B1 (ja) | 2016-04-18 | 2016-04-18 | 認知状態推定システム及び認知状態推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6203324B1 true JP6203324B1 (ja) | 2017-09-27 |
JP2017192425A JP2017192425A (ja) | 2017-10-26 |
Family
ID=59969356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016082809A Active JP6203324B1 (ja) | 2016-04-18 | 2016-04-18 | 認知状態推定システム及び認知状態推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6203324B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111417342A (zh) * | 2017-11-27 | 2020-07-14 | 株式会社国际电气通信基础技术研究所 | 脑网络的活动估计系统、脑网络的活动估计方法、脑网络的活动估计程序以及已学习脑活动估计模型 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112888366A (zh) | 2018-10-15 | 2021-06-01 | 田边三菱制药株式会社 | 脑电波解析装置、脑电波解析系统以及脑电波解析程序 |
EP4176805A1 (en) * | 2020-07-02 | 2023-05-10 | Advanced Telecommunications Research Institute International | Estimation system, estimation method, program, estimation model, brain activity training device, brain activity training method, and brain activity training program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005000528A (ja) * | 2003-06-13 | 2005-01-06 | National Institute Of Information & Communication Technology | 脳機能測定装置及び脳機能測定プログラム |
EP2670299A4 (en) * | 2011-02-03 | 2017-08-09 | The Medical Research, Infrastructure, And Health Services Fund Of The Tel Aviv Medical Center | Method and system for use in monitoring neural activity in a subject's brain |
WO2015164300A1 (en) * | 2014-04-21 | 2015-10-29 | The General Hospital Corporation | Biomedical system variably configured based on estimation of information content of input signals |
-
2016
- 2016-04-18 JP JP2016082809A patent/JP6203324B1/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111417342A (zh) * | 2017-11-27 | 2020-07-14 | 株式会社国际电气通信基础技术研究所 | 脑网络的活动估计系统、脑网络的活动估计方法、脑网络的活动估计程序以及已学习脑活动估计模型 |
CN111417342B (zh) * | 2017-11-27 | 2023-06-13 | 株式会社国际电气通信基础技术研究所 | 脑网络的活动估计系统、方法和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2017192425A (ja) | 2017-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8930212B2 (en) | Patient data management apparatus for comparing patient data with ailment archetypes to determine correlation with established ailment biomarkers | |
Sutterer et al. | Alpha-band oscillations track the retrieval of precise spatial representations from long-term memory | |
McIntosh et al. | Partial least squares analysis of neuroimaging data: applications and advances | |
US8880163B2 (en) | Method and a system for classifying neural signals, and a method of selecting electrodes for direct neural control | |
Tzovara et al. | A tutorial review of electrical neuroimaging from group-average to single-trial event-related potentials | |
CN105764415B (zh) | 将非平稳信号分解成函数分量 | |
US8924230B2 (en) | Data management apparatus for comparing patient data with ailment archetypes to determine correlation with established ailment biomarkers | |
US20180279939A1 (en) | Method and system for locating seizure focus from interictal data | |
US20130035579A1 (en) | Methods for modeling neurological development and diagnosing a neurological impairment of a patient | |
WO2015182077A1 (ja) | 感情推定装置、感情推定方法及び感情推定プログラムを記憶する記録媒体 | |
AU2006332443B2 (en) | Localising and displaying electrophysiological signals | |
JP6863563B2 (ja) | ストレス評価システム | |
JP6203324B1 (ja) | 認知状態推定システム及び認知状態推定方法 | |
TW201711634A (zh) | 腦功能成像辨識的方法及系統 | |
Krusienski et al. | BCI signal processing: feature extraction | |
JP2018187044A (ja) | 感情推定装置、感情推定方法およびコンピュータプログラム | |
CN114052668B (zh) | 一种基于脑磁图数据的脑功能分析方法 | |
Azami et al. | Entropy analysis of univariate biomedical signals: Review and comparison of methods | |
JP2019013284A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP5207172B2 (ja) | 波形解析装置及び波形解析プログラム | |
JP6201520B2 (ja) | 生理指標を用いる視線分析システムおよび方法 | |
JP2023122528A (ja) | 認知症診断に必要な情報の提供方法及び装置 | |
JP2020057328A (ja) | 多次元データ可視化装置、方法およびプログラム | |
WO2022004841A1 (ja) | 推定システム、推定方法、プログラム、推定モデル、脳活動トレーニング装置、脳活動トレーニング方法、および、脳活動トレーニングプログラム | |
RU2743608C1 (ru) | Способ локализации отделов головного мозга |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6203324 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |