JP6618702B2 - 知覚意味内容推定装置および脳活動の解析による知覚意味内容の推定方法 - Google Patents
知覚意味内容推定装置および脳活動の解析による知覚意味内容の推定方法 Download PDFInfo
- Publication number
- JP6618702B2 JP6618702B2 JP2015077694A JP2015077694A JP6618702B2 JP 6618702 B2 JP6618702 B2 JP 6618702B2 JP 2015077694 A JP2015077694 A JP 2015077694A JP 2015077694 A JP2015077694 A JP 2015077694A JP 6618702 B2 JP6618702 B2 JP 6618702B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- brain activity
- stimulus
- perceptual
- semantic space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007177 brain activity Effects 0.000 title claims description 108
- 238000000034 method Methods 0.000 title claims description 24
- 238000012549 training Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 35
- 230000008035 nerve activity Effects 0.000 claims description 29
- 210000003792 cranial nerve Anatomy 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 210000004556 brain Anatomy 0.000 description 16
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 12
- 230000008447 perception Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 238000010304 firing Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101000767534 Arabidopsis thaliana Chorismate mutase 2 Proteins 0.000 description 1
- 101000986989 Naja kaouthia Acidic phospholipase A2 CM-II Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Psychology (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、動画視聴時等の自然知覚下における被験者の脳活動を計測し、計測した情報を解析することで、被験者が知覚している知覚意味内容の推定を行う知覚意味内容推定装置および脳活動の解析による知覚意味内容の推定方法に関する。
被験者の脳活動を解析することで、知覚内容の推定や行動予測を行うための技術（脳情報デコーディング技術）が開発されている。これらの技術は、脳機械間インターフェースの要素技術として、また、映像や各種製品の事前評価や購買予測等を行う手段として期待されている。
現時点における上記脳活動からの意味知覚推定技術は、単一または少数の知覚意味内容が含まれた簡単な線画や静止画等の限られた知覚対象について、予め決められた知覚意味内容を推定するものに限られている。
従来技術を用いて脳活動から知覚意味内容をデコーディングするための手順は、以下の通りである。最初に、個人の脳活動を解釈するためのモデル訓練（キャリブレーション）を行う。この段階では、画像等で構成される刺激セットを被験者に提示し、それらの刺激が誘発した脳活動を記録する。この刺激−脳活動ペア（訓練用データサンプル）により、知覚内容と脳活動の対応付けを得る。次に、知覚意味内容推定の対象となる新規の脳活動を記録し、その脳活動が訓練用データサンプルで得られたどの脳活動と類似しているかを判断することで、知覚意味内容推定を行う。
特許文献１には、主観的な知覚的経験または認識経験の解読および再現することが、開示されている。この開示においては、対象から、最初の知覚刺激に応じて生み出される脳活動データの最初のセットは、脳画像形成装置を使って得られ、それに対応する所定の応答値のセットに変換される。第２の知覚刺激に応じて生み出される脳活動データの第２セットは、対象からデコーディング分布を用いて得られるが、上記所定の応答値に応じた脳の活動データの第２のセットである確率が決定される。脳活動刺激の第２セットは、脳活動データの第２セットと予測された応答値の間の対応の確率に基づいて解読される。
また、非特許文献１には、ｆＭＲＩ（functional Magnetic Resonance Imaging）による符号化（エンコーディング）と復号化（デコーディング）が記載されている。この文献では、共通の問題である情報が脳においてどのように表現されるかについて探究するために、エンコーディング操作とデコーディング操作の両方が用いられることが示されているが、エンコーディング・モデルに集中することはデコーディングよりも２つの重要な利点がある、としている。その理由は、第１に、デコーディングモデルでは部分的な説明だけが得られるが、原理的にエンコーディング・モデルでは興味のある領域の完全な機能的な説明が得られる。第２に、エンコーディング・モデルから最適デコーディングモデルを得ることは直接的であるが、デコーディングモデルからエンコーディング・モデルを得ることはずっと困難である、ということである。そこで、非特許文献１では、ｆＭＲＩスキャンによるボクセルのエンコーディング・モデルの推定からシステマティックモデル・アプローチを提案し、得られたエンコーディング・モデルを用いてデコーディングを行っている。
また、ある場面を見ている間に脳画像を取得し、その脳画像から、その場面に近いものを再構成することができることが、既に報告されている。非特許文献２には、さらに、脳画像で反映される心的内容に対応するテキストを生成することもできることが示されている。これは、あるアイテムの名前の線画を見ながら被験者がその具体的なアイテム（例えば、「アパート」）の名前を読んでいる時に集められた脳画像から始めるものである。具体的な概念の精神的意味表示モデルを、テキストデータから構築し、それに対応する脳画像でそのような表示の様相を活性化のパターンにマッピングするようにするものである。このマッピングから、意味論的に関係する語（例えば、「アパート」に対する「ドア」、「ウインドウ」）の集まりを生成することができた旨、報告されている。
Thomas Naselaris, Kendrick N. Kay, Shinji Nishimoto, Jack L. Gallant, "Encoding and decoding in fMRI", NeuroImage 2011, 56(2):400-410
Francisco Pereira, Greg Detre, Matthew Botvinick "Generating text from functional brain images", Frontiers in Human Neuroscience 2012, 5:72
本発明が目的とする技術は、動画視聴下等の自然知覚下における被験者の任意の知覚意味内容を推定することができるものである。この点に関して、従来技術では以下の少なくとも１点で限界があり、上記の目的を満たすことが出来なかった。（１）従来技術は、単純な線画や静止画像を対象としており、自然動画等の多数の事物や印象等がダイナミックに生起する状況に適応できない。（２）従来技術では、推定できる知覚意味内容は訓練用データサンプルに含まれているものに限られており、それ以外の任意の知覚意味内容を推定できない。
本発明が目的とする技術には、上記の様に、計測した情報を解析することで、被験者が知覚している知覚意味内容の推定を行うことが含まれるが、この際、脳活動と知覚内容の対応付けを中間表象空間(意味空間)内において行うことで任意の知覚内容の推定を実現するものである。詳しくは、以下に示す。
本発明の、脳活動の解析による知覚意味内容の推定方法は、被験者への刺激となる情報を提示する情報提示手段と、刺激による上記被験者の脳神経活動信号を検出する脳神経活動検出手段と、刺激の内容に関する言語記述と上記脳神経活動検出手段の出力を入力するデータ処理手段と、該データ処理手段から読み出し可能な意味空間情報記憶手段と、該データ処理手段から読み出し書き込み可能な訓練成果情報記憶手段と、を備える脳活動解析装置を用いて上記被験者の脳活動を解析することで、上記被験者が知覚している知覚意味内容の推定を行う方法である。
（１） 動画から成る訓練用情報を上記被験者に提示して訓練用刺激を上記被験者に与え、該訓練用刺激が上記被験者に誘発する知覚内容の言語記述と、該訓練用刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力とを上記データ処理手段に入力する。
ここで、訓練用情報は動画であり、この情報が被験者への刺激となり、その刺
激が被験者になんらかの知覚内容を誘発する。この知覚内容の複数の単語を含む言語記述（アノテーション）を取得し、上記データ処理手段に入力する。また、脳活動を脳波やｆＭＲＩ信号として検出した上記脳神経活動検出手段の出力も上記データ処理手段に入力する。
ここで、訓練用情報は動画であり、この情報が被験者への刺激となり、その刺
激が被験者になんらかの知覚内容を誘発する。この知覚内容の複数の単語を含む言語記述（アノテーション）を取得し、上記データ処理手段に入力する。また、脳活動を脳波やｆＭＲＩ信号として検出した上記脳神経活動検出手段の出力も上記データ処理手段に入力する。
（２） 上記意味空間情報記憶手段に保存された意味空間を適用し、該意味空間上において上記訓練用刺激の意味空間表象と上記脳神経活動検出手段の出力との関係付けを行い、関連付けの結果を上記訓練成果情報記憶手段に保存する。
上記の意味空間は、コーパス等の大規模データベースを用いて構築されたもので、言語記述に現れる単語の意味的関係を記述するものである。
また、上記の関係付けは、上記意味空間の座標軸上で行うものであり、ここでは、訓練用情報による刺激で誘発される意味空間表象と該刺激による脳活動の関係付けを言う。
上記の意味空間は、コーパス等の大規模データベースを用いて構築されたもので、言語記述に現れる単語の意味的関係を記述するものである。
また、上記の関係付けは、上記意味空間の座標軸上で行うものであり、ここでは、訓練用情報による刺激で誘発される意味空間表象と該刺激による脳活動の関係付けを言う。
（３） 動画からなる新規情報を上記被験者に提示して動画からなる新規刺激を上記被験者に与え、該新規刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力を上記データ処理手段に入力して、上記新規情報による脳活動の上記脳神経活動検出手段の出力について、上記（２）で得られた関連付けから知覚意味内容を表す意味空間上の確率分布を得る。
新規刺激で誘発される脳活動について、脳波やｆＭＲＩ信号などの上記脳神経活動検出
手段の出力を、上記訓練用刺激で誘発された上記脳神経活動検出手段の出力やそれから抽
出した信号や発火パターンの、例えば線形合成として分解することで、この新規刺激に対
する知覚意味内容を訓練用情報に対応した言語記述（アノテーション）の線形合成として
得ることができる。この線形合成の係数と、上記（２）で得られた関連付けから、新規刺
激についての知覚意味内容を表す意味空間上の確率分布を得ることができる。
新規刺激で誘発される脳活動について、脳波やｆＭＲＩ信号などの上記脳神経活動検出
手段の出力を、上記訓練用刺激で誘発された上記脳神経活動検出手段の出力やそれから抽
出した信号や発火パターンの、例えば線形合成として分解することで、この新規刺激に対
する知覚意味内容を訓練用情報に対応した言語記述（アノテーション）の線形合成として
得ることができる。この線形合成の係数と、上記（２）で得られた関連付けから、新規刺
激についての知覚意味内容を表す意味空間上の確率分布を得ることができる。
（４） 上記（３）で得られた確率分布から蓋然性の高い知覚意味内容を推定するものである。
この推定においては、上記確率分布における推定に用いる確率に閾値を設けるか、上記の蓋然性の高い知覚意味内容の個数に閾値を設ける等により上記の推定結果の分散を抑制することができる。
この推定においては、上記確率分布における推定に用いる確率に閾値を設けるか、上記の蓋然性の高い知覚意味内容の個数に閾値を設ける等により上記の推定結果の分散を抑制することができる。
本発明に係る知覚意味内容推定装置は、脳活動信号と刺激内容に関する言語記述とが入力されるデータ処理手段と、前記データ処理手段により読み出し可能であって、単語の意味的関係を記述する意味空間を記憶する意味空間情報記憶手段と、前記データ処理手段により読み出し書き込み可能であって、動画から成る訓練用刺激に対応する脳活動信号と前記訓練用刺激に関する複数の単語を含む言語記述の前記意味空間上の表象との関連付けを記憶する訓練成果情報記憶手段と、を備え、前記データ処理手段は、前記データ処理手段に入力される動画から成る新規刺激に対応する脳活動信号と、前記関連付けとから、新規刺激に対応する知覚意味内容を得ることを特徴とする。
また、与えられた任意の単語の前記意味空間上の座標と前記関連付けから得られた知覚意味内容との内積または尤度をとることを特徴とする。
また、前記内積または前記尤度は時系列であることを特徴とする。
また、前記知覚意味内容は、前記意味空間上の確率分布であることを特徴とする。
また、前記関連付けは、被験者ごとに、前記訓練用刺激に対応する脳活動信号の全てまたは一部に基づき行われることを特徴とする。
また、前記被験者ごとの意味空間上の投影関数を得て、前記投影関数に従って前記意味空間上の位置との関連付けを前記被験者ごとに一律にずらすことを特徴とする。
本発明によって、動画等の自然知覚下における脳活動から任意の知覚意味内容の推定を行うことが可能になる。
本発明の、脳活動の解析による知覚意味内容を推定する技術は、被験者への刺激となる情報を提示する情報提示手段と、刺激による上記被験者の脳神経活動信号を検出する脳神経活動検出手段と、刺激の内容に関する言語記述と上記脳神経活動検出手段の出力を入力するデータ処理手段と、該データ処理手段から読み出し可能な意味空間情報記憶手段と、該データ処理手段から読み出し書き込み可能な訓練成果情報記憶手段と、を備える脳活動解析装置を用いて上記被験者の脳活動を解析することで、上記被験者が知覚している知覚意味内容の推定を行う。
（１） 訓練用情報を上記被験者に提示して訓練用刺激を上記被験者に与え、該訓練用刺激が上記被験者に誘発する知覚内容の言語記述と、該訓練用刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力とを上記データ処理手段に入力する。
ここで、訓練用情報は画像や動画等であり、この情報が被験者への刺激となり、その刺激が被験者になんらかの知覚内容を誘発する。この知覚内容の言語記述（アノテーション）を取得し、上記データ処理手段に入力する。また、脳活動を脳波やｆＭＲＩ信号として検出した上記脳神経活動検出手段の出力も上記データ処理手段に入力する。
ここで、訓練用情報は画像や動画等であり、この情報が被験者への刺激となり、その刺激が被験者になんらかの知覚内容を誘発する。この知覚内容の言語記述（アノテーション）を取得し、上記データ処理手段に入力する。また、脳活動を脳波やｆＭＲＩ信号として検出した上記脳神経活動検出手段の出力も上記データ処理手段に入力する。
（２） 上記意味空間情報記憶手段に保存された意味空間を適用し、該意味空間上において上記訓練用刺激の意味空間表象と上記脳神経活動検出手段の出力との関係付けを行い、関連付けの結果を上記訓練成果情報記憶手段に保存する。
上記の意味空間は、コーパス等の大規模データベースを用いて構築されたもので、言語記述に現れる単語の意味的関係を記述するものである。
また、上記の関係付けは、上記意味空間の座標軸上で行うものであり、ここでは、訓練用情報による刺激で誘発される意味空間表象と該刺激による脳活動の関係付けを言う。
上記の意味空間は、コーパス等の大規模データベースを用いて構築されたもので、言語記述に現れる単語の意味的関係を記述するものである。
また、上記の関係付けは、上記意味空間の座標軸上で行うものであり、ここでは、訓練用情報による刺激で誘発される意味空間表象と該刺激による脳活動の関係付けを言う。
（３） 新規情報を上記被験者に提示して新規刺激を上記被験者に与え、該新規刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力を上記データ処理手段に入力して、上記新規情報による脳活動の上記脳神経活動検出手段の出力について、上記（２）で得られた関連付けから知覚意味内容を表す意味空間上の確率分布を得る。
新規刺激で誘発される脳活動について、脳波やｆＭＲＩ信号などの上記脳神経活動検出手段の出力を、上記訓練用刺激で誘発された上記脳神経活動検出手段の出力やそれから抽出した信号や発火パターンの、例えば線形合成として分解することで、この新規刺激に対する知覚意味内容を訓練用情報に対応した言語記述（アノテーション）の線形合成として得ることができる。この線形合成の係数と、上記（２）で得られた関連付けから、新規刺激についての知覚意味内容を表す意味空間上の確率分布を得ることができる。
新規刺激で誘発される脳活動について、脳波やｆＭＲＩ信号などの上記脳神経活動検出手段の出力を、上記訓練用刺激で誘発された上記脳神経活動検出手段の出力やそれから抽出した信号や発火パターンの、例えば線形合成として分解することで、この新規刺激に対する知覚意味内容を訓練用情報に対応した言語記述（アノテーション）の線形合成として得ることができる。この線形合成の係数と、上記（２）で得られた関連付けから、新規刺激についての知覚意味内容を表す意味空間上の確率分布を得ることができる。
（４） 上記（３）で得られた確率分布から蓋然性の高い知覚意味内容を推定するものである。
この推定においては、上記確率分布における推定に用いる確率に閾値を設けるか、上記の蓋然性の高い知覚意味内容の個数に閾値を設ける等により上記の推定結果の分散を抑制することができる。
この推定においては、上記確率分布における推定に用いる確率に閾値を設けるか、上記の蓋然性の高い知覚意味内容の個数に閾値を設ける等により上記の推定結果の分散を抑制することができる。
被験者が複数の場合、上記（２）における、刺激の意味空間表象と脳活動の訓練用データを用いた関連付けは、被験者ごとに行ない、上記訓練用データの全てまたはその一部について行なって被験者ごとの投影関数を得て、被験者ごとに該投影関数に従って上記意味空間上の位置との関連付けを一律にずらすものとしてもよい。
また、上記（４）において、知覚意味内容として蓋然性の高いものを推定するに当たり、与えられた任意の単語について意味空間上の座標を見出し、該座標と上記（３）で得られた確率分布との尤度をとり、その尤度値を上記蓋然性の指標とすることができる。
以下に、この発明の実施の形態を図面に基づいて詳細に説明する。
図４に、本発明を適用するための装置構成例を示す。被験者２への訓練用刺激（画像、動画等）の提示は、表示装置１で行い、被験者２の脳活動信号は、例えばＥＥＧ（脳波）やｆＭＲＩ信号を検出することができる脳神経活動検出器３で検出する。脳活動信号としては、脳神経細胞の発火パターンや、単数または複数の特定領域での活動変化の信号を検出する。また、検出された脳活動信号はデータ処理装置４で処理される。また、データ処理装置４には、被験者２からの自然言語アノテーションが入力される。データ処理に用いられる意味空間は、ストレージ５からのコーパスデータを解析装置６で解析したもので、ストレージ７に保存される。
また、訓練用刺激については、被験者２もしくは第三者からの自然言語アノテーションデータは上記意味空間上のベクトルとしてデータ処理装置４で解析され、その解析結果は被験者２の脳活動信号とともに訓練成果としてストレージ８に保存される。
新規の刺激が表示装置１を通じて被験者２に提示された時には、脳神経活動検出器３で脳活動信号が検出され、データ処理装置４において、ストレージ７からの意味空間とストレージ８からの訓練成果を基に解析され、その解析結果がデータ処理装置４から出力される。
ここで、ストレージ５、ストレージ７、ストレージ８は、１つのストレージの領域を分割したものでもよく、データ処理装置４と解析装置６は１つのコンピュータを切り替えて用いるものでもよい。
本発明の、脳活動の解析による知覚意味内容を推定する技術は、コーパス由来の意味空間を介して脳情報デコーディングを行う。これにより、脳活動から任意の知覚意味内容の解読を行う。より具体的な手続きは以下のとおりであり、図１を参照して説明する。図１は、脳活動の意味空間モデルおよび知覚意味内容推定の概念図である。脳活動とコーパス由来の意味空間との対応関係を定量モデルとして学習することで、任意の新規条件下において脳活動から知覚意味内容を推定する手順の概略を示すものである。
（ア） 訓練用の刺激１１（画像、動画等）に関して、その刺激が被験者に誘発する知覚内容の言語記述（アノテーション）１３を取得する。
より具体的には、被験者１２に訓練用刺激として何らかの静止画や動画（訓練用データ）を提示し、その提示を受けた被験者が想起する言語記述のリストを作成する。
より具体的には、被験者１２に訓練用刺激として何らかの静止画や動画（訓練用データ）を提示し、その提示を受けた被験者が想起する言語記述のリストを作成する。
（イ） コーパス１６等の大規模データベースを用いて、言語記述に現れる単語の意味的関係を記述する意味空間を構築しておく。コーパスから意味空間を構築する手段として、潜在意味解析法やword2vec法等の自然言語処理技術を用いることは、既によく知られている。
上記コーパスとしては、新聞や雑誌の記事、百科事典、物語などを用いることができる。ここで、コーパス由来の意味空間とは、よく知られている様に、コーパスに内在する統計的性質を元に、単語等の要素を固定長ベクトル空間に投射する空間である。当然のことながら、既にこの意味空間が得られている場合は、それを利用することができる。
また、潜在意味解析法は、解析対象の文オブジェクトにどのような単語が含まれているかを示す共起行列に対して特異値分解を施し、次元縮約を行うことによって対象のテキストの主たる意味構造を把握する主成分分析的手法で、よく知られた手法である。
また、Word2Vec法は、単語をベクトル化して表現するする定量化手法である。Word2Vecでは、文章中の単語出現予測モデルを最適化することを介し、単語の固定長ベクトル空間表現を学習する。
上記コーパスとしては、新聞や雑誌の記事、百科事典、物語などを用いることができる。ここで、コーパス由来の意味空間とは、よく知られている様に、コーパスに内在する統計的性質を元に、単語等の要素を固定長ベクトル空間に投射する空間である。当然のことながら、既にこの意味空間が得られている場合は、それを利用することができる。
また、潜在意味解析法は、解析対象の文オブジェクトにどのような単語が含まれているかを示す共起行列に対して特異値分解を施し、次元縮約を行うことによって対象のテキストの主たる意味構造を把握する主成分分析的手法で、よく知られた手法である。
また、Word2Vec法は、単語をベクトル化して表現するする定量化手法である。Word2Vecでは、文章中の単語出現予測モデルを最適化することを介し、単語の固定長ベクトル空間表現を学習する。
（ウ） 上記（イ)で得られた意味空間上において、訓練用データを用いて刺激１１の意味空間へ投射１５し、その意味空間上の表象と脳活動出力１４の関係付けを行う。
被験者に訓練用データ（画像、動画等）を提示し、それによって生じる被験者の脳活動信号、例えばＥＥＧ（脳波）やｆＭＲＩ信号を検出する。検出した脳活動信号を、上記意味空間上の位置と関連付ける。この関連付けは、上記の意味空間上の表象にＥＥＧ（脳波）やｆＭＲＩの信号波形を対応付けるものである。
この関連付けは、被験者ごとに行なうことが望ましいが、その際、上記訓練用データの全てについて行うのではなく、その一部について行なって被験者ごとの意味空間上の投影関数を得て、その投影関数に従って上記意味空間上の位置との関連付けを一律にずらす様にしてもよい。
被験者に訓練用データ（画像、動画等）を提示し、それによって生じる被験者の脳活動信号、例えばＥＥＧ（脳波）やｆＭＲＩ信号を検出する。検出した脳活動信号を、上記意味空間上の位置と関連付ける。この関連付けは、上記の意味空間上の表象にＥＥＧ（脳波）やｆＭＲＩの信号波形を対応付けるものである。
この関連付けは、被験者ごとに行なうことが望ましいが、その際、上記訓練用データの全てについて行うのではなく、その一部について行なって被験者ごとの意味空間上の投影関数を得て、その投影関数に従って上記意味空間上の位置との関連付けを一律にずらす様にしてもよい。
（エ） 新規の脳活動について、上記（ウ）で得られた関連付けから、知覚意味内容を表す意味空間上の確率分布を得る。
被験者に新規データ（画像、動画等）を提示し、上記訓練用データの場合と同じ脳活動信号取得手段を用いて、脳活動信号を検出する。検出した脳活動信号を、訓練用データから得られる脳活動信号と比較して、どの訓練用データの場合に近いかを決定する。あるいは、訓練用データの場合のどのような混成の場合に最も近いかを決定する。この比較は、例えば、新規データに対する脳活動信号と先の訓練用データに対する脳活動信号との相互相関のピーク値を指標に用いて行うことができる。この決定によって、意味空間において、新規データの提示で検出した脳活動信号に対応する確率分布を得ることができる。
被験者に新規データ（画像、動画等）を提示し、上記訓練用データの場合と同じ脳活動信号取得手段を用いて、脳活動信号を検出する。検出した脳活動信号を、訓練用データから得られる脳活動信号と比較して、どの訓練用データの場合に近いかを決定する。あるいは、訓練用データの場合のどのような混成の場合に最も近いかを決定する。この比較は、例えば、新規データに対する脳活動信号と先の訓練用データに対する脳活動信号との相互相関のピーク値を指標に用いて行うことができる。この決定によって、意味空間において、新規データの提示で検出した脳活動信号に対応する確率分布を得ることができる。
（オ） 上記（エ)で得られた確率分布から、知覚意味内容として蓋然性の高いものを推定する。
上記（ア）において、訓練用データについて、それに対応する知覚内容の言語記述が得られており、また、上記（イ）において、それぞれの単語が意味空間におけるベクトルとして表現されている。このため、意味空間において、脳活動信号に対応する確率分布から、脳活動信号に対応する知覚内容の言語記述を確率的重みつきで得ることができる。この確率的重みを用いて蓋然性の高い言語記述を推定する。
上記（ア）において、訓練用データについて、それに対応する知覚内容の言語記述が得られており、また、上記（イ）において、それぞれの単語が意味空間におけるベクトルとして表現されている。このため、意味空間において、脳活動信号に対応する確率分布から、脳活動信号に対応する知覚内容の言語記述を確率的重みつきで得ることができる。この確率的重みを用いて蓋然性の高い言語記述を推定する。
ここで、上記（ア）におけるリストについては、このリストを用いて刺激を受けた被験者に誘発される知覚内容が言語記述として表現されるので、上記のコーパス由来の意味空間の全てまたは選択された所定の部分をカバーしていることが望ましい。
この様に本発明は、例えば、テレビコマーシャル（ＣＭ）等の比較的ダイナミックで複雑な映像音声知覚下の脳活動から、被験者が知覚する任意の知覚意味内容を推定する技術を提供するものである。本発明によって、動画等の自然知覚下における脳活動から任意の知覚意味内容の推定を行うことが可能になる。例えば上記テレビコマーシャル等の動画作品が狙い通りの表現効果を発揮しているかを脳活動から定量評価することが出来る。
上記実施例１のアノテーションの取り扱いに関しては、LDA（Latent Dirichlet Allocation）におけるトピックモデルを適用することができる。これによって、推定した脳活動から知覚意味内容を推定した文章にして表現することが容易になる。このための手続例を以下に示す。
（Ａ） 訓練用の刺激１１（画像、動画等）に関して、その刺激が被験者に誘発する知覚内容の言語記述（アノテーション）１３を取得する。
より具体的には、被験者１２に訓練用刺激として何らかの静止画や動画（訓練用データ）を提示し、その提示を受けた被験者が想起する言語記述のリストを作成する。
より具体的には、被験者１２に訓練用刺激として何らかの静止画や動画（訓練用データ）を提示し、その提示を受けた被験者が想起する言語記述のリストを作成する。
（Ｂ） コーパス１６等の大規模データベースを用いて、言語記述に現れる単語の意味的関係を記述するトピックモデルを構築しておく。このトピックモデルは、LDA法でよく知られた手法で用意することができる。
よく知られている様にトピックモデルは統計モデルであり、それぞれの単語の出現確率を得ることができる。
よく知られている様にトピックモデルは統計モデルであり、それぞれの単語の出現確率を得ることができる。
（Ｃ） 上記（Ｂ)で得られたトピックモデルにおいて、訓練用データをその訓練用データの形態素が属するトピックのラベルで置き換え、そのラベルと脳活動出力１４の関係付けを行う。
つまり、被験者に訓練用データ（画像、動画等）を提示し、それによって生じる被験者の脳活動信号、例えばＥＥＧ（脳波）やｆＭＲＩ信号を検出する。検出した脳活動信号を、上記訓練用データの形態素が属するトピックのラベルと関連付ける。この関連付けは、１つの訓練用データによる脳活動信号に例えばラベルの線形結合を対応させても、逆に、１つのラベルにその脳活動信号の線形結合を対応させてもよい。
この関連付けは、被験者ごとに行なうことが望ましいが、その際、上記訓練用データの全てについて行うのではなく、その一部について行なって、関連付け作業を一部省略することもできる。
つまり、被験者に訓練用データ（画像、動画等）を提示し、それによって生じる被験者の脳活動信号、例えばＥＥＧ（脳波）やｆＭＲＩ信号を検出する。検出した脳活動信号を、上記訓練用データの形態素が属するトピックのラベルと関連付ける。この関連付けは、１つの訓練用データによる脳活動信号に例えばラベルの線形結合を対応させても、逆に、１つのラベルにその脳活動信号の線形結合を対応させてもよい。
この関連付けは、被験者ごとに行なうことが望ましいが、その際、上記訓練用データの全てについて行うのではなく、その一部について行なって、関連付け作業を一部省略することもできる。
（Ｄ） 新規の脳活動について、上記（Ｃ）で得られた関連付けから、知覚意味内容を表すトピックモデルのラベルで代表される言語記述の確率分布を得る。
被験者に新規データ（画像、動画等）を提示し、上記訓練用データの場合と同じ脳活動信号取得手段を用いて、脳活動信号を検出する。検出した脳活動信号を、訓練用データから得られる脳活動信号と比較して、どの訓練用データの場合に近いかを決定する。あるいは、訓練用データの場合のどのような混成の場合に最も近いかを決定する。この比較は、例えば、新規データに対する脳活動信号と先の訓練用データに対する脳活動信号との相互相関のピーク値を指標に用いて行うことができる。この決定によって、新規データの提示で検出した脳活動信号に対応するる言語記述の確率分布を得ることができる。
被験者に新規データ（画像、動画等）を提示し、上記訓練用データの場合と同じ脳活動信号取得手段を用いて、脳活動信号を検出する。検出した脳活動信号を、訓練用データから得られる脳活動信号と比較して、どの訓練用データの場合に近いかを決定する。あるいは、訓練用データの場合のどのような混成の場合に最も近いかを決定する。この比較は、例えば、新規データに対する脳活動信号と先の訓練用データに対する脳活動信号との相互相関のピーク値を指標に用いて行うことができる。この決定によって、新規データの提示で検出した脳活動信号に対応するる言語記述の確率分布を得ることができる。
（Ｅ） 上記（Ｄ)で得られた確率分布から、知覚意味内容として蓋然性の高いものを推定する。
この実施例の場合、上記（Ｄ）において、言語記述の確率分布が得られていることから、LDAと同様な方法で、文章を推定することができる。
この実施例の場合、上記（Ｄ）において、言語記述の確率分布が得られていることから、LDAと同様な方法で、文章を推定することができる。
ここで、上記（ア）や（Ａ）におけるリストについては、このリストを用いて刺激を受けた被験者に誘発される知覚内容が言語記述として表現されるので、上記のコーパス由来の意味空間の全てまたは選択された所定の部分をカバーしていることが望ましい。
本発明は、例えば、テレビコマーシャル（ＣＭ）等の比較的ダイナミックで複雑な映像音声知覚下の脳活動から、被験者が知覚する任意の知覚意味内容を推定する技術を提供するものである。本発明によって、動画等の自然知覚下における脳活動から任意の知覚意味内容の推定を行うことが可能になる。例えば上記テレビコマーシャル等の動画作品が狙い通りの表現効果を発揮しているかを脳活動から定量評価することが出来る。
図２に示す例は、ＣＭ動画視聴中の脳活動からの知覚意味内容の推定例である。具体的には、例えば「親しさ」の知覚を視聴者にどの様に誘発出来ているか、という問いに合理的に答えることを目的にしている。これは、図２の提示ＣＭ動画について、上記（ア）〜（オ）の手続きによって脳活動から推定した知覚意味内容を示すもので、左列に、被験者に提示したＣＭクリップ例を、また、右列に、当該クリップ視聴時の脳活動から推定した知覚意味内容を示す。クリップ横の各行は上から順に、名詞、動詞、形容詞それぞれの品詞について、被験者が知覚している確率が高い単語を示す。
図２（ａ）：娘が携帯電話を母親にかざして会話する場面
（名詞）男性 女性 独身 近所 実家 親戚 年上 母親
（動詞）訪ねる 辞める 付き合う 知り合う 連れる 会う 訪れる 亡くす
（形容詞）親しい 優しい 貧しい 幼い 若い
図２（ｂ）：犬と飼い主が電波塔の見えるベンチに座って、景色を眺めている場面
（名詞）女性 男性 年上 金髪 友人 彼女 母親 独身
（動詞）付き合う 着る 話す 慕う 頼む 喋る 会う 座る
（形容詞）親しい 優しい 幼い 若い 可愛い
図２（ｃ）：（ｂ）の場面の中央を破って爆発的に犬が 登場する場面
（名詞）顔 口癖 眼鏡 表情 自分 容姿 口調 真面目
（動詞）喋る 殴る 付き合う 怒る 被る 着る 座る 振り回す
（形容詞）親しい 可愛い 優しい 幼い 欲しい 怖い
図２（ｄ）：（ｃ）の犬が商品のキャンペーンを行う場面
（名詞）文字 フオント ロゴ ゴシック アルファベット 表示
（動詞）置き換える 書く 付す
視聴者の脳活動を表わすこれらの知覚意味内容が、ＣＭ作成者の意図に沿ったものであるかどうかを客観的に判断できるようになる。
また、上記（Ａ）〜（Ｅ）の手続きによって、文章を推定することができる。
図２（ａ）：娘が携帯電話を母親にかざして会話する場面
（名詞）男性 女性 独身 近所 実家 親戚 年上 母親
（動詞）訪ねる 辞める 付き合う 知り合う 連れる 会う 訪れる 亡くす
（形容詞）親しい 優しい 貧しい 幼い 若い
図２（ｂ）：犬と飼い主が電波塔の見えるベンチに座って、景色を眺めている場面
（名詞）女性 男性 年上 金髪 友人 彼女 母親 独身
（動詞）付き合う 着る 話す 慕う 頼む 喋る 会う 座る
（形容詞）親しい 優しい 幼い 若い 可愛い
図２（ｃ）：（ｂ）の場面の中央を破って爆発的に犬が 登場する場面
（名詞）顔 口癖 眼鏡 表情 自分 容姿 口調 真面目
（動詞）喋る 殴る 付き合う 怒る 被る 着る 座る 振り回す
（形容詞）親しい 可愛い 優しい 幼い 欲しい 怖い
図２（ｄ）：（ｃ）の犬が商品のキャンペーンを行う場面
（名詞）文字 フオント ロゴ ゴシック アルファベット 表示
（動詞）置き換える 書く 付す
視聴者の脳活動を表わすこれらの知覚意味内容が、ＣＭ作成者の意図に沿ったものであるかどうかを客観的に判断できるようになる。
また、上記（Ａ）〜（Ｅ）の手続きによって、文章を推定することができる。
図３に示す例は、特定印象時系列の脳活動からの定量評価例である。これは、例えば２つの映像ＡとＢのどちらが特定の印象をより強く視聴者に与えるか、等の定量指標を提供することを目的とするものである。３つの３０秒ＣＭを視聴中の脳活動中の脳活動の時系列から、特定印象（この場合は「可愛い」）が蓋然性の高い言語記述であるかどうかを確認することで、この特定印象を認知している度合を推定したものである。ＣＭ−１：女子高生が親戚と話をしている場面、ＣＭ−２：重役会議が行われている場面、ＣＭ−３：アイドルがダンスの練習をしている場面、において、ＣＭ−１で比較的強い反応が得られることが分かる。
本発明は視聴覚素材（映像、音楽、教材等)の事前評価、及び知覚・行動意図読み取りを通じた脳機械インターフェースの基盤として広汎に用いることができる。
１ 表示装置
２ 被験者
３ 脳神経活動検出器
４ データ処理装置
５ ストレージ
６ コーパスデータを解析装置
７、８ ストレージ
１１ 刺激
１２ 被験者
１３ 言語記述
１４ 脳活動出力
１５ 意味空間へ投射
１６ コーパス
２ 被験者
３ 脳神経活動検出器
４ データ処理装置
５ ストレージ
６ コーパスデータを解析装置
７、８ ストレージ
１１ 刺激
１２ 被験者
１３ 言語記述
１４ 脳活動出力
１５ 意味空間へ投射
１６ コーパス
Claims (7)
- 脳活動信号と刺激内容に関する言語記述とが入力されるデータ処理手段と、
前記データ処理手段により読み出し可能であって、単語の意味的関係を記述する意味空間を記憶する意味空間情報記憶手段と、
前記データ処理手段により読み出し書き込み可能であって、動画から成る訓練用刺激に対応する脳活動信号と前記訓練用刺激に関する複数の単語を含む言語記述の前記意味空間上の表象との関連付けを記憶する訓練成果情報記憶手段と、を備え、
前記データ処理手段は、前記データ処理手段に入力される動画から成る新規刺激に対応する脳活動信号と、前記関連付けとから、新規刺激に対応する知覚意味内容を得る、
ことを特徴とする知覚意味内容推定装置。 - 与えられた任意の単語の前記意味空間上の座標と前記関連付けから得られた知覚意味内容との内積または尤度をとる、
ことを特徴とする請求項１に記載の知覚意味内容推定装置。 - 前記内積または前記尤度は時系列である、
ことを特徴とする請求項２に記載の知覚意味内容推定装置。 - 前記知覚意味内容は、前記意味空間上の確率分布である、
ことを特徴とする請求項１から３のいずれか１項に記載の知覚意味内容推定装置。 - 前記関連付けは、被験者ごとに、前記訓練用刺激に対応する脳活動信号の全てまたは一部に基づき行われる、
ことを特徴とする請求項１から４のいずれか１項に記載の知覚意味内容推定装置。 - 前記被験者ごとの意味空間上の投影関数を得て、前記投影関数に従って前記意味空間上の位置との関連付けを前記被験者ごとに一律にずらす、
ことを特徴とする請求項５に記載の知覚意味内容推定装置。 - 被験者への刺激となる情報を提示する情報提示手段と、刺激による上記被験者の脳神経活動信号を検出する脳神経活動検出手段と、刺激内容に関する言語記述と上記脳神経活動検出手段の出力を入力するデータ処理手段と、該データ処理手段から読み出し可能な意味空間情報記憶手段と、該データ処理手段から読み出し書き込み可能な訓練成果情報記憶手段と、を備える脳活動解析装置を用いて上記被験者の脳活動を解析することで、上記被験者が知覚している知覚意味内容の推定を行う方法であって、
（１） 動画から成る訓練用情報を上記被験者に提示して訓練用刺激を上記被験者に与え、該訓練用刺激が上記被験者に誘発する知覚内容の複数の単語を含む言語記述と、該訓練用刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力とを上記データ処理手段に入力し、
（２） 上記意味空間情報記憶手段に保存された意味空間を適用し、該意味空間上において上記訓練用刺激の意味空間表象と上記脳神経活動検出手段の出力との関係付けを行い、関連付けの結果を上記訓練成果情報記憶手段に保存し、
（３） 動画からなる新規情報を上記被験者に提示して動画から成る新規刺激を上記被験者に与え、該新規刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力を上記データ処理手段に入力して、上記新規情報による脳活動の上記脳神経活動検出手段の出力について、上記（２）で得られた関連付けから知覚意味内容を表す意味空間上の確率分布を得、
（４） 上記（３）で得られた確率分布から蓋然性の高い知覚意味内容を推定する、
ことを特徴とする脳活動の解析による知覚意味内容の推定方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015077694A JP6618702B2 (ja) | 2015-04-06 | 2015-04-06 | 知覚意味内容推定装置および脳活動の解析による知覚意味内容の推定方法 |
| EP16776722.7A EP3281582A4 (en) | 2015-04-06 | 2016-04-05 | Method for estimating perceptual semantic content by analysis of brain activity |
| CN201680019204.7A CN107427250B (zh) | 2015-04-06 | 2016-04-05 | 通过脑活动的解析推测感知语义内容的推测方法 |
| US15/564,071 US20180092567A1 (en) | 2015-04-06 | 2016-04-05 | Method for estimating perceptual semantic content by analysis of brain activity |
| PCT/JP2016/061645 WO2016163556A1 (ja) | 2015-04-06 | 2016-04-05 | 脳活動の解析による知覚意味内容の推定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015077694A JP6618702B2 (ja) | 2015-04-06 | 2015-04-06 | 知覚意味内容推定装置および脳活動の解析による知覚意味内容の推定方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2016195716A JP2016195716A (ja) | 2016-11-24 |
| JP2016195716A5 JP2016195716A5 (ja) | 2018-05-10 |
| JP6618702B2 true JP6618702B2 (ja) | 2019-12-11 |
Family
ID=57072256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015077694A Active JP6618702B2 (ja) | 2015-04-06 | 2015-04-06 | 知覚意味内容推定装置および脳活動の解析による知覚意味内容の推定方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20180092567A1 (ja) |
| EP (1) | EP3281582A4 (ja) |
| JP (1) | JP6618702B2 (ja) |
| CN (1) | CN107427250B (ja) |
| WO (1) | WO2016163556A1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108135520B (zh) * | 2015-10-23 | 2021-06-04 | 美国西门子医疗解决公司 | 从功能性大脑图像生成心理内容的自然语言表示 |
| WO2018136200A2 (en) * | 2016-12-22 | 2018-07-26 | California Institute Of Technology | Mixed variable decoding for neural prosthetics |
| JP7069716B2 (ja) * | 2017-12-28 | 2022-05-18 | 株式会社リコー | 生体機能計測解析システム、生体機能計測解析プログラム及び生体機能計測解析方法 |
| JP7075045B2 (ja) * | 2018-03-30 | 2022-05-25 | 国立研究開発法人情報通信研究機構 | 推定システム、及び推定方法 |
| JP6872515B2 (ja) * | 2018-06-27 | 2021-05-19 | 株式会社人総研 | 視覚アプローチ適性検査システム |
| CN110687999A (zh) * | 2018-07-04 | 2020-01-14 | 刘彬 | 一种对脑电信号进行语义处理的方法和装置 |
| WO2021035067A1 (en) * | 2019-08-20 | 2021-02-25 | The Trustees Of Columbia University In The City Of New York | Measuring language proficiency from electroencephelography data |
| CN111012342B (zh) * | 2019-11-01 | 2022-08-02 | 天津大学 | 一种基于p300的视听双通道竞争机制脑-机接口方法 |
| CN113143293B (zh) * | 2021-04-12 | 2023-04-07 | 天津大学 | 一种基于脑电源成像的连续语音包络神经夹带提取方法 |
| CN113974658B (zh) * | 2021-10-28 | 2024-01-26 | 天津大学 | 基于eeg分时频谱黎曼的语义视觉图像分类方法及装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180146879A9 (en) * | 2004-08-30 | 2018-05-31 | Kalford C. Fadem | Biopotential Waveform Data Fusion Analysis and Classification Method |
| US7904144B2 (en) * | 2005-08-02 | 2011-03-08 | Brainscope Company, Inc. | Method for assessing brain function and portable automatic brain function assessment apparatus |
| US9451883B2 (en) * | 2009-03-04 | 2016-09-27 | The Regents Of The University Of California | Apparatus and method for decoding sensory and cognitive information from brain activity |
| CN103077205A (zh) * | 2012-12-27 | 2013-05-01 | 浙江大学 | 一种利用声音刺激诱发的erp进行语义声音搜索的方法 |
| US9646248B1 (en) * | 2014-07-23 | 2017-05-09 | Hrl Laboratories, Llc | Mapping across domains to extract conceptual knowledge representation from neural systems |
| JP6662644B2 (ja) * | 2016-01-18 | 2020-03-11 | 国立研究開発法人情報通信研究機構 | 視聴素材評価方法、視聴素材評価システム、及びプログラム |
| US11002814B2 (en) * | 2017-10-25 | 2021-05-11 | Siemens Medical Solutions Usa, Inc. | Decoding from brain imaging data of individual subjects by using additional imaging data from other subjects |
-
2015
- 2015-04-06 JP JP2015077694A patent/JP6618702B2/ja active Active
-
2016
- 2016-04-05 WO PCT/JP2016/061645 patent/WO2016163556A1/ja active Application Filing
- 2016-04-05 CN CN201680019204.7A patent/CN107427250B/zh active Active
- 2016-04-05 US US15/564,071 patent/US20180092567A1/en not_active Abandoned
- 2016-04-05 EP EP16776722.7A patent/EP3281582A4/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| US20180092567A1 (en) | 2018-04-05 |
| CN107427250B (zh) | 2021-01-05 |
| EP3281582A1 (en) | 2018-02-14 |
| EP3281582A4 (en) | 2019-01-02 |
| WO2016163556A1 (ja) | 2016-10-13 |
| CN107427250A (zh) | 2017-12-01 |
| JP2016195716A (ja) | 2016-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6618702B2 (ja) | 知覚意味内容推定装置および脳活動の解析による知覚意味内容の推定方法 | |
| JP2016195716A5 (ja) | ||
| Wingenbach et al. | Validation of the Amsterdam Dynamic Facial Expression Set–Bath Intensity Variations (ADFES-BIV): A set of videos expressing low, intermediate, and high intensity emotions | |
| Livingstone et al. | The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS): A dynamic, multimodal set of facial and vocal expressions in North American English | |
| Yeshurun et al. | Same story, different story: the neural representation of interpretive frameworks | |
| Valstar et al. | Induced disgust, happiness and surprise: an addition to the mmi facial expression database | |
| Soleymani et al. | Analysis of EEG signals and facial expressions for continuous emotion detection | |
| Ambadar et al. | Deciphering the enigmatic face: The importance of facial dynamics in interpreting subtle facial expressions | |
| Soleymani et al. | Multimodal emotion recognition in response to videos | |
| Krumhuber et al. | Effects of dynamic aspects of facial expressions: A review | |
| Woźniak et al. | Prioritization of arbitrary faces associated to self: An EEG study | |
| Delaherche et al. | Multimodal coordination: exploring relevant features and measures | |
| Klimovich-Gray et al. | Balancing prediction and sensory input in speech comprehension: the spatiotemporal dynamics of word recognition in context | |
| Leed et al. | Reaching to the self: The development of infants’ ability to localize targets on the body | |
| Sarma et al. | Review on stimuli presentation for affect analysis based on EEG | |
| Washington et al. | A review of and roadmap for data science and machine learning for the neuropsychiatric phenotype of autism | |
| Bara et al. | A Deep Learning Approach Towards Multimodal Stress Detection. | |
| Kwon et al. | Detection of nonverbal synchronization through phase difference in human communication | |
| Souto et al. | Facial emotional recognition in schizophrenia: preliminary results of the virtual reality program for facial emotional recognition | |
| Saadon et al. | Real-time emotion detection by quantitative facial motion analysis | |
| Almeida et al. | The processing of biologically plausible and implausible forms in American Sign Language: evidence for perceptual tuning | |
| Caridakis et al. | A cross-cultural, multimodal, affective corpus for gesture expressivity analysis | |
| Lazzeri et al. | The influence of dynamics and speech on understanding humanoid facial expressions | |
| Liegl et al. | Media assemblages, ethnographic vis-ability and the enactment of video in sociological research | |
| Verhoef et al. | Towards affective computing that works for everyone |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150408 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180320 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190527 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191029 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191113 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6618702 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |