JP7352914B2 - 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体 - Google Patents
想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体 Download PDFInfo
- Publication number
- JP7352914B2 JP7352914B2 JP2020523110A JP2020523110A JP7352914B2 JP 7352914 B2 JP7352914 B2 JP 7352914B2 JP 2020523110 A JP2020523110 A JP 2020523110A JP 2020523110 A JP2020523110 A JP 2020523110A JP 7352914 B2 JP7352914 B2 JP 7352914B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- decoder
- candidate
- recalled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 210000004556 brain Anatomy 0.000 claims description 65
- 239000013598 vector Substances 0.000 claims description 24
- 238000005259 measurement Methods 0.000 claims description 22
- 230000001054 cortical effect Effects 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000000537 electroencephalography Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 210000004761 scalp Anatomy 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000036982 action potential Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007177 brain activity Effects 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000000857 visual cortex Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 238000000692 Student's t-test Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 210000001320 hippocampus Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000003478 temporal lobe Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- Human Computer Interaction (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は想起画像の推定に関し、特に、想起された任意の画像を提示することを支援する想起画像推定装置等に関する。
筋萎縮性側索硬化症（ＡＬＳ）などの進行性の神経難病、および脳血管障害などに起因して、身体の運動機能が極度に低下している患者が多数存在する。このような患者に対する支援技術の１つとして、ブレイン－マシン－インタフェース（ＢＭＩ）が挙げられる。
ＢＭＩは、患者の脳神経細胞の活動電位、あるいは皮質脳波などを計測して運動意図を読み解き、ロボットアームなどの機械の動作を制御したり、患者が意図した文字を選択して入力するよう制御したりすることを可能にする技術などを含んでいる。ＡＬＳ患者を対象に実施されたアンケートによれば、患者の意思伝達をＢＭＩ技術によって支援することが強く要望されている。
例えば、特許文献１には、呈示された画像と、画像を呈示した際に脳の視覚連合野を含む領域の複数の計測点において計測された電気的特性とを相互に対応付けて、計測された電気的特性に基づいて伝えたい画像を特定して、意思伝達を支援する意思伝達支援装置が開示されている。
また、非特許文献１には、被験者の海馬から記録した神経細胞の発火活動を計測して、２つの画像が重なった画像を、被験者がどちらかの画像のことを考えることで、考えた方の画像を強く表示させることができる技術が開示されている。
M. Chef, N. Thiruvengadam, F. Mormann, A. Kraskov, R. Q. Quiroga, C. Koch, and I. Fried, "On-line, voluntary control of human temporal lobe neurons"，Nature, Vol. 467, No.7319, pp.1104-1108，2010.
しかしながら、上述のような従来技術は、想起した任意の画像を高い精度で推定することはできないという問題がある。
例えば、特許文献１に記載の意思伝達支援装置は、呈示された画像に対応付けられている電気的特性に基づいて表示する画像を決定するため、表示可能な画像は呈示された画像に限られ、想起された任意の画像を表示することはできない。
また、非特許文献１に記載の技術においても、２つの画像が重なった状態を視認している被験者が、いずれかの画像に意識を向けることによって、意識を向けた側の画像を強く表示させることはできるものの、想起された任意の画像を表示させるものではない。
本発明の一態様は、被験者が想起している目的画像を、精度良く推定する想起画像推定装置および想起画像推定方法を実現することを目的とする。
上記の課題を解決するために、本発明の一態様に係る想起画像推定装置は、被験者の脳の電気的特性を、視覚連合野を含む脳の領域の複数の計測点において計測する多点電位計測部と、前記被験者が候補画像を視認している間に計測される前記電気的特性から、前記被験者が想起している目的画像の内容を示す復号情報を推定するデコーダと、前記デコーダによって推定された前記復号情報に基づいて、前記被験者に視認させる候補画像を決定する画像決定部と、を備えている。
また、本発明に係る想起画像推定方法は、上記の課題を解決するために、被験者が候補画像を視認している間に、視覚連合野を含む脳の領域の複数の計測点において計測される脳の電気的特性から、前記被験者が想起している目的画像の内容を示す復号情報を推定する推定ステップと、前記推定ステップにおいて推定した前記復号情報に基づいて、前記被験者に視認させる候補画像を決定する画像決定ステップと、を含んでいる。
本発明の一態様によれば、被験者が想起している目的画像を、精度良く推定することができる。
〔実施形態１〕
以下、本発明の一実施形態に係る想起画像推定装置１０について、詳細に説明する。想起画像推定装置１０は、被験者が想起している目的画像を、該目的画像の内容を示す復号情報を推定し、推定した復号情報に基づいて、被験者に視認させる候補画像を決定する装置である。想起画像推定装置１０は、被験者に視認させた画像と、当該画像を視認しているときの被験者の脳Ｂの電気的特性との１対１の対応関係に基づいて候補画像を決定するものではない。それゆえ、想起画像推定装置１０は、予め被験者に視認させた画像ではない任意の候補画像を、被験者に視認させる候補画像として決定することができる。それゆえ、想起画像推定装置１０は、被験者が外部に提示したいと希望する任意の画像およびイメージを外部に提示できるように支援する装置である。ここで、「候補画像」とは、脳Ｂの電気的特性を計測するために被験者に視認させる画像を意図しており、「目的画像」とは、被験者が候補画像を視認しつつ想起している画像（すなわち、被験者が提示したいと希望している画像）を意図している。
以下、本発明の一実施形態に係る想起画像推定装置１０について、詳細に説明する。想起画像推定装置１０は、被験者が想起している目的画像を、該目的画像の内容を示す復号情報を推定し、推定した復号情報に基づいて、被験者に視認させる候補画像を決定する装置である。想起画像推定装置１０は、被験者に視認させた画像と、当該画像を視認しているときの被験者の脳Ｂの電気的特性との１対１の対応関係に基づいて候補画像を決定するものではない。それゆえ、想起画像推定装置１０は、予め被験者に視認させた画像ではない任意の候補画像を、被験者に視認させる候補画像として決定することができる。それゆえ、想起画像推定装置１０は、被験者が外部に提示したいと希望する任意の画像およびイメージを外部に提示できるように支援する装置である。ここで、「候補画像」とは、脳Ｂの電気的特性を計測するために被験者に視認させる画像を意図しており、「目的画像」とは、被験者が候補画像を視認しつつ想起している画像（すなわち、被験者が提示したいと希望している画像）を意図している。
（想起画像推定装置１０の構成）
まず、想起画像推定装置１０の構成について、図１を用いて説明する。図１は、本発明の一実施形態に係る想起画像推定装置１０の概略構成例を示す機能ブロック図である。なお、以下では想起画像推定装置１０が表示部５を備える構成を例に挙げて説明するがこれに限定されない。例えば、表示部５の代わりに外部の表示装置を適用する構成であってもよい。
まず、想起画像推定装置１０の構成について、図１を用いて説明する。図１は、本発明の一実施形態に係る想起画像推定装置１０の概略構成例を示す機能ブロック図である。なお、以下では想起画像推定装置１０が表示部５を備える構成を例に挙げて説明するがこれに限定されない。例えば、表示部５の代わりに外部の表示装置を適用する構成であってもよい。
図１に示すように、想起画像推定装置１０は、多点電位計測部１、デコーダ２、画像決定部３、表示制御部４、表示部５、および記憶部６を備えている。
多点電位計測部１は、被験者の脳Ｂの電気的特性を、視覚連合野を含む脳Ｂの領域の複数の計測点において計測する。より具体的には、多点電位計測部１は、複数の電極Ｅを備え、脳Ｂの皮質脳波（Electro-Cortico-Graphy：ＥＣｏＧ）を計測する（低侵襲的構成）。この場合、電極Ｅは硬膜下に留置されるＥＣｏＧ電極である。電極Ｅは、画像を視認している被験者の脳Ｂに生じた皮質電位を検出するための電極である。電極Ｅは、脳Ｂの大脳皮質の視覚連合野を含む領域の表面および脳溝の表面に留置され得る。なお、電極Ｅの数は複数（例えば、１００）であればよく、特に限定されない。
なお、多点電位計測部１は、皮質電位を計測する構成に限定されない。例えば、多点電位計測部１は、
・電極Ｅとして脳Ｂに刺入電極を用いて神経細胞の活動電位（Multi-unit Activity：ＭＵＡ）を計測する構成（侵襲的構成）
・電極Ｅとして脳Ｂに刺入電極を用いる脳波（stereotactic Electro-Encephalo-Graphy：ｓｔｅｒｅｏｔａｃｔｉｃ ＥＥＧ）を計測する構成（侵襲的構成）
・頭皮上に配置された電極Ｅを用いる頭皮脳波（scalp Electro-Encephalo-Graphy：ｓｃａｌｐ ＥＥＧ）を計測する構成（非侵襲的構成）
・脳血管内に配置された電極Ｅを用いる脳血管内脳波（intravascular Electro-Encephalo-Graphy：ｉｎｔｒａｖａｓｃｕｌａｒ ＥＥＧ）を計測する構成（低侵襲的構成）
・電極Ｅとして脳磁図（Magneto-Encephalo-Graphy：ＭＥＧ）用のセンサを用いて、脳Ｂの電気的な活動によって生じる磁場を計測する構成（非侵襲的構成）、のいずれかであってもよい。
・電極Ｅとして脳Ｂに刺入電極を用いて神経細胞の活動電位（Multi-unit Activity：ＭＵＡ）を計測する構成（侵襲的構成）
・電極Ｅとして脳Ｂに刺入電極を用いる脳波（stereotactic Electro-Encephalo-Graphy：ｓｔｅｒｅｏｔａｃｔｉｃ ＥＥＧ）を計測する構成（侵襲的構成）
・頭皮上に配置された電極Ｅを用いる頭皮脳波（scalp Electro-Encephalo-Graphy：ｓｃａｌｐ ＥＥＧ）を計測する構成（非侵襲的構成）
・脳血管内に配置された電極Ｅを用いる脳血管内脳波（intravascular Electro-Encephalo-Graphy：ｉｎｔｒａｖａｓｃｕｌａｒ ＥＥＧ）を計測する構成（低侵襲的構成）
・電極Ｅとして脳磁図（Magneto-Encephalo-Graphy：ＭＥＧ）用のセンサを用いて、脳Ｂの電気的な活動によって生じる磁場を計測する構成（非侵襲的構成）、のいずれかであってもよい。
ただし、計測される脳Ｂの電気的特性の感度は一般に、ｓｃａｌｐ ＥＥＧ＜ＭＥＧ＜ｉｎｔｒａｖａｓｃｕｌａｒ ＥＥＧ＜ｓｔｅｒｅｏｔａｃｔｉｃ ＥＥＧ＜ＥＣｏＧ＜ＭＵＡの順である。一方、被験者の身体への負担は、ｓｃａｌｐ ＥＥＧ＝ＭＥＧ＜ｉｎｔｒａｖａｓｃｕｌａｒ ＥＥＧ＜ｓｔｅｒｅｏｔａｃｔｉｃ ＥＥＧ＝ＥＣｏＧ＜ＭＵＡの順である。達成されるべき精度と被験者の身体への負担を考慮すると、多点電位計測部１としては、ＭＥＧおよびＥＣｏＧが望ましい。
多点電位計測部１によって皮質電位を測定する構成を適用する場合、例えば、アルファ波（８～１３Ｈｚ）、ベータ波（１３～３０Ｈｚ）、低周波ガンマ波（３０～８０Ｈｚ）、および高周波ガンマ波（８０～１５０Ｈｚ）の各帯域の脳波が適用され得る。
デコーダ２は、候補画像を視認している間に計測される電気的特性から、被験者が想起している目的画像の内容を示す復号情報を推定する。ここで、「復号情報」とは、画像の内容および意味を示す情報である。より具体的には、「復号情報」は、画像の内容および意味を、意味空間（「単語ベクトル空間」と表されてもよい）におけるベクトルとして表した情報である。画像の内容を意味空間におけるベクトルとして表す方法については、具体例を挙げて後に説明する。
デコーダ２は、学習済のニューラルネットワークであってもよい。デコーダ２を作成するための学習には、所定の候補画像と、所定の候補画像の内容を説明する１以上の説明文に含まれる１以上の単語に対応する単語ベクトルを用いて予め生成された教師復号情報とが用いられる。この場合、デコーダ２は、入力層と出力層とを備え、所定の候補画像を視認している間に計測される脳Ｂの電気的特性が入力層へ入力された場合に、当該所定の候補画像に対応付けられた教師復号情報を出力層から出力するように学習される。デコーダ２を学習によって生成する処理については、後に具体例を挙げて説明する。
画像決定部３は、デコーダ２によって推定された復号情報に基づいて、被験者に視認させる候補画像を決定する。より具体的には、画像決定部３は、デコーダ２によって推定された復号情報と同じ、あるいは類似の復号情報に関連付けられている候補画像を、被験者に視認させている候補画像に続けて視認させる候補画像として決定する。
表示制御部４は、画像決定部３が決定した候補画像を表示するよう表示部５を制御する。また、表示制御部４は、デコーダ２を学習によって生成する処理において、学習用に準備された所定の候補画像を表示するよう表示部５を制御する。
表示部５は、画像を表示するディスプレイである。被験者は、表示部５に表示される画像を視認しつつ、任意の目的画像を想起する。
記憶部６は、表示部５にて表示する候補画像を記憶している。各候補画像には、各候補画像の内容を示す復号情報が対応付けられている。なお、想起画像推定装置１０がデコーダ２の機械学習（教師有り学習）を行う機能も備えている場合、記憶部６には、学習用画像（所定の候補画像）および、学習用画像毎に対応付けられた復号情報（教師復号情報）を記憶している。
上記の構成によれば、候補画像を視認している被験者の脳Ｂの電気的特性から、当該被験者が想起している画像の内容を示す復号情報を推定し、推定された復号情報に基づいて決定された画像を当該被験者に視認させる。これにより、候補画像を被験者に視認させ、復号情報を推定し、推定した復号情報に基づいて次の候補画像を決定する、というclosed-loop制御機構が構成され得る。ここで、closed-loop制御機構とは、被験者が候補画像を視認しているときに計測される脳Ｂの電気的特性から、当該被験者に視認させる候補画像を決定する、という「閉じた制御機構」を意図している。
このようなclosed-loop制御機構を適用することによって、被験者は所望の目的画像を想起しつつ、候補画像を視認するという工程を繰り返すことになる。それゆえ、被験者自身による脳活動のトップダウン制御が脳Ｂの視覚野に入力され、このトップダウン制御が入力したときの脳Ｂの電気的特性を計測することができる。よって、被験者が想起している目的画像を精度良く推定することができる。
ここで、トップダウン制御とは、ボトムアップ制御と同様に、脳Ｂが視覚情報を処理する場合の神経情報制御形態の一つである。トップダウン制御は、視覚情報の中から選ぶべき刺激について事前知識を持っている場合に、能動的に神経情報にバイアスをかけることによって目的とする刺激を選択する制御である。これに対して、ボトムアップ制御は、視覚情報に含まれる複数の刺激のうち、周囲の刺激と顕著に異なる刺激が含まれる場合などに、受動的にその顕著な刺激に注意を向けるような制御である。
（想起画像推定装置１０の処理の流れの概要）
続いて、想起画像推定装置１０の処理の流れについて、図２を用いて説明する。図２は、想起画像推定装置１０の処理の流れの一例を示すフローチャートである。
続いて、想起画像推定装置１０の処理の流れについて、図２を用いて説明する。図２は、想起画像推定装置１０の処理の流れの一例を示すフローチャートである。
まず、デコーダ２が機械学習によって生成される。具体的には、所定の候補画像を視認している間に計測される脳Ｂの電気的特性が入力された場合、当該所定の候補画像に対応付けられた教師復号情報を出力するように、デコーダ２を学習する（ステップＳ１：デコーダ生成ステップ）。図１に示すような想起画像推定装置１０においては、学習済のデコーダ２が適用される。
次に、表示制御部４は、被験者に視認させる候補画像が表示されるように表示部５を制御する（ステップＳ２：候補画像表示ステップ）。画像は、複数の画像からなる動画であってもよい。音声の有無は問わない。なお、被験者に最初に視認させる候補画像に特に限定は無く、例えば、想起画像推定装置１０による推定処理が開始されたことを通知する画面など、任意の画像を表示すればよい。
次に、デコーダ２は、多点電位計測部１によって計測される表示された候補画像を視認している被験者の脳Ｂの電気的特性から復号情報を推定する（ステップＳ３：推定ステップ）。
続いて、画像決定部３は、デコーダ２によって推定された復号情報に基づいて、被験者に視認させる候補画像を決定する（ステップＳ４：画像決定ステップ）。
そして、ステップ２に戻り、表示制御部４は、画像決定部３によって決定された画像が、被験者に続いて表示されるように表示部５を制御する。
このように、ステップＳ２～Ｓ４の処理を繰り返すことにより、被験者は所望の目的画像を想起しつつ、候補画像を視認するというclosed-loop制御機構が構成される。
（デコーダ２を作成するための学習を行う想起画像推定装置１０ａの構成）
ここでは、デコーダ２を機械学習によって生成する想起画像推定装置１０ａの構成について図３を用いて説明する。図３は、デコーダ２を作成するための機械学習を行う想起画像推定装置１０ａの概略構成の一例を示す機能ブロック図である。なお、想起画像推定装置１０ａは、図１に示す想起画像推定装置１０と同じ機能、および同じ構成（例えば、デコーダ２の学習に関係しない画像決定部３など）を備えていてもよい。
ここでは、デコーダ２を機械学習によって生成する想起画像推定装置１０ａの構成について図３を用いて説明する。図３は、デコーダ２を作成するための機械学習を行う想起画像推定装置１０ａの概略構成の一例を示す機能ブロック図である。なお、想起画像推定装置１０ａは、図１に示す想起画像推定装置１０と同じ機能、および同じ構成（例えば、デコーダ２の学習に関係しない画像決定部３など）を備えていてもよい。
想起画像推定装置１０ａは、復号情報比較部７および重み係数補正部８を備えている。
復号情報比較部７は、学習用画像を視認している被験者の脳Ｂから計測された脳Ｂの電気的特性から学習前（または学習中）のデコーダ２によって推定された復号情報と、当該学習用画像に対応付けられた教師復号情報とを比較する。
重み係数補正部８は、復号情報比較部７による比較結果に基づいて、デコーダ２の重み係数を補正する。具体的には、重み係数補正部８は、学習用画像を視認している被験者の脳Ｂから計測された脳Ｂの電気的特性が入力された場合に、当該学習用画像に対応付けられた教師復号情報を出力するように、デコーダ２の現在の重み係数を補正する。
このようにデコーダ２を機械学習によって生成することにより、目的画像を想起している被験者の脳Ｂの電気的特性から、目的画像の内容を示す復号情報を高い精度で推定することができるデコーダ２を作成することができる。
（機械学習によるデコーダ２の生成）
次に、デコーダ２を作成するための機械学習の方法の概略を図４および５を用いて説明する。図４の（ａ）は、機械学習によってデコーダを生成する方法の一例を示すフローチャートであり、図４の（ｂ）は、学習用画像および各画像の内容を示す復号情報の準備工程を示すフローチャートである。図５は、デコーダ２を作成するための学習用画像、および学習用画像の内容を説明する説明文の一例を示す図である。
次に、デコーダ２を作成するための機械学習の方法の概略を図４および５を用いて説明する。図４の（ａ）は、機械学習によってデコーダを生成する方法の一例を示すフローチャートであり、図４の（ｂ）は、学習用画像および各画像の内容を示す復号情報の準備工程を示すフローチャートである。図５は、デコーダ２を作成するための学習用画像、および学習用画像の内容を説明する説明文の一例を示す図である。
まず、機械学習に供される学習用画像、および各学習用画像の内容を示す教師復号情報を準備する（ステップＳ１１：学習用画像準備ステップ）。
＜学習用画像と教師復号情報の準備＞
以下、学習用画像と教師復号情報とを準備する工程の具体例について、図４の（ｂ）を用いて説明する。なお、図４の（ｂ）に示す工程のうち、ステップＳ１１３～Ｓ１１５は、一般的なパーソナルコンピュータを用いて行われ得る。
以下、学習用画像と教師復号情報とを準備する工程の具体例について、図４の（ｂ）を用いて説明する。なお、図４の（ｂ）に示す工程のうち、ステップＳ１１３～Ｓ１１５は、一般的なパーソナルコンピュータを用いて行われ得る。
・機械学習に用いる学習用画像を準備する工程（ステップＳ１１１）。
・学習用画像毎に、当該学習用画像の内容および意味を説明する説明文（キャプションまたはアノテーション）を準備する工程（ステップＳ１１２）。説明文は、１文であってもよいし、複数の文章を含んでいてもよい。説明文は、画像の内容および画像を視認したときに受ける印象などを端的かつ正確に記載した文章であることが望ましい。説明文は、１または複数人に画像を見せて作成されたものであってもよいし、画像認識機能を備える人工知能を用いて人工的に作成されたものであってもよい。デコーダ２を作成するための学習用画像、および学習用画像の内容を説明する説明文については、後に具体例を挙げて説明する。
・説明文に含まれる単語を抽出する工程（ステップＳ１１３）。この工程には、公知の形態素解析エンジンが適用され得る。このような公知の形態素解析エンジンとしては、「ＭｅＣａｂ（和布蕪）」、「Ｃｈａｓｅｎ」、および「ＫｙＴｅａ」などが挙げられる。なお、この工程は、説明文が日本語で記載されている場合に必要となる工程である。説明文が、例えば英語などのように、各単語が分かれている（例えば、単語と単語との間にスペースが存在する）言語で記載されている場合には、この工程は省略される。
・抽出された各単語の単語ベクトルを生成する工程（ステップＳ１１４）。この工程には、意味空間における単語の分散表現を出力する機能を有する公知のツール（例えば、人工知能）が適用され得る。なお、このような公知のツールとしては、「Ｗｏｒｄ２ｖｅｃ」、「ＧｌｏＶｅ」、「ｆａｓｔＴｅｘｔ」、「Ｄｏｃ２Ｖｅｃ」、および「ＷｏｒｄＮｅｔ」などが挙げられる。例えば、既存の文章（例えば、ウェブ上の「ウェキペディア」などの記述）を多数用いて学習済の「Ｗｏｒｄ２ｖｅｃ」は、説明文から抽出された各単語について、所定の次元（例えば１０００次元）の意味空間における単語ベクトルを高い精度で出力することができる。なお、単語ベクトルは互いに線形演算が可能な線形空間におけるベクトルであることが望ましいが、非線形空間における単語ベクトルであってもよい。なお、この工程は、説明文の記載に用いられた言語の種類によらず同様に実施され得る。例えば、説明文が英語で記載されている場合、Ｗｏｒｄ２ｖｅｃなどを英語版のウェキペディアなどを用いて学習し、学習されたＷｏｒｄ２ｖｅｃにて単語ベクトルを出力すればよい。
・単語ベクトルの平均として、当該学習用画像に対応付ける教師復号情報を生成する工程。学習用画像の内容を説明する説明文から抽出された単語について、ステップＳ１１４にて生成された単語ベクトルのベクトル平均を求め、当該説明文の内容を示す教師復号情報を生成する。
上述のように、教師復号情報は、各学習用画像の内容を説明する文章から抽出された単語の意味空間におけるベクトルを平均して生成される。なお、本実施形態に係る想起画像推定装置１０に供される候補画像の各々についても、上記Ｓ１１１～Ｓ１１５の工程により、復号情報が生成される。
図４の（ａ）に戻り、次に、多点電位計測部１は、学習用画像を視認する被験者の脳Ｂにおいて計測される電気的特性を計測する（ステップＳ１２：計測ステップ）。なお、この工程では、被験者は目的画像を想起することなく、単に学習用画像を視認することが望ましい。
続いて、計測された電気的特性を入力信号として用い、視認している学習用画像の内容を示す教師復号情報を教師信号として用いて、デコーダ２を学習させる。具体的には、まず、復号情報比較部７が、学習用画像を視認している被験者の脳Ｂから計測された脳Ｂの電気的特性から学習前（または学習中）のデコーダ２によって推定された復号情報と、当該学習用画像に対応付けられた教師復号情報とを比較する。次に、重み係数補正部８が、学習用画像を視認している被験者の脳Ｂから計測された脳Ｂの電気的特性が入力された場合に、当該学習用画像に対応付けられた教師復号情報を出力するように、デコーダ２の現在の重み係数を補正する。
なお、図４の（ａ）に示すステップＳ１１～Ｓ１３の各工程は、連続して実施される必要は無く、それぞれ個別に実施され得る。例えば、ステップＳ１１の工程は、ステップＳ１２が実施される前に実施されてもよいし、ステップＳ１２が実施された後に実施されてもよい。また、ステップＳ１２を実施し、計測された電気的特性と、被験者が視認した画像とを対応付けたデータを記憶しておき、デコーダ２の学習に当該データを利用する構成でもよい。
＜学習用画像の例＞
図５に示す画像は、学習用画像の一例である。この画像に対しては、「両親と娘、息子の４人家族がでかけている様子がうつっている。息子は宇宙服を着ていてその様子を父親が撮影している。背景などから宇宙についての展覧会のように感じる。みんなが笑顔で楽しい雰囲気を感じる。」という説明文が作成され得る。
図５に示す画像は、学習用画像の一例である。この画像に対しては、「両親と娘、息子の４人家族がでかけている様子がうつっている。息子は宇宙服を着ていてその様子を父親が撮影している。背景などから宇宙についての展覧会のように感じる。みんなが笑顔で楽しい雰囲気を感じる。」という説明文が作成され得る。
なお、ステップＳ１１２において、１つの学習用画像（および候補画像）について、複数の説明文が作成されてもよい。例えば、図５に示す学習用画像に対して、「宇宙服を着た人を３人の家族がカメラで撮っている様子である。楽しそうで、宇宙服を着る体験をしているのだと思った。」、「宇宙服を着た子供が写っています。お父さんは写真を撮っています。こんな体験ができると嬉しいでしょうね。」などの説明文も作成され得る。
＜デコーダ２の作成＞
次に、デコーダ２の作成について、図６を用いて説明する。図６は、学習用画像を用いてデコーダ２を生成する手順の一例を説明するイメージ図である。なお、ここでは、被験者の脳Ｂの電気的特性が、皮質脳波である場合を例に挙げて説明する。
次に、デコーダ２の作成について、図６を用いて説明する。図６は、学習用画像を用いてデコーダ２を生成する手順の一例を説明するイメージ図である。なお、ここでは、被験者の脳Ｂの電気的特性が、皮質脳波である場合を例に挙げて説明する。
まず、学習用画像を視認している被験者の脳Ｂの皮質脳波が、多点電位計測部１により計測される。
次に、計測された皮質脳波を周波数解析し、アルファ波、ベータ波、およびガンマ波の各帯域のパワーをそれぞれ求め、これらをデコーダ２に入力する特徴行列として用いられる。
一方、ＭｅＣａｂなどの形態素解析エンジンを用いて、被験者が視認している画像毎の説明文から単語を抽出し、説明文から復号情報を生成する。例えば、図６に示す説明文「雪のある山の頂上の様子。はっきりと青と白の雲のある空と、雪のある地面や水辺のむき出しの山。山には影もできている」の場合、「雪」、「山」、「頂上」、「様子」などの単語が抽出される。
そして、抽出された単語の単語ベクトルの各要素（例えば１０００次元）について平均した復号情報が教師復号情報として決定される。抽出された各単語についての単語ベクトルは、学習済のＷｏｒｄ２ｖｅｃを用いて、１０００次元の単語ベクトルとして生成される。
デコーダ２の学習過程では、アルファ波、ベータ波、およびガンマ波の各帯域のパワーを入力信号としたときに、各画像の教師復号情報を所望の精度で出力できるように重み行列が補正される。
図６では、ｒｉｄｇｅ－ｒｅｇｒｅｓｓｉｏｎなどの回帰処理を用いて、３６００の画像について復号情報を出力するように学習する場合の例を示している。なお、ｒｉｄｇｅ－ｒｅｇｒｅｓｓｉｏｎの代替として、深層学習、およびＳｐａｒｓｅ Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ（ＳＬＲ）などの解析方法を適用することも可能である。
〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
（想起画像推定装置１０ａの構成）
被験者に視認させる候補画像を、記憶部６に記憶されている画像の中から決定するのではなく、任意の検索対象の情報群から取得する構成であってもよい。
被験者に視認させる候補画像を、記憶部６に記憶されている画像の中から決定するのではなく、任意の検索対象の情報群から取得する構成であってもよい。
想起画像推定装置１０ａは、検索対象の情報群から画像を検索することにより、多種多様な画像を候補画像として利用する。まず、想起画像推定装置１０ａについて、図９を用いて説明する。図９は、本発明の一実施形態に係る想起画像推定装置１０ａの概略構成例を示す機能ブロック図である。
図９に示す想起画像推定装置１０ａは、画像決定部３の代わりに、画像検索部３ａ（画像決定部）を備えている。
画像検索部３ａは、デコーダ２によって推定された復号情報と同じ、あるいは類似の復号情報を用いて検索用クエリを生成する。また、画像検索部３ａは、生成した検索用クエリを用いて、検索対象の情報群から、復号情報と同じ、あるいは類似の復号情報に対応付けられている画像を検索する。検索対象の情報群は任意の情報群であってもよく、例えば、図９に示すように、インターネット上に存在するウェブサイトＡ６０ａおよびウェブサイトＢ６０ｂなどが含まれ得る。次に、画像検索部３ａは、検索結果として取得された画像を候補画像として決定する。また、画像検索部３ａは、検索結果として取得された画像を、候補画像に続けて被検者に視認させる候補画像として決定する。
具体的には、デコーダ２は、候補画像を視認している間に計測される電気的特性から、被験者が想起している目的画像の内容を示す復号情報を推定する。デコーダ２は、推定した復号情報（例えば、意味空間におけるベクトル）に近い１または複数の単語を推定することができる。具体的には、デコーダ２は、推定した復号情報の意味空間におけるベクトルと、該復号情報に近い各単語の意味空間におけるベクトルとの間の距離が近い順に、幾つかの単語を選択する。
画像検索部３ａは、デコーダ２によって推定された単語に中から、動詞や形容詞などについて幾つか選択し、これを用いて公知の画像検索（例えば、Google（登録商標）の画像検索など）に用いる検索用クエリを生成する。画像検索部３ａは、生成した検索用クエリを用いて、デコーダ２によって推定された単語に対応付けられた画像を、ウェブ上から検索することができる。画像検索部３ａは、検索結果において上位に挙げられている画像を、表示部５に表示する候補画像として決定する。
このように構成すれば、closed-loop制御機構を適用した場合おいて被験者に提示する候補画像として、インターネット上に存在するウェブサイトを含む検索対象の情報群の多種多様な画像を利用することができる。
closed-loop制御機構を適用することによって、被験者は所望の目的画像を想起しつつ、候補画像を視認するという工程を繰り返すことになる。それゆえ、被検者は、候補画像を視認している間に計測される電気的特性を変えることによって、任意の画像をインターネット上に存在するウェブサイトを含む検索対象の情報群から検索することができる。
なお、図９に示す想起画像推定装置１０ａは、表示部５にて表示する候補画像を記憶している記憶部６を備えていない。しかし、これは一例に過ぎず、想起画像推定装置１０ａは、図１に示す想起画像推定装置１０のように、記憶部６を備える構成であってもよい。
この場合、画像検索部３ａは、デコーダ２によって推定された復号情報と同じ、あるいは類似の復号情報に対応付けられている画像を、記憶部６およびウェブサイトＡ６０ａおよびウェブサイトＢ６０ｂなどから取得する。
〔ソフトウェアによる実現例〕
想起画像推定装置１０の制御ブロック（特にデコーダ２、画像決定部３、および表示制御部４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
想起画像推定装置１０の制御ブロック（特にデコーダ２、画像決定部３、および表示制御部４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、想起画像推定装置１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
〔まとめ〕
本発明の態様１に係る想起画像推定装置は、被験者の脳の電気的特性を、視覚連合野を含む脳の領域の複数の計測点において計測する多点電位計測部と、前記被験者が候補画像を視認している間に計測される前記電気的特性から、前記被験者が想起している目的画像の内容を示す復号情報を推定するデコーダと、前記デコーダによって推定された前記復号情報に基づいて、前記被験者に視認させる候補画像を決定する画像決定部と、を備えている。
本発明の態様１に係る想起画像推定装置は、被験者の脳の電気的特性を、視覚連合野を含む脳の領域の複数の計測点において計測する多点電位計測部と、前記被験者が候補画像を視認している間に計測される前記電気的特性から、前記被験者が想起している目的画像の内容を示す復号情報を推定するデコーダと、前記デコーダによって推定された前記復号情報に基づいて、前記被験者に視認させる候補画像を決定する画像決定部と、を備えている。
上記の構成によれば、候補画像を視認している被験者の脳の電気的特性から、当該被験者が想起している画像の内容を示す復号情報を推定し、推定された復号情報に基づいて決定された画像を当該被験者に視認させる。これにより、候補画像を被験者に視認させ、復号内容を推定し、推定した復号情報に基づいて次の候補画像を決定する、というclosed-loop制御機構が構成され得る。
このようなclosed-loop機構を適用することによって、被験者は所望の目的画像を想起しつつ、候補画像を視認するという工程を繰り返すことになる。それゆえ、被験者自身による脳活動のトップダウン制御が脳の視覚野に入力され、このトップダウン制御が入力したときの脳の電気的特性を計測することができる。よって、被験者が想起している目的画像を精度良く推定することができる。
本発明の態様２に係る想起画像推定装置は、上記態様１において、前記画像決定部は、前記デコーダによって推定された前記復号情報と同じ、あるいは類似の前記復号情報に対応付けられた画像を、前記候補画像に続けて視認させる候補画像として決定してもよい。
また、本発明の態様３に係る想起画像推定装置は、前記画像決定部は、前記デコーダによって推定された前記復号情報と同じ、あるいは類似の前記復号情報を用いて検索用クエリを生成し、生成した前記検索用クエリを用いて、検索対象の情報群から、前記復号情報と同じ、あるいは類似の前記復号情報に関連付けられている画像を検索し、検索結果として取得された画像を、前記候補画像として決定してもよい。
また、本発明の態様４に係る想起画像推定装置は、上記態様３において、前記画像決定部は、前記検索結果として取得された画像を、前記候補画像に続けて視認させる候補画像として決定してもよい。
検索対象の情報群から画像を検索することにより、多種多様な画像を候補画像として利用することができる。なお、検索対象の情報群は、インターネット上のウェブサイトなどを含んでいてもよい。
本発明の態様５に係る想起画像推定装置は、上記態様１から４のいずれかにおいて、所定の候補画像の内容を説明する１以上の説明文に含まれる１以上の単語に対応する単語ベクトルを用いて予め生成された教師復号情報と、当該所定の候補画像とが対応付けられており、前記デコーダは、所定の候補画像を視認している間に計測される脳の電気的特性が入力された場合に、当該所定の候補画像に対応付けられた前記教師復号情報を出力するように学習される構成であってもよい。
このように、デコーダを学習によって生成することにより、目的画像を想起している被験者の脳の電気的特性から、目的画像の内容を示す復号情報を高い精度で推定することができるデコーダを生成することができる。
本発明の態様６に係る想起画像推定装置は、上記態様１から５のいずれかにおいて、前記デコーダは、前記候補画像を視認している間に計測される、脳の皮質電位、および脳の電気的な活動によって生じる磁場の少なくとも何れかを用いて、当該候補画像の内容を示す復号情報を推定してもよい。
また、本発明の一態様に係る想起画像推定方法は、上記の課題を解決するために、被験者が候補画像を視認している間に、視覚連合野を含む脳の領域の複数の計測点において計測される脳の電気的特性から、前記被験者が想起している目的画像の内容を示す復号情報を推定する推定ステップと、前記推定ステップにおいて推定した前記復号情報に基づいて、前記被験者に視認させる候補画像を決定する画像決定ステップと、を含んでいる。
また、上記態様１から６のいずれかに記載の想起画像推定装置としてコンピュータを機能させるための制御プログラムであって、前記デコーダ、および前記画像決定部としてコンピュータを機能させるための制御プログラム、および当該制御プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。
本発明の一実施例について、以下に説明する。
＜推定精度の検証＞
多種類の意味内容を含む６０分の動画を被験者に視認させながら、多点電位計測部１によって被験者の脳Ｂの皮質脳波を計測した。被験者に視認させる動画は、映画の紹介ビデオなどを短く区切って編集した動画を繋ぎ合わせて準備した。６０分間の動画において、同じ動画を含むさまざまな動画が何回か順不同で出現する。被験者は、視点を固定することなく、その動画を視認するように指示された。
多種類の意味内容を含む６０分の動画を被験者に視認させながら、多点電位計測部１によって被験者の脳Ｂの皮質脳波を計測した。被験者に視認させる動画は、映画の紹介ビデオなどを短く区切って編集した動画を繋ぎ合わせて準備した。６０分間の動画において、同じ動画を含むさまざまな動画が何回か順不同で出現する。被験者は、視点を固定することなく、その動画を視認するように指示された。
被験者に視認させた動画を、１秒毎の静止画像（シーン）に変換した。各シーンについて、複数人により、シーンの内容を説明する説明文が作成された。また、同じ１秒間に計測された皮質脳波について、アルファ波、ベータ波、およびガンマ波の各帯域のパワーを解析した。
ＭｅＣａｂを用いて、シーン毎の説明文から単語が抽出された。抽出された各単語について、ウィキペディアを用いて学習済のＷｏｒｄ２ｖｅｃを用いて、１０００次元の単語ベクトルが生成された。各シーンは、説明文から抽出された単語についての単語ベクトルの平均として生成された復号情報と対応付けられた。
皮質脳波のパワーを入力信号として用い、各シーンの復号情報を教師信号とする機械学習を行い、デコーダ２を作成した。
本実施例では、ｒｉｄｇｅ－ｒｅｇｒｅｓｓｉｏｎを用いて、３６００のシーンについて、統計的に有意な精度で、画像の内容を示す復号情報を推定することができた。
このことを、図７を用いて説明する。図７の黒実線は、シーンを視認している被験者の脳Ｂの皮質脳波から推定した復号情報と、当該シーンに対応付けられている復号情報（すなわち、正解）との相関係数の度数分布を示している。一方、図７の灰色の線は、各シーンに対応付けられている復号情報のラベルをシャッフルしたものと、シーンを視認している被験者の脳Ｂの皮質脳波から推定した復号情報との相関係数の度数分布を示している。図７によれば、シーンを視認している被験者の脳Ｂの皮質脳波から、当該シーンに対応付けられている復号情報を有意に高い精度で推定できていることが実証された。
＜想起画像推定の実証＞
次に、作成したデコーダ２を適用した想起画像推定装置１０にて、被験者が想起した目的画像を推定することが可能であるか否かを検証した。
次に、作成したデコーダ２を適用した想起画像推定装置１０にて、被験者が想起した目的画像を推定することが可能であるか否かを検証した。
図８において、時刻０は想起するイメージ（「文字」、「風景」等）を被験者に指示したタイミングを示している。図８の黒線は、被験者に対して指示した内容を含む画像に対応付けられた復号情報と、被験者の脳Ｂの皮質脳波から推定した復号情報とについて、正規化した相関係数のトライアル平均を示している（＊ｐ＜０．０５、Ｓｔｕｄｅｎｔ’ｓ ｔ－ｔｅｓｔ）。一方、図８のグレーの線は、想起するイメージが含まれない画像に対応付けられた復号情報と、被験者の脳Ｂの皮質脳波から推定した復号情報と正規化した相関係数のトライアル平均を示している。図８によれば、被験者が想起している画像を有意に高い精度で推定可能であることが実証された。
１ 多点電位計測部
２ デコーダ
３ 画像決定部
３ａ 画像検索部（画像決定部）
４ 表示制御部
５ 表示部
６ 記憶部
１０、１０ａ 想起画像推定装置
６０ａ ウェブサイトＡ
６０ｂ ウェブサイトＢ
Ｓ１ デコーダ生成ステップ
Ｓ２ 候補画像表示ステップ
Ｓ３ 推定ステップ
Ｓ４ 画像決定ステップ
Ｓ１１ 学習用画像準備ステップ
Ｓ１３ 学習ステップ
２ デコーダ
３ 画像決定部
３ａ 画像検索部（画像決定部）
４ 表示制御部
５ 表示部
６ 記憶部
１０、１０ａ 想起画像推定装置
６０ａ ウェブサイトＡ
６０ｂ ウェブサイトＢ
Ｓ１ デコーダ生成ステップ
Ｓ２ 候補画像表示ステップ
Ｓ３ 推定ステップ
Ｓ４ 画像決定ステップ
Ｓ１１ 学習用画像準備ステップ
Ｓ１３ 学習ステップ
Claims (9)
- 被験者の脳の電気的特性を、視覚連合野を含む脳の領域の複数の計測点において計測する多点電位計測部と、
前記被験者が候補画像を視認している間に計測される前記電気的特性から、前記被験者が想起している目的画像の内容を示す復号情報を推定するデコーダと、
前記デコーダによって推定された前記復号情報に基づいて、前記被験者に過去に視認させた前記候補画像とは異なる画像を、前記被験者に次に視認させる候補画像として決定する画像決定部と、を備える
ことを特徴とする想起画像推定装置。 - 前記画像決定部は、前記デコーダによって推定された前記復号情報と同じ、あるいは類似の前記復号情報に対応付けられた画像を、前記候補画像に続けて視認させる候補画像として決定する
ことを特徴とする請求項１に記載の想起画像推定装置。 - 前記画像決定部は、
前記デコーダによって推定された前記復号情報と同じ、あるいは類似の前記復号情報を用いて検索用クエリを生成し、
生成した前記検索用クエリを用いて、検索対象の情報群から、前記復号情報と同じ、あるいは類似の前記復号情報に対応付けられている画像を検索し、
検索結果として取得された画像を、前記候補画像として決定する
ことを特徴とする請求項１に記載の想起画像推定装置。 - 前記画像決定部は、前記検索結果として取得された画像を、前記候補画像に続けて視認させる候補画像として決定する
ことを特徴とする請求項３に記載の想起画像推定装置。 - 所定の候補画像の内容を説明する１以上の説明文に含まれる１以上の単語に対応する単語ベクトルを用いて予め生成された教師復号情報と、当該所定の候補画像とが対応付けられており、
前記デコーダは、所定の候補画像を視認している間に計測される脳の電気的特性が入力された場合に、当該所定の候補画像に対応付けられた前記教師復号情報を出力するように学習される
ことを特徴とする請求項１から４のいずれか１項に記載の想起画像推定装置。 - 前記デコーダは、前記候補画像を視認している間に計測される、脳の皮質電位、および脳の電気的な活動によって生じる磁場の少なくとも何れかを用いて、当該候補画像の内容を示す復号情報を推定する
ことを特徴とする請求項１から５のいずれか１項に記載の想起画像推定装置。 - 被験者が候補画像を視認している間に、視覚連合野を含む脳の領域の複数の計測点において計測される脳の電気的特性から、前記被験者が想起している目的画像の内容を示す復号情報を推定する推定ステップと、
前記推定ステップにおいて推定した前記復号情報に基づいて、前記被験者に過去に視認させた前記候補画像とは異なる画像を、前記被験者に次に視認させる候補画像として決定する画像決定ステップと、を含む
ことを特徴とする想起画像推定方法。 - 請求項１から６のいずれか１項に記載の想起画像推定装置としてコンピュータを機能させるための制御プログラムであって、前記デコーダ、および前記画像決定部としてコンピュータを機能させるための制御プログラム。
- 請求項８に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018107185 | 2018-06-04 | ||
| JP2018107185 | 2018-06-04 | ||
| PCT/JP2019/022113 WO2019235458A1 (ja) | 2018-06-04 | 2019-06-04 | 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019235458A1 JPWO2019235458A1 (ja) | 2021-07-29 |
| JP7352914B2 true JP7352914B2 (ja) | 2023-09-29 |
Family
ID=68769873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020523110A Active JP7352914B2 (ja) | 2018-06-04 | 2019-06-04 | 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7352914B2 (ja) |
| WO (1) | WO2019235458A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782853B (zh) * | 2020-06-23 | 2022-12-02 | 西安电子科技大学 | 基于注意力机制的语义图像检索方法 |
| KR20240038786A (ko) * | 2021-07-29 | 2024-03-25 | 모세 오페르 | 비-감각 정보 렌더링 및 주입을 위한 방법 및 시스템 |
| WO2024100859A1 (ja) * | 2022-11-10 | 2024-05-16 | 日本電信電話株式会社 | 画像生成方法、画像生成装置および画像生成プログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010257343A (ja) | 2009-04-27 | 2010-11-11 | Niigata Univ | 意思伝達支援装置 |
| JP2016067922A (ja) | 2014-09-25 | 2016-05-09 | エスエヌユー アールアンドディービー ファウンデーション | ブレイン−マシンインタフェース装置および方法 |
| JP2016513319A (ja) | 2013-03-15 | 2016-05-12 | インテル コーポレイション | 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース（ｂｃｉ）システム |
| WO2017022228A1 (ja) | 2015-08-05 | 2017-02-09 | セイコーエプソン株式会社 | 脳内映像再生装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6354618A (ja) * | 1986-08-25 | 1988-03-09 | Canon Inc | 入力装置 |
| JP2593625B2 (ja) * | 1994-01-12 | 1997-03-26 | 株式会社脳機能研究所 | 生体情報自動識別装置 |
-
2019
- 2019-06-04 JP JP2020523110A patent/JP7352914B2/ja active Active
- 2019-06-04 WO PCT/JP2019/022113 patent/WO2019235458A1/ja active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010257343A (ja) | 2009-04-27 | 2010-11-11 | Niigata Univ | 意思伝達支援装置 |
| JP2016513319A (ja) | 2013-03-15 | 2016-05-12 | インテル コーポレイション | 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース（ｂｃｉ）システム |
| JP2016067922A (ja) | 2014-09-25 | 2016-05-09 | エスエヌユー アールアンドディービー ファウンデーション | ブレイン−マシンインタフェース装置および方法 |
| WO2017022228A1 (ja) | 2015-08-05 | 2017-02-09 | セイコーエプソン株式会社 | 脳内映像再生装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2019235458A1 (ja) | 2021-07-29 |
| WO2019235458A1 (ja) | 2019-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Palazzo et al. | Decoding brain representations by multimodal learning of neural activity and visual features | |
| Thiam et al. | Multi-modal pain intensity recognition based on the senseemotion database | |
| Bulagang et al. | A review of recent approaches for emotion classification using electrocardiography and electrodermography signals | |
| US11301775B2 (en) | Data annotation method and apparatus for enhanced machine learning | |
| Reed et al. | The body-inversion effect | |
| Levelt et al. | An MEG study of picture naming | |
| Smith et al. | Transmitting and decoding facial expressions | |
| JP7352914B2 (ja) | 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体 | |
| JP2015533559A (ja) | 知覚および認知プロファイリングのためのシステムおよび方法 | |
| WO2016163556A1 (ja) | 脳活動の解析による知覚意味内容の推定方法 | |
| Rozado et al. | Improving the performance of an EEG-based motor imagery brain computer interface using task evoked changes in pupil diameter | |
| Sakaki et al. | Association learning for emotional harbinger cues: When do previous emotional associations impair and when do they facilitate subsequent learning of new associations? | |
| KR102085693B1 (ko) | 사용자의 집중력 레벨 결정 방법 및 장치 | |
| JP2016195716A5 (ja) | ||
| Kim et al. | An analysis of smartphone overuse recognition in terms of emotions using brainwaves and deep learning | |
| Lee et al. | Assessing individual VR sickness through deep feature fusion of VR video and physiological response | |
| Strmiska et al. | Analysis of performance metrics using Emotiv EPOC+ | |
| Carabez et al. | Convolutional Neural Networks with 3D Input for P300 Identification in Auditory Brain‐Computer Interfaces | |
| Strmiska et al. | Measuring brain signals using emotiv devices | |
| Ilyas et al. | Deep transfer learning in human–robot interaction for cognitive and physical rehabilitation purposes | |
| CN112613364A (zh) | 目标物体的确定方法、系统、存储介质和电子设备 | |
| Amiri et al. | Motor imagery electroencephalography channel selection based on deep learning: a shallow convolutional neural network | |
| Mustafa et al. | Heart rate estimation from facial videos for depression analysis | |
| Nussbaum et al. | Analysis of viewer EEG data to determine categorization of short video clip | |
| Fukuma et al. | Decoding visual stimulus in semantic space from electrocorticography signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201216 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230908 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7352914 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |