JP6472144B2 - 脳波による類似度の評価方法、評価装置、評価システム及びプログラム - Google Patents

脳波による類似度の評価方法、評価装置、評価システム及びプログラム Download PDF

Info

Publication number
JP6472144B2
JP6472144B2 JP2016560207A JP2016560207A JP6472144B2 JP 6472144 B2 JP6472144 B2 JP 6472144B2 JP 2016560207 A JP2016560207 A JP 2016560207A JP 2016560207 A JP2016560207 A JP 2016560207A JP 6472144 B2 JP6472144 B2 JP 6472144B2
Authority
JP
Japan
Prior art keywords
target
stimulus
stimuli
electroencephalogram
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016560207A
Other languages
English (en)
Other versions
JPWO2016080341A1 (ja
Inventor
良平 長谷川
良平 長谷川
友美 藤村
友美 藤村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Publication of JPWO2016080341A1 publication Critical patent/JPWO2016080341A1/ja
Application granted granted Critical
Publication of JP6472144B2 publication Critical patent/JP6472144B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Psychiatry (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Fuzzy Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、複数の刺激に対する類似度評価に関わる脳情報を視覚化して評価する方法、評価装置、評価システム及びプログラムに関する。
従来、製品開発や販売戦略のために行われてきた市場調査の主要手段の一つであるアンケート調査では、回答者の意識・無意識のバイアスによって、調査結果の正確性や信頼度に問題があることが多かった。近年、消費者行動と関係した脳活動解析や脳活動に基づいたマーケティング調査法の開発が盛んになってきている。例えばfMRIという大型装置を用いた脳活動計測実験によって嗜好性やブランド意識に関する脳部位を同定したり、ブランド力による脳活動の差を調べたりした研究が知られている(非特許文献1参照)。また、最近では企業によって脳波に着目したニューロマーケティング(脳情報に基づく感性評価手法)が開始されている。
脳波に着目した従来技術では、質問紙によって得られた快不快などの様々な感情種に対するアンケートの評定結果と脳波との相関を調べることによって、脳波の意味づけを行ってきた。この手法では脳波と各感情種との相関が高いと、ある程度、脳波から各感情の強さを推測できる一方、相関が低いと脳波から正しく感情を推測できる確率が低くなるという問題がある。また、多数の被験者のデータベースから「一般的にこのような脳波が観察される場合はこのような感情状態です」というロジックが用いられているが、たとえ正常範囲でも被験者ごとの脳波のパターンにバリエーションがあることが無視されていて、科学的に意味のあるデータ解析が行われているかどうか疑問である。さらに、そもそも質問紙でわかる情報をあえて脳波から引き出す意味合いも明確でない。
そこで本発明の研究グループでは、被験者の主観的バイアスを極力排除した感性評価を行うことを目指した脳情報解析手法に関する研究開発を進めてきた。その成果の一つとして、単純に様々な刺激を連続的に提示している際の脳波の反応(電位変化の振幅データ)の違いをもとにした次元圧縮技術を提案した(特許文献1参照)。特許文献1では、複数の感覚刺激(言語的刺激を含む)に対する複数測定箇所から得られる多チャンネルの脳波データを次元圧縮して、刺激の分布を二次元平面上に表示することにより、距離の近い刺激は遠い刺激に比べて脳活動が類似していることを表示することを特徴とする、脳情報を視覚化する表示方法を提案した。
また、本発明者らは、脳活動の解析により意思を伝達できる意思伝達支援装置及び方法を開発してきた(特許文献2、3参照)。特許文献2では、刺激提示後の脳波を計測した脳波データを解析して得た判別関数と成功率とに基づいて、特定の意思決定が脳内でなされたと判断することを提案した。また、特許文献3では、刺激提示後の脳波データを解析して、認知課題である「メッセージの構成要素」の1試行ごとの意思決定に係わる脳内処理過程を推定する関数を用いて、特定の意思決定が脳内でなされたと判断し、メッセージの組み合わせにより意思伝達を支援する技術を提案した。特許文献2、3の技術により、例えば、発話や書字の困難な運動障害者、手足等による各種機器の入力操作が困難な重度の運動障害者のために、意思伝達を支援できる。
また、本発明者は、脳波解析により、調査対象物を序列化する装置及び方法を提案した(特許文献4参照)。
特開2010−274035号公報 特開2012−053656号公報 特開2012−073329号公報 特開2013−178601号公報
McClure SM,Li J,Tomlin D,Cypert KS,Monyague LM,Montague PR."Neural Correlates of Behavioral Preference for Culturally Familiar Drinks" Neuron 44,p379−387,2004
マーケティング調査方法として、回答者の意識無意識のバイアスのかからない方法で、より直接的に回答者の思考および感性を把握して消費者行動を予測できる指標が必要である。その点で期待できる脳活動に基づいたマーケティング調査方法を実施するには、従来、次のような問題があった。脳活動を機能的MRI(fMRI)等の装置を使って調べる方法では、大型実験施設を要する上に、被験者はfMRIの装置内に頭部を固定されて計測されるので苦痛を伴うと共に、調査対象の製品を見せるために装置に特別な工夫をしなければならない。これに対して、頭皮上脳波を計測することは、侵襲的操作も必要なく、かつ大型実験施設を使用することもなく、簡便に脳活動を計測できる。しかしながら、脳活動を計測したデータと被験者行動との関係性が詳しく知られていないので、脳波の活動パターンからは、具体的な脳内情報を解読することが難しいという問題があった。
本発明者らが提案した特許文献1の解析法では、被験者が受動的に刺激を受容している際の脳情報を対象としているために、被験者が能動的に刺激を受容している際の脳情報に関しては評価の対象外であるという問題がある。
本発明者らは、被験者が能動的に刺激を受容している際の脳情報を評価の対象とする研究を進めてきた。
本発明者らは、被験者に提示する複数種の刺激の一つを判別する必要がある認知課題(頭の中で「選ぶ」か「選ばない」かの判断が必要な認知課題をいう。)を用いて、能動的に刺激を受容する際の脳情報を含む脳波データを取得するシステムを構築した。このような脳波データに対する最初の試みとして、対象となる各刺激がそれぞれ脳内で他の刺激から区別されて選ばれた際の、脳波の反応の強さを、判別分析等の結果の指標によって比較し、一義的に序列化するシステムを開発した(特許文献4参照)。
特許文献4のシステムは、潜在意識の活動を含む主観的バイアスの少ない脳情報を評価する際に、非常に強力なツールとなると、本発明者らは考えた。しかしながら、解析結果は、あくまで「脳の関心度」が最も強い刺激の特定、あるいは一次元的な定量データ(順序データとしても解釈可能)に限定されており、特許文献4の技術では、特許文献1のように全刺激の類似性を地図的に概観することが不可能である。また、特許文献4の技術では、「選んだ」時の脳波データに対するものに限定されているために、「選ばれない」時の脳波データに含まれている脳情報は活用されないままであった。
本発明は、これらの問題を解決しようとするものであり、簡便な脳波計測により得られたデータを用いて、脳波による刺激類似度を評価する装置、方法、システム及びプログラムを提供することを目的とする。また、本発明は、脳内情報を視覚化することを目的とするものである。
本発明は、前記目的を達成するために、以下の特徴を有する。
本発明の評価方法は、複数の感覚刺激に対する認知的処理と関連した脳波データを、次元圧縮して、前記刺激の分布を二次元平面上又は三次元で表示することにより、複数の感覚刺激に対する脳情報の類似度を評価することを特徴とする。前記認知的処理と関連した脳波データは、刺激を標的として選択した時の脳波データ及び非標的の刺激事象により生起される脳波データを含むことを特徴とする。前記次元圧縮は、多変量解析法の組み合わせによることを特徴とする。
本発明の脳情報の類似度の評価装置は、刺激提示手段と、脳波測定手段と、脳波データに基づき刺激の類似度を評価する評価処理手段とを備え、前記刺激提示手段は、複数の感覚刺激を、標的及び非標的からなる複数の刺激事象として、それぞれ複数回提示し、前記脳波測定手段は、前記刺激提示手段による刺激提示直後の脳波を計測し、前記評価処理手段は、複数の感覚刺激に対する認知課題を遂行中の脳波データを、多変量解析法の組み合わせにより次元圧縮を行って、二次元平面上又は三次元に前記刺激に対応する点を表示することを特徴とする。
本発明の脳情報の類似度の評価システムは、複数の感覚刺激に対する認知的処理と関連した脳波を計測して脳波データを得て、該脳波データに対して、多変量解析法の組み合わせにより次元圧縮を行って、二次元平面上又は三次元に前記刺激に対応する点を表示することを特徴とする。
本発明のプログラムは、コンピューターを、複数の感覚刺激を、標的及び非標的からなる複数の刺激事象として、それぞれ複数回提示する刺激提示手段と、前記刺激提示手段により提示される複数の感覚刺激に対する認知課題を遂行中の脳波データを、複数の多変量解析法により次元圧縮を行って、二次元平面上又は三次元に前記刺激に対応する点を表示する、前記脳波データに基づき刺激の類似度を評価する評価処理手段と、評価結果を提示する提示手段として機能させるためのプログラムである。
本発明は、認知課題を遂行中という、被験者が能動的に刺激を受容している際の脳情報に関しても評価をするので、信頼性の高い結果が得られた。本発明では、認知的処理に伴う脳波データを、次元圧縮して、前記刺激の分布を二次元平面上に表示することにより、距離の近い刺激は遠い刺激に比べて脳活動が類似していることを表示することができる。即ち、表示された刺激間の距離により、刺激に対する脳内情報の類似度を評価することができる。
本発明によれば、脳波により非侵襲的に被験者の脳活動を計測するので、簡便に脳内の情報が視覚化できる。また、脳活動を直接計測するので、意識的なバイアスの影響を受けやすいアンケート調査に比べて、信頼性が高い。また、脳活動を直接計測するので、従来のアンケート調査では測定困難な無意識的な印象や感性情報等を、視覚化することができる。また、従来は複雑すぎて意味化できなかった脳活動のデータを、認知課題を遂行中の脳波データを分析して、多次元から次元圧縮して二次元で表示するものである。二次元で表示して、地図上の距離が、近いオブジェクトは脳内では「似ている」と判断され、離れているオブジェクトは脳内で「異なっている」と判断されていることが分かったことにより、脳内の情報が視覚化できたものである。さらに、被験者のグループごとの平均したデータを視覚化できるので、新製品の開発のアンケート調査に代わってマーケティング調査に用いることができる。
本発明の装置を示す概略図。 第1の実施の形態における脳波計測装置を説明する概略図。 第1の実施の形態の刺激提示手段及び脳波データを模式的に示す図。 第1の実施の形態を説明するための図で、脳波の強さを判別得点で表示した図。 第1の実施の形態における脳波データの判別得点による類似度評価結果を表す図。 第1の実施の形態における類似度の評価結果を説明するための理論値(A)及び実測値(B)を示す図。
本発明の実施形態について以下説明する。
本発明の実施の形態は、脳波を解析することにより、複数の刺激に対する類似度評価に関わる脳情報を視覚化することを実現するものである。より具体的には、本発明の実施の形態は、頭皮上から非侵襲的に計測された多チャンネル等の脳波データに多変量解析を行うことによって、複数の刺激(商品などの視覚刺激)の類似度に対する脳情報を低次元構造として視覚化する技術である。
上述のように、特許文献4の技術では、「選んだ」時の脳波データに対するものに限定されているために、「選ばれない」時の脳波データに含まれている脳情報は活用されないままであった。本発明者らは、「選ばれない」時の脳波データの特徴を解析することによって「選んだ」刺激との類似度の情報が含まれている可能性があることに着目して、本発明を開発した。
本発明の実施の形態では、複数の刺激間の比較において、序列化よりも、類似度の全体像を把握する上で役立つ次元圧縮による技術を用いて、「選ぶとき」と「選ばないとき」の両方のデータを対象とし、脳情報を視覚化することで、以下のような脳波による刺激類似度評価システムを実現するものである。
即ち、本発明の実施の形態は、認知的処理に伴う脳波データに含まれる、複数刺激に対する類似度評価に関わる脳情報を視覚化することができるシステムである。ここで、複数の感覚刺激に対する、認知的処理に伴う脳波データ、又は認知的処理と関連した脳波データとは、例えば、連続的に呈示される感覚刺激において標的となる感覚刺激をカウントするときに生じる脳波のことである。視覚化の手段として、複数の多変量解析を用いる。複数の多変量解析とは、判別分析などのパターン識別の結果として参照できる得点に着目し、多次元尺度構成法のような次元圧縮技術により、低次元空間での視覚化をすることをいう。多変量解析の組み合わせの例として、判別分析などのパターン識別の結果として参照できる得点に着目し、クラスター分析によって、刺激を類似のグループに振り分ける手法等が挙げられる。ここで物理的な特徴が計算される場合、理論値(例えば実施の形態で示す円環配置)との一致、不一致を評価することができる。
従来技術の特許文献1における「脳情報地図」は、認知的処理を必要としない(そもそも認知課題遂行中でない)受動的な刺激提示に対する(提示の)視覚誘発電位に対する反応に着目しているので、物理的な特性の違い(類似度)を反映した「地図」ができる。一方、本発明の実施の形態では、被験者が能動的に注意を向ける際の認知的処理を反映した脳波(事象関連電位)に着目しているので、主に主観的な違い(類似度)を反映した分布図ができると考えられる。
また、従来技術の特許文献1におけるデータ解析では、受動的に提示するすべての刺激を同等に扱って解析しているのに対して、本実施の形態では、認知課題のゲームごとにデータを分けている。データの扱い方には、各ゲームにおいて標的となった刺激に対するデータだけを集めてくるか、標的とそれ以外(非標的を全てまとめた平均)のデータを扱う方法がある。本実施の形態では、ゲームごとにデータをグループ化するが、標的だけでなく非標的も扱い、かつそれら区分なくすべての種類をグループ内では同等に扱うことで、ある刺激が標的になったときに、標的と思い違えて少し反応が高まる非標的の変動も、類似性のデータとして解析の対象にしている。このような変動の特性を、標的が異なるゲームのデータ分を扱うことにより、多面的に刺激種間の類似性のデータを効率よく得ることができる。
本発明の実施の形態は、脳活動、特に頭皮上で記録することができ、刺激入力によって誘発される認知的処理を反映した脳波成分(事象関連電位)に着目して、複数の刺激事象の提示に対する脳の反応性を分析することにより、複数の刺激事象の類似度を評価するものである。本発明で着目する事象関連電位は、外的または内的事象の発生タイミングと連動して生じる一過性の脳波であり、P300(刺激提示後300ミリ秒後に強まる陽性の電位変化。)などがある。刺激事象として、複数の評価対象物に係る物理的感覚刺激(視覚、聴覚、臭覚、味覚、触覚等の感覚刺激)や言語的刺激が挙げられる。本発明では、物理的感覚刺激(視覚、聴覚、臭覚、味覚、触覚等の感覚刺激)や言語的刺激を総称して感覚刺激と呼ぶ。本発明は、具体的には、主として、刺激事象提示、脳波計測、脳波データ解析による評価処理、評価結果の提示の要素を含む。より具体的には、本発明の実施の形態の装置は、脳波計測用ヘッドギアと、データ解析用のコンピューターと、刺激提示用装置(例えば表示画面)とを備える。
(第1の実施の形態)
本実施の形態を、図を参照して以下説明する。図1は、本実施の形態による装置及び方法を模式的に示す図である。図1の被験者への刺激提示1で図示されるように、刺激提示用の表示画面を被験者に見せて、被験者の頭皮上脳波を脳波計(図中、脳波アンプ4)により計測記録する。被験者は、脳波を測定するための脳波計電極3を頭に装着する。例えば、脳波計電極を固定した頭部装着装置を用いる。表示画面(モニター)に様々な視覚刺激を提示して、脳波計により脳波生波形のデータを得る。脳波生波形のデータをコンピューター6等の処理装置で解析処理して、刺激の類似度の脳内情報を評価した結果を表示画面等で示す。図1において、脳波電極の位置する頭部から脳波アンプ4に、そして、脳波アンプ4からコンピューター6に、太い矢印を図示したが、これは有線又は無線により信号が伝達されることを模式的に図示したものである。
図2は、本実施の形態で使用する脳波計電極を固定した頭部装着部材(ヘッドギア)の例である。ヘッドギアは、ヘッドギアに固定保持される脳波計測用電極と、該電極と脳波計本体部とを電気的に接続する配線と、測定した脳波データを送信するための無線送信部とを備えている。
本実施の形態では、注意の高まりを反映した脳波の計測に有効な頭頂部を中心として、頭皮上に設置した単一もしくは複数の電極からの脳波を計測する。
図3は、本実施の形態における、刺激事象の提示と、これに対する被験者の脳波の反応とを、時間経過と共に模式的に示す図である。図3に示すように、刺激事象(注意喚起事象、テスト刺激事象ともいう。)、例えば簡単な図形を1事象(1枚)ずつ被験者に提示する。これを見た被験者の脳波を被験者の頭部に電極を装着した脳波計により計測し、該脳波をコンピューター等の脳波解析処理装置により解析する。
刺激事象は、記号、イラスト、絵、写真などである。図3の下部には、本実施形態を説明するために、時間経過につれて刺激事象が変化するような複数の刺激事象に対応する脳波を、模式的に図示した。具体的には、次のように、(a)刺激事象提示と該刺激事象に対する脳波測定と、(b)脳波データに基づく刺激類似度の評価処理とにより実施する。評価処理の結果を図などで視覚化して示す表示処理も適宜備える。
(a) 刺激事象提示と該刺激事象に対する脳波測定
類似度を評価したい様々なオブジェクトに係る複数の刺激事象、例えば8個の図形のうち、1つを「標的」(ターゲットとも呼ぶ。)として被験者に教示し、順次提示される刺激事象が当該標的であれば頭の中でその提示回数を数える認知課題を、各被験者に実施して、その際の脳波を計測する。頭頂部を中心にして頭皮上に設置した単一もしくは複数の電極からの脳波を計測する。計測は、次の手順で行う。
(1) 複数の評価対象物に関わる視覚刺激(製品の写真やイラストなどの視覚刺激)を被験者に提示する。例えば、連続的に、視覚刺激(図3では果物の絵)を、紙芝居のように擬似ランダムな順番で、コンピューターの表示画面等に提示する(図3参照)。なお、視覚刺激ではなく、聴覚、臭覚、味覚、触覚等の感覚刺激の場合も、同様に時間経過と共に提示する。
(2) その際、複数の視覚刺激のうちの一つ(図3では、複数の果物の絵)を「標的」と定義し、それ以外の刺激はまとめて「非標的(ノンターゲット)」と定義する。これらの「標的」及び「非標的」を擬似ランダムに繰り返し提示している際、「標的」が提示されるたびに被験者に頭のなかで数唱させる。本発明では、ある特定の標的を検出する連続的な刺激提示の試行をまとめて「ゲーム」と呼ぶ。
(3) 短い休憩を挟んだ後、別ゲーム、つまり「標的」とする刺激事象の教示を順次変えた状態で、上記(2)を実行する。これを繰り返して、複数の視覚刺激の全てについて「標的」として実施する。例えば8種の視覚刺激(果物)で実施する場合、合計8ゲーム実施する。このように、標的を次々に変えてゲームを行い、全刺激を標的として提示する。通常、8種類の刺激があると8ゲーム実施することになり、全ゲーム(1セッション)を行う。
上記(2)と(3)についてさらに詳しく説明する。例えば、1回目の「標的」をバナナ、2回目の「標的」をブドウ、3回目の「標的」をリンゴ、4回目の「標的」をみかん、というように、全種類について、標的とした場合の脳波データと、標的としない場合の脳波データを得る。図3の下部に示した脳波データは、「標的」をリンゴと教示して被験者に視覚刺激を見せてカウントさせた時の、各視覚刺激に対応する脳波データの例である。図3に模式的に示したように、標的(リンゴ)の視覚刺激に対する脳波データは、非標的(バナナ、ブドウ、ミカン)の視覚刺激に対する脳波データと比べ、脳波の反応が大となる。同様に、他の標的を教示した場合においても、脳波データのうち、標的の視覚刺激に対する脳波データは、非標的のテスト刺激に対する脳波データと比べると、脳波の反応が多くの場合、大となっている。
(b) 脳波データに基づく刺激類似度の評価処理
(1) 脳波測定のセッション(a)の終了後、課題遂行中の脳波データに対し、まず、パターン識別技術(線形判別分析など)を用い、「標的」と「非標的」を識別するモデル式(標的に対する判別得点が高くなるように設定)を生成し、各刺激の提示直後に対する判別得点を算出する。その際、モデルデータと予測対象データとの重複を避けるために、交差検証法を用いる。
図4は、標的を図の左欄の刺激種にしたときの、各テスト刺激に対する脳波データの判別得点を、簡略的に4個の刺激種を例にとって、表にしたものである。例えば、1行目には、標的をバナナとした場合の、刺激事象バナナに対する判別得点は4、刺激事象ブドウに対する判別得点は−3、刺激事象リンゴに対する判別得点は−5、刺激事象ミカンに対する判別得点は−4であることを示している。
(2) 得られた判別得点を刺激種ごと(「標的」と「非標的」の両方を含む)に平均した結果をまとめたデータ配列(刺激種×ゲーム数)を元に、刺激間の判別得点の差をユークリッド距離として示した三角行列を計算する
(3) 計算で得られた三角行列を元に、多変量解析(多次元尺度構成法や主成分分析など)を適用し、2次元もしくは3次元座標上に各刺激種をプロットする。図5は、プロットして得られた類似度評価の結果を示す図である。
以下数式を用いて詳細に説明する。
(b−1) 判別モデル式生成のためのデータの分割
本実施の形態では、以下に示す交差検証法を用いてデータを分割した後、判別モデル式を生成し、「標的」解読の成否判断を行う。まず、解読成否の判断を行う当該ゲーム(例えば第1ゲーム)以外の残りのゲーム(第2〜8ゲーム)において「標的」もしくは「非標的」としてテスト刺激が提示された時の脳波データから判別モデル式を作成後、当該ゲーム(第1ゲーム)における各刺激事象に対して、判別得点を算出し、上述した解読成否の判断を行う。別のゲーム(例えば第2ゲーム)での解読成否の判断にはそのゲームを除く残り全てのゲーム(第1および第3〜8ゲーム)のデータから生成した判別モデル式を用いる。このように、判別対象となるデータをモデル式の生成過程から除外することによって解読成否の判断における過大評価を避けることができる。また、交差検証法を用いても、全ゲーム中、何ゲームで解読を成功したかという解読精度が十分高い場合は、判別モデル式が妥当であると解釈できる。
(b−2) 判別得点の求め方
例えば、次式で表される線形判別関数によって各画像(視覚刺激)提示1回分に対する判別得点(y)を算出する。
Figure 0006472144
yの式において、xは、あるチャンネルのある時点における脳波データ(電圧)の値である。xの種類はチャンネル数(被験者の頭部の頭皮上の複数の測定箇所における脳波データを得るので、測定箇所の数に応じたチャンネル数)とデータポイントを掛け合わせた種類(n)が存在する。各脳波データに対する重みづけ係数wと定数項cは線形判別分析によって求めることが可能である。
刺激事象ごとに刺激提示回数分、判別得点を加算する累積判別得点を求めてもよい。または加算平均を行っても良い。
(b−3) 得られた判別得点を刺激種ごと(「標的」と「非標的」の両方を含む)に平均した結果を、標的となる刺激種×テスト刺激のデータ配列としてまとめる(図4参照)。各ゲームにおける判別得点は、標的刺激に対する脳波と類似しているほど値が大きくなるため、非標的刺激であったとしても標的刺激に対する脳波と類似している場合は、判別得点の値が大きくなる。したがって、ここでの判別得点が刺激種間の類似度を反映する。
(b−4) 本実施形態では、次元圧縮技術を適用するため、刺激間の類似度を反映した判別得点をもとに刺激間の物理的距離を算出する。具体的には、ユークリッド距離を算出し、標的となる刺激種×テスト刺激のデータ配列を三角行列に変換する。下記の式(数2)は、個体iと個体jの距離のユークリッド距離(ed)を算出するための公式である。pは、テスト刺激の数を示す。Xは、個体iと個体jの判別得点を示している。
Figure 0006472144
(b−5) 得られた三角行列をもとに多次元尺度構成法や主成分分析などの多変量解析法を用いて、次元座標に各刺激種をプロットする。多次元尺度構成法は、ユークリッド距離をもとに、刺激種の関係性を低次元で構成し、視覚化する手法である。具体的には、ある次元において刺激を配置した場合の距離(dij、正しくはdの上に山形記号を付与したもの)と刺激間の距離(dij)との差の2乗和が最小になるように座標値をもとめる。これは下記の式(数3)に示すストレス値によって求めることができる。さらに、ユークリッド距離と、多次元尺度構成法によって算出された座標値の関係から算出した距離の相関の2乗をみることにより、説明率として、得られたプロットの妥当性を評価できる。本実施の形態は、多次元尺度構成法による刺激間の関係性の可視化を実施し、説明率によって、脳情報に基づく刺激間類似度評価の妥当性を担保するものである。
Figure 0006472144
(b−6) 類似度評価を表示
二次元圧縮後のデータを、二次元平面上にプロットする。評価対象物ごとにプロットすると、二次元平面上に、各評価対象物の点がプロットされ、これにより複数の評価対象物が分布した二次元分布図(脳情報地図)を作成できる(図5参照)。
本発明の実施の形態にかかる類似度評価の有効性を次に示す。図6は、類似度評価結果の比較を示す図である。眼科の視力検査の際によく使われるランドルト環を視覚刺激として用いて検証した。具体的には、8種類のランドルト環(切り口の方向が45度区切りで異なる8種類)を被験者に継時的に提示する際、ある特定の角度に切り口があるものを「標的」と定義し、上述したような手順で実験及びデータ解析を行った。その結果、ランドルト環の角度差が小さいもの同士が近くに配置するような、円環構造に近い配置になることを確認することができた。このような配置は偶然には極めて起こりにくい確率の配置である。さらに、図6(B)に、被験者7人の各刺激に対する判別得点の平均値に基づく解析結果を示す。ランドルト環を用いた刺激系列の場合には、ランドルト環同士の切れ目の角度差をユークリッド距離に変換した場合の解析の可能である。実際、その結果が、円環構造になることから、外界の物理的情報を比較的正確に脳内でも表象していることが証明された。なお、図6(A)は、図6(B)の実測値に対応する理論値である。
上述した有効性は、ランドルト環のような物理的な視覚刺激で検証したが、実際に対象とする視覚刺激となる製品には、物理的な特徴に限らず、顕在意識や潜在意識に影響を及ぼす心理的な特徴が含まれている。本発明の類似度評価処理は、顕在意識及び潜在意識を含めた類似度評価に役立つことが明らかである。
上記実施の形態等で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。
本発明は、従来のアンケート調査に代わる信頼性の高い簡便なマーケティング調査手法として有用である。
1 被験者への刺激提示
3 被験者の脳波計電極
4 脳波アンプ
6 コンピューター

Claims (5)

  1. 複数の感覚刺激に対する認知的処理と関連した脳波データを、次元圧縮して、前記刺激の分布を二次元平面上又は三次元で表示することにより、複数の感覚刺激に対する脳情報の類似度を評価する評価方法であって、
    複数の評価対象物に関わる視覚刺激を被験者に提示し、
    前記複数の視覚刺激のうちの一つを「標的」とし、それ以外の刺激を「非標的」とし、これらの「標的」及び「非標的」を擬似ランダムに繰り返し提示している際、「標的」が提示されるたびに被験者に頭のなかで数唱させる動作を繰り返して、刺激を「標的」として選択した時の脳波データ及び「非標的」の刺激事象により生起される脳波データに対して、パターン識別技術を用い、「標的」と「非標的」を識別する標的に対する判別得点が高くなるように設定したモデル式を生成し、刺激の提示直後に対する判別得点であって、「標的」刺激に対する脳波と類似しているほど値が大きくなり、「非標的」刺激であったとしても「標的」刺激に対する脳波と類似している場合は、判別得点の値が大きくなる判別得点を算出し、
    得られた判別得点を「標的」と「非標的」の両方を含む刺激種ごとに平均した結果をまとめた刺激種×ゲーム数のデータ配列を元に、刺激間の判別得点の差をユークリッド距離として示した三角行列を計算し、
    計算で得られた三角行列を元に、多変量解析を適用し、2次元もしくは3次元座標上に各刺激種をプロットすることにより類似度を評価することを特徴とする評価方法。
  2. 前記次元圧縮は、多変量解析法の組み合わせによることを特徴とする請求項1記載の評価方法。
  3. 刺激提示手段と、脳波測定手段と、脳波データに基づき刺激の類似度を評価する評価処理手段とを備え、
    前記刺激提示手段は、複数の感覚刺激を、「標的」及び「非標的」からなる複数の刺激事象として、それぞれ複数回提示し、
    前記脳波測定手段は、前記刺激提示手段による刺激提示直後の脳波を計測し、
    前記評価処理手段は、複数の評価対象物に関わる視覚刺激を被験者に提示し、前記複数の視覚刺激のうちの一つを「標的」とし、それ以外の刺激を「非標的」とし、これらの「標的」及び「非標的」を擬似ランダムに繰り返し提示している際、「標的」が提示されるたびに被験者に頭のなかで数唱させる動作を繰り返して、刺激を「標的」として選択した時の脳波データ及び「非標的」の刺激事象に対して、パターン識別技術を用い、「標的」と「非標的」を識別する標的に対する判別得点が高くなるように設定したモデル式を生成し、刺激の提示直後に対する判別得点であって、「標的」刺激に対する脳波と類似しているほど値が大きくなり、「非標的」刺激であったとしても「標的」刺激に対する脳波と類似している場合は、判別得点の値が大きくなる判別得点を算出し、
    得られた判別得点を「標的」と「非標的」の両方を含む刺激種ごとに平均した結果をまとめた刺激種×ゲーム数のデータ配列を元に、刺激間の判別得点の差をユークリッド距離として示した三角行列を計算し、計算で得られた三角行列を元に、多変量解析を適用し、2次元もしくは3次元座標上に各刺激種をプロットすることにより生起される脳波データにより類似度を評価することを特徴とする脳情報の類似度の評価装置。
  4. 複数の感覚刺激に対する認知課題を遂行中の脳波データを、多変量解析法の組み合わせにより次元圧縮を行って、二次元平面上又は三次元に前記刺激に対応する点を表示することを特徴とする請求項3に記載の脳情報の類似度の評価装置。
  5. 請求項1又は2に記載の評価方法を、コンピューターに実行させるためのプログラム。
JP2016560207A 2014-11-17 2015-11-16 脳波による類似度の評価方法、評価装置、評価システム及びプログラム Active JP6472144B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014232786 2014-11-17
JP2014232786 2014-11-17
PCT/JP2015/082101 WO2016080341A1 (ja) 2014-11-17 2015-11-16 脳波による類似度の評価方法、評価装置、評価システム及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2016080341A1 JPWO2016080341A1 (ja) 2017-09-28
JP6472144B2 true JP6472144B2 (ja) 2019-02-20

Family

ID=56013878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016560207A Active JP6472144B2 (ja) 2014-11-17 2015-11-16 脳波による類似度の評価方法、評価装置、評価システム及びプログラム

Country Status (3)

Country Link
US (1) US10786173B2 (ja)
JP (1) JP6472144B2 (ja)
WO (1) WO2016080341A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016080341A1 (ja) 2014-11-17 2016-05-26 国立研究開発法人産業技術総合研究所 脳波による類似度の評価方法、評価装置、評価システム及びプログラム
JP7062923B2 (ja) * 2017-11-21 2022-05-09 富士通株式会社 可視化方法、可視化装置及び可視化プログラム
CN108429853A (zh) * 2018-02-12 2018-08-21 广东欧珀移动通信有限公司 电子装置、网络切换方法及相关产品
CN108784690A (zh) * 2018-06-19 2018-11-13 苏州修普诺斯医疗器械有限公司 移动脑电信号传输系统及信号传输方法
US11157081B1 (en) 2020-07-28 2021-10-26 Shenzhen Yunyinggu Technology Co., Ltd. Apparatus and method for user interfacing in display glasses
CN112315471A (zh) * 2020-10-22 2021-02-05 垒途智能教科技术研究院江苏有限公司 基于智能迷宫的大脑训练评价系统及其评价方法
TWI802908B (zh) * 2021-06-15 2023-05-21 南開科技大學 提供作答建議的輔助分析系統及其方法
CN114190954A (zh) * 2021-12-23 2022-03-18 宁波大学医学院附属医院 一种患者认知功能评估方法及系统
CN114469136B (zh) * 2022-02-14 2023-09-22 中南大学 一种热舒适度评价方法、系统及可存储介质
WO2024121115A1 (en) * 2022-12-06 2024-06-13 Stichting Radboud Universiteit Processing of event-evoked physiological signals

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5927567B2 (ja) * 1980-12-12 1984-07-06 工業技術院長 脳波波形相関表示装置
JP2000254239A (ja) 1999-03-08 2000-09-19 Apollo Mec:Kk 磁気治療器
JP2004342119A (ja) * 2004-06-11 2004-12-02 Kenji Mimura 商品デザイン評価方法
US7647098B2 (en) * 2005-10-31 2010-01-12 New York University System and method for prediction of cognitive decline
DE102005061326A1 (de) 2005-12-20 2007-06-21 Basell Polyolefine Gmbh Verfahren zur Herstellung von Metallocenen aus recycelten, substituierten Cyclopentadienylderivaten
NZ588741A (en) * 2008-03-26 2014-04-30 Theranos Inc Methods and systems for assessing clinical outcomes
GB0906029D0 (en) * 2009-04-07 2009-05-20 Nat Univ Ireland Cork A method of analysing an electroencephalogram (EEG) signal
JP5414039B2 (ja) * 2009-06-01 2014-02-12 独立行政法人産業技術総合研究所 脳情報の表示方法及び装置
JP5540402B2 (ja) * 2009-10-23 2014-07-02 国立大学法人鳥取大学 生体信号解析装置、生体信号解析方法、生体信号解析プログラム
TR201808448T4 (tr) * 2010-02-23 2018-07-23 Koninklijke Philips Nv Ses kaynağı lokalizasyonu
JP5544620B2 (ja) 2010-09-01 2014-07-09 独立行政法人産業技術総合研究所 意思伝達支援装置及び方法
JP5472746B2 (ja) 2010-09-28 2014-04-16 独立行政法人産業技術総合研究所 意思伝達支援装置及び方法
JP6146760B2 (ja) * 2012-02-28 2017-06-14 国立研究開発法人産業技術総合研究所 序列化装置、序列化方法及びプログラム
KR102282961B1 (ko) * 2012-09-28 2021-07-29 더 리젠츠 오브 더 유니버시티 오브 캘리포니아 감각 및 인지 프로파일링을 위한 시스템 및 방법
WO2016080341A1 (ja) 2014-11-17 2016-05-26 国立研究開発法人産業技術総合研究所 脳波による類似度の評価方法、評価装置、評価システム及びプログラム

Also Published As

Publication number Publication date
JPWO2016080341A1 (ja) 2017-09-28
WO2016080341A1 (ja) 2016-05-26
US10786173B2 (en) 2020-09-29
US20170340230A1 (en) 2017-11-30

Similar Documents

Publication Publication Date Title
JP6472144B2 (ja) 脳波による類似度の評価方法、評価装置、評価システム及びプログラム
Bulagang et al. A review of recent approaches for emotion classification using electrocardiography and electrodermography signals
Klug et al. Identifying key factors for improving ICA‐based decomposition of EEG data in mobile and stationary experiments
JP6146760B2 (ja) 序列化装置、序列化方法及びプログラム
Fritz et al. Using psycho-physiological measures to assess task difficulty in software development
JP6404239B2 (ja) 認知機能評価装置、認知機能評価装置の作動方法、システム及びプログラム
JP5414039B2 (ja) 脳情報の表示方法及び装置
Zhu et al. Detecting emotional reactions to videos of depression
Torres et al. Emotion recognition related to stock trading using machine learning algorithms with feature selection
Yang et al. Affective image classification based on user eye movement and EEG experience information
Samima et al. EEG-based mental workload estimation
Jamal et al. Integration of EEG and eye tracking technology: a systematic review
Sabio et al. A scoping review on the use of consumer-grade EEG devices for research
JP6628341B2 (ja) 意思解読装置及び意思伝達支援装置
Takada et al. Human error prediction using heart rate variability and electroencephalography
Orhanbulucu et al. Detection of amyotrophic lateral sclerosis disease from event-related potentials using variational mode decomposition method
Ivanitsky Individual stable patterns of human brain rhythms as a reflection of mental processes
Kamaruddin Eustress and Distress Analysis Based on Neuro-Physiological Model of Affect
Rasheed et al. Assessment of vocational types and EEG analysis using holland test questionnaire
Sturgess et al. Validating IMPACT: A new cognitive test battery for defence
AU2021102774A4 (en) A system and a method for assessing mental ability of a user using an electroencephalogram
Agarwal et al. A Novel Model for Stress Detection and Management using Machine Learning
Conley Learning User Experience Design (LUX): Adding the “L” to UX research using biometric sensors
Wölfel et al. Identification of Unreliable Data in in-VR Surveys using Biosignal Sensors
Mir et al. Assessing neural markers of attention during exposure to construction noise using machine learning classification of electroencephalogram data

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170720

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190121

R150 Certificate of patent or registration of utility model

Ref document number: 6472144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250