JP5799351B1 - 評価装置および評価方法 - Google Patents

評価装置および評価方法 Download PDF

Info

Publication number
JP5799351B1
JP5799351B1 JP2014249272A JP2014249272A JP5799351B1 JP 5799351 B1 JP5799351 B1 JP 5799351B1 JP 2014249272 A JP2014249272 A JP 2014249272A JP 2014249272 A JP2014249272 A JP 2014249272A JP 5799351 B1 JP5799351 B1 JP 5799351B1
Authority
JP
Japan
Prior art keywords
data
correlation
subjects
intensity
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014249272A
Other languages
English (en)
Other versions
JP2016106949A (ja
Inventor
崇泰 関根
崇泰 関根
智充 箆伊
智充 箆伊
文 波多野
文 波多野
宏 入戸野
宏 入戸野
尊信 田中
尊信 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CENTAN INC.
Original Assignee
CENTAN INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CENTAN INC. filed Critical CENTAN INC.
Priority to JP2014249272A priority Critical patent/JP5799351B1/ja
Application granted granted Critical
Publication of JP5799351B1 publication Critical patent/JP5799351B1/ja
Priority to US15/533,685 priority patent/US20170308923A1/en
Priority to GB1709215.6A priority patent/GB2549864A/en
Priority to PCT/JP2015/084149 priority patent/WO2016093168A1/ja
Publication of JP2016106949A publication Critical patent/JP2016106949A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0242Determining effectiveness of advertisements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/38Acoustic or auditory stimuli
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0272Period of advertisement exposure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】被検者から取得した脳波を用いて、対象物に対する評価を行う評価装置を提供する。【解決手段】複数の被検者からそれぞれ取得した、被検者の脳波信号を取得する脳波取得部11と、脳波信号に基づいて、所定の周波数帯の信号成分の強度、または、複数の周波数帯における信号成分の強度間の関係を時系列で表した強度データを生成する強度データ生成部と、複数の被検者間における、強度データ同士の、各時刻における相互相関係数を算出し、相互相関係数を時系列で表した相関データを生成する相関データ生成部と、相関データに基づいて、複数の被検者における脳波変動の同期度を表した評価データを出力する出力部と、を有することを特徴とする。【選択図】図1

Description

本発明は、対象物を評価する装置および方法に関する。
消費者に対して製品を広告する主な方法に、テレビコマーシャルがある。テレビコマーシャルは、15秒や30秒といった限られた時間で放送するものであるため、短時間の視聴でより印象に残るものが好ましいとされている。
制作したテレビコマーシャルを評価する方法のひとつに、一般の視聴者の中から無作為に抽出した評価者に視聴させ、主観的に評価させるという手法がある。
しかし、評価者が自らの心理状態を正確に把握したり表現したりできるとは限らない。例えば、マーケティング効果が高い映像であっても、評価者が正確にそれを自覚できるとは限らない。そのため、主観的評価だけでは公正な結果が得られないとされている。
映像や画像などに対する客観的な評価を行うための技術として、例えば、特許文献1に記載の評価方法がある。当該評価方法では、被検者の脳波を測定しながら、評価対象物(例えば新製品のデザイン)を被検者に見せ、測定した脳波に対してパターンマッチングを行うことで、被検者がどのような感情を抱いたかを推定する。特許文献1に記載の方法によると、被検者の主観に左右されない、より直感的な評価結果を得ることができるとされている。
特開2004−342119号公報
特許文献1に記載の評価方法では、被検者から取得した脳波電位のパターンと、予め記憶された複数のパターンとをマッチングさせることで、被検者の感情を推定する。しかし、人の脳波は、様々な周波数の成分が含まれたものであり、特定の感情によって特徴的な反応を示すものではない。すなわち、単純に脳電位を取得しただけでは、被検者の感情を推定することは難しいと言わざるを得ない。
一方で、取得した脳波に対して周波数解析を行うことで、アルファ波やシータ波といった、特定の意味を持つ信号成分の強度を取得する技術が公知となっている。しかし、当該周波数成分も、特定の感情によって絶対的なパターンが観測されるものではない。
本発明は上記の課題を考慮してなされたものであり、被検者から取得した脳波を用いて、対象物に対する評価を行う評価装置を提供することを目的とする。
本発明に係る評価装置は、複数の被検者からそれぞれ取得した、当該被検者の脳波信号を取得する脳波取得部と、前記脳波信号に基づいて、所定の周波数帯の信号成分の強度、または、複数の周波数帯における信号成分の強度間の関係を時系列で表した強度データを生成する強度データ生成部と、複数の被検者間における、前記強度データ同士の、各時刻における相互相関係数を算出し、当該相互相関係数を時系列で表した相関データを生成する相関データ生成部と、前記相関データに基づいて、前記複数の被検者における脳波変動
の同期度を表した評価データを出力する出力部と、を有することを特徴とする。
脳波取得部は、複数の被検者から取得した脳波信号を取得する手段である。脳波信号は、被検者に装着した脳波計から取得してもよいし、予め測定され、保存されたものを取得してもよい。脳波信号は、検出した脳電位を表すデータである。
また、強度データ生成部は、取得した脳波信号に基づいて、所定の周波数帯の信号成分の強度を表すデータ(強度データ)を生成する手段である。所定の周波数帯は、例えば、アルファ波、ベータ波、ガンマ波、シータ波にそれぞれ対応する帯域など、脳科学分野において解析に多く用いられる周波数帯であってもよいし、任意の周波数帯であってもよい。
また、例えば、アルファ帯域の強度とベータ帯域の強度の比のように、複数の周波数帯における信号成分の強度の関係を強度データとすることもできる。
強度データは、例えば、脳が受けた刺激、緊張度、集中の度合い等に起因して変動する。しかし、単一の強度データから被検者の状態を直接評価することは難しい。そこで、本発明に係る評価装置は、相関データ生成部が、複数の被検者間における、強度データの相関の度合いを表すデータ(相関データ)を生成する。相関データを生成することで、複数の被検者の脳波変動がどの程度同期しているかというデータを得ることができる。
例えば、相関データが、より強い相関を示すものである場合、被検者同士の脳波変動が同期、すなわち、強度データの波形が類似していることを意味する。
このようにして生成したデータは、対象の周波数帯に対応した評価尺度を持つデータとなる。例えば、対象の周波数帯が、被検者の集中の度合いに起因して強度が変動する周波数帯であり、強度データ同士の相関が高い場合、多くの被検者が、意識を集中させている状態であったことがわかる。
出力部は、生成された相関データに基づいて、被検者同士の脳波変動の同期度を時刻ごとに表したデータ(評価データ)を生成および出力する手段である。出力するデータは、複数の被検者全ての同期度を表すものであってもよいし、特定の被検者ペアの同期度を表すものであってもよい。また、出力は数値であってもよいし、画像などであってもよい。
このように、本発明に係る評価装置は、複数の被検者から取得した脳波信号を周波数解析し、得られた信号強度の変動が、被検者間でどの程度同期しているかに基づいて、評価結果を出力する。これにより、単一の被検者から取得した脳波からでは観測できなかった情報を得ることができる。
また、前記強度データ生成部は、異なる複数の周波数帯の信号成分に基づいて複数の強度データを生成し、前記相関データ生成部は、各強度データにそれぞれ対応する相関データを生成し、前記出力部は、前記複数の相関データのそれぞれに基づいて、脳波変動の同期度を表す複数の評価データを出力することを特徴としてもよい。
一般的に、人の脳波には異なる意味を持つ様々な周波数帯の成分が含まれるとされている。したがって、異なる複数の周波数帯の信号成分についてそれぞれ解析を行うことで、それぞれ異なる意味を持つ評価結果を得ることができる。
また、前記出力部は、脳波信号を取得した位置がそれぞれ異なる複数の前記相関データを用いて評価データを生成し、出力することを特徴としてもよい。
脳波信号は一般的に、複数の電極を用いて計測する。そこで、電極単位で相関データを生成し、これらを統合して評価データを生成するようにしてもよい。また、相関データを
統合する際には、電極ごとに重みなどを付してもよい。
また、前記所定の周波数帯は、視覚や聴覚を含む感覚刺激、または、注意の集中によって、当該周波数帯の信号成分の強度が変動する周波数帯であることを特徴としてもよい。
これにより、被検者が視聴覚などの感覚を通してどの程度の刺激を受けたか、または、惹きつけられる状態であったかを評価することができる。
また、前記脳波取得部が取得する脳波信号は、前記複数の被検者に同一の映像または音声を鑑賞させながら取得した脳波信号であることを特徴としてもよい。
本発明に係る評価装置は、映像または音声などの素材に対する客観的な評価を行う装置として好適に用いることができる。
また、前記出力部は、複数の被検者における、前記強度データの相関の度合いを、被検者のペアごとに色相または輝度によって表した画像を時刻ごとに生成し、前記被検者に鑑賞させた映像または音声と共に動画像として出力することを特徴としてもよい。
このように、強度データの相関の度合いを、被検者のペアごとに色相または輝度によって表すことで、脳波変動が同期しやすいタイミングが一目でわかるようになる。
また、前記出力部は、複数の被検者における、前記強度データの相関の度合いを、音程または音量の変化によって表した音声信号を生成し、前記被検者に鑑賞させた映像または音声と共に出力することを特徴としてもよい。
このように、音声信号を用いて、脳波変動が同期しやすいタイミングを聴覚的に通知することもできる。
なお、本発明は、上記手段の少なくとも一部を含む評価装置として特定することができる。また、本発明は、上記評価装置が行う評価方法として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
本発明によれば、被検者から取得した脳波を用いて、対象物に対する評価を行う評価装置を提供することができる。
第一の実施形態に係る評価装置のシステム構成図である。 脳波信号の例である。 評価装置100が行う処理のフローチャート図である。 評価装置100が行う処理の第二のフローチャート図である。 評価装置100が行う処理の第三のフローチャート図である。 ステップS142で生成されるヒストグラムの例である。 第一の実施形態において出力される評価結果の例である。 第四の実施形態において出力される評価結果の例である。
(第一の実施形態)
以下、本発明の好ましい実施形態について図面を参照しながら説明する。第一の実施形
態に係る評価装置100は、取得した脳波信号に基づいて、評価対象物に対する評価を生成する装置である。また、評価装置100が取得する脳波信号は、複数の被検者に対して評価対象物を観賞させながら計測した脳波信号である。
<システム構成>
図1は、第一の実施形態に係る評価装置100のシステム構成図である。評価装置100は、脳波取得部11、周波数解析部12、相関演算部13、評価データ生成部14、入出力部15から構成される。
脳波取得部11は、解析対象となる脳波信号を取得する手段である。脳波取得部11が取得する脳波信号は、脳波計等の測定手段を用いて複数の被検者から取得した脳波信号である。
ここで、取得する脳波信号について簡単に説明する。一般的に、人の脳波を取得する際は、被検者の頭皮に複数の電極を配置し、当該複数の電極から得られた電位(脳電位)を収集する。以降、脳波信号とは、電極ごとの脳電位を表す時系列データであるものとする。
電極の配置位置は、例えば、一般的に用いられている手法である、国際10−20法によるものであってもよいし、他の形態であってもよい。例えば、ある特徴が特定の箇所に集中的に出現することがわかっている場合、当該特定の箇所(例えば前頭部など)に電極を集中させてもよい。
脳波取得部11が取得する脳波信号は、評価対象のコマーシャル映像(以下、コンテンツ)を被検者に見せながら、脳波計を用いて予め測定されたものである。対象の脳波信号は、記憶媒体に記憶されたものを読み込んでもよいし、ネットワーク等を経由して取得してもよい。もちろん、被検者に装着された脳波計からリアルタイムに取得してもよい。
脳波信号は、所定の時間ごとにサンプリングされる。例えば、コンテンツが30秒であり、サンプリング周波数が100Hzである場合、タイムステップは3000個となる。以下、時刻という語を、コンテンツの再生開始時刻を0とした経過時間を表す語として用いる。図2は、あるコンテンツを視聴したある被検者から得られた脳波信号を、電極ごとに時系列形式で表した図である。
周波数解析部12は、脳波取得部11が取得した脳波信号に対して周波数解析を行い、所定の帯域の強度信号(本発明における強度データ)を生成する手段である。所定の帯域は、例えば、シータ波(4Hz以上8Hz未満)、アルファ波(8Hz以上13Hz未満)など、脳科学分野において解析に多く用いられる周波数帯域から選択される。あるいは、脳波信号の性質に応じて、任意の帯域を用いてもよい。
ここで得られる強度データは、信号成分の強度を表す時系列形式のデータである。
相関演算部13は、周波数解析部12が生成した複数の強度データ間の相互相関を表すデータ(本発明における相関データ)を生成する手段である。ここで得られる相関データは、時刻ごとに算出された、強度データ間の相互相関係数を、時系列形式で表したものである。相関データの例、および詳細な算出方法については後述する。
評価データ生成部14は、相関演算部13が生成した相関データに基づいて、装置の利用者に提示する評価データ、すなわち、コンテンツの評価結果を生成する手段である。評価データの例、および詳細な算出方法については後述する。
以上に説明した各手段の制御は、制御プログラムをCPUなどの処理装置が実行するこ
とによって実現される。また、当該制御は、FPGA(Field-Programmable Gate Array
)やASIC(Application Specific Integrated Circuit)などによって実現されても
よいし、これらの組合せによって実現されてもよい。また、専用のハードウェアによって実現されてもよい。
<処理フローチャート>
次に、各手段が行う具体的な処理の内容を、処理フローチャート図である図3を参照しながら説明する。図3に示した処理は、装置の利用者(オペレータ)が、解析を開始する指示を行ったタイミングで開始される。
まず、ステップS11で、脳波取得部11が、予め測定された脳波信号を取得する。ここで取得される脳波信号は、時系列形式で表された、電極および被検者ごとの、脳電位を表すデータである。本実施形態では、脳波信号をSi,e,h(t)と表す。なお、iは被検者番号、eは電極番号、hはコンテンツ番号、tは時刻である。取得された脳波信号は、周波数解析部12へ送信される。
ステップS12では、周波数解析部12が、脳波信号に対してフーリエ変換を行い、所定の周波数帯域の信号成分の強度を表すデータ(強度データ)を生成する。本実施形態では、強度データをPFi,e,h(t)と表す。なお、i,e,h,tの意味は、脳波信号と同様である。
なお、本実施形態では、周波数解析手法としてフーリエ変換を用いるが、例えば、ウェーブレット変換、コンプレックスデモジュレーションなど、他の周波数解析手法を用いてもよい。
なお、計算速度を向上させるため、周波数解析を実施する前に、データ量を減らす処理を行ってもよい。例えば、脳波信号を、目標のサンプリングレートよりも高いサンプリングレートで取得したのち、ダウンサンプルしてもよい。例えば、1000Hzでサンプリングを行ったのち、200Hzにダウンサンプルしてもよい。
また、脳波信号から、思考と無関係な人体活動に起因する信号成分(アーチファクト)を検出し、キャンセルする処理を実行してもよい。脳波は、呼吸や瞬きなどの人体の活動によっても変動する。そこで、このような成分をキャンセルする処理を追加することで、精度を向上させることができる。
脳波からアーチファクト成分を除去する代表的な手法に、独立成分分析(以下、ICA)がある。ICAは、多変量データを複数の加法的な成分に分離する分析手法である。これにより、取得した脳波信号を独立した複数の成分に分離し、思考、感情、感覚などに関する脳活動と無関係な成分、例えば、瞬きや体動に起因する成分を除去することができる。また、アーチファクト成分を除去した後に、逆の工程を実行して、脳波信号の再構築を行う。これにより、アーチファクト成分が低減された脳波信号を得ることができる。
なお、アーチファクト成分を検出する手法には、既知の手法を用いることができる。例えば、脳波信号の尖度を求めることで、瞬きなどの瞬間的な動作を検出するようにしてもよい。また、学習データなどを用いてアーチファクト成分を検出してもよい。また、アーチファクト成分が特定の電極に偏って発生する場合、電極の位置を考慮するようにしてもよい。
周波数解析部12が生成した強度データは、相関演算部13へ送信される。
ステップS13では、相関演算部13が、複数の強度データ間の相関を表す相関データを生成する。図4は、ステップS13で実行される処理をより詳細に示した図である。
まず、ステップS131で、複数の被検者の組合せを生成する。例えば、被検者がn名であった場合、組み合わせはn2通りとなる。
次に、ステップS132で、生成した組み合わせから、未処理のペアを一組選択し、対応する強度データを取得する。例えば、被検者番号が1および2であるペアが選択された場合、PF1,e,h(t)およびPF2,e,h(t)が取得される。
次に、ステップS133で、選択中のペアに対応する相関データを算出する。具体的には、算出用の窓(単位区間)を強度データ中に設定し、当該窓をスライドさせながら、各時刻における相互相関係数を算出していく。そして、最終的に、時系列形式で表された相互相関係数の列を生成し、相関データとする。式(1)は、強度データ間の相互相関係数を算出する式である。
なお、i1は一人目の被検者番号を表し、i2は二人目の被検者番号を表す。また、バーが付された項は、強度の平均値である。また、w+1は窓幅を表す。
Figure 0005799351
式(1)で算出した相関データCRは、被検者番号i1とi2との間の、強度データの相関を、電極およびコンテンツごとに、時系列形式で表したものである。
次に、ステップS134で、全ての被検者の組合せについて前述した処理を行ったかを確認し、完了していなければ、処理をステップS132に遷移させ、次のペアを選択して処理を続行する。全ての組合せについて処理が完了した場合、ステップS13の処理を終了させる。
相関演算部13が生成した相関データは、評価データ生成部14へ送信される。
図3に戻り、説明を続ける。
ステップS14では、評価データ生成部14が、算出された相関データに基づいて、コンテンツに対する評価を生成する。図5は、ステップS14で実行される処理をより詳細に示した図である。
本実施形態に係る評価装置は、相関演算部13が生成した相関データに基づいて、複数の被検者の脳波が同期しているかを判定し、コンテンツの評価を行う。ここで、評価精度を向上させるためには、相関演算部13が取得した相関が、偶然得られた相関であるのか、コンテンツを視聴したことで脳波の同期が生じて得られた相関なのかを区別する必要がある。そこで、ステップS14では、まず、相関演算部13が生成した相関データに基づいて、当該判断を行うための閾値を算出する処理(ステップS141〜S145)を実行し、当該閾値を用いて、コンテンツを評価するデータを生成する(ステップS146)。以下、ステップS141〜S146で行われる処理について説明する。
まず、ステップS141で、相関演算部13が生成した相関データ、すなわち、CRi1,i2,e,h(t)を取得し、全データ(n2×e×h×t個のデータ。ただし、nは被検者数)を展開する。
次に、ステップS142で、展開した全ての区間の全てのデータから、ランダムに被検者のペアの数(n2個)だけレコードを抽出して平均値を算出する。例えば、被検者が15人である場合、被検者のペアは105組あるため、ランダムに105個の相互相関係数を抽出し、平均値を算出する。そして、この作業を所定の回数(例えば10万回)だけ繰り返し、得られた平均値の頻度をヒストグラム化する。図6は、ステップS142で生成されるヒストグラムの例である。
次に、ステップS143で、生成したヒストグラムの上位x%に対応する相互相関係数th1を算出する。すなわち、相互相関係数がth1以下となる確率が、(100−x)%となるような値である。xは、例えば1%とすることができるが、他の値であってもよい。
以上に説明した、ステップS141〜S143の処理をループによって複数回行い、複数の相互相関係数(th1,th2,th3…)を収集したうえで、当該複数の相互相関係
数の標準偏差が十分小さくなった時点でループを終了する(ステップS144)。最終的に、取得した複数の相互相関係数の平均値をとり、閾値thxとする(ステップS145
)。
ステップS146は、相関演算部13が生成した相関データ、すなわち、CRi1,i2,e,h(t)と、ステップS145で生成した閾値thxを用いて、被検者間の脳波変動の相関の
強さを表す時系列データを生成するステップである。ここで生成されるデータが、コンテンツの評価を表すデータとなる。
なお、本ステップは、特定のコンテンツについての評価を行うステップであるため、hは固定とする(式では省略する)。
ステップS146では、以下に説明する処理が行われる。
まず、対象のコンテンツについて、電極ごと、分析区間ごとに、全被検者ペアの相互相関係数の平均値を、以下の式(2)によって算出する。
Figure 0005799351
次に、算出した平均値と、ステップS141で算出したthxとの距離Δe(t)を、以下
の式(3)によって算出する。
Figure 0005799351
次に、算出したΔe(t)を、以下の式(4)で表したロジスティック関数に当てはめ、Ae(t)を算出する。なお、vは正の定数である(例えば、v=1,v→∞)。
Figure 0005799351
この結果得られたAe(t)を、同期度データと称する。同期度データは、相関データをthxに基づいて重み付けした時系列データである。Ae(t)の取る値は、同期の度合いを表
し、値が大きいほど、強度データの変動が複数の被検者間で同期していることを意味する。
ステップS14で算出された同期度データは、グラフ化され、入出力部15を通して、本発明における評価データとして装置の利用者に提供される。
なお、出力する同期度データは、電極ごとのデータであってもよいし、全電極分のデータを統合したものであってもよい。また、複数の周波数帯や、周波数帯間の強度比などに対して演算を行い、得られた複数のグラフを同時に出力してもよい。図7は、周波数帯1に対応する同期度データをグラフ化したものと、周波数帯2に対応する同期度データをグラフ化したものを同時に出力した画面例である。
以上、説明した実施形態によると、脳波における所定の周波数成分の強さの変動が、複数の被検者間でどの程度同期しているかを数値で得ることができる。同期度が高いということは、複数の被検者が同様の反応を示したことを意味するため、これにより、コンテンツが、被検者の意識・無意識や感覚にどの程度の影響を与えるものであるかを評価することができる。例えば、対象のコンテンツが、被検者に対してどの程度のインパクトを与えるものであるか、あるいは、被検者の意識をどの程度集中させるものであるか等を数値で評価することができる。
また、対象の周波数帯を変更することで、様々な基準で評価が行えるようになる。
また、評価データとして、時系列形式のグラフを出力することで、どのタイミングで被検者が反応を示したかを知ることができる。
(第二の実施形態)
第一の実施形態では、時系列形式の同期度データを評価データとして出力した。これに対し、第二の実施形態は、対象のコンテンツに対する単一の評価値を算出し、評価データとして出力する実施形態である。第二の実施形態に係る評価装置のシステム構成は、第一の実施形態と同様であるため、詳細な説明は省略し、処理の相違点についてのみ説明する。
第二の実施形態では、ステップS146が完了した後、得られた同期度データに基づいて、コンテンツに対応する単一の評価値を算出するステップを実行する。
まず、同期度データAe(t) に対して、電極番号eを固定し、タイムステップtを変化
させながら、タイムステップごとに定義された重みを乗算し、得られた結果の総和を求める。これを、電極ごとに行う。
次に、電極番号eを変化させながら、先ほどの結果に対して、電極ごとに定義された重みを乗算し、得られた結果の総和を求め、最終的な評価値Qとする。
ここで得られた値Qが、コンテンツに対する評価値(以下、コンテンツ評価値)である。算出されたコンテンツ評価値は、入出力部15を通して装置の利用者に提供される。
なお、電極ごとの重みは、電極ごとに重要度を付したい場合に利用される。例えば、特定の周波数帯に対応する脳波が特徴的に表れる部位がわかっている場合、当該部位に対する重みを大きくすることができる。もちろん、電極ごとの重みを1としてもよい。
また、タイムステップごとの重みは、タイムステップごとに重要度を付したい場合に利用される。例えば、特に視聴者に訴えたいシーンや、インパクトを持たせたいシーンがある場合、当該タイムステップに対する重みを大きくすることができる。もちろん、タイムステップごとの重みを1としてもよい。
なお、前述した例では、重みを乗算した後に総和を2回求めたが、総乗を用いるようにしてもよい。また、総和と総乗を1回ずつ用いるようにしてもよい。例えば、コンテンツが短いような場合、総和よりも総乗を用いたほうが、よりセンシティブに評価値を算出できる場合がある。また、評価値を4パターン(総和と総和,総和と総乗,総乗と総和,総
乗と総乗)算出したうえで、得られた4つの評価値に重み付けを行って合計することで、最終的な評価値を得るようにしてもよい。
このようにすることで、様々な性質を持つコンテンツに対して最適な評価が行えるようになる。
以上説明したように、第二の実施形態では、電極およびタイムステップごとに重みを付し、単一の評価値を算出する。これにより、コンテンツに対する数量的な評価値を得ることができる。
(第三の実施形態)
第一ないし第二の実施形態では、コンテンツに対する評価結果をグラフまたは数値によって出力した。これに対し、第三の実施形態は、被検者間の脳波変動の同期の度合いを色彩によって示す実施形態である。
第三の実施形態では、ステップS13の処理が完了した後、ステップS14の処理を省略し、ステップS15へ遷移する。また、ステップS15では、被検者のペアごとに、ステップS13で生成した相関データに基づいて表示画面を生成する。
図8は、第三の実施形態において利用者に提示される画面の例である。図8に示したように、第三の実施形態では、被検者i1とi2のペアを表す、N×Nのマトリクスを生成
したうえで、N2個のマスを用いて、該当する相互相関係数を表現する。(Nは被検者数
具体的には、まず、ステップS13で生成した相関データ(CRi1,i2,e,h(t))に対して、複数の電極に対応する値を平均化する処理を行う。なお、hは固定とし、式では省略する。この結果、CRi1,i2(t)が得られる。
次に、対応するペアのマスに、相互相関係数から求めた色を割り当てる。具体的には、CRi1,i2(t)が負の値をとる場合に寒色系の色、正の値を取る場合に暖色系の色となるように、数値から色相への変換を行う。例えば、相互相関係数が高くなるにしたがって、濃青色、青色、淡青色、緑色、黄色、橙色、赤色、濃赤色を割り当てるようにしてもよい。
この処理を、全てのタイムステップに対して行うと、N2マス分の色相が、タイムステ
ップぶん求まる。そして、対応する画像をタイムステップごとに生成し、生成した複数の画像から動画を生成する。
なお、本実施形態では、相互相関係数を色相で表現したが、相互相関係数は輝度などによって表現してもよい。
第三の実施形態では、このようにして生成された動画を、被検者が視聴したコンテンツと同時に再生する。このようにすることで、脳波の変動が被検者間でどの程度同期しているのかを、視覚的に提示することが可能になる。
なお、図8に示したマトリクスの右上の領域と左下の領域は、共に同じ被検者のペアを表すものであるため、現れる色彩は対称なものとなるが、各領域にそれぞれ異なる情報を出力するようにしてもよい。例えば、二つの異なる周波数帯について解析を行った場合、右上に、第一の周波数帯に対応する結果を出力し、左下に、第二の周波数帯に対応する結果を出力するようにしてもよい。
(変形例)
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。例えば、例示した実施形態をそれぞれ組み合わせて実施してもよい。
また、相関データは、複数の被検者間における、強度データの波形の類似度を表すものであれば、式(1)で示した手法に限らず、どのような手法で演算されてもよい。
また、各実施形態では、相関データを被検者のペアごとに生成したが、3人以上の被検者についての情報を統合し、当該3人以上の被検者間における相関を表すデータを相関データとしてもよい。
また、第一ないし第二の実施形態では、同期度データに基づいて評価データを生成したが、ステップS14を実行せず、コンテンツを評価する指標として、相関データを任意の方法で出力するようにしてもよい。すなわち、相関データを評価データとして出力してもよい。また、この場合、被検者のペアおよび電極ごとに生成された相関データを、任意の方法で統合するようにしてもよい。
また、各実施形態では、評価データをグラフや色彩によって視覚的に出力したが、音声信号を用いて出力してもよい。例えば、同期度データや相関データが有する値の大小と、音声信号の音程や音量が比例するようにしてもよい。当該音声信号を、コンテンツと同期させ、同時に再生することで、脳波の変動が被検者間でどの程度同期しているのかを、聴覚的に提示することが可能になる。
100 評価装置
11 脳波取得部
12 周波数解析部
13 相関演算部
14 評価データ生成部
15 入出力部

Claims (8)

  1. 複数の被検者からそれぞれ取得した、当該被検者の脳波信号を取得する脳波取得部と、
    前記脳波信号に基づいて、所定の周波数帯の信号成分の強度、または、複数の周波数帯における信号成分の強度間の関係を時系列で表した強度データを生成する強度データ生成部と、
    前記複数の被検者のうちの二人からなるペアを全ての組み合わせについて取得し、それぞれのペアにおける、前記強度データ同士の、各時刻における相互相関係数を算出し、当該相互相関係数を時系列で表した相関データを前記ペアごとに生成する相関データ生成部と、
    全てのペアについて生成された前記相関データに基づいて、前記複数の被検者全体における脳波変動の同期度を数値によって表した評価データを生成し、出力する出力部と、
    を有することを特徴とする、評価装置。
  2. 前記強度データ生成部は、前記強度データを複数の周波数帯ごとに生成し、
    前記相関データ生成部は、前記相関データを前記複数の周波数帯ごとに生成し、
    前記出力部は、前記評価データを前記複数の周波数帯ごとに生成し、出力する
    ことを特徴とする、請求項1に記載の評価装置。
  3. 前記所定の周波数帯は、視覚や聴覚を含む感覚刺激、または、注意の集中によって、当該周波数帯の信号成分の強度が変動する周波数帯である
    ことを特徴とする、請求項1または2のいずれかに記載の評価装置。
  4. 前記脳波取得部が取得する脳波信号は、前記複数の被検者に同一の映像または音声を鑑賞させながら取得した脳波信号である
    ことを特徴とする、請求項1から3のいずれかに記載の評価装置。
  5. 前記出力部は、さらに、複数の被検者における、前記強度データの相関の度合いを、被検者のペアごとに色相または輝度によって表した画像を時刻ごとに生成し、前記被検者に鑑賞させた映像または音声と共に動画像として出力する
    ことを特徴とする、請求項4に記載の評価装置。
  6. 前記出力部は、さらに、複数の被検者における、前記強度データの相関の度合いを、音程または音量の変化によって表した音声信号を生成し、前記被検者に鑑賞させた映像または音声と共に出力する
    ことを特徴とする、請求項4に記載の評価装置。
  7. 複数の被検者からそれぞれ取得した、当該被検者の脳波信号を取得する脳波取得ステップと、
    前記脳波信号に基づいて、所定の周波数帯の信号成分の強度を時系列で表した強度データを生成する強度データ生成ステップと、
    前記複数の被検者のうちの二人からなるペアを全ての組み合わせについて取得し、それぞれのペアにおける、前記強度データ同士の、各時刻における相互相関係数を算出し、当該相互相関係数を時系列で表した相関データを前記ペアごとに生成する相関データ生成ステップと、
    全てのペアについて生成された前記相関データに基づいて、前記複数の被検者全体における脳波変動の同期度を数値によって表した評価データを生成し、出力する出力ステップと、
    を含むことを特徴とする、評価方法。
  8. 請求項7に記載の評価方法に含まれる各ステップをコンピュータに実行させるプログラム。
JP2014249272A 2014-12-09 2014-12-09 評価装置および評価方法 Active JP5799351B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014249272A JP5799351B1 (ja) 2014-12-09 2014-12-09 評価装置および評価方法
US15/533,685 US20170308923A1 (en) 2014-12-09 2015-12-04 Evaluation apparatus and evaluation method
GB1709215.6A GB2549864A (en) 2014-12-09 2015-12-04 Evaluation device and evaluation method
PCT/JP2015/084149 WO2016093168A1 (ja) 2014-12-09 2015-12-04 評価装置および評価方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014249272A JP5799351B1 (ja) 2014-12-09 2014-12-09 評価装置および評価方法

Publications (2)

Publication Number Publication Date
JP5799351B1 true JP5799351B1 (ja) 2015-10-21
JP2016106949A JP2016106949A (ja) 2016-06-20

Family

ID=54348677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014249272A Active JP5799351B1 (ja) 2014-12-09 2014-12-09 評価装置および評価方法

Country Status (4)

Country Link
US (1) US20170308923A1 (ja)
JP (1) JP5799351B1 (ja)
GB (1) GB2549864A (ja)
WO (1) WO2016093168A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3376404A4 (en) * 2016-01-18 2019-06-12 National Institute of Information and Communications Technology METHOD AND SYSTEM FOR EVALUATING VISUALIZATION EQUIPMENT AND PROGRAM
WO2020004485A1 (ja) * 2018-06-26 2020-01-02 キリンホールディングス株式会社 評価装置、評価方法、プログラム及び記録媒体
CN113080998A (zh) * 2021-03-16 2021-07-09 北京交通大学 一种基于脑电的专注状态等级评定方法和系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6859622B2 (ja) * 2016-07-27 2021-04-14 凸版印刷株式会社 脳波信号処理システム、脳波信号処理方法及びプログラム
KR101919907B1 (ko) * 2017-02-28 2018-11-20 연세대학교 원주산학협력단 다중 신경생리신호 기반 사용자 간 상호작용 모니터링 장치 및 방법
JP2022155614A (ja) * 2021-03-31 2022-10-14 国立研究開発法人情報通信研究機構 共感度測定方法
CN114098730B (zh) * 2021-09-06 2023-05-09 北京无疆脑智科技有限公司 基于认知图谱的认知能力测试和训练方法、装置、设备和介质
WO2024100861A1 (ja) * 2022-11-10 2024-05-16 日本電信電話株式会社 提示装置、提示方法及び提示プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013017734A (ja) * 2011-07-13 2013-01-31 Hitachi Ltd 生体計測システム
JP2013017722A (ja) * 2011-07-13 2013-01-31 Hitachi Ltd 複数脳賦活観測システム
WO2014091766A1 (ja) * 2012-12-15 2014-06-19 国立大学法人東京工業大学 人間の心的状態の評価装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013017734A (ja) * 2011-07-13 2013-01-31 Hitachi Ltd 生体計測システム
JP2013017722A (ja) * 2011-07-13 2013-01-31 Hitachi Ltd 複数脳賦活観測システム
WO2014091766A1 (ja) * 2012-12-15 2014-06-19 国立大学法人東京工業大学 人間の心的状態の評価装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3376404A4 (en) * 2016-01-18 2019-06-12 National Institute of Information and Communications Technology METHOD AND SYSTEM FOR EVALUATING VISUALIZATION EQUIPMENT AND PROGRAM
WO2020004485A1 (ja) * 2018-06-26 2020-01-02 キリンホールディングス株式会社 評価装置、評価方法、プログラム及び記録媒体
JPWO2020004485A1 (ja) * 2018-06-26 2021-08-02 キリンホールディングス株式会社 評価装置、評価方法、プログラム及び記録媒体
JP7391332B2 (ja) 2018-06-26 2023-12-05 キリンホールディングス株式会社 評価装置、評価方法、プログラム及び記録媒体
CN113080998A (zh) * 2021-03-16 2021-07-09 北京交通大学 一种基于脑电的专注状态等级评定方法和系统
CN113080998B (zh) * 2021-03-16 2022-06-03 北京交通大学 一种基于脑电的专注状态等级评定方法和系统

Also Published As

Publication number Publication date
GB2549864A (en) 2017-11-01
JP2016106949A (ja) 2016-06-20
GB201709215D0 (en) 2017-07-26
US20170308923A1 (en) 2017-10-26
WO2016093168A1 (ja) 2016-06-16

Similar Documents

Publication Publication Date Title
JP5799351B1 (ja) 評価装置および評価方法
Trujillo et al. Beauty is in the ease of the beholding: A neurophysiological test of the averageness theory of facial attractiveness
Minhad et al. Happy-anger emotions classifications from electrocardiogram signal for automobile driving safety and awareness
Chaouachi et al. Affect and mental engagement: Towards adaptability for intelligent
JP6146760B2 (ja) 序列化装置、序列化方法及びプログラム
Gao et al. A comparison of spatial frequency tuning for the recognition of facial identity and facial expressions in adults and children
Dosso et al. Eulerian magnification of multi-modal RGB-D video for heart rate estimation
JP6856860B2 (ja) 集中度評価装置、集中度評価方法、及びプログラム
Liu et al. Detection of humanoid robot design preferences using EEG and eye tracker
Degirmenci et al. Emotion recognition from EEG signals by using empirical mode decomposition
Kroupi et al. Predicting subjective sensation of reality during multimedia consumption based on EEG and peripheral physiological signals
CN116211305A (zh) 动态实时情绪检测方法及系统
Gannouni et al. Electroencephalography based emotion detection using ensemble classification and asymmetric brain activity
Goyal et al. Classification of emotions based on ERP feature extraction
Wang et al. Micro-expression recognition based on EEG signals
Gabrielli et al. Neurocoaching: exploring the relationship between coach and coachee by means of bioelectrical signal similarities
Zhao et al. Independent component analysis-based source-level hyperlink analysis for two-person neuroscience studies
Nomura et al. Extraction of unconscious emotions while watching TV commercials
Arnau-González et al. Image-evoked affect and its impact on eeg-based biometrics
Zhang EEG signals feature extraction and artificial neural networks classification for the diagnosis of schizophrenia
CN113476057B (zh) 一种内容评价的方法和装置、电子装置及存储介质
US20150317647A1 (en) Method And Apparatus For Correlating Biometric Responses To Analyze Audience Reactions
Wu et al. Decoding human visual colour eeg information using machine learning and visual evoked potentials
Kapoor et al. Fourier decomposition method based descriptor of EEG signals to identify dementia
Yasuda et al. Features of event-related potentials used to recognize clusters of facial expressions

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150721

R150 Certificate of patent or registration of utility model

Ref document number: 5799351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250