JP6829363B2 - 評価装置、マーケット調査装置、及び学習評価装置 - Google Patents

評価装置、マーケット調査装置、及び学習評価装置 Download PDF

Info

Publication number
JP6829363B2
JP6829363B2 JP2017210482A JP2017210482A JP6829363B2 JP 6829363 B2 JP6829363 B2 JP 6829363B2 JP 2017210482 A JP2017210482 A JP 2017210482A JP 2017210482 A JP2017210482 A JP 2017210482A JP 6829363 B2 JP6829363 B2 JP 6829363B2
Authority
JP
Japan
Prior art keywords
data
component
subject
brain
skin temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017210482A
Other languages
English (en)
Other versions
JP2018033996A5 (ja
JP2018033996A (ja
Inventor
潤一郎 新井
潤一郎 新井
後藤 尚志
尚志 後藤
誠 岩亀
誠 岩亀
健一 日野
健一 日野
平野 智也
智也 平野
泰則 小谷
泰則 小谷
淑美 大上
淑美 大上
太郎 戸松
太郎 戸松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Tokyo Institute of Technology NUC
Original Assignee
Daikin Industries Ltd
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd, Tokyo Institute of Technology NUC filed Critical Daikin Industries Ltd
Publication of JP2018033996A publication Critical patent/JP2018033996A/ja
Publication of JP2018033996A5 publication Critical patent/JP2018033996A5/ja
Application granted granted Critical
Publication of JP6829363B2 publication Critical patent/JP6829363B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015By temperature mapping of body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • G06Q30/0203Market surveys; Market polls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0242Determining effectiveness of advertisements
    • G06Q30/0245Surveys
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Epidemiology (AREA)
  • Psychology (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)

Description

本発明は、対象者の興味関心度合いを評価する評価装置、この評価装置を備えるマーケット調査装置及び学習評価装置に関する。
従来より、例えば、特許文献1(特開2006−305334号公報)のように、脳波計を用いて対象者の脳活動を推定し、商品等に対する興味関心の有無の調査を行う装置がある。この装置では、対象者がアンケートの質問に対する回答を考えている時の対象者の脳波等の測定結果を解析することで、商品等に対する対象者の正直な回答を得ようとしている。
ところで、脳波計を用いて対象者の脳活動を推定する場合、対象者に対して前処理の必要な電極を装着する必要がある等、準備段階で必要な作業が繁雑である。
そこで、本発明の課題は、脳活動に基づき対象者の興味関心の度合いを評価する評価装置において、簡便に脳活動を推定することにある。
本発明の第1観点に係る評価装置は、顔面皮膚温度取得手段及び/又は顔面血行量取得手段と、脳活動推定手段と、評価手段と、を備える。顔面皮膚温度取得手段は、顔面皮膚温度データを時系列で取得する。顔面皮膚温度データは、対象者の顔面から検出した皮膚温度データ及びその検出部位の位置データを含む。顔面血行量取得手段は、顔面血行量データを時系列で取得する。顔面血行量データは、対象者の顔面を時系列で撮影した撮影画像データに対してRGB処理を行い、RGB処理により得られた撮影画像データのRGBデータに基づき取得される。脳活動推定手段は、顔面皮膚温度データ及び/又は顔面血行量データを、特異値分解、主成分分析或いは独立成分分析により分解することで得られた複数の成分に基づき、対象者の脳活動を推定する。評価手段は、脳活動推定手段により推定された対象者の脳活動に基づき、対象者の興味関心の度合いを評価する。
本発明の第1観点の係る評価装置では、顔面皮膚温度取得手段及び/又は顔面血行量取得手段によって取得された時系列の顔面皮膚温度データ及び/又は顔面血行量データに基づき対象者の脳活動が推定される。このため、この評価装置では、脳波電極等の装着前に処理が必要なセンサを装着しなくても、対象者の脳活動を推定することができる。したがって、簡便に対象者の脳活動を推定することができる。
本発明の第2観点に係る評価装置は、第1観点の評価装置において、脳活動推定手段は、複数の成分のうち、その成分波形の振幅が脳の賦活時及び脳の非賦活時の変化と相関関係にある成分を判定用成分として抽出する。そして、脳活動推定手段は、判定用成分に基づき対象者の脳活動を推定する。この評価装置では、複数の成分のうちの脳の賦活/非賦活と相関関係にある成分が対象者の脳活動を推定する判定用成分として抽出される。このため、対象者の脳活動と関連性が高いと推測される成分から脳活動を推定することができる。
本発明の第3観点に係る評価装置は、第1観点又は第2観点の評価装置において、顔面皮膚温度取得手段及び/又は顔面血行量取得手段は、対象者の顔面の副鼻腔周辺及び/又は前額部の顔面皮膚温度データ及び/又は顔面血行量データを少なくとも取得する。
ここで、脳には、選択的脳冷却機構(Selective Brain Cooling System)という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を、副鼻腔及び前額部周辺を用いて排熱していることが知られている。また、顔面の皮膚温度は、顔面の血行量に比例すると考えられる。
本発明の第3観点に係る評価装置では、脳活動を反映していると推測される副鼻腔及び/又は前額部における時系列の顔面皮膚温度データ及び/又は顔面血行量データに基づき、対象者の脳活動が推定される。このため、この評価装置では、対象者の脳活動を精度よく推定することができる。
本発明の第4観点に係る評価装置は、第1観点から第3観点のいずれかの評価装置において、顔面皮膚温度取得手段及び/又は顔面血行量取得手段は、複数の対象者の顔面皮膚温度データ及び/又は顔面血行量データを一括して取得する。これにより、この評価装置では、複数の対象者の興味関心の度合いを一度に評価することができる。
本発明の第5観点に係る評価装置は、第1観点から第4観点のいずれかの評価装置において、評価手段は、解析部と、報知部と、を有する。解析部は、対象者の脳活動に基づき対象者の集中度合いを解析する。報知部は、対象者の集中度合いに関する情報を、評価手段の管理者へと報知する。この評価装置では、管理者が対象者の集中度合いを認識することができる。
本発明の第6観点に係るマーケット調査装置は、本発明の第1観点から第5観点のいずれかの評価装置と、マーケット調査記憶手段と、を備える。マーケット調査記憶手段は、予め設定した調査期間毎に評価手段によって評価された結果を記憶する。このマーケット調査装置では、脳活動推定手段により推定された対象者の脳活動に基づき評価された商品等に対する対象者の興味関心の度合いが解析されることで、マーケット(市場)調査を行うことができる。
本発明の第7観点に係る学習評価装置は、第1観点から第5観点のいずれかの評価装置と、予め設置した学習時限毎に評価手段によって評価された結果を記憶する学習評価記憶手段と、を備える。この学習評価装置では、脳活動推定手段により推定された対象者の脳活動に基づき評価された学習内容に対する対象者の興味関心の度合いが解析されることで、学習内容に対する対象者の興味関心の度合いを評価することができる。
本発明の第8観点に係るマーケット調査装置は、本発明の第6観点のマーケット調査装置において、商品等に関する視覚情報を表示する表示装置をさらに備える。そして、このような表示装置を各種商業施設に設置することで、所定の商品等に対する対象者の関心度合いを容易に評価することができる。
本発明の第1観点に係る評価装置では、簡便に対象者の脳活動を推定することができる。
本発明の第2観点に係る評価装置では、対象者の脳活動と関連性が高いと推測される成分から脳活動を推定することができる。
本発明の第3観点に係る評価装置では、対象者の脳活動を精度よく推定することができる。
本発明の第4観点に係る評価装置では、複数の対象者の興味関心の度合いを一度に評価することができる。
本発明の第5観点に係る評価装置では、管理者が対象者の集中度合いを認識することができる。
本発明の第6観点に係るマーケット調査装置では、商品等に対する対象者の興味関心の度合いが解析されることで、マーケット(市場)調査を行うことができる。
本発明の第7観点に係る学習評価装置では、学習内容に対する対象者の興味関心の度合いを評価することができる。
本発明の第8観点に係るマーケット調査装置では、所定の商品等に対する対象者の関心度合いを容易に評価できる。
撮影画像データ及びこれを解析した結果の一例を示す図。 顔面皮膚温度データを解析した結果の一部を示す図。 顔面皮膚温度データを解析した結果の一部を示す図。 成分2の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図。 成分3の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図。 対照実験で得られた顔面皮膚温度データを解析した結果の一部を示す図。 顔面の撮影画像データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。 顔面皮膚温度データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。 顔面の撮影画像データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。 顔面皮膚温度データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。 顔面の撮影画像データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。 顔面皮膚温度データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。 顔面の撮影画像データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。 顔面皮膚温度データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。 顔面の撮影画像データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。 顔面皮膚温度データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。 顔面の撮影画像データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。 顔面皮膚温度データに基づく成分波形と、測定された脳波のうちのβ波の振幅とを示す図。 本発明の一実施形態に係る評価装置の概略図。 評価装置において脳機能を反映した皮膚温度の変化を示す成分を同定する際の処理の流れの一例を示すフローチャート。 本発明の一実施形態に係る評価装置の概略図。 評価装置において脳機能を反映した顔面のRGB変化を示す成分を同定する際の処理の流れの一例を示すフローチャート。
本発明の実施形態を説明する前に、まず、本発明者らが本発明を為すにあたって重要な基礎となった、本発明者らによる知見について説明する。
(1)本発明者らによる知見の要点
人間の脳活動には、人間の知的活動(認知活動等)及び情動活動(快/不快等の活動)が反映されていることが知られている。そして、従来より、人間の脳活動を推定する試みがされているが、この場合、脳波計測法、磁気共鳴画像法及び近赤外線分光法のいずれかの方法によって検出されたデータが利用されることが多い。
ここで、検出方法として、例えば、脳波計測法が採用される場合には、被験者に対して脳波電極を装着する必要がある。そして、脳波電極を装着する際には皮膚と電極との間の抵抗を小さくする必要があるため、皮膚を研磨する処理を行ったり電極にペーストを塗布したりする等の作業が必要になる。また、磁気共鳴画像法が採用される場合には、MRI室以外での測定が不可能であるとともに、測定室内に金属を持ち込むことができない等の測定条件に制約がある。さらに、近赤外線分光法が採用される場合には、被験者に対してプローブを装着する必要があるが、プローブを長時間装着することで被験者が痛みを感じたり、被験者の髪とプローブとの接触具合によっては正確に検出できなかったりすることがある。このように、人間の脳活動を測定するために従来の検出方法が採用される場合、脳波電極やプローブ等を装着する際の前処理が必要であったり、測定条件が限定されたりする等、被験者に与える負担が大きくなる。
したがって、被験者の負担を軽減し、かつ簡便に人間の脳活動を推定できる手段の開発が求められている。
そして、本発明者らは、人間の顔面の皮膚温度又は顔面の皮膚温度に比例すると考えられている顔面の血行状態に基づき人間の脳活動を推定することができるのではないか、と考えた。人間の顔面の皮膚温度であればサーモグラフィ等の測定装置を用いることで取得することができ、顔面の血行状態すなわち顔面の血行量であれば撮影装置を利用して得られる顔面の撮影画像のRGBデータから推定することができる。このように、顔面の皮膚温度や顔面の撮影画像であれば、脳波電極やプローブ等の装着前に処理が必要なセンサを装着することなく取得することができる。
一方で、人間の顔面の皮膚温度は、外気温度及び/又は自律神経の活動等の様々な要因の影響を受けて変化することが知られている。このため、顔面の皮膚温度に基づいて又は顔面の皮膚温度に比例すると考えられる顔面の血行量に基づいて脳活動を推定しようとすると、取得したデータが脳活動のみを反映しているかどうかを判断することは、非常に困難であると考えられる。
本発明者らは、鋭意検討した結果、顔面の皮膚温度を検出し、検出した温度データ及び検出部位の位置データ(座標データ)を含む時系列の顔面皮膚温度データを、或いは、時系列の顔面の撮影画像データから得られるRGBデータに基づき算出された時系列の顔面の血行量データを、特異値分解法、主成分分析法若しくは独立成分分析法を用いて複数の成分に分解し、分解した複数の成分について解析を行うことで、脳活動を反映した顔面の皮膚温度の変化或いは顔面の血行量の変化を示す成分を同定することができることを見いだした。そして、本発明者らは、対象者の脳活動を推定し、これを解析することで、推定した脳活動に基づき対象者の興味関心の度合いを評価することのできる本発明に到達した。
(2)顔面の各種データの取得方法、及び取得した各種データの解析方法
(2−1)顔面皮膚温度データの取得方法、及び顔面皮膚温度データの解析方法
次に、本発明者らが上記の知見を得るに際して用いた顔面皮膚温度データの取得方法、及び顔面皮膚温度データの解析方法について説明する。
この試験では、6名の被験者から顔面皮膚温度データを取得した。具体的には、室温25℃を維持した人工気象室内に設置した椅子に被験者を座らせて、赤外線サーモグラフィ装置を用いて、被験者の顔面全体から顔面皮膚温度データを取得した。赤外線サーモグラフィ装置は、対象物から出ている赤外線放射エネルギーを赤外線カメラで検出し、検出した赤外線放射エネルギーを対象物表面の温度(ここでは、摂氏での温度)に変換して、その温度分布を顔面皮膚温度データ(例えば、温度分布を表した画像データ)として表示、蓄積することが可能な装置である。なお、この試験では、赤外線サーモグラフィ装置として、NEC Avio 赤外線テクノロジー株式会社製のR300を使用した。また、赤外線カメラは、被験者の正面であって、被験者から1.5m離れた地点に設置した。そして、顔面皮膚温度データは、30分間取得した。
また、この試験では、顔面皮膚温度データを取得している間に、被験者に対して脳機能賦活課題を与えた。これにより、脳の非賦活時の顔面皮膚温度データ、及び脳の賦活時の顔面皮膚温度データを取得した。脳機能賦活課題としては、被験者が表示装置等に表示された映像に基づいて、計算、又は、数値、形状及び色の認知、或いは、記号、文字ないし言語の記憶などの心理的作業が挙げられる。この試験では、脳機能賦活課題として「かけ算の暗算」を採用し、被験者に、表示装置に筆算形式で表示される数字を計算させ、その回答をキーボードに入力させる作業を課した。なお、この試験では、顔面皮膚温度データの取得開始から5分経過後から10分間継続して、被験者に対して脳機能賦活課題を与えた。
顔面皮膚温度データの解析としては、取得した顔面皮膚温度データを対象として、MATLAB(登録商標)のSVD(Singular Value Decomposition)を分析ツールとして用いて特異値分解を行った。特異値分解では、時系列で取得した全ての顔面皮膚温度データ(30分間のデータ)を対象とし、要因を30秒毎の時間データ(30分間で60 time point)とし、測度をその期間(30秒間)における顔面皮膚温度データ(240×320 pixels)とした。そして、特異値分解により、顔面皮膚温度データXを、複数の成分に分解し、それぞれの成分の時間分布Vと、空間分布Uと、各成分の大きさを示す特異値Sとを算出した。なお、これらの関係は、以下の式で表される。また、V’は、Vの行と列とを入れ替えた行列である。
そして、特異値分解によって求められた各成分の時間分布V及び空間分布Uをグラフにプロットし、各成分の成分波形図と温度分布図とを作成した。
さらに、作成した各成分の成分波形図及び温度分布図について、脳活動を反映した皮膚温度の変化を示す成分を同定するための解析を行った。
各成分の成分波形図については、その成分波形の振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について解析した。具体的には、各成分の成分波形図に示された振幅と、脳の非賦活期間/脳の賦活期間との間に相関関係があるか否かを評価した。この試験では、顔面皮膚温度データを取得している期間のうち、被験者に対して脳機能賦活課題が与えられていない期間であるデータ取得開始時点から5分が経過した時点までの5分間の期間、及びデータ取得開始時から15分が経過した時点からデータ取得終了時点までの15分間の期間を脳の非賦活時とし、被験者に対して脳機能賦活課題が与えられている期間であるデータ取得開始時から5分が経過した時点から10分が経過した時点までの10分間の期間を脳の賦活時とした。そして、各成分の成分波形図に示された振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について評価した。なお、相関関係の有無については、統計的相関分析を行い、有意水準(α)が0.05以下の場合に相関があると判断した。
各成分の温度分布図については、顔面の所定部位における温度変化の有無について解析した。ここで、脳には、選択的脳冷却機構(Selective Brain Cooling System)という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を前額部及び副鼻腔周辺(眉間及び鼻部周辺を含む)を用いて排熱していることが知られている。そこで、この試験では、各成分の温度分布図において、副鼻腔周辺及び前額部における温度変化があるか否かを評価した。なお、温度分布図における副鼻腔周辺及び前額部の温度変化の有無については、目視(visual inspection)による温度変化の有無、もしくは副鼻腔周辺及び前額部の温度が測定データ全体の平均温度から1標準偏差(SD)以上異なるか否かを温度変化の有無の基準とした。
なお、空間分布U、特異値S及び時間分布Vの値の関係で、顔面皮膚温度データXの極性(プラスマイナス)が決定するため、各成分の成分波形図及び温度分布図において極性が反転して現れることがある。このため、成分波形図及び温度分布図の評価に関して、極性については評価対象としないこととした。
ここで、この赤外線サーモグラフィ装置では、上述しているように、対象物から検出された赤外線放射エネルギーを温度に変換して、その温度分布を顔面皮膚温度データとしている。ところで、人間を対象として赤外線サーモグラフィ装置を用いて顔面の皮膚温度を取得する場合、顔面の動き及び/又は自律神経の活動等の様々な脳活動とは関連しない温度変化(いわゆるノイズ)についても顔面皮膚温度データとして取得してしまう(図1(a)参照)。そこで、このような脳活動とは関連しない温度変化を検出するために、30秒毎の顔面皮膚温度データに含まれる温度データの全平均値を「0」とした相対的な顔面皮膚温度データを作成し、作成した顔面皮膚温度データについても、MATLAB(登録商標)のSVDを分析ツールとして用いて特異値分解を行い、特異値Sに応じた各成分の成分波形図と温度分布図とを作成し、脳活動を反映した皮膚温度の変化を示す成分を同定するための解析を行った。
なお、以下より、説明の便宜上、赤外線サーモグラフィ装置で取得した顔面皮膚温度データを「温度換算データに応じた顔面皮膚温度データ」といい、所定時間毎(この試験では30秒毎)の温度換算データに応じた顔面皮膚温度データに含まれる温度データの全平均値を「0」とした相対的な顔面皮膚温度データを「相対温度換算データに応じた顔面皮膚温度データ」という。
また、6名の被験者のうちの1名に対しては、赤外線サーモグラフィ装置による顔面皮膚温度の検出の他に、被験者の頭皮上に電極を接続して脳波を測定し、覚醒時や意識が緊張した時に現れる波形として知られているβ波(14〜30Hzの周波数の脳波)の振幅と、成分波形図の振幅との間の相関関係についても評価した。なお、脳波測定では、国際式10−20法に基づき、6つの部位(F3、F4,C3、C4、Cz、Pz)に電極を配置した。
ところで、被験者に脳機能賦活課題が与えられている間、被験者の頭が上下に動くことが考えられる。そうすると、赤外線カメラに対する被験者の顔面の位置が変化することになる。この顔面の位置の変化が皮膚温度の変化に影響しているか否かを検証するために、被験者1名に対して対照試験を行った。顔面皮膚温度データを取得する際の被験者の動きの影響を検証するための対照試験では、上記試験と同様に赤外線サーモグラフィ装置を用いて被験者の顔面皮膚温度データを取得するが、脳機能賦活課題が与えられていない間(すなわち、脳の非賦活時)についてもランダムなタイミングでキーボードを押す作業を被験者に課した。この対照実験によって得られた温度換算データに応じた顔面皮膚温度データ及び相対温度換算データに応じた顔面皮膚温度データについても、MATLAB(登録商標)のSVDを分析ツールとして用いて特異値分解を行い、特異値Sに応じた各成分の成分波形図と温度分布図とを作成し、脳活動を反映した皮膚温度の変化を示す成分を同定するための解析を行った。
(2−2)顔面撮影画像データの取得方法、及び顔面撮影画像データの解析方法
図1(a)は、撮影装置にて撮影した被験者の顔面の副鼻腔周辺の撮影画像データの一例を示す図である。図1(b)は、血行量分布図(画像マップ)の一例を示す図である。
次に、本発明者らが上記の知見を得るに際して用いた顔面撮影画像データの取得方法、及び顔面撮影画像データの解析方法について説明する。
この試験では、6名の被験者から顔面の撮影画像データを取得した。具体的には、室温25℃を維持した人工気象室内に設置した椅子に被験者を座らせて、時系列で画像を取得可能な撮影装置を用いて、被験者の顔面全体の副鼻腔周辺の撮影画像データを時系列で取得した。
また、上述した選択的脳冷却機構に基づくと、脳活動に伴う顔面皮膚温度に比例すると考えられる顔面の血行量の変化は、前額部及び/又は副鼻腔周辺に出現すると考えられる。このことから、本発明者らは、少なくとも前額部及び/又は副鼻腔周辺の顔面の血行量の変化を捉えることができれば、精度良く脳活動を推定することができる、と考えた。そして、この試験では、被験者の顔面の副鼻腔周辺の撮影画像データを時系列で取得した。
また、この試験では、撮影装置として、Apple社製のiPad Air(登録商標)の備える液晶画面側の撮影装置を使用し、時系列の撮影画像データとしてカラーの動画データを取得した。また、撮影装置を、被験者の正面側であって、被験者から1.0m離れた地点に設置した。そして、撮影装置によって、30フレーム/秒の撮影周期で時間軸に沿って30分間の撮影画像データを連続撮影することで、顔面の動画データを得た。
さらに、この試験では、顔面の動画データを取得している間に、被験者に対して脳機能賦活課題を与えた。これにより、脳の非賦活時の顔面の動画データ、及び脳の賦活時の顔面の動画データを取得した。この試験では、上記試験と同様に、脳機能賦活課題として「かけ算の暗算」を採用し、被験者に、表示装置に筆算形式で表示される数字を計算させ、その回答をキーボードに入力させる作業を課した。なお、この試験では、顔面の動画データの取得開始から5分経過後から10分間継続して、被験者に対して脳機能賦活課題を与えた。
顔面の動画データの解析としては、撮影した顔面の動画データより得られたRGBデータに基づき血行量データを算出し、算出した時系列の血行量データを対象として、MATLAB(登録商標)のSVDを分析ツールとして用いて特異値分解を行った。ここでは、CIE−L表色系に従って、画像のRGBデータより演算される肌の赤みやヘモグロビン量と相関のある紅斑指数「a」を求め、これを血行量データとした。また、特異値分解では、時系列で取得した全ての動画データ(30分間のデータ)から得られたRGBデータに基づく血行量データ(ここでは、紅斑指数)を対象とし、要因を30秒毎の時間データ(30分間で60 time point)とし、測度をその期間(30秒毎)におけるRGBデータから演算した紅斑指数(30秒毎に1秒間のフレームデータを取り出し、該フレームデータから得られるRGB値の平均値から演算した紅斑指数;240×320 pixels)とした。そして、特異値分解により、顔面の動画データより得られたRGBデータに基づく時系列の血行量データを、複数の成分に分解し、それぞれの成分の時間分布Vと、空間分布Uと、各成分の大きさを示す特異値Sとを算出した。なお、これらの関係は、上記式(数1)と同様の式で表される。
そして、特異値分解によって求められた各成分の時間分布V及び空間分布Uをグラフにプロットし、各成分の成分波形図と血行量分布図とを作成した。
さらに、作成した各成分の成分波形図及び血行量分布図について、脳活動を反映した顔面の血行量の変化すなわち顔面のRGB変化を示す成分を同定するための解析を行った。
各成分の成分波形図については、その成分波形の振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について解析した。具体的には、各成分の成分波形図に示された振幅と、脳の非賦活期間/脳の賦活期間との間に相関関係があるか否かを評価した。この試験では、顔面の撮影画像データを取得している期間のうち、被験者に対して脳機能賦活課題が与えられていない期間であるデータ取得開始時点から5分が経過した時点までの5分間の期間、及びデータ取得開始時から15分が経過した時点からデータ取得終了時点までの15分間の期間を脳の非賦活時とし、被験者に対して脳機能賦活課題が与えられている期間であるデータ取得開始時から5分が経過した時点から10分が経過した時点までの10分間の期間を脳の賦活時とした。そして、各成分の成分波形図に示された振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について評価した。なお、相関関係の有無については、統計的相関分析を行い、有意水準(α)が0.01以下の場合に相関があると判断した。
各成分の血行量分布図については、顔面の所定部位における血行量変化の有無について解析した。血行量分布図は、ピクセル毎に算出された空間分布Uを各ピクセルの位置に並べることで作成される。このように作成された各成分の血行量分布図において、副鼻腔周辺及び前額部における血行量の変化があるか否かを評価した。なお、血行量分布図における副鼻腔周辺及び前額部の血行量変化の有無については、目視(visual inspection)による血行量変化の有無、もしくは図1(b)に示す副鼻腔周辺及び前額部の血行量の値が「0.000」でないことを血行量変化の有無の基準とした。
なお、空間分布U、特異値S及び時間分布Vの値の関係で、血行量データXの極性(プラスマイナス)が決定するため、各成分の成分波形図及び血行量分布図において極性が反転して現れることがある。このため、成分波形図及び血行量分布図の評価に関して、極性については評価対象としないこととした。
さらに、顔面の皮膚温度と顔面の血行量との相関関係を検証するために、6名の被験者から顔面の撮影画像データを時系列で取得している間、赤外線サーモグラフィ装置により顔面皮膚温度データも時系列で取得し、取得した顔面皮膚温度データについてもMATLAB(登録商標)のSVDを分析ツールとして用いて特異値分解を行い、特異値Sに応じた各成分の成分波形図を作成し、その成分波形の振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について解析した。なお、この試験では、赤外線サーモグラフィ装置として、上記試験と同様の装置を用いた。また、赤外線カメラは、被験者の正面であって、被験者から1.5m離れた地点に設置した。
ところで、撮影装置を用いて顔面の撮影画像データを取得する場合、撮影中に太陽の光等が顔に当たることで光が顔で反射し、この反射光が撮影装置のレンズに入り込んでしまうことがある。そうすると、撮影された顔面の撮影画像データにはこの反射光が記録されてしまうことになる。ここで、撮影画像データから得られるRGBデータにおいて、顔面の血行量に基づく明度の変化は反射光に基づく明度の変化よりも小さいため、反射光の記録された撮影画像データから得られるRGBデータに基づいて算出された血行量が解析されると、脳活動とは関連しない顔面のRGB変化(いわゆるノイズ)が混入してしまう可能性があると考えられた。そこで、このような脳活動とは関連しない顔面のRGB変化の混入を防ぐために、30秒毎のRGBデータの全平均値を「0」とした相対的なRGBデータから相対的な血行量データを作成し、作成した血行量データについても、MATLAB(登録商標)のSVDを分析ツールとして用いて特異値分解を行い、特異値Sに応じた各成分の成分波形図と血行量分布図とを作成し、脳活動を反映した顔面のRGB変化を示す成分を同定するための解析を行った。
なお、以下より、説明の便宜上、所定時間毎(この試験では30秒毎)のRGBデータの全平均値を「0」とした相対的なRGBデータに基づく相対的な血行量データを「相対換算血行量データ」といい、相対的なRGBデータに換算する前のRGBデータに基づく血行量データを単に「血行量データ」という。
また、6名の被験者に対して撮影装置によって顔面の時系列の撮影画像データを取得している間、各被験者の頭皮上に電極を接続して脳波を測定し、覚醒時等の脳細胞が活動している時に現れる波形として知られているβ波(13〜30Hzの周波数の脳波)の振幅と、成分波形図の振幅との間の相関関係についても評価した。なお、脳波測定では、国際式10−20法に基づき、頭皮上19の部位(Fp1、Fp2、F3、F4、C3、C4、P3、P4、O1、O2、F7、F8、T3、T4、T5、T6、Fz、Cz及びPz)に電極を配置した。
さらに、被験者に脳機能賦活課題が与えられている間、被験者の頭が上下に動くことが考えられる。そうすると、撮影装置に対する被験者の顔面の位置が変化することになる。この顔面の位置の変化が顔面のRGB変化に影響しているか否かを検証するために、被験者1名に対して対照試験を行った。対照試験では、上記試験と同様に撮影装置を用いて被験者の顔面の時系列の撮影画像データを取得するが、脳機能賦活課題が与えられていない間(すなわち、脳の非賦活時)についてもランダムなタイミングでキーボードを押す作業を被験者に対して課した。この対照実験によって撮影された顔面の時系列の撮影画像データから得られたRGBデータに基づく時系列の血行量データについても、MATLAB(登録商標)のSVDを分析ツールとして用いて特異値分解を行い、特異値Sに応じた各成分の成分波形図を作成し、その成分波形の振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について解析した。また、各成分波形の振幅と、実際の顔面の動きとの相関関係の有無について解析した。実際の顔面の動きは、撮影画像データから顔の同一箇所の2次元座標を取得し、対照実験開始時の撮影画像データを基準として撮影時における30秒毎の顔面の移動距離を算出することで評価した。さらに、各成分波形の振幅と、撮影中のキーボードの入力数との相関関係の有無についても解析した。撮影中のキーボードの入力数は、時系列の撮影画像データにおける30秒毎の単純移動平均を算出することで評価した。
(3)解析結果
(3−1)顔面皮膚温度データの解析結果
図2は、温度換算データに応じた顔面皮膚温度データを解析した結果の一部を示す図である。図2(a)は、被験者1の成分2の成分波形図を示している。図2(b)は、被験者1の成分2の温度分布図を示している。図3(a)は、被験者1の成分3の成分波形図を示している。図3(b)は、被験者1の成分3の温度分布図を示している。図4及び図5は、成分波形の振幅と、脳波との関係を示す図である。図4は、被験者1の成分2の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図である。図5は、被験者1の成分3の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図である。図6は、対照実験で得られた顔面皮膚温度データを解析した結果の一部を示す図である。図6(a)は、成分3の成分波形図を示している。図6(b)は、成分3の温度分布図を示している。
表1は、各被験者に対する顔面皮膚温度データの解析結果を示したものである。
上記の顔面皮膚温度データの解析によって得られた結果から、時系列の顔面皮膚温度データを特異値分解により分解して得られた複数の成分のうち、成分2及び/又は成分3と、人間の脳活動との間に有意な相関があることが確認された。
また、図4及び図5に示すように、脳波解析の結果から、成分2及び成分3の各成分波形の振幅と、脳波のβ波の振幅との間に有意な相関が確認された。
さらに、対照実験では、顔面皮膚温度データを取得している間に被験者に動きがある状態であっても、成分3と人間の脳活動との間に有意な相関があった(図6参照)。このことから、複数の成分のうち、成分3については、顔面皮膚温度データを取得する際の被験者の動きが影響していないことが認められた。
これらの結果から、本発明者らは、以下の知見を得た。
被験者から取得した時系列の顔面皮膚温度データを特異値分解により複数の成分に分解し、分解した各成分について解析した結果、複数の成分のうちの成分3が脳活動に関連する成分であると認められた。すなわち、時系列の顔面皮膚温度データを特異値分解により複数の成分に分解し、分解した複数の成分から脳の賦活/非賦活と相関のある成分を抽出し、抽出した成分について選択的脳冷却機構を利用した解析を行うことで、複数の成分から脳活動を反映した皮膚温度の変化を示す成分を同定することができることが判明した。このことから、本発明者らは、人間の顔面の皮膚温度に基づいて、脳活動を推定することができる、という知見を得た。
(3−2)顔面の撮影画像データの解析結果
図7〜図18は、顔面の撮影画像データ(血行量データ)又は顔面皮膚温度データに基づく成分波形図と、測定された脳波のうちのβ波の波形図を比較解析した結果の一部を示す図である。図7は、被験者1の撮影画像データに基づく成分2の成分波形の振幅と、測定された被験者1の脳波のうちのβ波の振幅とを示す図である。図8は、被験者1の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者1の脳波のうちのβ波の振幅とを示す図である。図9は、被験者2の撮影画像データに基づく成分2の成分波形の振幅と、測定された被験者2の脳波のうちのβ波の振幅とを示す図である。図10は、被験者2の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者2の脳波のうちのβ波の振幅とを示す図である。図11は、被験者3の撮影画像データに基づく成分4の成分波形の振幅と、測定された被験者3の脳波のうちのβ波の振幅とを示す図である。図12は、被験者3の顔面皮膚温度データに基づく成分3の成分波形の振幅と、測定された被験者3の脳波のうちのβ波の振幅とを示す図である。図13は、被験者4の撮影画像データに基づく成分3の成分波形の振幅と、測定された被験者4の脳波のうちのβ波の振幅とを示す図である。図14は、被験者4の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者4の脳波のうちのβ波の振幅とを示す図である。図15は、被験者5の撮影画像データに基づく成分2の成分波形の振幅と、測定された被験者5の脳波のうちのβ波の振幅とを示す図である。図16は、被験者5の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者5の脳波のうちのβ波の振幅とを示す図である。図17は、被験者6の撮影画像データに基づく成分4の成分波形の振幅と、測定された被験者6の脳波のうちのβ波の振幅とを示す図である。図18は、被験者6の顔面皮膚温度データに基づく成分3の成分波形の振幅と、測定された被験者6の脳波のうちのβ波の振幅とを示す図である。
図7〜図18に示すように、各成分波形と脳波解析との結果から、顔面の皮膚温度と顔面の血行量とが相関関係にあることが確認された。なお、顔面の皮膚温度データ及び顔面の血行量データのいずれのデータに基づく解析においても、各成分波形の振幅と、頭頂部又は後頭部に装着した電極が測定した脳波のβ波の振幅との間に有意な相関が確認された。
以下に示す表2は、各被験者に対する顔面の撮影画像データの解析結果を示したものである。
表2に示すように、上記の顔面の撮影画像データの解析によって得られた結果から、顔面の撮影画像データに基づく時系列の血行量データを特異値分解により分解して得られた複数の成分のうち、成分1,2,3,4,5と人間の脳活動との間に有意な相関があることが確認された。なお、ここでは、血行量データに基づく相関において有意な相関が見られかつ相対換算血行量データに基づく相関において有意な相関が見られた成分だけでなく、血行量データに基づく相関においては有意な相関が見られなかったが相対換算血行量データに基づく相関において有意な相関が見られた成分も、人間の脳活動と有意な相関があると認めるようにした。
また、以下に示す表3は、対照実験の結果を示したものである。
表3に示すように、対照実験では、顔面の撮影画像データを取得している間に被験者に動きがある場合、その成分波形の振幅と脳の非賦活時及び脳の賦活時との間に有意な相関のあった成分のうちの成分2については、移動距離及びキーボード入力数それぞれとの間に有意な相関が認められなかった。このことから、顔面の撮影画像データから取得したRGBデータに基づく血行量データを特異値分解することで得られる複数の成分において、脳活動との間に有意な相関がある成分については、顔面の時系列の撮影画像データを取得する際の被験者の動きによる影響を受けたとしても、その影響は脳の脳活動による影響(脳の賦活や非賦活による影響)よりも遙かに小さいことが確認された。
これらの結果から、本発明者らは、以下の知見を得た。
被験者から取得した時系列の顔面の撮影画像データに基づく顔面のRGBデータから得られる血行量データを特異値分解により複数の成分に分解し、分解した各成分について解析した結果、複数の成分のうちの成分1,2,3,4,5が脳活動に関連する成分であると認められた。すなわち、時系列の顔面の撮影画像データに基づく顔面のRGBデータから得られる血行量データを特異値分解により複数の成分に分解し、分解した複数の成分から脳の賦活/非賦活と相関のある成分を抽出し、抽出した成分について解析することで、複数の成分から脳活動を反映した顔面のRGB変化を示す成分を同定することができることが判明した。このことから、本発明者らは、人間の顔面の時系列の撮影画像データに基づいて、脳活動を推定することができる、という知見を得た。
(4)評価装置
次に、上記に説明した知見に基づいて、本発明者らが完成するに至った本発明の一実施形態に係る評価装置10,110について説明する。なお、本発明に係る評価装置は、以下の実施形態に限定されるものではなく、要旨を逸脱しない範囲で適宜変更可能である。
本発明の一実施形態に係る評価装置10,110は、顔面皮膚温度データに基づき脳活動を推定する脳活動推定手段30、及び/又は顔面の撮影画像データに基づき脳活動を推定する脳活動推定手段130を備えている。以下では、本発明の一実施形態に係る評価装置10,110を説明する前に、各脳活動推定手段30,130について説明する。
(4−1)顔面皮膚温度データに基づき脳活動を推定する脳活動推定手段30
図19は、本発明の一実施形態に係る評価装置10の概略図である。図20は、評価装置10において脳機能を反映した皮膚温度の変化を示す成分を同定する際の処理の流れを示すフローチャートである。
評価装置10の備える脳活動推定手段30は、個人(被験者)の顔面の皮膚温度から、個人の脳活動を推定する。評価装置10は、図19に示すように、顔面皮膚温度取得手段20と、脳活動推定手段30と、評価手段200と、を備える。
顔面皮膚温度取得手段20は、個人の顔面の少なくとも一部の皮膚温度を検出し、検出した温度データ及びその検出部位の位置データを含む顔面皮膚温度データを時系列で取得する(ステップS1)。なお、ここでは、顔面皮膚温度取得手段20は、赤外線サーモグラフィ装置であり、図19に示すように、赤外線カメラ21と、処理部22と、を有する。赤外線カメラ21は、個人の顔面から出ている赤外線放射エネルギーを検出するためのものである。そして、ここでは、赤外線カメラ21は、個人の顔面全体から赤外線放射エネルギーを検出しているものとする。処理部22は、赤外線カメラ21によって検出した赤外線放射エネルギーを温度に変換して温度データとし、赤外線放射エネルギーの検出された部位を位置データ(座標データ)とした顔面全体における顔面皮膚温度の温度分布図を作成し、作成した温度分布図を温度換算データに応じた顔面皮膚温度データとして処理する。温度換算データに応じた顔面皮膚温度データは、処理部22の有する記憶部(図示せず)に蓄積される。
ここでは、処理部22において、顔面全体における顔面皮膚温度の温度分布図が作成されているが、これに限定されず、少なくとも副鼻腔周辺及び/又は前額部を含む顔面皮膚温度の温度分布図が作成され、これが温度換算データに応じた顔面皮膚温度データとされてもよい。
また、ここでは、顔面皮膚温度取得手段20により温度換算データに応じた顔面皮膚温度データが取得されている間に、個人に対して脳機能賦活課題が一定期間与えられる。すなわち、顔面皮膚温度取得手段20により取得される温度換算データに応じた顔面皮膚温度データには、個人に対して脳機能賦活課題が与えられている期間のデータが含まれていることになる。なお、個人に対して与えられる脳機能賦活課題としては、脳が賦活状態になると推定されるものであれば特に限定されるものではなく、例えば、評価装置10の利用目的に応じてその内容が適宜決定されるよう構成されていてもよい。
脳活動推定手段30は、顔面皮膚温度取得手段20により取得された温度換算データに応じた顔面皮膚温度データに基づき、人間の脳活動を推定する。具体的には、脳活動推定手段30は、図19に示すように、換算部31と、解析部32と、推定部33と、を有する。
換算部31は、温度換算データに応じた顔面皮膚温度データに含まれる温度データを相対的な温度データに換算し、換算した相対的な温度データに基づく顔面皮膚温度データすなわち相対温度換算データに応じた顔面皮膚温度データを作成する(ステップS2)。具体的には、換算部31は、所定時間毎(例えば、30秒)の温度換算データに応じた顔面皮膚温度データに含まれる温度データの平均値を基準値として、該温度データを相対的な温度データに換算する。そして、換算部31は、換算した相対的な温度データ及び位置データを利用して、相対温度換算データに応じた顔面皮膚温度データを作成する。
解析部32は、時系列の温度換算データに応じた顔面皮膚温度データ及び相対温度換算データに応じた顔面皮膚温度データのそれぞれを、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する(ステップS3)。ここでは、解析部32は、取得した温度換算データに応じた顔面皮膚温度データ及び換算した相対温度換算データに応じた顔面皮膚温度データのそれぞれを対象として、MATLAB(登録商標)のSVDを分析ツールとして用いて、特異値分解を行う。特異値分解は、時系列で取得した温度換算データに応じた顔面皮膚温度データ及び相対温度換算データに応じた顔面皮膚温度データについて、要因を所定期間(例えば、30秒)毎の時間データとし、測度をその期間における温度換算データに応じた顔面皮膚温度データ及び相対温度換算データに応じた顔面皮膚温度データとして行われる。そして、特異値分解により、温度換算データに応じた顔面皮膚温度データ及び相対温度換算データに応じた顔面皮膚温度データのそれぞれを複数の成分に分解し、時間分布と、空間分布と、各成分の大きさを示す特異値とを算出する。
また、解析部32は、特異値分解によって分解した複数の成分から脳活動を反映した皮膚温度の変化を示す成分を同定するために、各成分が第1条件及び第2条件を満たすか否かを判定する(ステップS4a、ステップS4b、ステップS5a、及びステップS5b)。なお、ここでは、解析部32において、まず、温度換算データに応じた顔面皮膚温度データに基づく各成分について第1条件が満たされているか否かが判定され(ステップS4a)、ステップS4aにおいて第1条件が満たされていると判定された温度換算データに応じた顔面皮膚温度データに基づく成分について第2条件が満たされているか否かが判定される(ステップS4b)。そして、相対温度換算データに応じた顔面皮膚温度データに基づく各成分のうちステップS4a及びステップS4bにおいて第1条件及び第2条件を満たすと判定された成分と一致する成分についてのみ第1条件が満たされているか否かが判定され(ステップS5a)、その後、ステップS5aにおいて第1条件が満たされていると判定された相対温度換算データに応じた顔面皮膚温度データに基づく成分について第2条件が満たされているか否かが判定される(ステップS5b)。しかしながら、解析部32における該判定の順序はこれに限定されるものではなく、例えば、温度換算データに応じた顔面皮膚温度データに基づく各成分と、相対温度換算データに応じた顔面皮膚温度データに基づく各成分とが、第1条件及び第2条件を満たすか否かがそれぞれ判定され、判定結果の一致する成分が最終的に抽出されてもよい。
第1条件とは、特異値分解によって分解した成分の成分波形の振幅が、脳の非賦活時及び脳の賦活時の変化と相関関係にある、という条件である。解析部32は、複数の成分のうち、第1条件を満たす成分を、判定用成分として抽出する。なお、ここでは、温度換算データに応じた顔面皮膚温度データを取得している間に、個人に対して脳機能賦活課題が与えられている期間が一定期間ある。解析部32は、個人に対して脳機能賦活課題が与えられていない期間を脳の非賦活時とし、個人に対して脳機能賦活課題が与えられている期間を脳の賦活時として、脳機能賦活課題が与えられている期間及び与えられていない期間と、各成分の成分波形とを比較解析する。解析部32は、成分波形データに基づく比較解析結果を利用して、各成分の成分波形と脳の非賦活時及び脳の賦活時とが相関関係にあるか否かを評価し、複数の成分のうち相関関係にあると評価した成分を、第1条件を満たす判定用成分として抽出する。一方、解析部32は、複数の成分のうち相関関係にないと評価した成分を、第1条件を満たさず人間の脳活動を反映した温度変化を示す成分ではないと判定する(ステップS6)。
ここでは、温度換算データに応じた顔面皮膚温度データの取得時に個人に対して脳機能賦活課題が一定期間与えられており、これに基づき解析部32は判定用成分を抽出しているが、第1条件の内容、すなわち解析部32における判定用成分の抽出手段はこれに限定されない。例えば、予め実験等がされていることで複数の成分のうち脳の非賦活時及び脳の賦活時と相関関係にある成分波形を示す成分が特定されている場合には、解析部32は、複数の成分から特定されている該成分を判定用成分として抽出する。また、本評価装置において眼球運動又はまたたき等の脳の賦活/非賦活に関連することが知られている人間の動作が検出される場合には、解析部32が、この検出結果と各成分の成分波形とを比較解析及び評価することで、複数の成分から判定用成分を抽出してもよい。なお、解析部32による第1条件を満たすか否かの判定の基準は、評価装置10の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定される。
第2条件は、抽出した判定用成分において、人間の顔面の所定部位における温度変化がある、という条件である。解析部32は、判定用成分のうち、第2条件を満たす成分を、人間の脳活動に関連している可能性の高い成分と判定し、候補成分として抽出する。すなわち、解析部32は、人間の顔面の所定部位における温度変化の有無に基づき、判定用成分が人間の脳活動に関連しているか否かを判定する。具体的には、解析部32は、抽出した判定用成分の温度分布データに基づき、副鼻腔周辺及び/又は前額部において温度変化が生じているか否かを判定し、温度変化が生じている場合には該判定用成分が第2条件を満たす人間の脳活動に関連する可能性の高い成分であると判定し、候補成分として抽出する。一方で、解析部32は、副鼻腔周辺及び/又は前額部において温度変化が生じていない場合には、該判定用成分は第2条件を満たさず脳活動を反映した皮膚温度の変化を示す成分ではない、と判定する(ステップS6)。なお、解析部32による第2条件を満たすか否かの判定の基準は、評価装置10の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定される。
そして、解析部32は、ステップS5bにおいて第2条件を満たすと判定した成分を、脳活動を反映した皮膚温度の変化を示す成分として同定する(ステップS7)。すなわち、ステップS7において脳活動を反映した皮膚温度の変化を示す成分として同定される成分は、温度換算データに応じた顔面皮膚温度データを特異値分解により分解し解析することで抽出された候補成分と、相対温度換算データに応じた顔面皮膚温度データを特異値分解により分解し解析することで抽出された候補成分と、の間で一致している成分ということになる。なお、両解析で一致していない候補成分については、ステップS6において脳活動を反映した皮膚温度の変化を示す成分ではない、と判定されている。
推定部33は、解析部32において人間の脳活動を反映した皮膚温度の変化を示す成分として同定された成分に基づいて、人間の脳活動を推定する。具体的には、推定部33は、解析部32において同定された成分の成分波形データに基づいて、顔面皮膚温度データの取得時における脳活動量を推定する。
(4−1−1)変形例1A
上記脳活動推定手段30は換算部31を有しており、換算部31によって相対温度換算データに応じた顔面皮膚温度データが作成されている。そして、解析部32が、顔面皮膚温度取得手段20により取得された温度換算データに応じた顔面皮膚温度データだけでなく、相対的な温度データに換算された温度データに基づく相対温度データに応じた顔面皮膚温度データについても、特異値分解により複数の成分に分解し、各成分についての解析を行っている。
これに代えて、脳活動推定手段30が換算部31を有していなくてもよい。この場合、相対温度換算データに応じた顔面皮膚温度データを作成したり、相対温度換算データに応じた顔面皮膚温度データに基づくデータの解析を行ったりする処理を省くことができる。
ただし、人間の脳活動に関連する成分を精度よく同定するためには、上記実施形態のように脳活動推定手段30が換算部31を有しており、解析部32によって、顔面皮膚温度取得手段20により取得された温度換算データに応じた顔面皮膚温度データだけでなく、相対的な温度データに換算された温度データに基づく相対温度データに応じた顔面皮膚温度データについても、特異値分解により複数の成分に分解され、各成分についての解析が行われるほうが望ましい。
(4−1−2)変形例1B
また、上記顔面皮膚温度取得手段20は、対象物と非接触の状態で温度データを取得することができる赤外線サーモグラフィ装置である。
しかしながら、個人の顔面の少なくとも一部の皮膚温度を検出し、検出した温度データ及びその検出部位の位置データを含む顔面皮膚温度データを時系列で取得することができれば、顔面皮膚温度取得手段は赤外線サーモグラフィ装置に限定されない。
例えば、顔面皮膚温度取得手段が温度センサを含む装置であってもよい。具体的には、個人の顔面の所定部位に温度センサを装着し、温度センサによって検出される温度データと、温度センサを装着した部位の位置データとに基づいて、時系列の顔面皮膚温度データが取得されてもよい。このように、温度センサにより対象となる個人に接触した状態で顔面皮膚温度データが取得される場合であっても、温度センサは脳波電極等のように装着前の処理が必要ではないため、脳波計測法、磁気共鳴画像法、及び近赤外線分光法等の従来の検出方法と比較して、簡便にデータを取得することができる。これにより、簡便に人間の脳活動を推定することができる。
(4−2)顔面の撮影画像データに基づき脳活動を推定する脳活動推定手段130
図21は、本発明の実施形態に係る評価装置110の概略図である。図22は、評価装置110において脳機能を反映した顔面のRGB変化を示す成分を同定する際の処理の流れの一例を示すフローチャートである。
評価装置110の備える脳活動推定手段130は、個人(被験者)の顔面の撮影画像データから、個人の脳活動を推定するための装置である。評価装置110は、図21に示すように、画像データ取得手段120と、脳活動推定手段130と、評価手段200と、を備える。
画像データ取得手段120は、個人の顔面の少なくとも一部の撮影画像データを時系列で取得する(ステップS101)。なお、画像データ取得手段120は、少なくとも撮影装置を有するものであれば特に限定されるものではなく、例えば、スマートフォンやタブレット(例えば、iPad:登録商標)等の撮影装置内蔵型ポータブル端末等が挙げられる。ここでは、画像データ取得手段120は、図21に示すように、撮影装置としてのカメラ121と、記憶部122とを有する。カメラ121は、個人の顔面の撮影画像データを時系列で取得するためのものである。ここでは、カメラ121は、個人の顔面全体の動画を撮影し、撮影した動画データを取得する。記憶部122は、撮影装置により撮影された時系列の撮影画像データを蓄積する。ここでは、記憶部122は、カメラ121によって取得された動画データを蓄積する。
なお、ここでは、カメラ121によって顔面全体の動画が撮影されているが、これに限定されず、顔面の少なくとも前額部及び/又は副鼻腔周辺の画像を含む動画が撮影されていればよい。
また、ここでは、画像データ取得手段120により顔面の時系列の撮影画像データが取得されている間に、個人に対して脳機能賦活課題が一定期間与えられる。すなわち、画像データ取得手段120により取得される撮影画像データには、個人に対して脳機能賦活課題が与えられている期間のデータが含まれていることになる。なお、個人に対して与えられる脳機能賦活課題としては、脳が賦活状態になると推定されるものであれば特に限定されるものではなく、例えば、評価装置110の利用目的に応じてその内容が適宜決定されるよう構成されていてもよい。
脳活動推定手段130は、画像データ取得手段120により取得された顔面の時系列の撮影画像データに基づき、人間の脳活動を推定する。具体的には、脳活動推定手段130は、図21に示すように、RGB処理部131と、換算部132と、血行量算出部133と、解析部134と、推定部135と、を有する。なお、図21では、脳活動推定手段130が、RGB処理部131、換算部132、血行量算出部133、解析部134及び推定部135を有する1つの装置として存在している態様が示されているが、本発明はこれに限定されるものではなく、RGB処理部131、換算部132、血行量算出部133、解析部134及び推定部135の一部或いはそれぞれが独立した装置として存在していてもよい。また、ここでは、画像データ取得手段120、RGB処理部131、換算部132、及び血行量算出部133により顔面血行量取得手段が構成されている。
RGB処理部131は、画像データ取得手段120により取得された撮影画像データに対して、R成分、G成分及びB成分の3つの色成分に分解するRGB処理を行う(ステップS102)。ここで、顔面全体の撮影画像データに対してRGB処理を行ってもよいが、ここでは、演算処理量及びノイズを減らすために、撮影画像データから前額部及び/又は副鼻腔周辺のデータを抽出し、抽出したデータについてのみRGB処理を行うものとする。
換算部132は、RGB処理により得られた撮影画像データのRGBデータを相対的なRGBデータに換算する(ステップS103)。具体的には、換算部132は、取得された所定時間毎(例えば、30秒)の撮影画像データから得られるRGBデータの平均値を基準値として、該RGBデータを相対的なRGBデータに換算する。
血行量算出部133は、RGB処理により得られた撮影画像データのRGBデータに基づき、顔面の時系列の血行量データを算出する(ステップS104)。
解析部134は、時系列の相対換算血行量データを、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する(ステップS105)。ここでは、解析部134は、相対換算血行量データに対して、MATLAB(登録商標)のSVDを分析ツールとして用いて、特異値分解を行う。具体的には、特異値分解は、時系列の相対換算血行量データを対象として、要因を所定期間(例えば、30秒)毎の時間データとし、測度をその期間毎における相対的なRGBデータから演算したピクセル毎の相対換算血行量データとして行われる。そして、特異値分解により、時系列の相対換算血行量データを複数の成分に分解し、時間分布と、空間分布と、各成分の大きさを示す特異値とを算出する。
また、解析部134は、特異値分解によって分解した複数の成分から脳活動を反映した顔面のRGB変化を示す成分を同定するために、各成分が所定条件を満たすか否かを判定する(ステップS106)。ここで、所定条件としては、例えば、特異値分解によって分解した成分の成分波形の振幅が、脳の非賦活時及び脳の賦活時の変化と相関関係にあるという条件(以下、第1条件という)や、特異値分解によって分解した成分において人間の顔面の所定部位に血行量変化があるという条件(以下、第2条件という)等が含まれる。解析部134において判定される所定条件としては、1又は複数の条件が設定されていればよく、ここでは、所定条件として第1条件が設定されているものとする。
そして、解析部134は、複数の成分のうち所定条件を満たす成分を、判定用成分として抽出する。さらに、解析部134は、抽出した判定用成分のうち所定条件に含まれる全ての条件を満たす成分を、脳活動を反映した顔面のRGB変化を示す成分として同定する(ステップS107)。一方、解析部134は、複数の成分のうち所定条件に含まれる少なくとも1つの条件を満たさないと判定した成分を、脳活動を反映した顔面のRGB変化を示す成分ではないと判定する(ステップS108)。
ここでは、上述のように所定条件として1つの条件(第1条件)のみが設定されており、顔面の時系列の撮影画像データを取得している間に、個人に対して脳機能賦活課題が与えられている期間が一定期間ある。このため、解析部134は、個人に対して脳機能賦活課題が与えられていない期間を脳の非賦活時とし、個人に対して脳機能賦活課題が与えられている期間を脳の賦活時として、脳機能賦活課題が与えられている期間及び与えられていない期間と、各成分の成分波形とを比較解析する。そして、解析部134は、成分波形データに基づく比較解析結果を利用して、各成分の成分波形と脳の非賦活時及び脳の賦活時とが相関関係にあるか否かを評価し、複数の成分のうち相関関係にあると評価した成分を、所定条件を満たす判定用成分として抽出すると共に、脳活動を反映した顔面のRGB変化を示す成分として同定する。一方、解析部134は、複数の成分のうち相関関係にないと評価した成分を、所定条件を満たさず人間の脳活動を反映した顔面のRGB変化を示す成分ではないと判定する。
ここでは、顔面の時系列の撮影画像データが取得される際に個人に対して脳機能賦活課題が一定期間与えられており、これに基づき解析部134が判定用成分を抽出しているが、第1条件の内容、すなわち解析部134における判定用成分の抽出手段はこれに限定されない。例えば、予め実験等がされていることで複数の成分のうち脳の非賦活時及び脳の賦活時と相関関係にある成分波形を示す成分が特定されている場合には、解析部134は、複数の成分から特定されている該成分を判定用成分として抽出する。また、評価装置110において眼球運動又はまたたき等の脳の賦活/非賦活に関連することが知られている人間の動作についても検出される場合には、解析部134が、この検出結果と各成分の成分波形とを比較解析及び評価することで、複数の成分から判定用成分を抽出してもよい。なお、解析部134による第1条件を満たすか否かの判定の基準は、評価装置110の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定される。
また、所定条件として第2条件が設定されている場合には、解析部134は、人間の顔面の所定部位における顔面の血行量変化の有無に基づき、判定用成分を抽出する。具体的には、解析部134は、特異値分解によって分解された複数の成分に応じた血行量分布図に基づき、副鼻腔周辺及び/又は前額部において血行量の変化が生じているか否かを判定し、血行量の変化が生じている場合には該成分が第2条件を満たしていると判定する。一方で、副鼻腔周辺及び/又は前額部において血行量の変化が生じていない場合には、解析部134は、該成分が第2条件を満たしていないと判定する。なお、解析部134による第2条件を満たすか否かの判定の基準は、評価装置110の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定されるものとする。
さらに、血行量算出部133によって相対的なRGBデータに換算される前のRGBデータに基づく時系列の血行量データが算出される場合には、解析部134によって、該血行量データを特異値分解等することで得られた複数の成分についても、上記第1条件及び/又は第2条件が満たされるか否かが判定され、判定用成分が抽出されてもよい。
推定部135は、解析部134において人間の脳活動を反映した顔面のRGB変化を示す成分として同定された成分に基づいて、人間の脳活動を推定する。具体的には、推定部135は、解析部134において同定された成分の成分波形データに基づいて、顔面の撮影画像データの取得時における脳活動量を推定する。
(4−2−1)変形例2A
上述したように、カメラ121としては、例えば、スマートフォンやタブレット(例えば、iPad:登録商標)等の撮影装置内蔵型ポータブル端末等を利用することができる。すなわち、上述の撮影画像データは、可視光領域の画像を撮像するものを採用することができる。
また、上記血行量算出部133において、RGBデータに含まれる各画素のうちの主にR成分を用いて顔面の血行量データが算出されてもよい。また、RGBデータに基づき血行量データを算出できるのであれば、血行量データは必ずしも紅斑指数に限定されるものではない。
(4−2−2)変形例2B
上記血行量算出部133は、換算部132によって換算された相対的なRGBデータに基づき相対換算血行量データを算出するが、これに代えて或いはこれに加えて、相対的なRGBデータに換算される前のRGBデータに基づき血行量データが算出されてもよい。ここで、相対的なRGBデータに換算される前のRGBデータに基づき算出された血行量データには、脳活動と相関する成分が出やすい(検定力が高い)ため、例えば、相対的なRGBデータに換算される前のRGBデータに基づき算出された血行量データを、相対的なRGBデータに基づき算出された相対換算血行量データよりも先行して解析してもよい。また、例えば、まず、血行量データを解析して有意な相関のある成分を抽出し、相対換算血行量データに関しては、前記抽出した成分に対応する成分のみを解析することで、演算処理量を減らすことができる。
(4−2−3)変形例2C
上記カメラ121は可視光領域の通常のカメラを前提としていたが、赤外線カメラを用いることもできる。この場合、赤外光を照射し、その反射波を赤外線カメラで撮像する。これにより、対象者の顔面変化等の撮影画像データを得ることができる。本発明者らにより、赤外線の反射により得られた撮影画像データから算出された血行量データと、可視光領域で撮影されたRGBデータに含まれる各画素のうちの主にR成分を用いて算出された血行量データとには相関があることが確認された。したがって、このような赤外線の反射から得られた撮影画像データを用いても、人間の脳活動を推定することができる。
(4−2−4)変形例2D
なお、上記説明においては、評価装置110が、画像データ取得手段120と、脳活動推定手段130とを備える形態としていたが、本実施形態に係る評価装置は、このような形態に限定されるものではない。すなわち、本実施形態に係る評価装置は、血行量算出部133、解析部134及び推定部135を含むものであれば、その他の構成については任意の形態を採り得るものである。具体的には、本実施形態に係る評価装置は、当該装置自体が画像データを撮影する形態だけではなく、外部の装置から撮影画像データを受け取り、それを解析する形態を含むものである。
(4−3)評価手段200
評価手段200は、脳活動推定手段30及び/又は脳活動推定手段130により推定された対象者の脳活動に基づき、対象者の興味関心度合いを評価する。例えば、対象者に対して与えられた刺激(視覚刺激、聴覚刺激、触覚刺激、臭覚刺激或いは味覚刺激等)に対する脳活動量の変化を解析することで、その刺激に対する対象者の興味関心度合いを評価する解析部201を評価手段200が有していてもよい。興味関心の度合いは、対象者に対して刺激が与えられる前後における、脳活動推定手段30,130によって推定された脳活動量の上昇度合い、及びその上昇時間から定量化される。例えば、対象者に対して刺激が与えられる前後における脳活動量が全く変わらない場合、脳活動量は上昇したけれどもその上昇度合いが低い場合、又は、脳活動量の上昇時間が短い場合には、興味関心度合いが小さいと評価する。一方で、対象者に対して刺激が与えられる前後における脳活動量が上昇し、かつ、その上昇度合いが高い場合や脳活動量の上昇時間が長い場合には、興味関心度合いが高いと評価する。なお、興味関心度合いの段階(レベル)については、脳活動量の上昇度合い及び/又は上昇時間に基づき、評価装置10,110の用途に応じて適宜設定可能になっていてもよい。
このような構成によって、この評価装置10,110では、顔面の皮膚温度及び/又は顔面の撮影画像に基づいて対象者の脳活動が推定され、推定された脳活動に基づき対象者の興味関心度合いが評価される。そして、対象者の興味関心度合いに関する情報を評価装置10,110の管理者へと報知する報知部202を評価手段200が有している場合には、管理者は、報知部202より所定の刺激に対する対象者の興味関心度合いを知ることができる。報知部202としては、例えば、画像やメッセージを表示する表示デバイスや音声やブザー音を出力する音声出力デバイス等、解析した興味関心度合いを管理者に対して出力できるものであればどのようなものであっても採用することができる。
また、解析部32,134において脳活動を反映する成分が同定された後に、さらに顔面皮膚温度取得手段20及び/又は画像データ取得手段120により時系列の各種データが取得される場合には、評価装置10,110において、さらに取得された各種データが特異値分解により複数の成分に分解され、同定された成分のみが解析されることで、ある刺激に対する対象者のリアルタイムでの興味度合いを評価することができる。
さらに、本発明に係る評価装置10,110は、特定の個人を対象者とするだけでなく、複数人を対象者として、複数の対象者の顔面皮膚温度データ及び/又は顔面の撮影画像データを一括して取得するような構成であってもよい。これにより、所定の刺激に対する複数の対象者の興味関心度合いを一度に評価することができる。
加えて、被験者の顔面の皮膚温度や撮影した画像から被験者の心拍情報や生体情報等を取得する技術が従来よりあるが、顔面皮膚温度取得手段20及び/又は画像データ取得手段120から得られた各種データが特異値分解等されることで得られる成分に対して従来の技術を採用することで、心拍情報や生体情報を精度良く取得することができる。したがって、特異値分解した複数の成分を解析して心拍情報や生体情報を取得する機能を、解析部32及び/又は解析部134に持たせ、取得した心拍情報や生体情報に基づき交換神経/副交感神経の働きを推定する機能を上記実施形態の推定部33,135に持たせてもよい。
(5)特徴
(5−1)
本実施形態では、顔面皮膚温度取得手段20及び/又は画像データ取得手段120によって取得された時系列の顔面皮膚温度データ及び/又は顔面血行量データに基づき人間の脳活動が推定される。このため、脳波電極等の装着前に処理が必要なセンサを装着しなくても、人間の脳活動を推定することができる。したがって、簡便に人間の脳活動を推定し、推定した脳活動に基づき対象者の興味関心の度合いを評価することができている。
(5−2)
ここで、時系列の顔面の皮膚温度データ及び/又は画像データが取得される際に、人間に対して実際に脳機能賦活課題が与えられたり与えられなかったりすることにより、人間の脳が賦活化したり賦活化しなかったりする状況が作られている場合、各成分の成分波形と脳の賦活時及び非賦活時との間に相関関係のある成分は、脳活動を反映した皮膚温度及び/又は血行量の変化を示す成分である可能性が高い成分であるといえる。
本実施形態では、顔面皮膚温度取得手段20及び/又は画像データ取得手段120により時系列の顔面の皮膚温度データ及び/又は画像データが取得されている間に、個人に対して脳機能賦活課題が一定期間与えられている。すなわち、本実施形態では、個人に対して実際に脳機能賦活課題を与えたり与えなかったりすることにより、人間の脳が賦活化したり賦活化しなかったりする状況が作られている。そして、このように取得された時系列の各種データが特異値分解により複数の成分に分解され、各成分についてその成分波形と脳の賦活時及び非賦活時との相関関係が評価され、相関関係にある成分が判定用成分として複数の成分から抽出される。このため、例えば、予め実験等により特定された所定の成分が抽出用成分として複数の成分から抽出される場合と比較して、人間の脳活動と関連性の低い成分が抽出用成分として複数の成分から抽出されるおそれを低減することができている。
(5−3)
ここで、脳には、選択的脳冷却機構という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を前額部及び副鼻腔周辺を用いて排熱していることが知られている。そうすると、脳活動に伴う顔面皮膚温度や顔面皮膚温度に相関する顔面の血行量の変化は、前額部及び/又は副鼻腔周辺に出現することになる。
本実施形態では、前額部及び/又は副鼻腔周辺の各種データが解析されて、判定用成分が抽出されている。このため、人間の脳活動に関連する成分を精度よく抽出することができている。
(5−4)
本実施形態の評価装置10,110において、評価手段200が報知部202を有している場合には、対象者の興味関心度合いに関する情報が管理者へと報知される。これにより、管理者は対象者の興味関心の度合いを知ることができている。
(6)評価装置の用途例
次に、本発明に係る評価装置の用途例について説明する。
(6−1)マーケット調査装置
上記実施形態又は上記変形例の評価装置10,110を、マーケット(市場)調査に用いる場合の一例を説明する。マーケット調査装置は、イベント会場や店頭或いは商品展示場に設置され、対象者としての消費者や観客等における、商品やイベント等に対する反応を定量化する。マーケット調査装置は、例えば、評価装置10,110と、マーケット調査記憶手段と、を備えている。マーケット調査記憶手段は、予め設定した調査期間毎に、評価装置10,110の評価手段200によって評価された結果を記憶する。
例えば、マーケット調査装置によって、所定の商品自体又は所定の商品の機能に関する市場調査を行う場合、消費者の目の前で所定の商品又はその機能を提示して消費者に対して所定の商品の視覚刺激を与え、この視覚刺激が与えられている期間における脳活動量の変化(この期間における上昇度合い)を解析することで、所定の商品等に対する消費者の興味関心度合いを定量化することができる。このとき、消費者の目の前で所定の商品等が提示されている期間を調査期間として設定しておくことで、マーケット調査記憶手段には、所定の商品等に対する対象者の興味関心度合いの評価結果が記憶されることになる。マーケット調査装置の管理者は、報知部202により報知される評価結果を分析することで、所定の商品等に対する市場調査を行うことができる。このように、マーケット調査装置では、顔面皮膚温度取得手段や画像データ取得手段等の対象者に非接触な手段を用い、対象者に対して視覚刺激等の外部刺激を与えることで、所定の商品等に対する興味関心度合い、すなわち反応を評価することができる。
なお、消費者に対して、上述したような所定の商品の視覚刺激を与える場合、デジタルサイネージ装置(表示装置)を用いることもできる。この場合、デジタルサイネージ装置の表示パネルに商品に関する視覚情報を表示し、表示パネルの前方で当該視覚情報を見ている消費者の顔面の画像を表示パネルの裏側又は上下左右の方向等から撮影する。そして、マーケット調査装置が、撮影した顔面の画像に基づいて、当該視覚刺激を観察する対象者の興味の度合いを評価する。これにより、各種商業施設で、所定の商品等に対する対象者の関心度合いを容易に評価することができる。
さらに、消費者の顔面の画像は一つだけではなく、複数の消費者の顔面の画像を撮影するものでもよい。この場合、上述した顔面皮膚温度取得手段20及び/又は画像データ取得手段120が、複数の対象者の顔面の皮膚温度データ及び/又は画像データを一括して取得する。そして、顔面認識技術等と組み合わせることで個々の消費者の顔面変化の情報が取得される。特に、映画館施設などでは、観客の位置が固定されて顔の動作が少ないことから、精度の高い解析結果を得ることができる。
(6−2)学習評価装置
上記実施形態又は上記変形例の評価装置10,110を、学習における評価に用いる場合の一例を説明する。学習評価装置は、学校、学習塾、会社、eラーニング或いは病院等で利用され得るものであり、対象者としての学習者における、学習内容への興味関心度合いや集中度を定量化する。学習評価装置は、例えば、評価装置10,110と、学習評価記憶手段と、を備えている。学習評価記憶手段は、予め設定した一定期間毎に、評価装置10,110の評価手段200によって評価された結果を記憶する。
例えば、学習評価装置によって、対象者における学習内容への集中度の評価を行う場合、学習者へと課題を与えて課題に取り組ませることで刺激を与え、一定期間における脳活動量の変化(この期間における上昇度合い)を解析することで、取り組んでいる学習内容に対する学習者の集中度を定量化することができる。このとき、学習時限を一定期間として設定しておくことで、学習評価記憶手段には、学習時限における学習者の集中度の評価結果が記憶されることになる。学習評価装置の管理者は、報知部202により報知される評価結果を分析することで、学習内容に対する学習者の集中度の評価を行うことができる。このように、学習評価装置では、顔面皮膚温度取得手段や画像データ取得手段等の対象者に非接触な手段を用い、対象者に対して課題等の外部刺激を与えることで、学習内容に対する興味関心度合いや集中度、すなわち反応を評価することができる。
本発明によれば、簡便に脳活動を推定することができるため、脳活動に基づき対象者の興味関心の度合いを評価する評価装置への適用が有効である。
20 顔面皮膚温度取得手段
200 評価手段
201 解析部
202 報知部
10,110 評価装置
30,130 脳活動推定手段
特開2006−305334号公報

Claims (9)

  1. 機能賦活情報が提供された対象者の顔面を時系列で撮影した顔面撮影画像データに対して行われるRGB処理により得られた前記顔面撮影画像データのRGBデータを取得するRGBデータ取得手段と、
    記RGBデータ取得手段により取得された前記RGBデータに基づき、前記対象者の興味関心の度合いを評価する評価手段(200)と、
    を備え
    前記RGBデータ取得手段は、前記対象者の顔面の副鼻腔周辺及び/又は前額部の前記RGBデータを少なくとも取得する評価装置(10,110)。
  2. 記RGBデータを、少なくとも複数の時間分布(V)に対応する、複数の成分に分解する手段(30,130)をさらに備え、
    前記評価手段が、前記複数の成分から抽出された判定用成分に基づいて、前記対象者の興味関心の度合いを評価する、
    請求項1に記載の評価装置。
  3. 前記分解する手段は、前記RGBデータを、時間分布(V)及び空間分布(U)の複数の組に対応する、複数の成分に分解する、
    請求項2に記載の評価装置。
  4. 前記分解する手段が、前記複数の成分のうち、その成分波形の振幅が脳の賦活時及び脳の非賦活時の変化と相関関係にある成分を判定用成分として抽出し、
    前記判定用成分に基づき、前記対象者の脳活動を推定する手段、をさらに備える、
    請求項2または3に記載の評価装置。
  5. 記RGBデータ取得手段は、複数の前記対象者の前記RGBデータを一括して取得する、
    請求項1からのいずれか1項に記載の評価装置。
  6. 前記評価手段は、
    前記対象者の脳活動に基づき前記対象者の集中度合いを解析する解析部(201)と、
    前記対象者の集中度合いに関する情報を、前記評価手段の管理者へと報知する報知部(202)と、
    を有する、
    請求項1からのいずれか1項に記載の評価装置。
  7. 請求項1からのいずれか1項に記載の評価装置と、
    予め設定した調査期間毎に前記評価手段によって評価された結果を記憶するマーケット調査記憶手段と、
    を備える、マーケット調査装置。
  8. 請求項1からのいずれか1項に記載の評価装置と、
    予め設定した学習時限毎に前記評価手段によって評価された結果を記憶する学習評価記憶手段と、
    を備える、学習評価装置。
  9. 商品等に関する視覚情報を表示する表示装置をさらに備える、
    請求項に記載のマーケット調査装置。
JP2017210482A 2015-10-15 2017-10-31 評価装置、マーケット調査装置、及び学習評価装置 Active JP6829363B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015203356 2015-10-15
JP2015203356 2015-10-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016203572A Division JP6240289B2 (ja) 2015-10-15 2016-10-17 評価装置、マーケット調査装置、及び学習評価装置

Publications (3)

Publication Number Publication Date
JP2018033996A JP2018033996A (ja) 2018-03-08
JP2018033996A5 JP2018033996A5 (ja) 2019-12-19
JP6829363B2 true JP6829363B2 (ja) 2021-02-10

Family

ID=58517301

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016203572A Active JP6240289B2 (ja) 2015-10-15 2016-10-17 評価装置、マーケット調査装置、及び学習評価装置
JP2017210482A Active JP6829363B2 (ja) 2015-10-15 2017-10-31 評価装置、マーケット調査装置、及び学習評価装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016203572A Active JP6240289B2 (ja) 2015-10-15 2016-10-17 評価装置、マーケット調査装置、及び学習評価装置

Country Status (4)

Country Link
US (1) US10813556B2 (ja)
EP (1) EP3364361B1 (ja)
JP (2) JP6240289B2 (ja)
WO (1) WO2017065316A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6240289B2 (ja) * 2015-10-15 2017-11-29 ダイキン工業株式会社 評価装置、マーケット調査装置、及び学習評価装置
EP4002303A1 (en) * 2020-11-09 2022-05-25 Tata Consultancy Services Limited Real time region of interest (roi) detection in thermal face images based on heuristic approach

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5771261A (en) * 1995-09-13 1998-06-23 Anbar; Michael Telethermometric psychological evaluation by monitoring of changes in skin perfusion induced by the autonomic nervous system
US6099319A (en) 1998-02-24 2000-08-08 Zaltman; Gerald Neuroimaging as a marketing tool
US6854879B2 (en) * 2001-04-19 2005-02-15 Honeywell International Inc. System and method using thermal image analysis for polygraph testing
JP2006305334A (ja) 2005-03-30 2006-11-09 Advanced Telecommunication Research Institute International 回答獲得装置及び評価解析装置
JP2007068620A (ja) 2005-09-05 2007-03-22 Konica Minolta Holdings Inc 心理状態計測装置
EP2062206A4 (en) 2006-09-07 2011-09-21 Procter & Gamble METHODS OF MEASURING EMOTIONAL RESPONSE AND PREFERENCE OF CHOICE
US8401261B2 (en) * 2007-09-25 2013-03-19 University Of Houston System Imaging facial signs of neuro-physiological responses
US20090157813A1 (en) * 2007-12-17 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for identifying an avatar-linked population cohort
JP2009201653A (ja) * 2008-02-27 2009-09-10 Nippon Telegr & Teleph Corp <Ntt> 知的活動評価システム、並びにその学習方法及びラベル付与方法
JP2010020718A (ja) * 2008-07-14 2010-01-28 Oki Electric Ind Co Ltd 情報処理装置及び情報処理方法
US9558499B2 (en) 2009-02-27 2017-01-31 The Forbes Consulting Group, Llc Methods and systems for assessing psychological characteristics
JP2011065504A (ja) 2009-09-18 2011-03-31 Tokyo Univ Of Science ユーザの選好関係についての予測モデルを生成する選好予測サーバ及びその方法
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
WO2011133548A2 (en) 2010-04-19 2011-10-27 Innerscope Research, Inc. Short imagery task (sit) research method
JP6240289B2 (ja) * 2015-10-15 2017-11-29 ダイキン工業株式会社 評価装置、マーケット調査装置、及び学習評価装置

Also Published As

Publication number Publication date
US10813556B2 (en) 2020-10-27
JP2017074378A (ja) 2017-04-20
JP6240289B2 (ja) 2017-11-29
EP3364361A4 (en) 2019-07-03
US20180303350A1 (en) 2018-10-25
EP3364361A1 (en) 2018-08-22
JP2018033996A (ja) 2018-03-08
EP3364361B1 (en) 2023-12-20
WO2017065316A1 (ja) 2017-04-20

Similar Documents

Publication Publication Date Title
JP6371366B2 (ja) 精神疾患判定装置
US10667738B2 (en) Brain activity estimation device
JP6503327B2 (ja) 生理状態判定装置及び生理状態判定方法
JP6749278B2 (ja) 生理状態判定装置
WO2017065313A1 (ja) 有用情報提示装置
JP7111450B2 (ja) 脳活動推定装置
JP6829363B2 (ja) 評価装置、マーケット調査装置、及び学習評価装置
JP6463392B2 (ja) 疲労状態判定装置及び疲労状態判定方法
JP6158887B2 (ja) 有用情報提示装置
JP6093422B1 (ja) 脳年齢提示装置
JP6842657B2 (ja) 心因性疾患判定装置
JP6096857B1 (ja) 感情判定装置
JP2016182504A (ja) 脳活動推定装置
JP6886139B2 (ja) 疼痛判定装置及び薬剤効果判定装置
JP2017086992A (ja) 感情判定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201218

R150 Certificate of patent or registration of utility model

Ref document number: 6829363

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250