JP7080657B2 - 感情識別装置 - Google Patents

感情識別装置 Download PDF

Info

Publication number
JP7080657B2
JP7080657B2 JP2018020122A JP2018020122A JP7080657B2 JP 7080657 B2 JP7080657 B2 JP 7080657B2 JP 2018020122 A JP2018020122 A JP 2018020122A JP 2018020122 A JP2018020122 A JP 2018020122A JP 7080657 B2 JP7080657 B2 JP 7080657B2
Authority
JP
Japan
Prior art keywords
emotion
subject
unit
hemoglobin concentration
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018020122A
Other languages
English (en)
Other versions
JP2019136183A (ja
Inventor
春香 向井
健二 石田
均 綱島
一機 柳沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nihon University
Denso Corp
Original Assignee
Nihon University
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nihon University, Denso Corp filed Critical Nihon University
Priority to JP2018020122A priority Critical patent/JP7080657B2/ja
Priority to US16/269,179 priority patent/US20190239792A1/en
Publication of JP2019136183A publication Critical patent/JP2019136183A/ja
Application granted granted Critical
Publication of JP7080657B2 publication Critical patent/JP7080657B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0017Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system transmitting optical signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14553Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Neurology (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Description

本開示は、被験者の感情を識別する技術に関する。
下記の特許文献1には、被験者の頭部における広範囲の複数位置に取り付けられた近赤外分光法のセンサにより、被験者の脳表層における血液中の酸化ヘモグロビン濃度及び還元ヘモグロビン濃度を測定し、その測定結果から被験者の感情を識別する装置が記載されている。
特開2006-95266号公報
特許文献1に記載の装置では、近赤外分光法における測定部位が、被験者の頭部の概ね全体に分布されて多いため、被験者に対する拘束性が高くなり、被験者に不快感を与える可能性がある。被験者が測定時に感じる不快感は、測定結果に影響するため、被験者の感情を正しく識別できない可能性が高くなる。
そこで、本開示の1つの局面は、被験者の感情の識別精度を向上させることにある。
本開示の1つの態様による感情識別装置は、取得部(15,18)と、識別部(23)と、を備える。
取得部は、被験者の脳のうち、前頭葉のみにおける少なくとも1つの測定部位について、近赤外分光法により、少なくとも血液中の酸素化ヘモグロビン濃度に関する情報を、血流情報として取得する。そして、識別部は、取得部により取得された血流情報に基づいて、被験者の感情を識別する。
発明者は、人の脳のうち、特に前頭葉において、血液中の酸素化ヘモグロビン濃度と感情とに大きな関係性があることを発見した。このため、本開示の1つの態様による感情識別装置では、被験者の脳のうち、特に前頭葉のみを対象として、少なくとも血液中の酸素化ヘモグロビン濃度に関する情報を取得し、その取得した情報に基づいて被験者の感情を識別する。
この構成によれば、近赤外分光法による測定部位を前頭葉に限定するにも拘わらず、良好な感情識別精度を確保することができる。そして、測定部位が少なくなることから、被験者が測定時に感じる不快感が低減され、その結果、感情識別精度を向上させることができる。また、測定部位が少なくなることから、装置の構成が簡素化され、装置の低コスト化が実現し易い。
尚、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
第1及び第2の実施態様の感情識別装置の構成を示すブロック図である。 第1及び第2の実施形態の感情識別装置で実施される処理のフローチャートである。 第1及び第2の実施形態の効果の一部を説明する説明図である。 第1の変形例の説明図である。 第2の変形例の説明図である。 第3の変形例の説明図である。
以下、図面を参照しながら、本開示の実施形態を説明する。
[1.第1実施形態の構成]
図1に示すように、第1実施態様の感情識別装置1は、感情識別の対象者である被験者に装着される計測装置2と、被験者の感情を識別するための処理等を行う処理装置3とを、備える。
計測装置2は、被験者の頭部に装着されるサンバイザー型であり、サンバイザー本体11と、サンバイザー本体11に設けられたセンシング部13と、を備える。
センシング部13は、近赤外分光法の複数のセンサ15と、センシング処理回路17と、を備える。各センサ15は、近赤外光を出力する発光部15aと、該発光部15aに対して所定距離だけ離れて設けられた受光部15bと、を備える。センサ15の数は、本第1実施形態では5つである。
サンバイザー本体11において、センシング部13は、被験者の額に上記5つのセンサ15が接するように設けられる。
サンバイザー型の計測装置2が被験者の頭部に装着された状態において、各センサ15の発光部15aから出力された近赤外光は、被験者の額の皮膚表皮から被験者の前頭葉に到達する。具体的には、発光部15aからの近赤外光は、額の皮膚表皮から数mmの深さにある大脳皮質(即ち、前頭葉)の部位に到達する。ここで言う数mmとは、詳しくは、約15~30mmである。そして、発光部15aからの近赤外光は、被験者の前頭葉で拡散されたり吸収されたりしながら、一部が被験者の額の皮膚表皮上に戻る。皮膚表皮上に戻ってきた近赤外光が、各センサ15の受光部15bによって検出される。受光部15bは、検出した近赤外光の強さに応じた電気信号を出力する。また、発光部15aからは、複数通りの波長の近赤外光が出力される。複数通りの波長としては、生物学的光学窓に該当する700~1200nmである。
また、センシング部13において、5つのセンサ15は、左右の方向に所定の間隔で設けられている。尚、ここで言う左右の方向や、後述する縦方向は、被験者の頭部を基準にした方向である。
つまり、感情識別装置1では、被験者の脳のうち、前頭葉のみにおける5つの部位を、近赤外分光法の測定部位としている。そして、5つの測定部位の全ては、被験者の額の皮膚表皮から入射された近赤外光が到達する前頭葉における部位である。
また、図1において、符号Y1が付された縦方向の一点鎖線は、計測装置2が被験者の頭部に装着された状態において、被験者の額の中央部を通る縦方向の仮想線である。そして、5つのセンサ15のうち、中央のセンサ15を、中央センサ15Cと称することにする。中央センサ15Cは、当該センサ15Cの発光部15aと受光部15bが上記仮想線上に位置すると共に、当該センサ15Cの発光部15aの位置が被験者の額の中央部と概ね一致するように、設けられている。このため、5つの測定部位のうちの1つは、被験者の額における前頭葉中央部の部位である。
センシング処理回路17は、計測部18と、送信部19と、を備える。
計測部18は、各センサ15の発光部15aを制御すると共に、各センサ15の受光部15bから出力される信号に基づいて、被験者の前頭葉における血流情報(即ち、脳血流情報)として、下記4種類の血流情報をセンサ15毎に且つ一定時間毎に計測する。
計測される血流情報としては、酸素化ヘモグロビン濃度変化と、酸素化ヘモグロビン濃度変化の微分値と、脱酸素化ヘモグロビン濃度変化と、脱酸素化ヘモグロビン濃度変化の微分値と、がある。尚、酸素化ヘモグロビン濃度変化とは、血液中の酸素化ヘモグロビン濃度の単位時間当たりの変化量である。同様に、脱酸素化ヘモグロビン濃度変化とは、血液中の脱酸素化ヘモグロビン濃度の単位時間当たりの変化量である。単位時間は、例えば上記一定時間と等しい。以下では、計測部18による血流情報の計測結果を、総称して、計測データという。計測データはセンサ15毎に存在する。
そして、計測部18による計測データは、送信部19により無線信号として処理装置3へと送信される。
尚、計測部18は、例えば、CPU、RAM及びROM等を備えたマイクロコンピュータを中心にして構成されて良い。この場合、計測部18の機能は、CPUが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、上記ROMが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。また、計測部18は、複数のマイクロコンピュータを備えても良い。また、計測部18の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されても良い。例えば、計測部18の機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されても良い。
処理装置3は、受信部21と、識別処理部23と、表示部25と、誘導処理部27と、を備える。
受信部21は、送信部19により無線信号として送信された血流情報を受信する。具体的には、受信部21は、送信部19によって送信された無線信号を受信して、その受信した信号から、センサ15毎の計測データ(即ち、血流情報)を取得する。そして、受信部21が取得した血流情報は、識別処理部23に入力される。つまり、識別処理部23には、計測部18による計測データが、無線通信を介して入力される。尚、無線通信の方式としては、例えば、Bluetooth(登録商標)又はZigBee(登録商標)又はWi-Fi(登録商標)であって良いし、他の方式であっても良い。
識別処理部23は、受信部21から入力される血流情報に基づいて、被験者の感情を識別する。また、識別処理部23は、感情の識別結果を示す画像を、表示部25に表示させる。表示部25は、例えば液晶パネルによって構成されている。
誘導処理部27は、識別処理部23による感情の識別結果に基づいて、被験者の感情を所定の感情に誘導するための感情誘導処理を行う。本実施形態では、被験者が乗り物の乗員(例えば、運転者)であり、上記所定の感情は、乗り物の運転に適すると考えられる感情、例えばリラックスした感情に誘導するための処理を行う。被験者が運転する乗り物としては、車両又は電車又は飛行機等が考えられるが、他の種類の乗り物であっても良い。
尚、識別処理部23及び誘導処理部27の各機能は、例えば、処理装置3に備えられたCPU31が、処理装置3に備えられた記憶装置33内のプログラムを実行することで実現される。この場合、記憶装置33が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。また、識別処理部23及び誘導処理部27の各機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されても良い。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されても良い。
[2.第1実施形態の処理]
次に、感情識別装置1で実施される処理について、図2のフローチャートを用いて説明する。
図2に示すように、感情識別装置1に電源が投入されると、S110にて、センシング部13における計測部18が、各センサ15の発光部15aを制御すると共に、各センサ15の受光部15bからの信号を取り込むことにより、センサ15毎に上記4種類の血流情報を計測する。計測部18による計測は、所定時間の計測期間において、前述の一定時間毎に実施される。
次のS120にて、センシング部13における送信部19が、計測部18による計測データを無線信号に変換して処理装置3へと送信する。そして、処理装置3の受信部21が、送信部19によって送信された無線信号を受信して、その受信した信号からセンサ15毎の計測データを取得する。例えば、送信部19から受信部21へは、計測期間分の計測データがまとめて転送されても良いし、計測期間分の計測データが所定量ずつ分けられて転送されても良い。
次のS130にて、処理装置3の識別処理部23が、受信部21にて取得された計測期間分の計測データに対して、センサ15毎に下記の演算を行う。
識別処理部23は、計測期間分の酸素化ヘモグロビン濃度変化の平均値を算出する。ここで言う平均値は、時間平均値である。つまり、計測期間において一定時間毎に計測された酸素化ヘモグロビン濃度変化の合計値を、計測期間の時間長で割った値を算出する。
そして、識別処理部23は、酸素化ヘモグロビン濃度変化の微分値と、脱酸素化ヘモグロビン濃度変化と、脱酸素化ヘモグロビン濃度変化の微分値との、それぞれについても、計測期間分の計測結果の平均値を算出する。
このため、S130での演算により、センサ15毎について4種類の平均値が算出される。本第1実施形態では、センサ15の数が5つであるため、合計20種類の平均値が算出される。これら20種類の平均値は、個々に区別される。
そして、識別処理部23は、次のS140にて、S130で算出された20種類の平均値と、被験者の感情を識別するために事前に用意されたデータベースにおける識別用データとを比較することにより、被験者の現在の感情を識別する。
本実施形態では、被験者の感情として、「快」と「不快」とが識別される。更に、「快」は、「高覚醒の快」と「低覚醒の快」とに識別される。「高覚醒の快」は、不快ではなく気持ちが高ぶっている感情であり、例えば、興奮又は爽快という感情である。「低覚醒の快」は、不快ではなく気持ちが落ち着いている感情であり、例えば、安心又は穏やか又はリラックスという感情である。「不快」は、例えば、いらいら又は憂鬱又は気持ち悪い又は恐怖という感情である。
識別用データとしては、「高覚醒の快」と識別するための識別用データ(以下、高快時データ)と、「低覚醒の快」と識別するための識別用データ(以下、低快時データ)と、「不快」と識別するための識別用データ(以下、不快時データ)との、3種類がある。
高快時データは、被験者に「高覚醒の快」の感情を持たせるための課題動画を見せた場合に、上記S110及びS130と同じ処理によって算出された上記20種類の平均値である。低快時データは、被験者に「低覚醒の快」の感情を持たせるための課題動画を見せた場合に、上記S110及びS130と同じ処理によって算出された上記20種類の平均値である。不快時データは、被験者に「不快」の感情を持たせるための課題動画を見せた場合に、上記S110及びS130と同じ処理によって算出された上記20種類の平均値である。
識別処理部23は、S140では、例えば、S130で算出された20種類の平均値が、上記3種類の識別用データの何れに最も近似しているかを判定し、最も近似していると判定した識別用データに対応する感情を、被験者の感情として識別する。尚、近似の判定については、例えば、サポートベクターマシン又はニューラルネットワークが使用されて良い。
そして、識別処理部23は、次のS150にて、S140での感情の識別結果を示す画像を、表示部25に表示させる。
また、次のS160にて、誘導処理部27が、識別処理部23による感情の識別結果に基づいて、前述の感情誘導処理を行う。
例えば、誘導処理部27は、感情の識別結果が「高覚醒の快」又は「不快」であった場合に、被験者の感情を「低覚醒の快」に誘導するための処理を行う。具体的には、被験者の周囲に所定の香り(例えば、ラベンダーの香り)を漂わせたり、被験者を所定の照明環境(例えば青系の色にする、照度を落とす、彩度を低くする、コントラストの低い複数の色を提示するなど)に制御する。
また例えば、被験者による車両運転の継続時間が所定時間を超えている場合に、感情の識別結果が「低覚醒の快」であった場合に、被験者の眠気を防止するために、被験者の感情を「高覚醒の快」に誘導するための処理を行う。具体的には、被験者の周囲に所定の香り(例えば、メントールの香り)を漂わせたり、被験者を所定の照明環境(例えば赤系の色にする、照度を上げる、彩度を高くする、コントラストの高い複数の色を提示するなど)に制御する。
そして、次のS170にて、計測部18が、計測を継続するか否かを判定し、計測を継続すると判定した場合には、S110の処理を再び行う。また、計測部18が、計測を継続しないと判定した場合には、被験者の感情を識別するための一連の処理が終了する。
[3.第1実施形態の効果]
以上詳述した第1実施形態によれば、以下の効果を奏する。
(3a)感情識別装置1では、被験者の脳のうち、前頭葉のみにおける少なくとも1つの測定部位について、近赤外分光法により血流情報を取得し、取得した血流情報に基づいて、被験者の感情を識別している。この感情識別装置1によれば、近赤外分光法による測定部位を前頭葉に限定するにも拘わらず、良好な感情識別精度を確保することができる。そして、測定部位が少なくなることから、被験者が測定時に感じる不快感が低減され、その結果、感情識別精度を向上させることができる。また、測定部位が少なくなることから、装置の構成が簡素化され、装置の低コスト化が実現し易い。
(3b)近赤外分光法による複数の測定部位の全ては、被験者の額の皮膚表皮から入射された近赤外光が到達する前頭葉における部位である。このため、近赤外分光法のセンサ15(即ち、発光部15a及び受光部15b)を被験者の額にだけ付ければ良い。よって、被験者に対する拘束性が非常に少なくなり、被験者が測定時に感じる不快感を一層低減することができる。
(3c)複数の測定部位のうちの1つは、被験者の額における中央部の皮膚表皮から入射された近赤外光が到達する前頭葉の部位である。このため、感情識別の精度を向上させることができる。この効果について、図3を用いて説明する。
図3の左側のグラフにおいて、縦軸の「Oxy-Hb(-)」は、酸素化ヘモグロビン濃度変化を意味し、横軸は、時間を示す。
図3の左側のグラフにおいて、実線の波形は、実験対象者に「高覚醒の快」の感情を持たせるための課題動画を見せた場合に、中央センサ15Cからの信号に基づいて一定時間毎に測定された酸素化ヘモグロビン濃度変化の推移を示す。
図3の左側のグラフにおいて、一点鎖線の波形は、実験対象者に「低覚醒の快」の感情を持たせるための課題動画を見せた場合に、中央センサ15Cからの信号に基づいて一定時間毎に測定された酸素化ヘモグロビン濃度変化の推移を示す。
図3の左側のグラフにおいて、点線の波形は、実験対象者に「不快」の感情を持たせるための課題動画を見せた場合に、中央センサ15Cからの信号に基づいて一定時間毎に測定された酸素化ヘモグロビン濃度変化の推移を示す。
図3の左側のグラフにおいて、符号Tmを付した期間は、実験対象者に上記各課題画像を見せた期間である。
また、図3の右側は、センサ15と同じ構成の複数のセンサを実験対象者の額の概ね全領域に分布させて取り付け、それら複数のセンサからの各信号に基づいて計測された酸素化ヘモグロビン濃度変化の分布を二次元的に表している。図3の右側は、被験者に上記各課題画像を見せている最中の酸素化ヘモグロビン濃度変化を二次元的に表したものである。そして、図3の右側においては、ドットの密度が高い領域ほど、測定された酸素化ヘモグロビン濃度変化の値が大きいことを表している。
図3から分かるように、「不快」の場合の酸素化ヘモグロビン濃度変化と、「快」の場合の酸素化ヘモグロビン濃度変化とには、特に、実験対象者の額の中央部に対応する前頭葉の測定部位において、大きな差が生じる。
このため、複数の測定部位のうちの1つを、被験者の額における前頭葉中央部の部位とすることで、「快」と「不快」とを、より正しく識別することができる。また、このため、他の測定部位を減らすかあるいは無くすことも可能となる。
(3d)また、感情識別装置1では、血流情報のうち、酸素化ヘモグロビン濃度に関する情報として、少なくとも、酸素化ヘモグロビン濃度変化の微分値を取得し、この微分値を用いて被験者の感情を識別する。
図3の左側のグラフに示すように、酸素化ヘモグロビン濃度変化の値は、被験者の3分類の感情に応じて差が生じることとなり、特に、値の増減変化傾向に差が生じる。このため、酸素化ヘモグロビン濃度変化の微分値を用いて被験者の感情を識別することで、感情の識別精度を向上させることができる。
(3e)感情識別装置1では、血流情報として、酸素化ヘモグロビン濃度変化の微分値だけでなく、酸素化ヘモグロビン濃度変化と、脱酸素化ヘモグロビン濃度変化と、脱酸素化ヘモグロビン濃度変化の微分値も取得し、これら4種類の情報を用いて、被験者の感情を識別する。このため、感情の識別精度を一層向上させることができる。
(3f)感情識別装置1では、被験者の感情として、代表的な「快」と「不快」とを識別する。このため、識別結果を様々なアプリケーションで使用することができる。また、「快」についても「高覚醒の快」と「低覚醒の快」とに識別するため、一層詳細な識別結果が得られることとなる。
(3g)感情識別装置1では、計測部18による計測データが無線通信によって識別処理部23に供給される。このため、被験者の計測時における自由度が高い。
(3h)誘導処理部27が前述の感情誘導処理を行うため、乗り物を運転する被験者の感情が乗り物の運転に適さなくなった場合に、被験者の感情を乗り物の運転に適した感情に誘導することができる。
尚、本実施形態では、複数のセンサ15と計測部18が、取得部に相当し、識別処理部23が、識別部に相当し、誘導処理部27が、誘導部に相当する。
[4.第2実施形態]
第2実施形態は、基本的な構成は第1実施形態と同様であるため、相違点について以下に説明する。尚、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
第2実施形態は、第1実施形態と比較すると、下記の2点が相違する。
[4-1.第1の相違点]
図2の110にて、計測部18は、血流情報として、酸素化ヘモグロビン濃度変化と、脱酸素化ヘモグロビン濃度変化とを、計測する。このため、識別処理部23には、計測データとして、酸素化ヘモグロビン濃度変化と、脱酸素化ヘモグロビン濃度変化との、各データが入力される。
[4-2.第2の相違点]
図2のS130にて、識別処理部23は、計測部18により計測された、計測期間における一定時間毎の酸素化ヘモグロビン濃度変化から、酸素化ヘモグロビン濃度変化の微分値を算出する。また、識別処理部23は、計測部18により計測された、計測期間における一定時間毎の脱酸素化ヘモグロビン濃度変化から、脱酸素化ヘモグロビン濃度変化の微分値を算出する。各微分値も、計測期間における一定時間毎の値が算出される。
そして、図2のS130にて、識別処理部23は、算出した酸素化ヘモグロビン濃度変化の微分値と、脱酸素化ヘモグロビン濃度変化の微分値との、それぞれについて、第1実施形態と同様に、計測期間分の平均値を算出する。また、第1実施形態と同様に、識別処理部23は、酸素化ヘモグロビン濃度変化と、脱酸素化ヘモグロビン濃度変化との、それぞれについても、計測期間分の計測結果の平均値を算出する。
その後、識別処理部23は、図2のS140にて、第1実施形態と同じ処理により、被験者の感情を識別する。
[4-3.第2実施形態の効果]
第2実施形態では、第1実施形態と比較すると、酸素化ヘモグロビン濃度変化の微分値と、脱酸素化ヘモグロビン濃度変化の微分値とが、計測部18ではなく、識別処理部23で算出される。このため、計測部18で実施される処理の負荷を減らすことができる。
尚、第2実施形態においても、酸素化ヘモグロビン濃度変化及び脱酸素化ヘモグロビン濃度変化と、酸素化ヘモグロビン濃度変化の微分値と、脱酸素化ヘモグロビン濃度変化の微分値とが、取得部により取得される血流情報であると見なすことができる。この場合、識別処理部23が行う処理のうち、S130で微分値を算出する処理と、複数のセンサ15及び計測部18とが、取得部に相当する。
一方、第2実施形態においては、酸素化ヘモグロビン濃度変化と、脱酸素化ヘモグロビン濃度変化との、2種類が、取得部により取得される血流情報であると見なすこともできる。この場合、複数のセンサ15と計測部18が、取得部に相当する。
[5.他の実施形態としての変形例]
[5-1.第1の変形例]
上記実施形態では、センサ15の数、即ち、血流情報の計測チャンネルの数が、5つであったが、計測チャンネルの数は5つ以外であっても良い。
例えば図4に示すように、センシング部13として、前述の中央センサ15Cがないセンシング部13が用いられても良い。中央センサ15Cがある場合よりも感情識別精度が低下する可能性はあるが、中央センサ15Cの左右のセンサ15も、被験者の額の中央部に近い位置に配置されるため、感情識別精度が低下したとしても、その低下は小さく抑えられる。
[5-2.第2の変形例]
図5に示すように、センシング部13は、複数のセンサ15が搭載された帯状のパーツ41と、センシング処理回路17とが、信号伝達用のコード43を介して接続される構成であっても良い。
[5-3.第3の変形例]
また、図6に示すように、センサ15は、1つであっても良い。この場合の1つのセンサ15は、被験者の額において前述の中央センサ15Cと同じ位置に配置されるように構成されて良い。
尚、図1に示した実施形態のセンシング部13についても、センサ15の数を1つにして良い。この場合の1つのセンサ15は、前述の中央センサ15Cとして良い。
[5-4.第4の変形例]
識別処理部23は、上記4種類の血流情報のうち、例えば、酸素化ヘモグロビン濃度変化の微分値だけに基づいて、あるいは、酸素化ヘモグロビン濃度変化の微分値と他の1種類又は2種類の血流情報とに基づいて、被験者の感情を識別するように構成されて良い。この場合、図2のS110又はS130では、上記4種類の血流情報のうち、感情の識別に使用される血流情報が計測又は算出されれば良い。
[5-5.第5の変形例]
識別処理部23は、酸素飽和度を用いて被験者の感情を識別するように構成されて良い。この場合、計測部18は、少なくとも酸素飽和度を計測するように構成されて良い。例えば、識別処理部23は、上記4種類の血流情報のうち、酸素化ヘモグロビン濃度変化の微分値に代えて、酸素飽和度の微分値を用いるように構成されて良い。また例えば、識別処理部23は、酸素飽和度の微分値だけを用いて被験者の感情を識別するように構成されて良い。
[5-6.第6の変形例]
被験者の皮膚における血流情報の影響をキャンセルするように構成しても良い。
具体的には、センサ15の構成として、発光部15aから第1の距離だけ離れて設けられた第1の受光部と、発光部15aから第1の距離より大きい第2の距離だけ離れて設けられた第2の受光部とを、備える構成とする。第1の距離は、第1の受光部からの信号によって皮膚における血流情報が計測される距離にする。第2の距離は、第2の受光部からの信号によって前頭葉における血流情報(即ち、脳血流情報)が計測されるようにする。第2の受光部からの信号に基づく血流情報の計測結果から、第1の受光部からの信号に基づく血流情報の計測結果を引くことにより、皮膚における血流情報をキャンセルした前頭葉における血流情報を検出する。このように構成すれば、皮膚の血流情報の影響を抑制した計測結果を得ることができ、感情識別精度を向上させることができる。
[6.他の変形例]
以上、本開示の主な実施形態について説明したが、本開示は上述の各実施形態に限定されることなく、種々変形して実施することができる。
例えば、センサ15は、被験者の頭部において、額以外で、前頭葉に対応する位置に設けられても良い。また、センサ15を構成する発光部15a及び受光部15bが、被験者の頭部から離れた位置に配置されるように構成されても良い。
また、処理装置3を小型化して、その処理装置3もサンバイザー本体11に設けても良い。また、感情の識別結果は、表示部25に表示されることに代えて、音や音声で出力されても良い。また、計測部18による計測データは、識別処理部23へ有線通信で転送されても良い。また例えば、識別処理部23がサンバイザー本体11側(即ち、計測装置2側)に設けられても良い。この場合、例えば、識別処理部23はセンシング処理回路17内に設けられて良く、識別処理部23による感情の識別結果が処理装置3等へ無線又は有線で送信されて良い。また、計測装置2は、サンバイザー型に限らず、例えば、はちまき型などでも良い。
また、識別処理部23は、被験者の感情として、「快」と「不快」との2種類を識別するように構成されて良い。また、被験者は、乗り物の運転者でなくても良い。つまり、感情識別装置1は、乗り物の運転中に限らず、例えば遊園地や飲食店など様々な場所や状況で使用することができる。
また、上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしても良い。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしても良い。また、上記実施形態の構成の一部を省略しても良い。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換しても良い。尚、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。また、上述した感情識別装置の他、当該感情識別装置を構成要素とするシステム、当該感情識別装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、感情識別方法など、種々の形態で本開示を実現することもできる。
1…感情識別装置、15…センサ、18…計測部、23…識別処理部

Claims (9)

  1. 乗り物の運転者である被験者の脳のうち、前頭葉のみにおける少なくとも1つの測定部位について、近赤外分光法により、少なくとも、血液中の酸素化ヘモグロビン濃度の、一定計測時間当たりの変化量である酸素化ヘモグロビン濃度変化を、血流情報として取得するように構成された取得部(15,18)と、
    前記取得部により取得された前記血流情報に基づいて、前記被験者の感情を識別するように構成された識別部(23)と
    前記識別部による感情の識別結果に基づいて、前記被験者の感情を所定の感情に誘導するための処理を行うように構成された誘導部(27)と、
    を備え、
    前記少なくとも1つの測定部位として、前記被験者の額における皮膚表皮から入射された近赤外光が到達する前記前頭葉の中央部の部位あり
    記識別部は、前記被験者の感情として、少なくとも快と不快を識別し、更に、前記快としては、興奮又は爽快の感情である「高覚醒の快」と、安心又は穏やか又はリラックスの感情である「低覚醒の快」とを、識別するように構成されており、
    前記誘導部は、前記識別部による前記感情の識別結果が前記「高覚醒の快」又は前記不快であった場合に、前記被験者の感情を前記「低覚醒の快」に誘導するための処理を行うように構成されている、
    感情識別装置。
  2. 乗り物の運転者である被験者の脳のうち、前頭葉のみにおける少なくとも1つの測定部位について、近赤外分光法により、少なくとも、血液中の酸素化ヘモグロビン濃度の、一定計測時間当たりの変化量である酸素化ヘモグロビン濃度変化を、血流情報として取得するように構成された取得部(15,18)と、
    前記取得部により取得された前記血流情報に基づいて、前記被験者の感情を識別するように構成された識別部(23)と
    前記識別部による感情の識別結果に基づいて、前記被験者の感情を所定の感情に誘導するための処理を行うように構成された誘導部(27)と、
    を備え、
    前記少なくとも1つの測定部位として、前記被験者の額における皮膚表皮から入射された近赤外光が到達する前記前頭葉の中央部の部位あり
    記識別部は、前記被験者の感情として、少なくとも快と不快を識別し、更に、前記快としては、興奮又は爽快の感情である「高覚醒の快」と、安心又は穏やか又はリラックスの感情である「低覚醒の快」とを、識別するように構成されており、
    前記誘導部は、前記被験者による前記乗り物の運転の継続時間が所定時間を超えていて、前記識別部による前記感情の識別結果が前記「低覚醒の快」であった場合に、前記被験者の感情を前記「高覚醒の快」に誘導するための処理を行うように構成されている、
    感情識別装置。
  3. 請求項2に記載の感情識別装置であって、
    前記誘導部は、前記被験者による前記乗り物の運転の継続時間が前記所定時間を超えておらず、前記識別部による前記感情の識別結果が前記「高覚醒の快」又は前記不快であった場合に、前記被験者の感情を前記「低覚醒の快」に誘導するための処理を行うように構成されている、
    感情識別装置。
  4. 請求項1ないし請求項3の何れか1項に記載の感情識別装置であって、
    前記取得部は、前記前頭葉の中央部の部位について前記血流情報を取得するために前記被験者の額に設けられるセンサ(15C)を備え、
    記センサは、
    前記被験者の額における皮膚表皮の側から前記前頭葉の中央部の部位へと近赤外光を出力する発光部(15a)と、
    前記発光部から出力されて前記被験者の額の皮膚表皮上に戻ってきた前記近赤外光を検出する受光部(15b)と、を備え、
    前記発光部と受光部は、前記被験者の額の中央部を縦方向に通る仮想線(Y1)上に位置するように構成される、
    感情識別装置。
  5. 請求項1ないし請求項の何れか1項に記載の感情識別装置であって、
    前記取得部は、前記血流情報として、前記酸素化ヘモグロビン濃度変化の前記一定計測時間毎の微分値も、取得するように構成されている、
    感情識別装置。
  6. 請求項に記載の感情識別装置であって、
    前記取得部は、前記血流情報として、血液中の脱酸素化ヘモグロビン濃度の、前記一定計測時間当たりの変化量である脱酸素化ヘモグロビン濃度変化と、前記脱酸素化ヘモグロビン濃度変化の前記一定計測時間毎の微分値も、を取得するように構成されている、
    感情識別装置。
  7. 請求項1ないし請求項の何れか1項に記載の感情識別装置であって、
    前記識別部は、前記酸素化ヘモグロビン濃度変化の前記一定計測時間毎の微分値を算出し、当該微分値を少なくとも用いて、前記被験者の感情を識別するように構成されている、
    感情識別装置。
  8. 請求項に記載の感情識別装置であって、
    前記取得部は、前記血流情報として、血液中の脱酸素化ヘモグロビン濃度の、前記一定計測時間当たりの変化量である脱酸素化ヘモグロビン濃度変化も、を取得するように構成され、
    前記識別部は、前記酸素化ヘモグロビン濃度変化の前記一定計測時間毎の微分値と、前記脱酸素化ヘモグロビン濃度変化の前記一定計測時間毎の微分値とを算出し、前記酸素化ヘモグロビン濃度変化と、前記酸素化ヘモグロビン濃度変化の前記一定計測時間毎の微分値と、前記脱酸素化ヘモグロビン濃度変化と、前記脱酸素化ヘモグロビン濃度変化の前記一定計測時間毎の微分値とを用いて、前記被験者の感情を識別するように構成されている、
    感情識別装置。
  9. 請求項1ないし請求項の何れか1項に記載の感情識別装置であって、
    前記取得部により取得された前記血流情報を、無線により送信するように構成された送信部(19)と、
    前記送信部により送信された前記血流情報を受信するように構成された受信部(21)と、を更に備え、
    前記識別部は、前記受信部から前記血流情報が入力されるように構成されている、
    感情識別装置。
JP2018020122A 2018-02-07 2018-02-07 感情識別装置 Active JP7080657B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018020122A JP7080657B2 (ja) 2018-02-07 2018-02-07 感情識別装置
US16/269,179 US20190239792A1 (en) 2018-02-07 2019-02-06 Emotion identification apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018020122A JP7080657B2 (ja) 2018-02-07 2018-02-07 感情識別装置

Publications (2)

Publication Number Publication Date
JP2019136183A JP2019136183A (ja) 2019-08-22
JP7080657B2 true JP7080657B2 (ja) 2022-06-06

Family

ID=67475951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018020122A Active JP7080657B2 (ja) 2018-02-07 2018-02-07 感情識別装置

Country Status (2)

Country Link
US (1) US20190239792A1 (ja)
JP (1) JP7080657B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111655149B (zh) 2018-03-15 2024-08-23 松下知识产权经营株式会社 用于推断用户的心理状态的系统、记录介质以及方法
CN111657887B (zh) * 2020-05-27 2021-09-03 中国科学院计算技术研究所 一种近红外浅层皮下组织成像装置及认知负荷分析方法
JPWO2022202057A1 (ja) * 2021-03-22 2022-09-29
CN114209319B (zh) * 2021-11-08 2024-03-29 华南理工大学 基于图网络及自适应去噪的fNIRS情绪识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009265876A (ja) 2008-04-24 2009-11-12 Sony Corp 制御装置、制御方法、制御方法のプログラム及び制御方法のプログラムを記録した記録媒体
JP2010036026A (ja) 2008-07-11 2010-02-18 Tokyo Univ Of Science 脳情報から人間の選好を判別する方法及びその装置
JP2012234405A (ja) 2011-05-02 2012-11-29 Panasonic Corp コンテンツ評価装置、方法、及びそのプログラム
WO2013186911A1 (ja) 2012-06-15 2013-12-19 株式会社日立製作所 刺激呈示システム
JP2014062720A (ja) 2012-09-24 2014-04-10 Saitama Univ 快適度センサおよびこれを用いた空気調和装置
JP2017124153A (ja) 2016-01-07 2017-07-20 パナソニックIpマネジメント株式会社 生体情報計測装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006009178A1 (ja) * 2004-07-20 2006-01-26 Toshinori Kato 生体機能診断装置、生体機能診断方法、生体用プローブ、生体用プローブ装着具、生体用プローブ支持具及び生体用プローブ装着支援具
WO2011126894A2 (en) * 2010-03-30 2011-10-13 The Children's Research Institute Apparatus and method for human algometry
JP5119375B2 (ja) * 2011-05-02 2013-01-16 パナソニック株式会社 集中有無推定装置及びコンテンツ評価装置
CN109247945A (zh) * 2017-07-12 2019-01-22 松下知识产权经营株式会社 计测装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009265876A (ja) 2008-04-24 2009-11-12 Sony Corp 制御装置、制御方法、制御方法のプログラム及び制御方法のプログラムを記録した記録媒体
JP2010036026A (ja) 2008-07-11 2010-02-18 Tokyo Univ Of Science 脳情報から人間の選好を判別する方法及びその装置
JP2012234405A (ja) 2011-05-02 2012-11-29 Panasonic Corp コンテンツ評価装置、方法、及びそのプログラム
WO2013186911A1 (ja) 2012-06-15 2013-12-19 株式会社日立製作所 刺激呈示システム
JP2014062720A (ja) 2012-09-24 2014-04-10 Saitama Univ 快適度センサおよびこれを用いた空気調和装置
JP2017124153A (ja) 2016-01-07 2017-07-20 パナソニックIpマネジメント株式会社 生体情報計測装置

Also Published As

Publication number Publication date
US20190239792A1 (en) 2019-08-08
JP2019136183A (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
JP7080657B2 (ja) 感情識別装置
JP5150942B2 (ja) 活動補助システム
US20200297270A1 (en) Biometric apparatus, biometric method, and determination apparatus
EP3107455B1 (en) Vehicle seat with integrated sensors
JP7045639B2 (ja) 作業適正度判定システム
JP5127576B2 (ja) 精神作業負荷検出装置及びそれを備えた自動二輪車
KR101926921B1 (ko) 운전자 모니터링 장치 및 방법
CN111655149B (zh) 用于推断用户的心理状态的系统、记录介质以及方法
JP2006280513A (ja) 乗り物操縦者のモニター方法及びシステム
JP7262002B2 (ja) 覚醒誘導システム
JP2020099670A (ja) 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
JP7316574B2 (ja) 作業適正度判定システム
KR101888815B1 (ko) 운전중 건강상태 모니터링 및 실시간 알림 시스템
JP4024727B2 (ja) 眠気検出装置
De Winkel et al. Neural correlates of decision making on whole body yaw rotation: an fNIRS study
JP2007313358A (ja) 装置
JP2006280512A (ja) 乗り物操縦者への危険信号提示方法及び装置
CN212353957U (zh) 健康调节系统
JP6648788B1 (ja) 運転制御調整装置および運転制御調整方法
CN117679032A (zh) 用于确定人类大脑的感知负荷和刺激感知水平的系统和方法
WO2020129426A1 (ja) 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
JP2009136495A (ja) 環境制御システム
JP2020177577A (ja) ウェアラブルセンサおよびそれを用いた操作支援システム
JP7122730B2 (ja) 脳波信号評価装置の作動方法
KR101886108B1 (ko) 피로도 측정 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220525

R150 Certificate of patent or registration of utility model

Ref document number: 7080657

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150