JP4590555B2 - 感性状態判別方法及び装置 - Google Patents

感性状態判別方法及び装置 Download PDF

Info

Publication number
JP4590555B2
JP4590555B2 JP2005054004A JP2005054004A JP4590555B2 JP 4590555 B2 JP4590555 B2 JP 4590555B2 JP 2005054004 A JP2005054004 A JP 2005054004A JP 2005054004 A JP2005054004 A JP 2005054004A JP 4590555 B2 JP4590555 B2 JP 4590555B2
Authority
JP
Japan
Prior art keywords
data
determination
subject
temporal change
hemoglobin concentration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005054004A
Other languages
English (en)
Other versions
JP2006095266A5 (ja
JP2006095266A (ja
Inventor
匡弘 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagaoka University of Technology
Original Assignee
Nagaoka University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagaoka University of Technology filed Critical Nagaoka University of Technology
Priority to JP2005054004A priority Critical patent/JP4590555B2/ja
Priority to PCT/JP2005/016037 priority patent/WO2006025504A1/ja
Publication of JP2006095266A publication Critical patent/JP2006095266A/ja
Priority to US11/681,388 priority patent/US8235894B2/en
Publication of JP2006095266A5 publication Critical patent/JP2006095266A5/ja
Application granted granted Critical
Publication of JP4590555B2 publication Critical patent/JP4590555B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14553Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Optics & Photonics (AREA)
  • Immunology (AREA)
  • Neurology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、感性状態または感性情報(感情及び意志も含む)を定量的に計測して判別する方法に関するものであり、特に人の「喜怒哀楽」などの感性の状態を、脳表層の複数の測定部位における血液中のヘモグロビン濃度の時間的変化を測定し、その測定結果に基づいて感性状態を定量的に判別する方法に関するものである。
特開平8−103434号公報(特許第3359756号)(特許文献1)には、被験者の脳表層の複数の測定部位における血液中の酸化ヘモグロビン濃度の変化量と還元ヘモグロビン濃度の変化量を計測し、測定結果を表示装置に表示して、生体に関する情報を得る技術が示されている。
特開平9−19408号公報(特許文献2)には、被験者の脳表層の複数の測定部位における血液中の酸化ヘモグロビン濃度を計測し、その濃度の相対変化量の時間変化の自己及び相互相関関数を計算し、各計測点における相関関数からトポグラフィ画像を作成する技術が開示されている。この公報に開示された技術を用いる、トポグラフィ画像から生体の局所的な機能を測定することができる。
また特開平9−149894号公報(特許第3543453号)(特許文献3)には、被験者の複数の測定部位における血液中の酸化及び還元ヘモグロビン濃度を計測して、計測信号を取得する。そして計測信号から特徴パラメータを演算により求め、特徴パラメータの標準偏差と平均値が、予め求めた参考データの標準偏差と平均値の分布(計測領域)に属するか否かを判定することにより脳機能活動を計測する技術が開示されている。なおこの公報には、判定方法にニューラルネットワークを用いることが示されている。
特開平11−311599号公報(特許文献4)には、特許文献2と同様に、被験者の脳表層の複数の測定部位における血液中の酸化ヘモグロビン濃度の相対変化量の時間変化の自己及び相互相関関数を計算し、各計測点における相関関数からトポグラフィ画像を作成する場合に用いることができる、具体的な光計測測定技術が開示されている。
また特開2000−237194号公報(特許文献5)には、特許文献2及び4に示された技術に関連して、表示装置に計測結果を表示する場合に用いる具体的な技術が開示されている。
さらにWO2002−32317号公報(特許文献6)には、ヘモグロビン濃度の時間変化量を、光照射手段と光検出手段との位置関係に対応して表示手段にグラフ表示する技術が開示されている。
特開2003−365445号公報(特許文献7)には、酸化ヘモグロビン濃度に対する還元ヘモグロビン濃度の比を測定し、その測定結果から哺乳動物がストレスを感じているのか、リラックスしているのかを測定する技術が開示されている。
また特開2004−229948号公報(特許文献8)には、ヘモグロビン濃度の変化率を解析することにより、被験者の集中度の情報を得て、学習時の状況を判断する技術が開示されている。
特開2004−184402号公報(特許文献9)には、ヘモグロビン濃度の測定周期と被検者に与えるタスクとレストの周期の適正な関係について記載されている。
また特開2004−170958号公報(特許文献10)には、被験者の測定部位における血液中の少なくともデオキシヘモグロビン量を時系列的に測定して、その時間変化データから被験者のワークに対する修得度を判定する修得度測定技術が提案されている。
さらに特開2004−194924号公報(特許文献11)には、感情を含む脳機能を脳波信号を用いて定量的に計測する技術が開示されている。
また文献にも、近赤外分光法を用いて脳の活動による脳血流の変化を観察することにより、脳の活動部位とその活動の時間的変動を計測する技術が提案されている[非特許文献1:田村守著“近赤外光を用いた脳機能計測”、計測と制御、42,5,pp.396−401,(2003.5)及び非特許文献2:小泉英明、牧敦、山本剛、川口英夫、川口文男、市川祝善著“光トポグラフィを用いた脳機能計測”、計測と制御、42,5,pp.402−407、(2003.5)]。
特開平8−103434号公報 特開平9−19408号公報 特開平9−149894号公報 特開平11−311599号公報 特開2000−237194号公報 WO2002−32317号公報 特開2003−365445号公報 特開2004−229948号公報 特開2004−184402号公報 特開2004−170958号公報 特開2004−194924号公報 田村守著"近赤外光を用いた脳機能計測"、計測と制御、42,5,pp.396−401,(2003.5) 小泉英明、牧敦、山本剛、川口英夫、川口文男、市川祝善著"光トポグラフィを用いた脳機能計測"、計測と制御、42,5,pp.402−407、(2003.5)
しかしながら特許文献11に記載の技術のように脳波信号を用いて人の感性状態を定量的に計測するには、脳波の測定に適した環境を用意する必要があり、実用的ではなかった。また特許文献1乃至10及び非特許文献1及び2に記載の技術のように、ヘモグロビン濃度に基づいて人の生体情報(脳機能の情報を含む)を取得することは、種々研究されている事実はある。しかしながら例えば、特許文献2,4及び5に示されている従来技術のように、ヘモグロビン濃度の時間的変化量の相互相関関数を計算し、その結果をトポグライフィ画像として表示するだけでは、人間の喜怒哀楽のような感性状態を定量的且つ正確に計測することはできない。ましてや特許文献7に示される技術のように、酸化ヘモグロビン濃度に対する還元ヘモグロビン濃度の比だけに基づいて判断するだけでは、人間の喜怒哀楽の変化を含む感性状態を知ることはできない。
本発明の目的は、特別な計測環境を必要とせずに、人の感性状態(意志を含む)を定量的に且つ正確に計測できる感性状態判別方法を提供することにある。
本発明は、被験者の脳表層の複数の測定部位における血液中の酸化ヘモグロビン濃度及び還元ヘモグロビン濃度の少なくとも一方を、近赤外分光法を利用して時系列的にそれぞれ測定し、測定した酸化ヘモグロビン濃度の時間的変化のデータ及び還元ヘモグロビン濃度の時間的変化のデータの少なくとも一方に基づいて被験者の感性状態を判別する感性状態判別方法を対象とする。本発明の方法においては、前処理装置及び判定装置が、リファレンスデータ収集ステップと、判定条件決定ステップと、評価用データ収集ステップと、判別ステップとを実施する。
リファレンスデータ収集ステップでは、まず状況の変化に対応して、被験者の複数の測定部位毎に測定した酸化ヘモグロビン濃度の時間的変化のデータ及び還元ヘモグロビン濃度の時間的変化のデータの少なくとも一方から、組み合わせにより選択した複数組の2つの異なるデータに関して、単位時間毎(サンプリング周期毎)に相互相関係数を演算する。そしてこの演算により求めた複数組の2つの異なるデータに関する複数の相互相関係数の時間的変化のパターンを複数のリファレンスデータとして予め収集する。
ここで「感性に影響を与える複数種類の状況」とは、例えば「喜んでいる状況」、「怒っている状況」、「哀しんでいる状況」、そして「楽しんでいる(リラックスしている)状況」である。したがってこれらの状況を意図的に作り、これら各状況において、リファレンスデータの収集を行うことになる。また「酸化ヘモグロビン濃度の時間的変化のデータ及び還元ヘモグロビン濃度の時間的変化のデータの少なくとも一方」とは、「酸化ヘモグロビン濃度の時間的変化のデータ及び還元ヘモグロビン濃度の時間的変化のデータ」、「酸化ヘモグロビン濃度の時間的変化のデータのみ」、「還元ヘモグロビン濃度の時間的変化のデータのみ」を包含するものである。測定部位の数は、2カ所以上であれば理論的には測定可能である。しかしながらある程度、測定精度を高めるためには、4箇所以上の測定部位で測定を行うのが好ましい。そして「組み合わせにより選択した複数組の2つの異なるデータ」とは、次のように定める。測定部位がn箇所(nは正の整数)の場合で、測定するものが酸化ヘモグロビン濃度及び還元ヘモグロビン濃度の両方であれば、複数組をm組と考えると、mはm=2nにより求めた数となる。ちなみにn=24であれば、m=1128となる。したがって喜怒哀楽の4つの状況について予めリファレンスデータを集めておくとすると、4×1128種類のリファレンスデータを集めることになる。また測定するものが酸化ヘモグロビン濃度及び還元ヘモグロビン濃度の一方だけであれば、mはm=により求めた数となり、予め収集するリファレンスデータの種類は、酸化ヘモグロビン濃度及び還元ヘモグロビン濃度の両方を計測する場合の(n−1)/[2(2n−1)]倍となる。なお「感性」に被験者の意志(YesまたはNoの意志)を含めてもよい。
また「2つの異なるデータに関して、単位時間毎に相互相関係数を演算する」とは、予め定めた単位時間毎に、その単位時間内に取得した2つのデータ部分に関して、相互相関係数を演算することを意味する。相互相関係数の演算に用いる式としては、下記の式を用いる。
Figure 0004590555
上記式において、x(τ)はチャンネルjの時刻における酸化(還元)ヘモグロビンの濃度変化量(時間的変化のデータ)である。また、τは相互相関係数を計算する時間範囲である。
なおデータの取得と同時に(リアルタイムに)相互相関係数の演算を行うとすると、単位時間をデータのサンプリング周期と同じにすることができる。単位時間をサンプリング周期と同じにすると、最も演算回数が多くなる。実際には、先にデータを取得しておき、後から所定の単位時間を基準にして相互相関係数の演算を行うことになる。そしてこれらの演算結果により得られた複数の相互相関係数によって、1組の2つの異なるデータについての「相互相関係数の時間的変化のパターン」が一つ得られることになる。前述のように、m=1128であれば、4×1128個の「相互相関係数の時間的変化のパターン」を得ることになる。これらのパターンは演算結果の集合データからなるリファレンスデータとして保存される。
判定条件決定ステップでは、リファレンスデータ収集ステップにより求めた複数のリファレンスデータから、所定の判別法により被験者の感性状態を判別するのに必要な判定条件を求める。ここで判定条件とは、例えば判別法として線形写像判別法を用いて判別を行う場合であれば、リファレンスデータに基づいて定めた線形写像の感性行列とバイアスベクトルである。これらは、後に説明する図9に示した感性行列ai,jとバイアスベクトルd(1≦i≦4,1≦j≦1128)であり、リファレンス区間にわたり最小二乗法で決定する。また判別法としてニューラルネットを用いる場合には、リファレンス区間でニューラルネットの出力層に所用の出力値を予め与えて学習しておく判定条件である。
評価用データ収集ステップでは、所定の状況下にある被験者の複数の測定部位毎に測定した酸化ヘモグロビン濃度の時間的変化のデータ及び/または還元ヘモグロビン濃度の時間的変化のデータから、組み合わせにより選択した複数組の2つの異なるデータに関して、単位時間毎に相互相関係数を演算する。そして演算により求めた複数組の2つの異なるデータに関する複数の相互相関係数の時間的変化のパターンを複数の評価用データとして収集する。所定の状況下は、例えば、映画を見ている状況下のように、被験者の感性に対して影響を与える状況下を意味する。なおこの評価用データ収集ステップにおける相互相関係数の演算及び相互相関係数の時間的変化のパターンの収集等は、前述のリファレンスデータ収集ステップにおける演算及びパターンの収集と同じである。
そして判定装置が実行する判別ステップでは、条件決定ステップで決定した判定条件と複数の評価用データとを入力として、前述の所定の判別法により被験者の感性状態(意志を含む)を定量的に判別する。
従来の技術では、本発明のように単位時間毎に相互相関係数を演算するのではなく、2つの測定部位から取得した2つのヘモグロビン濃度の時間的変化量のデータについて、時間に依存する変数ではなく定数として全体的な相互相関関数を計算し、その結果に基づいて生体情報を得ている。そのため従来の技術によれば、ヘモグロビン濃度の時間的変化から、生体情報に何らかの変化があることを漠然と知ることはできる。しかしながら、従来の技術で得た生体情報では、人間の感性(喜怒哀楽)の変化を高い認識率で判定することができない。そこで発明者が種々検討した結果、本発明のように、リファレンスデータの収集及び評価用データの収集の際に、被験者の複数の測定部位毎に測定した酸化ヘモグロビン濃度の時間的変化のデータ及び/または還元ヘモグロビン濃度の時間的変化のデータから、組み合わせにより選択した複数組の2つの異なるデータに関して、単位時間毎に時間的に変動する相互相関係数を演算して、その相互相関係数の時間的変化のパターンを取得し、相互相関係数の時間的変化のパターンを用いて感性状態を判別すると、高い認識率で感性状態の変化を判別できることが判った。本発明は、試行錯誤の結果として、得られたものである。本発明によれば、従来よりも感性状態(意識を含む)の平均認識率を約2倍(50%から90%へ)高めることができる。なお本発明の方法は、常に複数種類の感性状態を判別する場合に限定されるものではなく、少なくとも一つの感性状態を判別する場合にも当然にして適用される。また「感性状態」には、被験者の意志「Yes」または「No」や、「上」「下」「左」「右」などの意志情報が含まれていてもよいのは勿論である。
なおヘモグロビン濃度の測定は、脳波信号の測定のように、外来ノイズが入らないようにした特別な環境で行う必要がない。そのため簡便に人の感性状態を定量的に計測することができる。特に、近赤外分光法を利用すると脳表層に電流を流すことなく計測を行えるので、脳に対する影響を考慮することなく、人の感性状態を得ることができる。
また上記各ステップを実行すると、比較的簡便なステップで感性状態を定量的に計測することができ、また、計測装置の構造上、被験者の拘束がほとんどないので、感性の理想的な計測が実現可能であるという利点がある。
なお前述のサンプリング周期が長くれば長くなるほど、感性の認識精度は落ちることになる。実用的には、単位時間は1秒以下であることが好ましい。また測定部位の数は、少ないよりも多いほうが計測精度を高めることができる。ある程度の精度を確保するためには、測定部位を4箇所以上設けることが好ましい。
本発明によれば、従来の技術と比べて、人の感性状態を定量的に且つ正確に計測できる利点が得られる。
以下図面を参照して本発明の実施の形態を詳細に説明する。図1は本発明の感性状態判別方法を実施する感性情報計測装置の一例の構成を概略的に示す図である。1は感性状態を計測する被験者であり、2は近赤外分光法を用いて被験者1の脳表層の複数の測定部位における血液中のヘモグロビン濃度を時系列的に測定するヘモグロビン濃度測定器である。このような測定としては、例えば、株式会社日立メディコ社が製造販売する光トポグラフィ装置ETG−100(商標)を用いることができる。被験者1の頭部には、例えば図2に示すような測定位置に近赤外線を出力する出力プローブと脳表層を通った近赤外線を受光する受光プローブ(チャンネル)とを配置する。本実施の形態では、図3に示すように、被験者1の頭部の24箇所の測定部位に配置した出力プローブと受光プローブとが対になったチャンネルを配置している。図3中の丸で囲まれた部分が測定位置を示し、数字はチャンネルを表す。また、これらの測定位置は実験的に決めたものである。サンプリング周波数は10[Hz]で、得られた信号に特にフィルタなどの処理は加えない。そしてこれら24カ所の測定部位のチャンネルを利用して、ヘモグロビン濃度測定器2は、各測定部における酸化ヘモグロビン濃度を示す24種類のヘモグロビン濃度測定信号と還元ヘモグロビン濃度を示す24種類のヘモグロビン濃度測定信号を出力する。これらの信号は前処理装置3に入力されて内部の記憶手段に記憶された後、前処理される。
前処理装置3では、最初にリファレンスデータを得るための前処理(リファレンスデータ収集ステップ)が行われ、その後に評価用データを得るための処理(評価用データ収集ステップ)が行われる。
リファレンスデータ収集ステップでは、まず被験者に、感性の基準となる4つの状況、すなわち「怒り」、「悲しみ」、「喜び」、「リラックス」を別個に想起してもらう。そして各状況において、被験者の24箇所の測定部位毎に測定した酸化ヘモグロビン濃度の時間的変化のデータ(24種類の酸化ヘモグロビン濃度測定信号)及び還元ヘモグロビン濃度の時間的変化のデータ(24種類の還元ヘモグロビン濃度測定信号)を取得して、前処理装置3内の記憶手段に記憶する。図4及び図5は、それぞれある測定部位(チャンネル)における測定結果、すなわちヘモグロビン濃度の時間的変化のデータ(ヘモグロビン濃度測定信号)の例をそれぞれ示している。図4及び図5から判るように、本実施の形態では、2分(120秒)にわたって、ヘモグロビン濃度を測定している。なおサンプリング周波数は10[Hz]であるから、サンプリング周期は、0.1秒である。
次に、これら48種類のデータから、組み合わせにより選択した1128組(48)の2つの異なるデータに関して、それぞれ単位時間毎(例えば、注目する時間の前後1秒のヘモグロビン濃度の時系列データを用いて0.1秒毎)に相互相関係数を演算する。2つの異なるデータに関して、単位時間毎に相互相関係数を演算するためには、予め定めた単位時間毎に、その単位時間中における2つのデータ部分に関して、相互相関係数を演算する。2つの異なるデータに関して、単位時間毎に相互相関係数を演算して得られた複数の相互相関係数によって、1組の2つの異なるデータについての相互相関係数の時間的変化のパターンを一つ得る。図6は、二つの異なるデータの相互相関係数を演算により求める場合の概念を説明するための図である。図6において、上側2つの波形がデータであり、一点鎖線で示すように所定の時間間隔で2つのデータの相互相関係数を演算した結果を一番下にプロットして相互相関係数の時間的変化のパターンを得る。なお図8では、理解を用にするために、時間間隔を示す一点鎖線を一部だけ示してある。パターンを見ると明らかなように、実際にはもっと短い時間間隔で演算を行っている。図7及び図8は、それぞれ2組の2つの異なるデータについての相互相関係数の時間的変化のパターンの例を示している。図7及び図8から判るように、これら相互相関係数の時間的変化のパターンは2分(120秒)にわたる相互相関係数の時間的変化を示している。そして相互相関係数は、±1の範囲内の値である。係数値が+1に近いほど、正の相関が強いことを意味し、係数値が−1に近いほど負の相関が強いこと意味する。
測定部位に置いたチャンネル間の相互相関係数cj、k(t)をチャンネルjとkの、時刻tにおける相互相関係数とすると、相互相関係数は以下の式で与えられる。
Figure 0004590555
ここで、x(τ)はチャンネルjの時刻における酸化(還元)ヘモグロビンの濃度変化量である。また、相互相関係数を計算する時間範囲τの範囲は4[sec]以下とした。
本実施の形態では、「怒り」、「悲しみ」、「喜び」、「リラックス」の4つの状況それぞれについて、1128組の2つの異なるデータに関して、単位時間毎の相互相関係数の演算を行う。したがって本実施の形態では、4×1128個の「相互相関係数の時間的変化のパターン」を、リファレンスデータ収集ステップで得ている。これらのパターンは演算結果の集合データからなるリファレンスデータとして、前処理装置3内の記憶手段に保存される。
次に、前処理装置3では、判定条件決定ステップを実行する。この判定条件ステップでは、前述のリファレンスデータ収集ステップにより求めた複数のリファレンスデータから、所定の判別法により被験者の感性状態を判別するのに必要な判定条件を求める。本実施の形態では、判定装置4で、判別法として線形写像判別法を用いて判定を行う。
線形写像判別法を用いる場合には、チャンネル間の相互相関関係となる入力ベクトルy=ci,j(1≦i≦4,1≦j≦48)(t)に線形写像A=ai,j(1≦i≦4,1≦j≦1128)とバイアスベクトルd(1≦i≦4)を用いて4次元ベクトルz=(z、z、z、z)に線形変換をする。これらは以下のように関係付けられる。
Figure 0004590555
ここでdはバイアスベクトルであり、実際には[d,d,d,d]として表現される。そして、線形写像を示す行列A(a1,1〜a4,1128)は、感性スペクトル解析法における感性マトリクスに相当する。a1,1〜a1,1128、a1,1〜a1,1128、a1,1〜a1,1128及びa1,1〜a1,1128は、それぞれ「喜んでいる状況」、「怒っている状況」、「哀しんでいる状況」、「楽しんでいる又はくつろいでいる(リラックスしている)状況」のいずれか一つの状況における1128組の2つのリファレンスデータ間の相互相関係数の時間的変化のパターンから得た線形写像である。定数ベクトルd及び行列Aは、例えば、「怒り」を想起中のリファレンスデータの相互相関係数C1,2(t)〜C47,48(t)を入力しているときの出力がz=(1,0,0,0)、「悲しみ」を想起中のデータを入力しているときの出力をz=(0,1,0,0)、以下同様に「喜び」はz=(0,0,1,0)、「くつろぎ(リラックス)」はz=(0,0,0,1)となるように決定する。実際上は、リファレンスデータ区間内で各感性にわたって、所用の出力Ziと実際の出力Zi(t)の間の次式で定義される二乗誤差εが最小になるように、線形写像のベクトルAとバイスベクトルdとを定める。但し、次式で、Tはリファレンスデータの時系列の時間であり、iの和は、喜怒哀楽の4種類の感性に関する和を意味する。
Figure 0004590555
上記式において、二乗誤差εをaij,dに関して、最小化することにより、aij,dを決定する。
このようにして決定した判定条件を、判定装置4に入力しておく。そして次に、評価用データ収集ステップを実行する。この評価用データ収集ステップでは、所定の状況下(「怒り」、「悲しみ」、「喜び」または「リラックス」状況のいずれかの状況)にある被験者の複数の測定部位毎に酸化ヘモグロビン濃度の時間的変化のデータ及び還元ヘモグロビン濃度の時間的変化のデータをヘモグロビン濃度測定器2により測定する。そして前処理装置3により、測定したこれら時間的変化のデータから、組み合わせにより選択した複数組の2つの異なるデータに関して、単位時間毎に相互相関係数を演算する。そして演算により求めた複数組の2つの異なるデータに関する複数の相互相関係数の時間的変化のパターンを複数の評価用データとして前処理装置3内の記憶手段に記憶する。所定の状況下は、例えば、映画を見ている状況下のように、被験者の感性に対して影響を与える状況下を意味する。なおこの評価用データ収集ステップにおける相互相関係数の演算及び相互相関係数の時間的変化のパターンの収集等は、前述のリファレンスデータ収集ステップにおける演算及びパターンの収集と同じである。したがってこのステップでも、48種類(24種類の酸化ヘモグロビン濃度測定信号:24種類の還元ヘモグロビン濃度測定信号)のデータから、組み合わせにより選択した1128組(48)の2つの異なるデータに関して、それぞれ単位時間毎(この例では0.1秒毎)に相互相関係数y(t)=C1,2(t)〜C47,48(t)を演算する。
次に判定装置4では、評価用データy(t)=C1,2(t)〜C47,48(t)を前述の式に入力して、入力ベクトルy(t)を線形写像Aを用いて4次元ベクトルz=(z、z、z、z)に線形変換する。これらの成分の大きさが感性の状態に相当する特徴量のレベルとなる。したがって本実施の形態によれば、予めリファレンスデータに基づいて判定条件を定めておくことにより、判定装置4に評価用データを入力するだけで、定量的に感性の状態を判断することができる。なお図9は、評価用データ収集ステップ及び判別ステップの流れを示すフローチャートである。
次に上記実施の形態で実験を行った結果について説明する。
[実験1]
近赤外分光法を用いた脳表層の酸化・還元ヘモグロビン濃度変化を測定する装置として、日立メディコ社製の光トポグラフィ装置ETG−100を用いた。測定部位は、脳波計測における国際10−20電極法に基づき、Fp1,Fp2,F3,F4,T3,P3,P4,O1,O2の10点の単極測定として測定を行った。被験者は心身ともに健康な22〜24歳の男子5名で全て閉眼安静状態にて測定を行った。また既に複数回の測定を経験し、測定に慣れた被験者から測定したデータのみを用いた。測定時は、被験者に対して「怒り」、「悲しみ」、「喜び」、「リラックス」の4種類の基準感性を測定することを告げ、それぞれの感性状態を想起するメンタルトレーニングを行ってもらい、その後、
1.一つの感性をイメージし、その状態を10分程度維持するように告げる。
2.初めの3分間程度は被験者の準備期間とし、記録を行わない期間とする。
3.その後、3〜5分間の記録を行い、これを学習に用いるリファレンスデータ(感性状態判別用リファレンス信号)として記憶する。
4.続けて1〜3分間の記録を行い、これをテストに用いる評価用データ(感性状態計測用解析信号)として記憶する。
5.5分程度の休息の後、1.に戻り、次の感性を告げる。
という手順で測定を行った。
判別法としては、上記実施の形態で説明したリファレンスデータから得た線形写像と評価用データから得た相互相関係数(マトリックス演算結果)を用いて判別結果を得る線形写像判別法を用いた。実験のために用意した「リラックス」状態を表している信号(感性状態判別用リファレンス信号)に対する認識率の一例を図10に示す。図10において、図中の中央にある縦棒の左側がリファレンスデータ(学習用データ)を入力としたときの認識結果であり、縦棒の右側が評価用データを入力としたときの認識結果である。この図から分かるように、評価用データに対する認識率は「リラックス」状態が一番高くなっており、本実施の形態によれば、感性の分離・認識が可能であることが分かる。他の感性についても同様の認識率の結果が得られている。
[実験2]
近赤外分光法を用いた脳表層の酸化・還元ヘモグロビン濃度変化を測定する装置として、日立メディコ社製の光トポグラフィ装置ETG−100を用いた。測定されたデータはETG−100内に保存した後に、リムーバブルメディアを用いてパーソナルコンピュータに入力し解析を行った。また、サンプリング周波数は10[Hz]で、特にフィルタ処理などは行わない。測定部位は図3に示すとおりである。測定はシールドルームではない通常環境で行った。被験者は健康な21〜24歳の男子3名で、全て閉眼安静状態にて測定を行った。
測定時は、被験者に対して「怒り」、「悲しみ」、「喜び」、「リラックス」の4種類の基準感性を測定することを告げ、それぞれの感性状態を想起するトレーニングを行ってもらい、その後、被験者の想起し易い順番で一つずつ感性状態をイメージし、その状態を3分間維持してもらった。最初の1分間は記録を行わず、後の2分間のデータを記録し、線形写像の決定に用いるデータとした。続けて1〜3分(通常2分間)の記録を行い、評価用のデータとした。
測定された酸化・還元ヘモグロビン濃度変化のグラフの一例を図11に示す。また、前述の数式1(数1)によって計算される各チャンネル間の相関係数の時間的変動のグラフの一例を図12に示す。図11(A)は,酸化ヘモグロビンの濃度変化を示しており、図11(B)は還元ヘモグロビンの濃度変化を示している。図12は、一人の被験者が「怒り」を想起しているときにの1chと2chとの間で測定された酸化ヘモグロビン濃度の時間的変化量と還元ヘモグロビン濃度の時間的変化量の相互相関係数の時間的変動を示している。このような酸化・還元ヘモグロビン濃度の時間的変化量についての相互相関係数の時間的変動を、リファレンスデータ収集ステップ(学習ステップ)及び評価用データ収集ステップにおいて、各24chの組み合わせ(48=1128)についてそれぞれ単位時間毎に相互相関係数を演算することにより得た。この計算結果を入力ベクトルとし、線形写像を決定する解析を行った。
線形写像の決定に用いたデータに対する認識率(リファレンスデータに対する各感性の認識率)を、下記表1に示す。ここでは、3名の被験者A,B,Cの結果を一例として示す。
Figure 0004590555
また、図13には「怒り」想起時における、線形写像の決定に用いたリファレンスデータ(学習データ)に対する解析結果の一例を示す。表1及び図13から分かるように、全ての被験者において、線形写像の決定に用いたリファレンスデータに対する評価用データの認識率は99%以上となっている。佐藤高弘、中川匡弘著“フラクタル次元解析を用いた環状の定量化手法“TECHNICAL REPORT OFFICE HIP2002−45,pp.13−18(2002)に記載の報告によると、脳波信号を測定して脳機能を測定した場合において、感性スペクトル解析法による線形写像の決定に用いた学習用データの認識率は平均で90%であり、感性フラクタル次元解析法では96%となっている。これらの結果から、本実施の形態によれば、従来の脳波信号を用いる方法に比べ、4つの感性状態の認識率が改善していることが確認できる。
次に評価用データに対する認識率を、表2に示す。
Figure 0004590555
また、図14に評価用データに対する解析結果の一例を示す。前述の佐藤高弘等の文献に示された報告によると、脳波信号を用いて感性スペクトル解析法により評価用データを認識した場合の認識率は平均で52%、最低認識率が20%であり、脳波信号を用いた感性フラクタル次元解析法では平均で80%、最低認識率が48%となっている。これに対し本実験によると、認識率が平均80%、最低認識率が54%となり、脳波信号を用いた感性フラクタル次元解析法とほぼ同等の性能であることが確認できた。したがってこの実験から、ヘモグロビン濃度を測定して、その測定結果を利用して線形写像判別法を用いて感性状態を定量的に計測する上記実施の形態も、脳波信号を用いて感性フラクタル次元解析法により感性状態を定量的に計測する場合と同様に、感性状態を定量的に示すことができることが確認された。
なお判別法には、ニューラルネット等の他の判別法を用いることができるのは勿論である。ニューラルネットとしては、階層型ニューラルネットまたは階層型カオスニューラルネットを用いることが可能であり、この場合には、判定条件をニューラルネットの出力層に与え、評価用データをニューラルネットの入力層に与えればよい。なおニューラルネットに関しては、特開平5−40840号公報、特開平6−337852号公報、特開平8−212275号公報、特開平8−235351号公報等にもその利用形態の例が示されており、その利用法は公知である。
図15は、階層型ニューラルネットによる感性抽出の概念を示すブロック図である。この場合には、入力層に前処理装置3から評価用データを入力し、出力層には判定条件を入力しておく。このような階層型ニューラルネットを用いると、感性の平均認識率を高めることができる。
また本発明の方法を用いると、非侵襲型感性計測・処理システムを構築することができ、現代社会におけるストレスの解消装置として、個人のみならず医療機関での利用が期待される。
上記実施の形態では、酸化ヘモグロビン濃度の時間的変化及び還元ヘモグロビン濃度の時間的変化の両方を利用しているいるが、酸化ヘモグロビン濃度の時間的変化及び還元ヘモグロビン濃度の時間的変化の一方のみを用いて、前述の実施の形態と同様にして、感性を定量的に計測するようにしてもよいのは勿論である。この場合の感性状態判別方法を思想として表現すると以下のようになる。すなわち被験者の脳表層のn箇所(nは正の整数)の測定部位における血液中のヘモグロビン濃度を、近赤外分光法を利用して所定のサンプリング周期で時系列的にそれぞれ測定し、測定したヘモグロビン濃度の時間的変化のデータに基づいて被験者の感性状態を判別する感性状態判別方法である。そしてリファレンスデータ収集ステップでは、感性に影響を与える複数種類の状況に対応して、被験者のn箇所の測定部位毎に測定したn個のヘモグロビン濃度の時間的変化のデータから、組み合わせにより選択したk(但しkはk=により求めた数)組の2つの異なるデータに関して、所定の単位時間毎に相互相関係数を演算し、演算により求めたk組の2つの異なるデータに関するk種類の相互相関係数の時間的変化のパターンをk種類のリファレンスデータとして予め収集する。そして判定条件決定ステップでは、リファレンスデータ収集ステップにより求めたk種類のリファレンスデータから、所定の判別法により被験者の感性状態を判別するのに必要な判定条件を求める。また評価用データ収集ステップでは、所定の状況下にある被験者のn箇所の測定部位毎に測定したヘモグロビン濃度の時間的変化のデータから、組み合わせにより選択したk組の2つの異なる前記データに関して、単位時間毎に相互相関係数を演算し、演算により求めたk組の2つの異なるデータに関するk種類の相互相関係数の時間的変化のパターンをk種類の評価用データとして収集する。そして判別ステップでは、条件決定ステップで決定した判定条件とk種類の評価用データとを入力として、所定の判別法により被験者の感性状態を定量的に判別する。
本発明の感性状態判別方法を実施する感性情報計測装置の一例の構成を概略的に示す図である。 計測ポイント例を示す図である。 実施の形態及び実験2における計測ポイントを示す図である。 ある測定部位(チャンネル)におけるヘモグロビン濃度の時間的変化のデータ(ヘモグロビン濃度測定信号)の例を示す図である。 他の測定部位(チャンネル)におけるヘモグロビン濃度の時間的変化のデータ(ヘモグロビン濃度測定信号)の例を示す図である。 二つの異なるデータの相互相関係数を演算により求める場合の概念を説明するために用いる図である。 2組の2つの異なるデータについての相互相関係数の時間的変化のパターンの例を示す図である。 他の2組の2つの異なるデータについての相互相関係数の時間的変化のパターンの例を示す図である。 評価用データ収集ステップ及び判別ステップの流れを示すフローチャートである。 実験1における認識率の例を示す図である。 (A)及び(B)は、測定された酸化・還元ヘモグロビン濃度変化のグラフの例を示す図である。 チャンネル間の相関係数の時間的変動のグラフの一例を示す図である。 「怒り」想起時における、線形写像の決定に用いたデータ(学習データ)に対する解析結果の一例を示す図である。 評価用データに対する解析結果の一例を示す。 階層型ニューラルネットによる感性抽出の概念を示すブロック図である。
1 被験者
2 ヘモグロビン濃度測定器
3 前処理装置
4 判定装置

Claims (12)

  1. 被験者の脳表層の複数の測定部位における血液中の酸化ヘモグロビン濃度及び還元ヘモグロビン濃度の少なくとも一方を、近赤外分光法を利用して測定する測定器を用いて時系列的にそれぞれ測定し、
    前処理装置及び判定装置により、測定した前記酸化ヘモグロビン濃度の時間的変化のデータ及び前記還元ヘモグロビン濃度の時間的変化のデータの少なくとも一方に基づいて前記被験者の感性状態を判別する感性状態判別方法であって、
    前記前処理装置が、感性に影響を与える複数種類の状況に対応して、前記被験者の前記複数の測定部位毎に測定した前記酸化ヘモグロビン濃度の時間的変化のデータ及び前記還元ヘモグロビン濃度の時間的変化のデータの少なくとも一方から、組み合わせにより選択した複数組の2つの異なる前記データに関して、単位時間毎に相互相関係数 j,k (t)を下記の式に基づいて演算し、
    Figure 0004590555
    [但し上記式において、x j (τ)及びx k (τ)はそれぞれ組み合わされるチャンネルj及びkの時刻tにおける時間範囲τでの前記時間的変化のデータである]
    演算により求めた前記複数組の2つの異なる前記データに関する複数の相互相関係数の時間的変化のパターンを複数のリファレンスデータとして予め収集するリファレンスデータ収集ステップと、
    前記リファレンスデータ収集ステップにより求めた前記複数のリファレンスデータから、所定の判別法により前記被験者の感性状態を判別するのに必要な判定条件を求める判定条件決定ステップと、
    所定の状況下にある前記被験者の前記複数の測定部位毎に測定した前記酸化ヘモグロビン濃度の時間的変化のデータ及び前記還元ヘモグロビン濃度の時間的変化のデータの少なくとも一方から、組み合わせにより選択した複数組の2つの異なる前記データに関して、単位時間毎に前記式により相互相関係数を演算し、演算により求めた前記複数組の2つの異なる前記データに関する複数の相互相関係数の時間的変化のパターンを複数の評価用データとして収集する評価用データ収集ステップとを実行し、
    前記判定装置が、前記条件決定ステップで決定した前記判定条件と前記複数の評価用データとを入力として、前記所定の判別法により前記前記被験者の前記感性状態を定量的に判別する判別ステップを実行することを特徴とする感性状態判別方法。
  2. 前記単位時間は、前記リファレンスデータ収集ステップ及び前記評価用データ収集ステップにおけるサンプリング周期である請求項1に記載の感性状態判別方法。
  3. 被験者の脳表層のn箇所(nは以上の正の整数)の測定部位における血液中の酸化ヘモグロビン濃度及び還元ヘモグロビン濃度を、近赤外分光法を利用して測定する測定器を用いて所定のサンプリング周期で時系列的にそれぞれ測定し、
    前処理装置及び判定装置により、測定した前記酸化ヘモグロビン濃度の時間的変化のデータ及び前記還元ヘモグロビン濃度の時間的変化のデータに基づいて前記被験者の感性状態を判別する感性状態判別方法であって、
    前記前処理装置が、
    感性に影響を与える複数種類の状況に対応して、前記被験者の前記n箇所の測定部位毎に測定したn個の酸化ヘモグロビン濃度の時間的変化のデータ及びn個の還元ヘモグロビン濃度の時間的変化のデータから、組み合わせにより選択したm(但しmはm=2nにより求めた数)組の2つの異なる前記データに関して、所定の単位時間毎に相互相関係数 j,k (t)を下記の式で演算し、
    Figure 0004590555
    [但し上記式において、x j (τ)及びx k (τ)はそれぞれ組み合わされるチャンネルj及びkの時刻tにおける時間範囲τでの前記時間的変化のデータである]
    演算により求めた前記m組の2つの異なる前記データに関するm種類の相互相関係数の時間的変化のパターンをm種類のリファレンスデータとして予め収集するリファレンスデータ収集ステップと、
    前記リファレンスデータ収集ステップにより求めた前記m種類のリファレンスデータから、所定の判別法により前記被験者の感性状態を判別するのに必要な判定条件を求める判定条件決定ステップと、
    所定の状況下にある前記被験者の前記m箇所の測定部位毎に測定した前記酸化ヘモグロビン濃度の時間的変化のデータ及び前記還元ヘモグロビン濃度の時間的変化のデータから、組み合わせにより選択したm組の2つの異なる前記データに関して、前記所定の単位時間毎に相互相関係数を上記式により演算し、
    演算により求めた前記m組の2つの異なる前記データに関するm種類の相互相関係数の時間的変化のパターンをm種類の評価用データとして収集する評価用データ収集ステップとを実行し、
    前記判定装置が、前記条件決定ステップで決定した前記判定条件と前記m種類の評価用データとを入力として、前記所定の判別法により前記前記被験者の前記感性状態を定量的に判別する判別ステップを実行することを特徴とする感性状態判別方法。
  4. 被験者の脳表層のn箇所(nは以上の正の整数)の測定部位における血液中のヘモグロビン濃度を、近赤外分光法を利用して測定する測定器を用いて所定のサンプリング周期で時系列的にそれぞれ測定し、
    前処理装置及び判定装置により、測定した前記ヘモグロビン濃度の時間的変化のデータに基づいて前記被験者の感性状態を判別する感性状態判別方法であって、
    前記前処理装置が、
    感性に影響を与える複数種類の状況に対応して、前記被験者の前記n箇所の測定部位毎に測定したn個のヘモグロビン濃度の時間的変化のデータから、組み合わせにより選択したk(但しkはk=により求めた数)組の2つの異なる前記データに関して、所定の単位時間毎に相互相関係数Cj,k(t)を下記の式により演算し、
    Figure 0004590555
    [但し上記式において、x j (τ)及びx k (τ)はそれぞれ組み合わされるチャンネルj及びkの時刻tにおける時間範囲τでの前記時間的変化のデータである]
    演算により求めた前記k組の2つの異なる前記データに関するk種類の相互相関係数の時間的変化のパターンをk種類のリファレンスデータとして予め収集するリファレンスデータ収集ステップと、
    前記リファレンスデータ収集ステップにより求めた前記k種類のリファレンスデータから、所定の判別法により前記被験者の感性状態を判別するのに必要な判定条件を求める判定条件決定ステップと、
    所定の状況下にある前記被験者の前記n箇所の測定部位毎に測定した前記ヘモグロビン濃度の時間的変化のデータから、組み合わせにより選択したk組の2つの異なる前記データに関して、前記単位時間毎に前記式により相互相関係数を演算し、演算により求めた前記k組の2つの異なる前記データに関するk種類の相互相関係数の時間的変化のパターンをk種類の評価用データとして収集する評価用データ収集ステップとを実行し、
    前記判定装置が、前記条件決定ステップで決定した前記判定条件と前記k種類の評価用データとを入力として、前記所定の判別法により前記被験者の前記感性状態を定量的に判別する判別ステップを実行することを特徴とする感性状態判別方法。
  5. 前記ヘモグロビン濃度が、還元ヘモグロビン濃度または酸化ヘモグロビン濃度である請求項4に記載の感性状態判別方法。
  6. 前記単位時間が、1秒以下である請求項2,3または4に記載の感性状態判別方法。
  7. 前記測定部位が、4箇所以上である請求項1,2,3または4に記載の感性状態判別方法。
  8. 前記所定の判別法として、前記判定条件として線形写像を求め、前記複数の評価用データを入力ベクトルとして用いて判別結果を得る線形写像判別法を用いることを特徴とする請求項1,3または4に記載の感性状態判別方法。
  9. 前記所定の判別法として、階層型ニューラルネットまたは階層型カオスニューラルネットを用い、前記判定条件を前記ニューラルネットの出力層に与え、前記評価用データを前記ニューラルネットの入力層に与えることを特徴とする請求項1,3または4に記載の感性状態判別方法。
  10. 被験者の脳表層の複数の測定部位における血液中の酸化ヘモグロビン濃度及び還元ヘモグロビン濃度の少なくとも一方を、近赤外分光法を利用して時系列的にそれぞれ測定し、測定した前記酸化ヘモグロビン濃度の時間的変化のデータ及び前記還元ヘモグロビン濃度の時間的変化のデータの少なくとも一方に基づいて前記被験者の感性状態を判別する装置であって、
    前処理装置と判定装置とを備え、
    前記前処理装置が、感性に影響を与える複数種類の状況に対応して、前記被験者の前記複数の測定部位毎に測定した前記酸化ヘモグロビン濃度の時間的変化のデータ及び前記還元ヘモグロビン濃度の時間的変化のデータの少なくとも一方から、組み合わせにより選択した複数組の2つの異なる前記データに関して、単位時間毎に相互相関係数 j,k (t)を下記の式で演算し、
    Figure 0004590555
    [但し上記式において、x j (τ)及びx k (τ)はそれぞれ組み合わされるチャンネルj及びkの時刻tにおける時間範囲τでの前記時間的変化のデータである]
    演算により求めた前記複数組の2つの異なる前記データに関する複数の相互相関係数の時間的変化のパターンを複数のリファレンスデータとして予め収集するリファレンスデータ収集ステップと、
    前記リファレンスデータ収集ステップにより求めた前記複数のリファレンスデータから、所定の判別法により前記被験者の感性状態を判別するのに必要な判定条件を求める判定条件決定ステップと、
    所定の状況下にある前記被験者の前記複数の測定部位毎に測定した前記酸化ヘモグロビン濃度の時間的変化のデータ及び前記還元ヘモグロビン濃度の時間的変化のデータの少なくとも一方から、組み合わせにより選択した複数組の2つの異なる前記データに関して、前記単位時間毎に相互相関係数を上記式により演算し、演算により求めた前記複数組の2つの異なる前記データに関する複数の相互相関係数の時間的変化のパターンを複数の評価用データとして収集する評価用データ収集ステップとを実行し、
    前記判定装置が、前記条件決定ステップで決定した前記判定条件と前記複数の評価用データとを入力として、前記所定の判別法により前記前記被験者の前記感性状態を定量的に判別する判別ステップを実行することを特徴とする装置。
  11. 被験者の脳表層のn箇所(nは以上の正の整数)の測定部位における血液中の酸化ヘモグロビン濃度及び還元ヘモグロビン濃度を、近赤外分光法を利用して所定のサンプリング周期で時系列的にそれぞれ測定し、測定した前記酸化ヘモグロビン濃度の時間的変化のデータ及び前記還元ヘモグロビン濃度の時間的変化のデータに基づいて前記被験者の感性状態を判別する装置であって、
    前処理装置と判定装置とを備え、
    前記前処理装置は、
    感性に影響を与える複数種類の状況に対応して、前記被験者の前記n箇所の測定部位毎に測定したn個の酸化ヘモグロビン濃度の時間的変化のデータ及びn個の還元ヘモグロビン濃度の時間的変化のデータから、組み合わせにより選択したm(但しmはm=2nにより求めた数)組の2つの異なる前記データに関して、所定の単位時間毎に相互相関係数 j,k (t)を下記の式で演算し、
    Figure 0004590555
    [但し上記式において、x j (τ)及びx k (τ)はそれぞれ組み合わされるチャンネルj及びkの時刻tにおける時間範囲τでの前記時間的変化のデータである]
    演算により求めた前記m組の2つの異なる前記データに関するm種類の相互相関係数の時間的変化のパターンをm種類のリファレンスデータとして予め収集するリファレンスデータ収集ステップと、
    前記リファレンスデータ収集ステップにより求めた前記m種類のリファレンスデータから、所定の判別法により前記被験者の感性状態を判別するのに必要な判定条件を求める判定条件決定ステップと、
    所定の状況下にある前記被験者の前記m箇所の測定部位毎に測定した前記酸化ヘモグロビン濃度の時間的変化のデータ及び前記還元ヘモグロビン濃度の時間的変化のデータから、組み合わせにより選択したm組の2つの異なる前記データに関して、前記所定の単位時間毎に相互相関係数を上記式により演算し、演算により求めた前記m組の2つの異なる前記データに関するm種類の相互相関係数の時間的変化のパターンをm種類の評価用データとして収集する評価用データ収集ステップとを実行し、
    前記判定装置が、前記条件決定ステップで決定した前記判定条件と前記m種類の評価用データを入力として、前記所定の判別法により前記前記被験者の前記感性状態を定量的に判別する判別ステップを実行することを特徴とする装置。
  12. 被験者の脳表層のn箇所(nは以上の正の整数)の測定部位における血液中のヘモグロビン濃度を、近赤外分光法を利用して所定のサンプリング周期で時系列的にそれぞれ測定し、測定した前記ヘモグロビン濃度の時間的変化のデータに基づいて前記被験者の感性状態を判別する装置であって、
    前処理装置と判定装置とを備え、
    前記前処理装置は、
    感性に影響を与える複数種類の状況に対応して、前記被験者の前記n箇所の測定部位毎に測定したn個のヘモグロビン濃度の時間的変化のデータから、組み合わせにより選択したk(但しkはk=により求めた数)組の2つの異なる前記データに関して、所定の単位時間毎に相互相関係数 j,k (t)を下記の式で演算し、
    Figure 0004590555
    [但し上記式において、x j (τ)及びx k (τ)はそれぞれ組み合わされるチャンネルj及びkの時刻tにおける時間範囲τでの前記時間的変化のデータである]
    演算により求めた前記k組の2つの異なる前記データに関するk種類の相互相関係数の時間的変化のパターンをk種類のリファレンスデータとして予め収集するリファレンスデータ収集ステップと、
    前記リファレンスデータ収集ステップにより求めた前記k種類のリファレンスデータから、所定の判別法により前記被験者の感性状態を判別するのに必要な判定条件を求める判定条件決定ステップと、
    所定の状況下にある前記被験者の前記n箇所の測定部位毎に測定した前記ヘモグロビン濃度の時間的変化のデータから、組み合わせにより選択したk組の2つの異なる前記データに関して、前記単位時間毎に相互相関係数を上記式により演算し、演算により求めた前記k組の2つの異なる前記データに関するk種類の相互相関係数の時間的変化のパターンをk種類の評価用データとして収集する評価用データ収集ステップとを実行し、
    前記判定装置が、前記条件決定ステップで決定した前記判定条件と前記k種類の評価用データとを入力として、前記所定の判別法により前記被験者の前記感性状態を定量的に判別する判別ステップを実行することを特徴とする装置。
JP2005054004A 2004-09-02 2005-02-28 感性状態判別方法及び装置 Expired - Fee Related JP4590555B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005054004A JP4590555B2 (ja) 2004-09-02 2005-02-28 感性状態判別方法及び装置
PCT/JP2005/016037 WO2006025504A1 (ja) 2004-09-02 2005-09-01 感性状態判別方法
US11/681,388 US8235894B2 (en) 2004-09-02 2007-03-02 Emotional state determination method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004255250 2004-09-02
JP2005054004A JP4590555B2 (ja) 2004-09-02 2005-02-28 感性状態判別方法及び装置

Publications (3)

Publication Number Publication Date
JP2006095266A JP2006095266A (ja) 2006-04-13
JP2006095266A5 JP2006095266A5 (ja) 2008-04-10
JP4590555B2 true JP4590555B2 (ja) 2010-12-01

Family

ID=36000153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005054004A Expired - Fee Related JP4590555B2 (ja) 2004-09-02 2005-02-28 感性状態判別方法及び装置

Country Status (3)

Country Link
US (1) US8235894B2 (ja)
JP (1) JP4590555B2 (ja)
WO (1) WO2006025504A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102252728B (zh) 2007-01-17 2013-09-25 松下电器产业株式会社 流量测量设备以及流量测量方法
JP4861863B2 (ja) * 2007-03-09 2012-01-25 パナソニック株式会社 流量計測装置とこの装置のプログラム、流量計測方法および流体供給システム
JP5071850B2 (ja) * 2007-09-03 2012-11-14 国立大学法人長岡技術科学大学 認知状態判定装置
EP2335580A4 (en) * 2008-10-01 2015-03-04 Hitachi Medical Corp DEVICE FOR MEASURING BIOLOGICAL LIGHT AND POSITION DISPLAY METHOD FOR DISPLAYING LIGHT IRRADIATION POSITION AND LIGHT DETECTION POSITION, OR MEASURING CHANNEL
JP5150902B2 (ja) * 2009-10-23 2013-02-27 眞知子 福原 生体行動反応解析システム
US20120245443A1 (en) * 2009-11-27 2012-09-27 Hirokazu Atsumori Biological light measurement device
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
WO2012060039A1 (ja) 2010-11-02 2012-05-10 Necカシオモバイルコミュニケーションズ株式会社 情報処理システム、および情報処理方法
JP5382666B2 (ja) 2011-04-21 2014-01-08 学校法人 聖マリアンナ医科大学 濃度測定装置及び濃度測定方法
JP5280494B2 (ja) * 2011-07-13 2013-09-04 株式会社日立製作所 複数脳賦活観測システム
JP5898970B2 (ja) * 2012-01-20 2016-04-06 株式会社日立製作所 気分評価システム
CN104363948B (zh) * 2012-06-15 2016-08-24 株式会社日立制作所 刺激呈现系统
US9477993B2 (en) * 2012-10-14 2016-10-25 Ari M Frank Training a predictor of emotional response based on explicit voting on content and eye tracking to verify attention
WO2014076795A1 (ja) * 2012-11-15 2014-05-22 株式会社島津製作所 光生体計測装置
US10485467B2 (en) 2013-12-05 2019-11-26 Pst Corporation, Inc. Estimation device, program, estimation method, and estimation system
CN108882894A (zh) 2016-02-08 2018-11-23 纽洛斯公司 用于在零售环境中检测不可见人类情感的系统和方法
CN109069072B (zh) * 2016-02-08 2021-11-30 纽洛斯公司 欺骗检测系统和方法
JP6465077B2 (ja) * 2016-05-31 2019-02-06 トヨタ自動車株式会社 音声対話装置および音声対話方法
JP6742628B2 (ja) 2016-08-10 2020-08-19 国立大学法人広島大学 脳の島皮質活動抽出方法
JP6635899B2 (ja) * 2016-09-02 2020-01-29 株式会社日立製作所 理解度算出装置及び理解度算出方法
EP3369374A1 (en) * 2017-03-01 2018-09-05 Koninklijke Philips N.V. Method and apparatus for sending a message to a subject
CN107080543A (zh) * 2017-04-27 2017-08-22 北京师范大学 一种新型近红外实时脑皮质血氧信号采集装置
CN111386068B (zh) 2017-10-24 2023-05-30 纽洛斯公司 基于摄像机的压力测量系统与方法
US20210182663A1 (en) * 2019-12-17 2021-06-17 Sony Interactive Entertainment LLC Methods and systems for defining emotional machines
CN111403030B (zh) * 2020-02-27 2024-02-02 合创汽车科技有限公司 心理健康监测方法、装置、计算机设备和存储介质
CN114209319B (zh) * 2021-11-08 2024-03-29 华南理工大学 基于图网络及自适应去噪的fNIRS情绪识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09149894A (ja) * 1995-12-01 1997-06-10 Hitachi Ltd 光生体計測法を用いた生体入力装置および生体制御装置
JP2004049510A (ja) * 2002-07-19 2004-02-19 Hitachi Medical Corp 生体光計測装置
JP2004292981A (ja) * 2003-03-26 2004-10-21 Otsu Keori Co Ltd 寝装品用立毛生地の染色方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100191107B1 (ko) * 1990-11-06 1999-06-15 이데이 노부유끼 신호 처리 방법
JP3142376B2 (ja) * 1992-07-01 2001-03-07 浜松ホトニクス株式会社 心理状態測定装置
JPH06337852A (ja) 1993-05-31 1994-12-06 Hitachi Ltd ニューラルネットワークによる時系列予測方法
US5601090A (en) * 1994-07-12 1997-02-11 Brain Functions Laboratory, Inc. Method and apparatus for automatically determining somatic state
US5803909A (en) 1994-10-06 1998-09-08 Hitachi, Ltd. Optical system for measuring metabolism in a body and imaging method
JPH08212275A (ja) 1995-02-07 1996-08-20 Nishimu Denshi Kogyo Kk 波形相関分析方法、波形分類方法及び波形分類装置
JPH08235351A (ja) 1995-02-24 1996-09-13 Kokusai Electric Co Ltd フラクタルコーディング回路
US6240309B1 (en) * 1995-10-06 2001-05-29 Hitachi, Ltd. Optical measurement instrument for living body
JP4006826B2 (ja) 1998-04-28 2007-11-14 株式会社日立製作所 生体光計測装置
JP4076003B2 (ja) 1999-02-19 2008-04-16 株式会社日立製作所 生体光計測装置
JP4678976B2 (ja) * 2000-04-05 2011-04-27 株式会社日立メディコ 生体光計測装置
EP1327418B1 (en) 2000-10-16 2010-05-19 Hitachi Medical Corporation Organism optical measurement instrument
US6996261B2 (en) * 2001-01-30 2006-02-07 Decharms R Christopher Methods for physiological monitoring, training, exercise and regulation
JP3950634B2 (ja) * 2001-01-31 2007-08-01 株式会社日立製作所 生体光計測法を用いた遊戯装置
KR100580618B1 (ko) * 2002-01-23 2006-05-16 삼성전자주식회사 생리 신호의 단시간 모니터링을 통한 사용자 정서 인식장치 및 방법
KR100455289B1 (ko) 2002-03-16 2004-11-08 삼성전자주식회사 빛을 이용한 진단방법 및 장치
JP3916985B2 (ja) * 2002-03-26 2007-05-23 株式会社日立メディコ 生体光計測装置
US7206622B2 (en) 2002-11-01 2007-04-17 National Institute Of Information And Communications Technology Device to measure degree of acquisition and method for measuring degree of acquisition
JP2004184402A (ja) 2002-11-19 2004-07-02 Hitachi Ltd 生体光計測装置
JP3933568B2 (ja) 2002-12-18 2007-06-20 独立行政法人科学技術振興機構 脳機能計測装置
JP4285012B2 (ja) 2003-01-31 2009-06-24 株式会社日立製作所 学習状況判断プログラム及びユーザ状況判断システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09149894A (ja) * 1995-12-01 1997-06-10 Hitachi Ltd 光生体計測法を用いた生体入力装置および生体制御装置
JP2004049510A (ja) * 2002-07-19 2004-02-19 Hitachi Medical Corp 生体光計測装置
JP2004292981A (ja) * 2003-03-26 2004-10-21 Otsu Keori Co Ltd 寝装品用立毛生地の染色方法

Also Published As

Publication number Publication date
WO2006025504A1 (ja) 2006-03-09
JP2006095266A (ja) 2006-04-13
US20070202477A1 (en) 2007-08-30
US8235894B2 (en) 2012-08-07

Similar Documents

Publication Publication Date Title
JP4590555B2 (ja) 感性状態判別方法及び装置
JP2006095266A5 (ja)
EP0699413B1 (en) Apparatus and method for analyzing information relating to physical and mental condition
Karthikeyan et al. Detection of human stress using short-term ECG and HRV signals
JP4243605B2 (ja) 自律神経検査装置
DE60304539T2 (de) Gerät und Verfahren zur Messung der örtlichen Hautimpedanz mit einer Mehrfachelektrodenanordnung
Saidatul et al. Analysis of EEG signals during relaxation and mental stress condition using AR modeling techniques
Hoyer et al. Mutual information function assesses autonomic information flow of heart rate dynamics at different time scales
CN111466876B (zh) 一种基于fNIRS和图神经网络的阿尔兹海默症辅助诊断系统
KR100846397B1 (ko) 대뇌 피질에서의 뉴론 손상도 평가 방법 및 장치
JPH07265275A (ja) 脳活動自動判定装置
SG177703A1 (en) System and method for patient monitoring
KR20150029969A (ko) 뇌파 측정을 이용한 감성상태 분류 방법
CN106974660B (zh) 基于脑功能活动检测中的血氧特征实现性别判定的方法
Hayashi et al. Prediction of individual finger movements for motor execution and imagery: An EEG study
Richfield et al. Review of quantitative and automated needle electromyographic analyses
CN114027842A (zh) 一种抑郁症客观筛查系统、方法及装置
JP3933568B2 (ja) 脳機能計測装置
Niu et al. Permutation fuzzy entropy—An index for the analysis of epileptic electroencephalogram
CN115017996A (zh) 一种基于多生理参数的脑力负荷预测方法和系统
WO2004066832A2 (en) System and method of processing electromyographic signals for the diagnosis of parkinson’s disease
JP7444003B2 (ja) 気分障害測定装置および気分障害測定方法
Chandra et al. Classification of Electroencephalography for Neurobiological Spectrum Disorder Diagnosis
Yin et al. Intelligent classification for emotional issues by deep learning network on EEG signal processing
KR20150128018A (ko) 뇌-컴퓨터 인터페이스 시스템 기반의 인지 뉴로 피드백 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Ref document number: 4590555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees