JP6665777B2 - 感情推定装置、感情推定方法及び感情推定プログラムを記憶する記録媒体 - Google Patents

感情推定装置、感情推定方法及び感情推定プログラムを記憶する記録媒体 Download PDF

Info

Publication number
JP6665777B2
JP6665777B2 JP2016523127A JP2016523127A JP6665777B2 JP 6665777 B2 JP6665777 B2 JP 6665777B2 JP 2016523127 A JP2016523127 A JP 2016523127A JP 2016523127 A JP2016523127 A JP 2016523127A JP 6665777 B2 JP6665777 B2 JP 6665777B2
Authority
JP
Japan
Prior art keywords
emotion
biological information
change
information pattern
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016523127A
Other languages
English (en)
Other versions
JPWO2015182077A1 (ja
Inventor
中島　嘉樹
嘉樹 中島
充 仙洞田
充 仙洞田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2015182077A1 publication Critical patent/JPWO2015182077A1/ja
Application granted granted Critical
Publication of JP6665777B2 publication Critical patent/JP6665777B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0295—Measuring blood flow using plethysmography, i.e. measuring the variations in the volume of a body part as modified by the circulation of blood therethrough, e.g. impedance plethysmography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4029—Detecting, measuring or recording for evaluating the nervous system for evaluating the peripheral nervous systems
    • A61B5/4035—Evaluating the autonomic nervous system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Neurology (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Pulmonology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Hematology (AREA)
  • Neurosurgery (AREA)

Description

本発明は、感情を推定する技術に関し、特に、生体情報を用いて感情を推定する技術に関する。
被験者の感情を推定する方法として、体温、心拍数、肌表面の導通性、呼吸頻度、血流量等の自律神経の動作を反映する生体情報を手掛かりとして用いる方法が広く知られている。一般に、生体情報によって被験者の感情を推定する場合、被験者に特定の感情を誘発する刺激が動画、音楽、絵等の方法によって与えられる。そして、その際の被験者の生体情報の値が記録される。感情推定装置は、記録された生体情報の値に基づき、教師あり機械学習の手法によって、特定の感情に伴う生体情報の値の組み合わせ（すなわち生体情報パターン）を学習する。感情推定装置は、学習の結果に基づき、感情を推定する。
しかし、生体情報の絶対値には個人差がある。例えば、安静時の体温、及び心拍数は、個人によって異なる。そのため、教師あり学習の手法を用いた学習に使用された生体情報が記録された被験者と、感情が推定される被験者が異なる場合、上述の感情推定装置は、必ずしも精度の高い推定を行えない。そのような教師あり学習の手法を用いた感情推定装置を汎用化する技術（すなわち、そのような感情推定装置を、特定のユーザに限らず、例えば不特定多数のユーザに適応可能にする技術）が、例えば非特許文献１及び２に開示されている。非特許文献１及び２に開示されている技術では、特定の感情に伴う生体情報の絶対値ではなく、安静時から、特定の感情を誘発する刺激を与えた時にかけての生体情報パターンの変化（相対値）が計測される。
また、生体情報の絶対値の安静時からの変化ではなく、生体情報の特徴量の変化に基づき、感情を識別する技術の例が、特許文献１に開示されている。特許文献１に記載されている感情検出装置では、生体情報の特徴量の変化のパターンと感情とが関連付けられた情報が、感情データベースにあらかじめ記憶されている。特許文献１に記載されている例では、生体情報の特徴量の変化は、被験者が発する音声の、単語内における、強度、テンポ、及び抑揚の変化である。感情検出装置は、感情データベースに記憶されている情報において、検出された生体情報の特徴量の変化のパターンに関連付けられている感情が、その生体情報が検出された被験者の感情であると推定する。
特開２００２−０９１４８２号公報
Rosalind W. Picard, Elias Vyzas and Jennifer Healey, "Toward Machine Emotional Intelligence: Analysis of Affective Physiological State," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No. 10, pp. 1175-1192, 2001 Jonghwa Kim and Elisabeth Andre, "Emotion Recognition Based on Physiological Changes in Music Listening," IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 30, NO. 12, PP. 2067-2083, DECEMBER 2008
感情を推定する手がかりとして用いられる生体情報には、自律神経の動作が反映される。そのため、被験者が安静にしている時であっても、生体情報は、自律神経の動作（たとえば、消化吸収や体温調整など）に応じて変動する。また、安静にしているよう被験者に指示した場合であっても、被験者が特定の感情を持っている可能性がある。そのため、一般的な方法として知られている、ベースラインと見なされる安静時からの生体情報パターンの変化を手掛かりに感情を推定する方法には限界がある。言い換えると、安静時における被験者の生体情報は、常に同一であるとは限らない。さらに、安静時における被験者の感情も、常に同一であるとは限らない。従って、感情推定の基準が安静時において得られる生体情報である場合、基準の変動を排除することは困難である。したがって、非特許文献１及び２に記載されている、安静時における生体情報を基準に感情を推定する方法によって、精度よく感情を推定できるとは限らない。
また、特許文献１に記載されている感情検出装置では、生体情報の特徴量の変化のパターンと、特定の感情から別の特定の感情への変化とを関連付けている。しかし、変化前（基準となる感情）と、変化後（識別対象の感情）の組み合わせについて、全てのあり得る組み合わせを網羅する方法が記載されていない。特許文献１の方法で、ある識別対象の感情を確実に識別したいとき、基準となる感情は、識別対象の感情以外のすべての感情でなければならない。このため、特許文献１に記載されている感情検出装置は、必ずしも全ての感情を精度よく識別できるとは限らない。
本発明の目的の一つは、感情推定の基準が変動することによる感情の識別精度の低下を抑制することができる感情推定装置等を提供することにある。
本発明の一態様に係る感情推定装置は、複数の感情のうち異なる２つの感情の、複数の組み合わせに対して得られた、前記２つの感情の一方である第１の感情を誘発する刺激が与えられている状態で被験者からセンシング手段によって計測された生体情報と、当該生体情報が計測された後に前記２つの感情の他方である第２の感情を誘発する刺激が与えられている状態で計測された前記生体情報との差を表す生体情報パターン変化量を、前記第２の感情に基づき分類する分類手段と、前記生体情報パターン変化量が分類された結果に基づき、前記生体情報パターン変化量と、当該生体情報パターン変化量が得られた場合の前記第２の感情としての前記複数の感情の各々との関係を学習する学習手段と、を備える。
本発明の一態様に係る感情推定方法は、複数の感情のうち異なる２つの感情の、複数の組み合わせに対して得られた、前記２つの感情の一方である第１の感情を誘発する刺激が与えられている状態で被験者からセンシング手段によって計測された生体情報と、当該生体情報が計測された後に前記２つの感情の他方である第２の感情を誘発する刺激が与えられている状態で計測された前記生体情報との差を表す生体情報パターン変化量を、前記第２の感情に基づき分類し、前記生体情報パターン変化量が分類された結果に基づき、前記生体情報パターン変化量と、当該生体情報パターン変化量が得られた場合の前記第２の感情としての前記複数の感情の各々との関係を学習する。
本発明の一態様に係る記録媒体は、コンピュータを、複数の感情のうち異なる２つの感情の、複数の組み合わせに対して得られた、前記２つの感情の一方である第１の感情を誘発する刺激が与えられている状態で被験者からセンシング手段によって計測された生体情報と、当該生体情報が計測された後に前記２つの感情の他方である第２の感情を誘発する刺激が与えられている状態で計測された前記生体情報との差を表す生体情報パターン変化量を、前記第２の感情に基づき分類する分類手段と、前記生体情報パターン変化量が分類された結果に基づき、前記生体情報パターン変化量と、当該生体情報パターン変化量が得られた場合の前記第２の感情としての前記複数の感情の各々との関係を学習する学習手段と、して動作させる感情推定プログラムを記憶する。本発明は、上述の記録媒体が記憶する感情推定プログラムによっても実現可能である。
本発明には、感情推定の基準が変動することによる感情の識別精度の低下を抑制することができるという効果がある。
図１は、比較例に係る感情推定システム２０１の構成の例を表すブロック図である。 図２は、比較例の感情推定装置１０１の構成の例を表すブロック図である。 図３は、学習フェーズにおける、比較例の感情推定システム２０１の構成の例を表すブロック図である。 図４は、学習フェーズにおける、比較例の感情推定装置１０１の構成の例を表すブロック図である。 図５は、学習フェーズにおける、比較例の感情推定装置１０１の構成の例を表す第２のブロック図である。 図６は、分類された感情の例を表す図である。 図７は、推定フェーズにおける、比較例の感情推定システム２０１の構成の例を表すブロック図である。 図８は、推定フェーズにおける、比較例の感情推定装置１０１の構成の例を表すブロック図である。 図９は、学習フェーズにおける、比較例の感情推定システム２０１の動作の例を表すフローチャートである。 図１０は、比較例の感情推定システム２０１の、生体情報パターンの変化量を抽出する処理の動作の例を表すフローチャートである。 図１１は、学習フェーズにおける、比較例の感情推定装置１０１の第１の動作の例を表すフローチャートである。 図１２は、学習フェーズにおける、比較例の感情推定装置１０１の第２の動作の例を表すフローチャートである。 図１３は、判定フェーズにおける、比較例の感情推定システム２０１の動作の例を表すフローチャートである。 図１４は、判定フェーズにおける、比較例の感情推定装置１０１の動作の例を表す図である。 図１５は、本発明の第１の実施形態の感情推定システム２の構成の例を表すブロック図である。 図１６は、学習フェーズにおける、本発明の第１の実施形態の感情推定システム２の構成の例を表すブロック図である。 図１７は、推定フェーズにおける、本発明の第１の実施形態の感情推定システム２の構成の例を表すブロック図である。 図１８は、本発明の第１の実施形態の感情推定装置１の構成の例を表すブロック図である。 図１９は、学習フェーズにおける、本発明の第１の実施形態の感情推定装置１の構成の例を表す第１のブロック図である。 図２０は、学習フェーズにおける、本発明の第１の実施形態の感情推定装置１の構成の例を表す第２のブロック図である。 図２１は、本発明の第１の実施形態の第１の分布形成部１１、合成部１２、及び第２の分布形成部１３の処理を模式的に表す図である。 図２２は、推定フェーズにおける、本発明の第１の実施形態の感情推定装置１の構成の例を表すブロック図である。 図２３は、学習フェーズにおける、本発明の第１の実施形態の感情推定システム２の動作の例を表すフローチャートである。 図２４は、本発明の第１の実施形態の感情推定システム２による、生体情報パターンの相対値を抽出する処理の動作の例を表すフローチャートである。 図２５は、学習フェーズにおける、本発明の第１の実施形態の感情推定装置１の動作の例を表す第１のフローチャートである。 図２６は、学習フェーズにおける、本発明の第１の実施形態の感情推定装置１の動作の例を表す第１のフローチャートである。 図２７は、推定フェーズにおける、本発明の第１の実施形態の感情推定システム２の動作の例を表すフローチャートである。 図２８は、推定フェーズにおける、本発明の第１の実施形態の感情推定装置１の動作の例を表すフローチャートである。 図２９は、比較例における特徴空間の１次元部分空間におけるパターンを模式的に表す図である。 図３０は、本発明の第１の実施形態の特徴空間の１次元部分空間におけるパターンを模式的に表す図である。 図３１は、本発明の第１の実施形態における各感情において得られる生体情報パターンの変化量の分布を模式的に表す図である。 図３２は、感情の分類の例を表す図である。 図３３は、本発明の第２の実施形態の感情推定装置１Ａの構成を表すブロック図である。 図３４は、感情推定装置１、感情推定装置１Ａ、感情推定システム２を実現することができる、コンピュータ１０００の構成の一例を表すブロック図である。
以下、本発明の実施の形態を詳細に説明する。但し、以下に述べる実施の形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。
まず、安静時からの生体情報の変化に基づく比較例と本発明の実施の形態との差異が明らかになるように、比較例について説明する。次に、本発明の実施の形態について説明する。
＜比較例＞
図１は、比較例に係る感情推定システム２０１の構成の例を表すブロック図である。
図１を参照すると、感情推定システム２０１は、センシング部２２０と、生体情報処理部２２１と、感情入力部２２２と、感情推定装置１０１と、出力部２２３とを含む。図１に示す例では、感情推定システム２０１は、感情推定装置１０１を含む１つの装置として描かれている。しかし、感情推定システム２０１は、複数の装置を使用して実現されていてもよい。例えば、感情推定システム２０１は、センシング部２２０と、生体情報処理部２２１と、感情入力部２２２と、出力部２２３とを含む計測装置（図示されない）と、感情推定装置１０１とを使用して実現されていてもよい。その場合、計測装置と感情推定装置１０１は、通信可能に接続されていればよい。
センシング部２２０は、被験者の、複数の種類の生体情報を計測する。生体情報は、例えば、体温、単位時間当たりの脈拍数、単位時間当たりの呼吸の回数、肌表面の導電性、及び血圧などである。生体情報は、他の情報であってもよい。センシング部２２０は、被験者の皮膚に接触した状態で生体情報を計測する接触型センシング装置と、被験者の皮膚に接触しない状態で生体情報を計測する非接触型センシング装置との、いずれか一方又は双方の組み合わせによって実現される。接触型センシング装置は、例えば、皮膚表面に貼りつけるタイプの体温センサ、肌表面導通性測定センサ、脈拍センサ、及び、腹部または胸部に巻きつけるタイプの呼吸センサ等である。非接触型センシング装置は、例えば、赤外線カメラによる体温センサ、及び、光学カメラによる脈拍センサ等である。接触型センシング装置には、詳細で精度が高いデータを採取できるという利点がある。非接触型センシング装置には、装置を肌表面に貼りつけたり、装置を胴に巻いたりする必要がないので、被験者の負担が少ないという利点がある。以下の説明において、生体情報の計測によって得られる、生体情報を表すデータを、「生体情報データ」とも表記される。
生体情報処理部２２１は、センシング部２２０によって計測された生体情報のデータから、生体情報を表す特徴量を抽出する。生体情報処理部２２１は、まず、ノイズの除去を行ってもよい。生体情報処理部２２１は、例えば、時間に応じて変動する生体情報のデータから、特定の波長帯域における波形を抽出してもよい。生体情報処理部２２１は、ノイズの除去や、例えば周期的に変化する生体情報のデータ値から特定の波長のデータの抽出を行うバンドパスフィルタを含んでいてもよい。生体情報処理部２２１は、例えば、特定の時間幅の中での生体情報の平均値、及び、標準偏差等の統計量を抽出する演算処理部を含んでいてもよい。具体的には、生体情報処理部２２１は、例えば、体温、心拍数、肌表面の導通性、呼吸頻度、及び、血流量等の生体情報の生データから、例えば、特定の波長成分や、平均値及び標準偏差等の統計量等の特徴量を抽出する。抽出された特徴量は、感情推定装置１０１によって機械学習に用いられる。以下の説明において、感情推定装置１０１が使用する全ての特徴量の組み合わせを「生体情報パターン」と表記する。生体情報パターンに含まれる全ての特徴量によって張られる空間を「特徴空間」と表記する。生体情報パターンは特徴空間の一点を占める。
例えば、まず、生体情報処理部２２１は、被験者の状態が安静状態である間に計測された生体情報データから生体情報パターンを抽出する。以下の説明において、被験者の状態が安静状態である間に計測された生体情報データから抽出された生体情報パターンを、「安静時パターン」とも表記する。被験者が安静状態である間を「安静時」とも表記する。生体情報処理部２２１は、例えば、実験者からの指示に基づき、被験者の状態が安静状態である間に計測された生体情報データを特定すればよい。生体情報処理部２２１は、例えば、計測の開始から所定時間の間に計測された生体情報を、被験者の状態が安静状態である間に計測された生体情報データとしてもよい。
生体情報処理部２２１は、さらに、感情を誘発する刺激が被験者に与えられている状態において計測された生体情報データから生体情報パターンを抽出する。以下の説明において、感情を誘発する刺激が被験者に与えられている状態において計測された生体情報データから抽出された生体情報パターンを、「刺激時パターン」とも表記する。生体情報処理部２２１は、例えば、実験者からの指示に基づき、感情を誘発する刺激が被験者に与えられている状態において計測された生体情報データを特定すればよい。生体情報処理部２２１は、生体情報パターンの変化を検出してもよい。そして、生体情報処理部２２１は、検出された変化より前に計測された生体情報パターンを、被験者の状態が安静状態である間に計測された生体情報データとしてもよい。さらに、生体情報処理部２２１は、検出された変化より後に計測された生体情報パターンを、感情を誘発する刺激が被験者に与えられている状態において計測された生体情報データとしてもよい。
生体情報処理部２２１は、安静時パターンと刺激時パターンとを、感情推定装置１０１に送信してもよい。その場合、例えば、感情推定装置１０１の受信部１１６が、安静時パターンから刺激時パターンへの変化を表す、後述の、生体情報パターンの相対値を算出すればよい。生体情報処理部２２１が、生体情報パターンの相対値を算出してもよい。そして、生体情報処理部２２１は、生体情報パターンの相対値を感情推定装置１０１に送信してもよい。以下の説明では、生体情報処理部２２１が、生体情報パターンの相対値を算出し、算出した生体情報パターンの相対値を感情推定装置１０１に送信する。
感情推定装置１０１は、以下の説明のように教師あり機械学習を行う装置である。感情推定装置１０１には、導出された生体情報パターンと、その生体情報パターンが導出された生体情報データが計測された時に被験者に与えられていた刺激が誘発する感情との組み合わせが、例えば繰り返し入力される。感情推定装置１０１には、あらかじめ繰り返し取得された、生体情報パターンと感情との複数の組み合わせが、まとめて入力されてもよい。感情推定装置１０１は、入力された、生体情報パターンと感情との組み合わせに基づいて生体情報パターンと感情との関係を学習し、学習の結果を記憶する（学習フェーズ）。感情推定装置１０１は、更に、生体情報パターンを入力されると、学習の結果に基づき、入力された生体情報パターンの相対値が得られる場合における被験者の感情を推定する（推定フェーズ）。
感情入力部２２２は、学習フェーズにおいて、例えば実験者が、感情推定装置１０１に感情情報を入力する装置である。感情入力部２２２は、例えば、キーボード、マウス等の、一般的な入力装置である。出力部２２３は、推定フェーズにおいて、感情推定装置１０１が、感情推定の結果を出力する装置である。出力部２２３は、ディスプレイ等の一般の出力装置であってもよい。出力部２２３は、感情推定の結果に応じて動作する、家庭用電気機器、自動車等の機械であってもよい。実験者は、例えば、感情入力部２２２を操作することによって、感情推定システム２０１に感情を特定するデータ値を入力する。感情入力部２２２は、実験者が入力したデータ値によって特定される感情を表す感情情報を、感情推定装置１０１に送信する。感情情報は、例えば、感情を特定する感情識別子である。本比較例及び本発明の各実施形態の説明において、感情を特定するデータ値を入力することを、「感情を入力する」とも表記する。感情情報を送信することを、「感情を送信する」とも表記する。
被験者の感情の状態は、与えられる刺激に応じて、様々に変化する。感情の状態は、その特徴に応じて、感情の状態の集合に分類することができる。また、本比較例及び本発明の各実施形態では、感情は、例えば、被験者の感情の状態が分類された集合を表す。被験者に与えられる「感情を誘発する刺激」は、例えば、その刺激を与えられた被験者の感情の状態が、その感情が表す集合に含まれる状態になる可能性が高いことが、あらかじめ、例えば実験的に、知られている刺激であればよい。被験者の感情の状態が分類された集合については、後で詳細に説明する。実験者は、あらかじめ定められた複数の感情から適切な感情を選択すればよい。実験者は、選択した感情を入力すればよい。
図２は、本比較例の感情推定装置１０１の構成の例を表すブロック図である。図２を参照すると、感情推定装置１０１は、受信部１１６と、計測データ記憶部１１７と、分類部１１０と、学習部１１８と、学習結果記憶部１１４と、感情推定部１１５とを含む。
次に、学習フェーズにおける感情推定システム２０１及び感情推定装置１０１について、図面を参照して詳細に説明する。学習フェーズにおいて生体情報が計測される被験者は、特定の被験者に限定されない。感情推定システム２０１を操作する実験者は、例えば、特定の被験者に限定されない多数の被験者の生体情報を計測すればよい。
図３は、学習フェーズにおける感情推定システム２０１の構成の例を表すブロック図である。学習フェーズにおいて、実験者は、被験者に刺激を与えない状態で、感情推定システム２０１のセンシング部２２０によって、被験者の生体情報の計測を始める。実験者は、感情推定システム２０１を構築したシステム構築者であってもよい。実験者自身が被験者であってもよい。実験者は、被験者に対して安静にする指示を与えてから、被験者の生体情報の計測を始めてもよい。計測の開始後、実験者は、被験者に対して、特定の感情を誘発する刺激を与える。刺激は、例えば、音声や映像である。実験者は、更に、感情入力部２２２を介して、被験者に与えている刺激が誘発する感情を、感情推定装置１０１に入力する。被験者に与えている刺激が誘発する感情は、例えば、被験者に与えられている刺激によって、その被験者に誘発されること、又は、その被験者に誘発される可能性が高いことが実験的に確かめられている感情である。感情入力部２２２は、実験者が入力した感情を表す感情情報を、感情推定装置１０１に送信する。以上の操作によって、センシング部２２０は、被験者の状態が、被験者が安静にしている状態から、刺激が与えられることによって被験者に特定の感情が誘発されている状態になるまでの間の、生体情報を測定する。すなわち、センシング部２２０は、被験者の状態が安静状態から特定の感情を持っている状態に変化した場合における、生体情報の測定値（すなわち生体情報データ）の変化量（すなわち相対値）を取得することができる。生体情報処理部２２１は、センシング部２２０が取得した生体情報データを処理することによって、生体情報パターンの変化量（すなわち相対値）を導出する。生体情報処理部２２１は、生体情報パターンの相対値を、感情推定装置１０１に入力する。
図４は、学習フェーズにおける感情推定装置１０１の構成の例を表すブロック図である。図４は、学習フェーズにおいて、生体情報パターンの変化量と、感情情報とを受信する場合における感情推定装置１０１の構成を表す。
学習フェーズにおいて、受信部１１６は、被験者に与えられる刺激が誘発する感情を表す感情情報と、その刺激を被験者に与えることによって得られた生体情報パターンの相対値とを受信する。学習フェーズにおいて、受信部１１６は、受信した、感情情報が表す感情を生体情報パターンの相対値に関連付ける。そして、受信部１１６は、感情が関連付けられた生体情報パターンの相対値を、例えば計測データ記憶部１１７に格納する。あるいは、受信部１１６は、感情が関連付けられた生体情報パターンの相対値を、分類部１１０に送信してもよい。
図５は、学習フェーズにおける感情推定装置１０１の構成の例を表す第２のブロック図である。図５は、学習フェーズにおいて、感情情報に関連付けられた生体情報パターンの変化量に基づき、教師付き機械学習を行う場合における感情推定装置１０１の構成を表す。
分類部１１０は、以下で説明するように、計測データ記憶部１１７に格納されている生体情報パターンの相対値を、関連付けられている感情が同じ感情クラスに属する生体情報パターンの相対値のグループに分類する。
本比較例及び本発明の各実施形態では、実験者によって入力される感情は、例えば、あらかじめ定められた複数の感情から選択される。すなわち、生体情報パターンの相対値に関連付けられている感情は、あらかじめ定められた複数の感情から選択された感情である。
それらの複数の感情の各々は、例えば、その感情が属する、１つ以上の、感情のクラスによって特徴付けられる。本比較例及び本発明の各実施形態の説明において、感情のクラスは、単に「クラス」とも表記される。そして、１つ以上のクラスの組は、「感情クラス」とも表記される。感情クラスは、例えば、特徴に応じて分類された感情の状態の集合である。感情の状態は、例えば、１つの軸に対して複数のクラスのうちのいずれかに分類される。軸は、例えば、感情の状態の特徴を評価する観点を表す。感情の状態は、各軸において、他の軸とは独立に分類されていればよい。以下の説明では、１つの軸において分類されるクラスを、「基本クラス」とも表記する。基本クラスは、感情クラスの１つである。異なる複数の軸における、基本クラスの積集合も、感情クラスの１つである。
本比較例及び本発明の各実施形態では、複数の感情の各々は、例えば、定義されている全ての軸における基本クラスの積集合である。従って、複数の感情の各々は、その感情が属する全ての基本クラスによって表される。複数の感情の各々も、感情クラスである。被験者の感情の状態が含まれる基本クラスを、定義されている全ての軸において特定することによって、被験者の感情（すなわち、被験者の感情の状態が含まれる感情）は特定される。各軸において感情の状態の特徴を評価した結果を数値として表現した場合、軸は座標軸に相当する。その場合、原点が、安静時の被験者の感情を表す。
以下の本比較例及び本発明の各実施形態では、具体的な例として、軸の数は２である例について説明する。２つの軸は、α又はβによって表される。そして、１つの軸あたりのクラスの数は２である。軸αに関するクラス（すなわち、軸αの基本クラス）は、α１及びα２である。軸βに関するクラス（すなわち、軸βの基本クラス）は、β１及びβ２である。各感情は、α１又はα２に分類される。さらに、各感情は、α１又はα２への分類とは独立に、β１又はβ２に分類される。言い換えると、各感情は、α１又はα２に含まれる。さらに、各感情は、β１又はβ２にも含まれる。各感情は、その感情が含まれる軸αに関するクラス及び軸βに関するクラスによって特定される。すなわち、各感情は、軸αに関するクラス及び軸βに関するクラスによって表すことができる。この場合、これらのクラスによって、４つの感情を表すことができる。感情の軸及びクラスは、例えば、システムの構築者や、実験者によって、あらかじめ定められていればよい。
図６は、分類された感情の例を表す図である。図６では、縦軸が軸αに相当する。上半分の感情が、クラスα１に分類される。下半分の感情が、クラスα２に分類される。横軸は軸βに相当する。右半分の感情が、クラスβ１に分類される。左半分の感情が、クラスβ２に分類される。図６に示す例では、感情Ａが、α１及びβ１に含まれる。感情Ｂは、α１及びβ２に含まれる。感情Ｃは、α２及びβ１に含まれる。感情Ｄは、α２及びβ２に含まれる。前述のように、感情は、その感情が含まれるクラスによって表される。例えば、感情Ａは、α１及びβ１によって表される。
分類部１１０は、例えば、あらかじめ定められている複数の感情クラスから、一つの感情クラスを選択する。この感情クラスは、例えば、１つ以上の基本クラスによって定まる感情クラスである。この複数のクラスは、定義されている全ての基本クラスであってもよい。この複数の感情クラスは、定義されている全ての感情であってもよい。分類部１１０は、例えば、計測データ記憶部１１７に格納されている生体情報パターンの相対値から、選択された感情クラスに含まれる感情に関連付けられている生体情報パターンの相対値を全て抽出する。分類部１１０は、あらかじめ定められている複数の感情クラスを選択するまで、感情クラスの選択と、選択された感情クラスに含まれる感情に関連付けられている生体情報パターンの相対値の抽出を繰り返せばよい。分類部１１０は、同じ生体情報パターンの相対値を複数回選択してもよい。
以上により、分類部１１０は、計測データ記憶部１１７に格納されている生体情報パターンの相対値を、関連付けられている感情が同じ感情クラスに属する生体情報パターンの相対値のグループに分類する。一つの生体情報パターンの相対値が、複数のグループに含まれていてもよい。以下の説明において、「グループに関連する感情クラス」は、グループに含まれる生体情報パターンの相対値に関連付けられている感情が属する感情クラスを指す。
分類部１１０は、例えば、感情クラス毎に、感情クラスと、抽出した生体情報パターンの相対値とを、学習部１１８に送信すればよい。すなわち、分類部１１０は、グループ毎に、グループに関連する感情クラスと、そのグループに含まれる生体情報パターンの相対値とを、学習部１１８に送信すればよい。分類部１１０は、例えば、選択した感情クラスを特定するクラス識別子と、選択した生体情報パターンの相対値とを、学習部１１８に送信すればよい。
図６に示す例では、分類部１１０は、例えば、感情Ａ、感情Ｂ、感情Ｃ、及び感情Ｄから、順次一つの感情を選択してもよい。その場合、分類部１１０は、選択した感情に関連付けられている生体情報パターンの相対値を選択すればよい。分類部１１０は、例えば、α１、α２、β１、及びβ２から、順次一つのクラスを選択してもよい。その場合、分類部１１０は、選択したクラスに属する感情に関連付けられている生体情報パターンの相対値を選択すればよい。例えば、α１が選択されている場合、分類部１１０は、感情Ａ又は感情Ｂに関連付けられている生体情報パターンの相対値を選択すればよい。
学習部１１８は、受信したクラス及び生体情報パターンの相対値に基づき、教師あり機械学習の手法によって、学習を行う。学習部１１８は、学習の結果を、学習結果記憶部１１４に格納する。学習部１１８は、例えば、受信した感情クラス及び生体情報パターンの相対値に基づき、受信した感情クラスの確率密度分布を導出すればよい。学習部１１８は、受信したクラスの確率密度分布を、学習結果として、その感情クラスに関連付けて学習結果記憶部１１４に格納すればよい。
生体情報処理部２２１によって抽出される特徴量の個数がｄ個である場合、生体情報パターンの相対値は、ｄ次元特徴空間におけるベクトルによって表される。学習部１１８は、受信した生体情報パターンの相対値が表すベクトルを、その生体情報パターンの相対値に関連付けられている感情クラス毎に、原点がベクトルの始点であるように、ｄ次元特徴空間にプロットする。学習部１１８は、ｄ次元特徴空間にプロットされたベクトルの終点の分布に基づき、感情クラス毎に、生体情報パターンの相対値が表すベクトルの確率密度分布を推定する。前述のように、学習部１１８が受信する生体情報パターンの相対値に関連付けられている感情クラスは、例えば感情である。学習部１１８が受信する生体情報パターンの相対値に関連付けられている感情クラスは、例えば、基本クラスであってもよい。
学習部１１８が受信する生体情報パターンの相対値に関連付けられている感情クラスが感情である場合、学習部１１８は、あらかじめ定められている全ての感情から、１つの感情を選択する。選択された感情が例えば感情Ａである場合、学習部１１８は、感情Ａに関連付けられている生体情報パターンの相対値を表すベクトルの終点の、ｄ次元特徴空間における終点の分布を生成する。感情Ａに関連付けられている生体情報パターンの相対値は、被験者の状態が安静な状態から感情Ａが誘発された状態に変化した場合における、特徴量の変化を表す。感情Ａに関連付けられている生体情報パターンの相対値を表すベクトルの終点の、ｄ次元特徴空間における終点の分布は、被験者の状態が安静な状態から感情Ａが誘発された状態に変化した場合における、特徴量の変化の分布である。
学習部１１８は、さらに、生成した分布に基づき、被験者の状態が安静な状態から感情Ａが誘発された状態に変化した場合における、生体情報パターンの相対値の確率密度分布を推定する。以下の本比較例の説明において、被験者の状態が安静な状態から感情Ａが誘発された状態に変化した場合における、生体情報パターンの相対値の確率密度分布を、「感情Ａの確率密度分布」と表記する。
学習部１１８は、感情Ａの確率密度分布を、学習結果記憶部１１４に格納する。学習結果記憶部１１４に格納される確率密度分布の形式は、ｄ次元のベクトルと確率とが関連付けられている形式であれば、さまざまな形式が可能である。例えば、学習部１１８は、ｄ次元特徴空間を、所定サイズのメッシュに分割し、メッシュ毎に確率を算出する。学習部１１８は、算出された確率を、メッシュの識別子と感情とに関連付けて、学習結果記憶部１１４に格納すればよい。
学習部１１８は、例えば、あらかじめ定められている感情が全て選択されるまで、順次１つの感情を選択しながら、分布の生成とその分布に基づく確率密度分布の推定を繰り返す。例えば、感情Ａの他に、感情Ｂ、感情Ｃ、及び感情Ｄが存在する場合、学習部１１８は、感情Ａの確率密度分布の推定と同様に、感情Ｂ、感情Ｃ、及び感情Ｄの確率密度分布を順次推定する。学習部１１８は、推定した確率密度分布を、感情に関連付けて、学習結果記憶部１１４に格納する。
各感情の確率密度分布の推定が高い精度で行われれば、未知の感情に紐付く生体情報データ（テストデータと呼ばれる）が計測された際の被験者の感情を高い精度で推定することが可能となる。以下の説明において、生体情報データが、感情Ｘを誘発する刺激が被験者に与えられている場合に計測された生体情報データであることを、「生体情報データが感情Ｘに属する」と表記する。生体情報パターンの相対値が、感情Ｘを誘発する刺激が被験者に与えられている場合に計測された生体情報データから導出された生体情報パターンの相対値であることを、「生体情報パターンの相対値が感情Ｘに属する」と表記する。さらに、特徴ベクトルｘが、被験者に誘発されている感情が感情Ｘである場合に計測された生体情報データから導出された生体情報パターンの相対値を表すことを、「特徴ベクトルｘが感情Ｘに属する」と表記する。
次に、推定フェーズにおける、本比較例の感情推定システム２０１について説明する。
図７は、推定フェーズにおける感情推定システム２０１の構成の例を表すブロック図である。図７を参照すると、推定フェーズでも、実験者は、安静な状態である被験者に刺激を与える。推定フェーズでは、センシング部２２０及び生体情報処理部２２１は、学習フェーズと同様に動作する。センシング部２２０は、状態が安静な状態から刺激によって感情が誘発された状態に変化する被験者の生体情報を計測する。生体情報処理部２２１は、センシング部２２０から、生体情報の計測結果を表す生体情報データを受信する。生体情報処理部２２１は、学習フェーズと同様に、受信した生体情報データから、安静時パターンと刺激時パターンとを抽出する。生体情報処理部２２１は、生体情報パターンの相対値を、感情推定装置１０１に送信する。
また、推定フェーズでは、実験者は、感情を入力しない。そして、推定フェーズでは、感情入力部２２２は、感情推定装置１０１に感情情報を送信しない。
図８は、推定フェーズにおける感情推定装置１０１の構成の例を表すブロック図である。図８を参照すると、受信部１１６は、生体情報パターンの相対値を受信する。推定フェーズにおいて、受信部１１６は、感情情報を受信しない。推定フェーズにおいて、受信部１１６は、生体情報パターンの相対値を、感情推定部１１５に送信する。受信部１１６は、生体情報パターンの相対値のみを受信し、感情情報を受信しない場合に、推定フェーズにおける動作（すなわち、感情推定部１１５への生体情報パターンの送信）を行ってもよい。受信部１１６は、生体情報パターンの相対値と感情情報とを受信した場合に、学習フェーズにおける動作（すなわち、計測データ記憶部１１７への生体情報パターンの相対値の格納）を行ってもよい。
感情推定部１１５は、学習結果記憶部１１４に格納されている学習の結果に基づき、受信した生体情報パターンの相対値が導出された生体情報データが計測された際に被験者に誘発されていた感情を推定する。
具体的には、感情推定部１１５は、例えば、以下で説明する算出法に基づき、感情を推定する。上述のように、本比較例及び本発明の各実施形態の説明において、生体情報パターンの相対値は、生体情報パターンの変化量とも表記される。
以下の説明において、ベクトルxは、生体情報パターンの変化量を表すベクトルである、特徴ベクトルを表す。学習フェーズにおいて推定される、特徴ベクトルxが感情ωiに属する確率密度分布を示す確率密度関数p(x|ωi)は、xが感情ωiに属する確率密度分布を示す確率密度関数を表す。上述のように、特徴ベクトルxが感情ωiに属する確率密度分布は、学習フェーズにおいて、それぞれのｉについて推定される。確率P(ωi)は、感情ωiの生起確率を表す。さらに、確率P(ωi|x)は、xが計測された時、xが属する感情がωiである確率を表す。その場合、ベイズの定理により、数１に示す式が成り立つ。
Figure 0006665777
数１に示す式を使用することによって、学習データより求めた感情識別マップ、即ちp(x|ωi)と、感情の生起確率P(ωi)とに基づき、推定フェーズにおいて得られた特徴ベクトルxが各感情に属する確率が求められる。このように、感情推定の精度は、生体情報の特徴空間における、各感情の確率密度分布の推定の精度に依存する。
確率密度分布p(x|ωi)の推定方法（識別機）として、たとえば、線形判別法を採用することができる。また、推定対象の感情が４つである場合、２クラス分類を２回繰り返すことによって、それらの感情を識別することができる。線形判別法と複数回の２クラス分類とを使用して感情を識別する場合、まず、最初の２クラス分類のために、ｄ次元特徴空間（ここでｄは抽出される特徴量の数である）を最適な１次元空間に変換することが好ましい。最初の２クラス分類における２つのクラス（例えばクラスα１及びクラスα２）のクラス内共分散行列ΣW及びクラス間共分散行列ΣBは、次式のように定義される。
Figure 0006665777
Figure 0006665777
ここで、ベクトルmは特徴ベクトル全体の平均ベクトルを表し、ベクトルmi（i＝α1、α2）はそれぞれのクラスに属する特徴ベクトルの平均ベクトルを表す。また、整数nは特徴ベクトル全体の数を表し、整数niはそれぞれのクラスに属する特徴ベクトルの数を表す。さらに、集合χiは、それぞれのクラスに属する特徴ベクトル全体の集合を表す。
これらの定義に基づき、数４、数５、及び数６に示す式が成り立つ。
Figure 0006665777
Figure 0006665777
Figure 0006665777
数３に示す式の変形では、数４、数５、及び数６に示す関係が用いられている。
また、数７に示すΣiは、それぞれのクラスiに属する特徴ベクトルの共分散行列である。
Figure 0006665777
特徴空間の次元は、抽出される特徴量の数である、ｄである。従って、特徴空間から１次元空間への変換を表す行列Ａは、ｄ次元特徴空間から１次元空間への変換を表す（d, 1）行列（ｄ行１列の行列）である。そして、Ａによるクラス間の分離度を表す関数JΣ(A)は、数８に示す式によって定義される。感情推定部１１５は、関数JΣを最大化する変換行列Ａを求める。
Figure 0006665777
数９は、変換行列Ａを使用して定義した、一次元軸上における確率密度分布を表す。
Figure 0006665777
数９に示す式は、クラス識別のプロトタイプとして各クラスの重心（平均ベクトル）を使用する、確率密度分布の定義を表す。これらの確率密度分布は、学習フェーズにおいて得られたデータに応じて、クラス境界付近の特徴ベクトルをプロトタイプとして使用して定義されていてもよい。
推定フェーズでは、感情推定部１１５は、得られた特徴ベクトルが各クラスに属する確率を、上述の確率密度分布を数１に示す式に代入することによって得られる確率に基づき推定する。感情推定部１１５は、特徴ベクトルが、推定された確率が高いクラスに属すると判定すればよい。
感情推定部１１５は、同様にして、更に、特徴ベクトルが、次の２クラス（例えば、クラスβ１及びクラスβ２）のいずれに属するか判定する。このことにより、感情推定部１１５は、特徴ベクトルが、感情Ａ（α１かつβ１）、感情Ｂ（α１かつβ２）、感情Ｃ（α２かつβ１）、あるいは感情Ｄ（α２かつβ２）の四つのクラスうちいずれに属するか判別する。
本比較例では、推定フェーズにおける被験者も、特定の被験者に限られない。
次に、本比較例の感情推定システム２０１の動作について、図面を参照して詳細に説明する。以下では、感情推定装置１０１を除く感情推定システム２０１の動作と、感情推定装置１０１の動作とを、別に説明する。
図９は、学習フェーズにおける感情推定システム２０１の動作の例を表すフローチャートである。
図９を参照すると、まず、感情推定システム２０１は、センシング部２２０及び生体情報処理部２２１によって、生体情報パターンの変化量を抽出する処理を行う（ステップＳ１１０１）。「生体情報パターンの変化量を抽出する処理」は、計測によって生体情報データを取得し、取得した生体情報データから生体情報パターンの変化量を導出する処理を表す。ステップＳ１１０１において生体情報パターンの変化量が取得される被験者は、特定の被験者に限定されない。ステップＳ１１０１における処理については、後で説明する。
実験者は、感情入力部２２２を介して、ステップＳ１１０１において実験者が被験者に与えた刺激が誘発する感情を入力する。感情入力部２２２は、実験者が入力した感情を取得する（ステップＳ１１０２）。
生体情報処理部２２１は、導出した生体情報パターンの変化量を、感情推定装置１０１に送信する。感情入力部２２２は、実験者が入力した感情を、感情推定装置１０１に送信する。すなわち、感情推定システム２０１は、生体情報パターンの変化量と感情との組み合わせを、感情推定装置１０１に送信する（ステップＳ１１０３）。
生体情報の計測が終了していない場合（ステップＳ１１０４においてＮｏ）、感情推定システム２０１は、ステップＳ１１０１からステップＳ１１０３までの動作を繰り返す。実験者は、ステップＳ１１０１において、例えば、被験者に与える刺激を変化させながら、感情推定システム２０１が異なる多数の被験者の生体情報を計測するよう、アレンジすればよい。計測が終了した場合（ステップＳ１１０４においてＹｅｓ）、感情推定システム２０１は、学習フェーズの動作を終了する。ステップＳ１１０４において、感情推定システム２０１は、例えば、実験者が感情推定システム２０１に計測を終了する指示を行った場合に、生体情報の計測が終了したと判定すればよい。感情推定システム２０１は、例えば、実験者が感情推定システム２０１に計測を継続する指示を行った場合に、生体情報の計測は終了しないと判定してもよい。
次に、感情推定システム２０１の、生体情報パターンの変化量を抽出する処理の動作について、図面を参照して詳細に説明する。
図１０は、感情推定システム２０１の、生体情報パターンの変化量を抽出する処理の動作の例を表すフローチャートである。
図１０を参照すると、センシング部２２０が、安静時における被験者の生体情報を計測する（ステップＳ１２０１）。センシング部２２０は、計測によって得られた生体情報データを、生体情報処理部２２１に送信する。生体情報処理部２２１は、安静時において計測された生体情報データから、生体情報パターンを抽出する（ステップＳ１２０２）。センシング部２２０は、刺激が与えられている被験者の生体情報を計測する（ステップＳ１２０３）。センシング部２２０は、計測によって得られた生体情報データを、生体情報処理部２２１に送信する。生体情報処理部２２１は、刺激が与えられている状態で計測された生体情報データから、生体情報パターンを抽出する（ステップＳ１２０４）。生体情報処理部２２１は、安静時の生体情報パターンから刺激が与えられている状態の生体情報パターンへの変化量を導出する（ステップＳ１２０５）。
図１０に示す例では、生体情報処理部２２１は、例えば、実験者からの指示に基づき、安静時における生体情報データと、刺激が与えられている状態における生体情報データとを特定すればよい。生体情報処理部２２１は、計測開始から経過した時間や生体情報データの変化の大きさに基づき、安静時における生体情報データと、刺激が与えられている状態における生体情報データとを特定してもよい。
生体情報処理部２２１は、例えば、計測開始から経過した時間が所定時間を越えた後に測定された生体情報データを、刺激が与えられている状態における生体情報データとして特定してもよい。生体情報処理部２２１は、例えば、測定された生体情報データの、測定開始時又は測定開始時から一定時間が経過した時に計測された生体情報データからの変化の大きさが所定値を越えた場合に、刺激が与えられ始めたと判定してもよい。その一定時間は、例えば、実験的に導出された、安静時において、測定開始時から生体情報データが安定するまでの時間である。そして、生体情報処理部２２１は、例えば、刺激が与えられ始めたと判定した後に測定された生体情報データを、刺激が与えられている状態における生体情報データとして特定してもよい。
次に、学習フェーズにおける、感情推定装置１０１の動作について、図面を参照して詳細に説明する。
図１１は、学習フェーズにおける、感情推定装置１０１の第１の動作の例を表すフローチャートである。図１１は、実験者が被験者の生体情報を計測する操作を行っている間における、感情推定装置１０１の動作を表す。
受信部１１６は、生体情報パターンの変化量と感情との組み合わせを受信する（ステップＳ１３０１）。ステップＳ１３０１において受信部１１６が受信する生体情報パターンの変化量及び感情は、ステップＳ１１０３において感情推定装置１０１に送信された生体情報パターンの変化量及び感情である。学習フェーズにおいて、受信部１１６は、受信した生体情報パターンの変化量と感情とを関連付け、互いに関連付けられた生体情報パターンの変化量と感情とを計測データ記憶部１１７に格納する（ステップＳ１３０２）。計測が終了していない場合（ステップＳ１３０３においてＮｏ）、感情推定装置１０１は、ステップＳ１３０１及びステップＳ１３０２の動作を繰り返す。計測が終了した場合（ステップＳ１３０３においてＹｅｓ）、感情推定装置１０１は、図１１に示す動作を終了する。感情推定装置１０１は、例えば、実験者からの指示に基づき、計測が完了したか否かを判定すればよい。
図１２は、学習フェーズにおける、感情推定装置１０１の第２の動作の例を表すフローチャートである。図１２は、感情推定装置１０１が、生体情報パターンの変化量とその変化量に関連付けられている感情とを使用して、教師付き機械学習に基づく学習を行う動作を表す。
分類部１１０は、複数の、あらかじめ定められている感情クラスから、一つの感情クラスを選択する（ステップＳ１４０１）。上述のように、感情クラスは、例えば、あらかじめ定められている感情である。感情クラスは、例えば、あらかじめ定められている、上述の基本クラスであってもよい。分類部１１０は、選択された感情クラスが含む感情に関連付けられている生体情報パターンの変化量を全て選択する（ステップＳ１４０２）。学習部１１８は、選択された感情クラスに属する生体情報パターンの変化量の確率密度分布を形成する（ステップＳ１４０３）。学習部１１８は、形成した確率密度分布を、選択された感情クラスに関連付けて、学習結果記憶部１１４に格納する（ステップＳ１４０４）。選択されていない感情クラスが存在する場合（ステップＳ１４０５においてＮｏ）、感情推定装置１０１は、ステップＳ１４０１からステップＳ１４０４までの動作を繰り返す。全ての感情クラスが選択された場合（ステップＳ１４０５においてＹｅｓ）、感情推定装置１０１は、図１２に示す動作を終了する。
次に、判定フェーズにおける感情推定システム２０１の動作について、図面を参照して詳細に説明する。
図１３は、判定フェーズにおける感情推定システム２０１の動作の例を表すフローチャートである。図１３を参照すると、判定フェーズにおいて、感情推定システム２０１は、まず、生体パターンの変化量を抽出する処理を行う（ステップＳ１５０１）。ステップＳ１５０１において、感情推定システム２０１は、図１０に示す動作を行う。前述のように、生体情報パターンの変化量を抽出する処理は、生体情報データを取得し、取得した生体情報データから生体情報パターンの変化量を導出する処理である。次に、生体情報処理部２２１は、生体情報パターンの変化量を、感情推定装置１０１に送信する（ステップＳ１５０２）。生体情報パターンの変化量を受信した感情推定装置１０１は、被験者の感情を推定し、推定した感情を返信する。出力部２２３は、感情推定装置１０１から推定された感情を受信し、受信した感情を出力する（ステップＳ１５０３）。
次に、判定フェーズにおける感情推定装置１０１の動作について、図面を参照して詳細に説明する。
図１４は、判定フェーズにおける感情推定装置１０１の動作の例を表す図である。
図１４を参照すると、受信部１１６は、生体情報処理部２２１から、生体情報パターンの変化量を受信する（ステップＳ１６０１）。判定フェーズでは、受信部１１６は、感情を受信しない。判定フェーズでは、受信部１１６は、受信した、生体情報パターンの変化量を、感情推定部１１５に送信する。感情判定部１１５は、あらかじめ定められた、複数の感情クラスから、１つの感情クラスを選択する（ステップＳ１６０２）。感情推定部１１５は、学習結果記憶部１１４に格納されている確率密度分布を使用して、受信した生体情報パターンの変化量が抽出された被験者の感情が、選択された感情クラスに含まれる確率を導出する（ステップＳ１６０３）。選択されていない感情クラスが存在する場合（ステップＳ１６０４においてＮｏ）、感情推定部１１５は、全ての感情クラスが選択されるまで、ステップＳ１６０２とステップＳ１６０３の動作を繰り返す。全ての感情クラスが選択された場合（ステップＳ１６０４においてＹｅｓ）、感情推定部１１５は、導出された、感情クラスの確率に基づき、被験者の感情を推定する（ステップＳ１６０５）。前述のように、感情クラスは、例えば基本クラスである。その場合、感情推定部１１５は、上述のように２つの基本クラスから感情が含まれるクラスを選択する２クラス分類を繰り返すことによって、被験者の感情を推定すればよい。すなわち、感情推定部１１５は、選択された全ての基本クラスに含まれる感情を、被験者の感情として選択すればよい。感情クラスは、感情であってもよい。その場合、感情推定部１１５は、導出された確率が最も高い感情を、被験者の感情として選択すればよい。感情推定部１１５は、推定した被験者の感情を出力する（ステップＳ１６０６）。
＜第１の実施形態＞
次に、本発明の第１の実施形態の感情推定システム２について、図面を参照して詳細に説明する。
図１５は、本実施形態の感情推定システム２の構成の例を表すブロック図である。図１５を参照すると、感情推定システム２は、センシング部２０と、生体情報処理部２１と、感情入力部２２と、感情推定装置１と、出力部２３を含む。図１５に示す例では、感情推定システム２は、感情推定装置１を含む１つの装置として描かれている。しかし、感情推定システム２は、複数の装置を使用して実現されていてもよい。例えば、感情推定システム２は、センシング部２０と、生体情報処理部２１と、感情入力部２２と、出力部２３とを含む計測装置（図示されない）と、感情推定装置１とを使用して実現されていてもよい。その場合、計測装置と感情推定装置１は、通信可能に接続されていればよい。
本実施形態では、実験者は、１回の生体情報の計測において、異なる感情を誘発する２種類の刺激を別々に被験者に与える。被験者に与えられる刺激が誘発する感情は、あらかじめ定められた複数の感情から選択された２つの感情の組み合わせである。それぞれの種類の刺激が与えられる時間は、例えば、あらかじめ実験的に測定された、被験者に感情が誘発されるのに十分な時間である。以下の説明において、１回の生体情報の計測において、実験者が最初に与える刺激を「第１の刺激」とも表記する。第１の刺激が誘発する感情を、「第１の感情」とも表記する。同様に、１回の生体情報の計測において、実験者が次に与える刺激を「第２の刺激」とも表記する。第２の刺激が誘発する感情を、「第２の感情」とも表記する。実験者は、例えば、被験者に第１の刺激を与えながら、被験者の生体情報の計測を開始すればよい。そして、第１の刺激を与え始めてから前述の十分な時間が経過した後、実験者は、被験者に与える刺激を第２の刺激に変更すればよい。第２の刺激を与え始めてから前述の十分な時間が経過した後、実験者は、被験者の生体情報の計測を終了すればよい。以上のように被験者に刺激を与えると、被験者の感情が、第１の感情から第２の感情に変化することが期待される。被験者の感情が変化した場合、第１の感情が変化前の感情であり、第２の感情が変化後の感情である。
センシング部２０は、前述の比較例におけるセンシング部２２０と同じハードウェア構成を備えていればよい。そして、センシング部２０は、センシング部２２０と同様に動作すればよい。センシング部２０は、生体情報が計測される被験者の状態を除き、センシング部２２０と同じでよい。センシング部２０は、安静時における被験者の生体情報を計測しなくてよい。センシング部２０は、少なくとも、第１の刺激が与えられている被験者の生体情報と、第２の刺激が与えられているその被験者の生体情報とを計測する。センシング部２０は、例えば、被験者に第１の刺激が与えられている間に計測を開始してもよい。そして、センシング部２０は、被験者に与えられる刺激が第２の刺激に変わってから所定時間が経過するまで、生体情報の計測を継続してもよい。センシング部２０は、比較例におけるセンシング部２２０と同様に、計測によって得られた生体情報データを、生体情報処理部２１に送信する。
生体情報処理部２１は、前述の比較例における生体情報処理部２２１と同じハードウェア構成を備えていればよい。そして、生体情報処理部２１は、生体情報処理部２２１と同様の処理を行えばよい。生体情報処理部２１は、生体情報パターンが導出される生体情報データが計測によって得られた被験者の状態を除き、生体情報処理部２２１と同じでよい。生体情報処理部２１は、第１の刺激が与えられている状態における計測によって得られた生体情報データから生体情報パターン（すなわち、第１の生体情報パターン）を抽出する。生体情報処理部２１は、さらに、第２の刺激が与えられている状態における計測によって得られた生体情報データから生体情報パターン（すなわち、第２の生体情報パターン）を抽出する。生体情報処理部２１が導出する生体情報パターンの変化量は、第１の生体情報パターンに対する、第２の生体情報パターンの変化量である。生体情報処理部２１は、第１の生体情報パターンに対する、第２の生体情報パターンの変化量を導出する。
感情入力部２２は、比較例における感情入力部２２２と同じハードウェア構成を備えていればよい。実験者は、感情入力部２２を介して、被験者に与えられる２種類の刺激が誘発する感情、すなわち、第１の感情と第２の感情とを、感情推定システム２に入力する。感情入力部２２は、第１の感情から第２の感情への感情の変化を表す感情情報を生成する。そして、感情入力部２２は、生成した感情情報を感情推定装置１に入力する。感情情報は、実験者が被験者に与える刺激によって被験者に誘発される感情の変化が、第１の感情から第２の感情への変化であることが特定可能な情報であればよい。感情入力部２２が感情推定装置１に入力する感情情報は、例えば、第１の感情の感情識別子と、第２の感情の感情識別子とを含んでいてもよい。感情入力部２２が感情推定装置１に入力する感情情報に、例えば、第１の感情の感情識別子と、第２の感情の感情識別子とが関連付けられていてもよい。
出力部２３は、比較例における出力部２２３と同じハードウェア構成を備えていればよい。出力部２３は、比較例における出力部２２３と同様に動作すればよい。
図１６は、学習フェーズにおける感情推定システム２の構成の例を表すブロック図である。
上述のように、学習フェーズにおいて、センシング部２０は被験者の生体情報を計測する。センシング部２０は、計測によって得られた生体情報データを生体情報処理部２１に送信する。生体情報処理部２１は、受信した生体情報データから、被験者に与えられる刺激の変化に応じた、その被験者の生体情報の変化を表す生体情報パターンの変化量を導出する。生体情報処理部２１は、生体情報パターンの変化量を、感情推定装置１に送信する。感情入力部２２は、実験者によって入力された感情の変化を表す感情情報を、感情推定装置１に入力する。学習フェーズでは、実験者は、例えば、被験者に与える第１の刺激と第２の刺激の組み合わせをさまざまに変更しながら、被験者の生体情報の計測と、第１の感情から第２の感情への感情の変化を表す感情情報の入力とを行う。被験者は、特定の被験者に限定されない。実験者は、不特定多数の被験者に対して、生体情報の計測と感情情報の入力を行えばよい。その結果、感情推定装置１に、生体情報パターンの変化量と感情情報の変化を表す感情情報とが、繰り返し入力される。感情推定装置１は、入力された生体情報パターンの変化量と感情情報の変化を表す感情情報とを使用して、後述されるように教師つき学習モデルに従った学習を行う。
図１７は、推定フェーズにおける、本実施形態の感情推定システム２の構成の例を表すブロック図である。推定フェーズでは、実験者は、学習フェーズと同様に、異なる感情を誘発する、連続する２種類の刺激を被験者に与える。推定フェーズでも、被験者は、特定の被験者に限定されない。推定フェーズでは、実験者は感情情報を入力しない。
推定フェーズにおいて、センシング部２０及び生体情報処理部２１は、学習フェーズと同様に動作する。すなわち、センシング部２０は、計測によって得られた生体情報データを、生体情報処理部２１に送信する。生体情報処理部２１は、生体情報データから抽出された生体情報パターンの変化量を、感情推定装置１に送信する。感情入力部２２は、感情推定装置１に感情情報を入力しない。
感情推定装置１は、受信した生体情報パターンの変化量に基づき、後述されるように被験者の感情を推定する。感情推定装置１は、推定した被験者の感情を、出力部２３に送信する。感情推定装置１は、例えば、推定した感情を特定する感情識別子を、出力部２３に送信すればよい。
出力部２３は、感情推定装置１が、生体情報処理部２１が感情推定装置１に入力した生体情報パターンの変化量に基づいて推定した感情を、感情推定装置１から受信する。出力部２３は、推定された感情を特定する感情識別子を受信すればよい。出力部２３は、受信した感情を出力する。出力部２３は、例えば、受信した感情識別子によって特定される感情を表す文字列を表示すればよい。出力部２３による感情の出力方法は、他の方法であってもよい。
次に、本実施形態の感情推定装置１について、図面を参照して詳細に説明する。
図１８は、本実施形態の感情推定装置１の構成の例を表すブロック図である。図１８を参照すると、感情推定装置１は、受信部１６と、計測データ記憶部１７と、分類部１０と、学習部１８と、学習結果記憶部１４と、感情推定部１５とを含む。学習部１８は、第１の分布形成部１１と、合成部１２と、第２の分布形成部１３とを含む。
図１９は、学習フェーズにおける感情推定装置１の構成の例を表す第１のブロック図である。図１９は、学習フェーズにおいて、生体情報パターンの変化量と、感情情報とを受信する場合における感情推定装置１の構成を表す。
受信部１６は、学習フェーズにおいて、生体情報パターンの変化量と、感情情報とを受信する。前述のように、感情情報は、例えば、第１の感情の識別子と、第２の感情の識別子とを含む。受信部１６は、実験者による生体情報の測定及び感情情報の入力に応じて、生体情報パターンの変化量と感情情報とを繰り返し受信する。学習フェーズでは、受信部１６は、受信した生体情報パターンの変化量と感情情報とを関連付け、関連付けられた生体情報パターンの変化量と感情情報とを、計測データ記憶部１７に格納する。
計測データ記憶部１７は、互いに関連付けられた生体情報パターンの変化量と感情情報とを記憶する。計測データ記憶部１７は、例えば、互いに関連付けられた生体情報パターンの変化量と感情情報との組み合わせを複数記憶する。前述のように、本実施形態では、入力される感情情報は、第１の感情及び第２の感情を特定することができる情報である。
図２０は、学習フェーズにおける感情推定装置１の構成の例を表す第２のブロック図である。図２０は、学習フェーズにおいて、互いに関連付けられた生体情報パターンの変化量と感情情報との組み合わせに基づき学習を行う場合における感情推定装置１の構成を表す。感情推定装置１は、例えば実験者からの指示に従って、学習フェーズにおける動作を行えばよい。
分類部１０は、計測データ記憶部１７に格納されている生体情報パターンの変化量を、生体情報パターンの変化量に関連付けられている感情情報に基づき、分類する。前述のように、本実施形態では、感情情報は、第１の感情及び第２の感情を含む。そして、感情情報は、第１の感情から第２の感情への感情の変化を表す。分類部１０は、例えば、計測データ記憶部１７に格納されている生体情報パターンの変化量において、関連付けられている感情情報が同じである生体情報パターンの変化量のグループを生成することによって、生体情報パターンの変化量を分類すればよい。
学習部１８は、分類部１０によって生体情報パターンの変化量が分類された結果に基づき、生体情報パターンの変化量と、その生体情報パターンの変化量が得られた場合の第２の感情としての、前述の複数の感情の各々との関係を学習する。学習部１８は、学習の結果を、学習結果記憶部１４に格納する。
具体的には、まず、第１の分布形成部１１が、分類部１０による、計測データ記憶部１７に格納されている生体情報パターンの変化量の分類結果に基づき、分類毎に確率密度分布を形成する。例えば、生体情報パターンの変化量が、それらの生体情報パターンの変化量に関連付けられている感情情報によって分類されている場合、第１の分布形成部１１は、感情情報によって表される感情の変化毎に、確率密度分布を形成する。
そして、合成部１２は、例えば、生体情報パターンの変化量に関連付けられている変化後の感情すなわち第２の感情において、要素に共通部分がある複数のグループを、１つのグループに合成する。
第２の分布形成部１３は、第２の分布形成部１３は、合成部１２による合成後のグループ毎に、確率密度分布を形成する。第２の分布形成部１３は、合成後のグループ毎に形成された確率密度分布を、学習結果記憶部１４に格納する。
学習結果記憶部１４は、学習部１８による学習の結果を記憶する。すなわち、学習結果記憶部１４は、第２の分布形成部１３によって格納された学習の結果を記憶する。
以下では、学習フェーズにおける感情推定装置１について、更に具体的に説明する。
本実施形態では、複数の感情と、各軸と、各軸上の各クラスは、各感情が、その感情が属する全てのクラスによって一意に定まるようあらかじめ選択される。
以下では、感情が、上述のように２つの軸上のそれぞれ２つのクラスによって分類されている場合における、感情推定装置１について、具体的に説明する。上述の例と同様に、２つの軸をα及びβによって表す。軸α上の２つのクラスを、α１及びα２と表記する。軸β上の２つのクラスを、β１及びβ２と表記する。軸α上では、全ての感情は、α１又はα２のいずれかに分類される。軸β上では、全ての感情は、β１又はβ２のいずれかに分類される。上述の例と同様に、例えば、感情Ａは、クラスα１及びβ１の双方に属する感情である。感情Ｂは、クラスα１及びβ２の双方に属する感情である。感情Ｃは、クラスα２及びβ１の双方に属する感情である。感情Ｄは、クラスα２及びβ２の双方に属する感情である。
分類部１０は、上述のように、計測データ記憶部１７に格納されている生体情報パターンの変化量を、関連付けられている感情情報が表す第１の感情と第２の感情の組み合わせが同じ生体情報パターンの変化量が同じグループに含まれるよう、分類する。例えば、刺激により誘発される感情が感情Ａから感情Ｂに変化した際に得られた生体情報パターンの変化量は、同じグループに分類される。
第１の分布形成部１１は、生体情報パターンの変化量が分類されたグループ毎に、確率密度分布を形成する。第１の分布形成部１１が生成する確率密度分布は、比較例の説明において述べたp(x|ωi)によって表される。第１の分布形成部１１が生成する確率密度分布において、ωiは感情変化である。この場合のxは、比較例の説明と同様に、生体情報パターンの変化量である。
合成部１２は、上述のように、生体情報パターンの変化量に関連付けられている変化後の感情すなわち第２の感情において、要素に共通部分がある複数のグループを、１つのグループに合成する。この感情における要素は、例えば、感情が属する１個以上のクラスである。本実施形態では、感情クラスは、１個以上のクラスの組である。合成部１２による複数のグループを１つのグループに合成する方法として、例えば以下に示す方法が使用可能である。
以下の説明において、例えば、第１の感情が感情Ｂであり第２の感情が感情Ａである感情情報に関連付けられている生体情報パターンの変化量のグループを、感情Ｂから感情Ａのグループと表記する。第１の感情が感情Ｂであり第２の感情が感情Ａである感情情報に関連付けられている生体情報パターンの変化量のグループは、感情Ｂから感情Ａへの変化を表す感情情報に関連付けられている生体情報パターンの変化量のグループである。
例えば、合成部１２は、生体情報パターンの変化量に関連付けられている感情情報の第２の感情が属する全てのクラスが共通である複数のグループを１つのグループに合成してもよい。その場合、第２の感情が同じグループは、１つのグループに合成される。例えば、合成部１２は、第２の感情が感情Ａであるグループ、すなわち、感情Ｂから感情Ａのグループと、感情Ｃから感情Ａのグループと、感情Ｄから感情Ａのグループとを、１つのグループに合成する。この場合に合成されたグループは、以下の説明では、感情Ａへのグループとも表記される。合成部１２は、第２の感情が感情Ｂであるグループ、第２の感情が感情Ｃであるグループ、第２の感情が感情Ｄであるグループを、それぞれ１つのグループに合成する。この場合、感情クラスは、感情が属する全てのクラスの組である。例えば、合成後の、感情Ａへのグループは、感情Ａが属する全てのクラスの組である感情クラスに関連する。
合成部１２は、軸毎に、生体情報パターンの変化量に関連付けられている感情情報の第２の感情が属するその軸上のクラスが同一であるグループを、１つのグループに合成してもよい。その場合、合成部１２は、例えば、α１に属する第２の感情を含む感情情報に関連付けられている生体情報パターンの変化量のグループを、一つのグループに合成すればよい。α１に属する感情は、感情Ａ及び感情Ｂである。この例の場合、合成部１２は、第２の感情が感情Ａ又は感情Ｂである感情情報に関連付けられている生体情報パターンの変化量のグループを、一つのグループに合成すればよい。合成部１２は、同様に、α２に属する第２の感情を含む感情情報に関連付けられている生体情報パターンの変化量のグループを、一つのグループに合成すればよい。さらに、合成部１２は、β１に属する第２の感情を含む感情情報に関連付けられている生体情報パターンの変化量のグループを、一つのグループに合成する。β１に属する感情は、感情Ａ及び感情Ｃである。この例の場合、合成部１２は、第２の感情が感情Ａ又は感情Ｃである感情情報に関連付けられている生体情報パターンの変化量のグループを、一つのグループに合成すればよい。合成部１２は、同様に、β２に属する第２の感情を含む感情情報に関連付けられている生体情報パターンの変化量のグループを、一つのグループに合成すればよい。この場合、感情クラスは、いずれかの軸上のクラスである。そして、合成後のグループは、いずれかの軸上のいずれかの感情クラスに関連する。例えば、α１に属する第２の感情を含む感情情報に関連付けられている生体情報パターンの変化量のグループは、クラスα１である感情クラスに関連する。
第２の分布形成部１３は、上述のように、合成部１２による合成後のグループ毎に、確率密度分布を形成する。第２の分布形成部１３が生成する確率密度分布では、比較例の説明において述べたp(x|ωi)におけるωiは、合成後の同じグループに含まれる生体情報パターンの変化量に関連付けられている感情情報に共通の要素である。共通の要素は、例えば、感情クラスである。感情クラスである共通の要素は、例えば、感情が属する所定個数のクラスの組である。感情クラスである共通の要素は、例えば、感情が属する全てのクラスの組であってもよい。感情クラスである共通の要素は、例えば、感情が属する１つのクラスの組であってもよい。この場合のxは、比較例の説明と同様に、生体情報パターンの変化量である。第２の分布形成部１３は、合成後のグループ毎に形成した確率密度分布を、学習の結果として、学習結果記憶部１４に格納する。
以上の感情推定装置１の各構成要素は、例えば、教師あり機械学習の手法による、感情Ａに関連する生体情報パターンの変化量（以下では、パターンとも表記される）の学習に着目して、以下のようにも説明される。以下の説明でも、感情は、軸α上の２つのクラス（α１及びα２）と、軸β上の２つのクラス（β１及びβ２）によって、４つの感情に分類できる。４つの感情は、同様に、感情Ａ、感情Ｂ、感情Ｃ、及び感情Ｄである。そして、同様に、感情Ａは、α１及びβ１に属する。感情Ｂは、α１及びβ２に属する。感情Ｃは、α２及びβ１に属する。感情Ｄは、α２及びβ２に属する。
分類部１０は、入力された生体情報パターンと感情情報から、入力された感情情報に基づき、α１からα２の方向及びその逆の方向、β１からβ２の方向及びその逆の方向における生体情報パターンの変化量（すなわち相対変化）の情報を記録する。たとえば、刺激によって誘発される感情の変化が感情Ｂから感情Ａへの変化である場合、得られる生体情報パターンの相対変化はβ２からβ１への相対変化に相当する。なお、例えばβ２からβ１への相対変化は、刺激によって誘発される感情が属する軸β上のクラスがβ２からβ１に変化した際に得られる、生体情報パターンの変化量（すなわち相対値）を表す。刺激によって誘発される感情の変化は感情Ｃから感情Ａへの変化である場合、得られる生体情報パターンの相対変化はα２からα１への相対変化に相当する。また、刺激によって誘発される感情の変化が感情Ｄから感情Ａへの変化である場合、得られる生体情報パターンの相対変化はα２からα１への、かつβ２からβ１への相対変化に相当する。
第１の分布形成部１１は、それらの分類結果を、それぞれ確率密度分布の形に形成する。
更に、合成部１２は、前述の生体情報パターンの変化共通部分を抽出する。合成部１２は、その結果を第２の分布形成部１３に入力する。
第２の分布形成部１３は、入力された共通要素に基づき、感情Ａへの変化（α２からα１への変化、かつ、β２からβ１への変化）に共通する相対値の確率密度分布を形成する。第２の分布形成部１３は、形成した確率密度分布を学習結果記憶部１４に格納する。
図２１は、第１の分布形成部１１、合成部１２、及び第２の分布形成部１３の処理を模式的に表す図である。図２１の上段に示す図は、それぞれの感情変化に関連付けられた生体情報パターンの変化量を模式的に表す。図２１の中段に示す図における矢印は、感情変化毎のグループに含まれる生体情報パターンの変化量の平均値ベクトルを模式的に表す。図２１の下段に示す図における矢印は、合成後のグループに含まれる生体情報パターンの変化量の平均値ベクトルを模式的に表す。図２１が模式的に示す処理において注意が必要なのは、例えば感情Ａへの相対変化のベクトルを合成する際、第２の分布形成部１３は、単に感情Ａへの変化すべてを合成するのではなく、例えば以下に述べる順番で合成することである。感情Ｄから感情Ａへの変化における感情が属するクラスの変化は、α２からα１への変化、かつβ２からβ１への変化である。感情Ｂから感情Ａへの変化における感情が属するクラスの変化は、β２からβ１への変化である。感情Ｃから感情Ａへの変化における感情が属するクラスの変化は、α２からα１への変化である。よって、第２の分布形成部１３は、感情Ａへの相対変化が、α２からα１への、かつ、β２からβ１への相対変化であることを前提に、この方向に沿ったベクトルを合成するために、たとえば次の順番で合成を行う。第２の分布形成部１３は、感情Ｂから感情Ａへの確率密度分布と、感情Ｃから感情Ａへの確率密度分布とをまず合成する。第２の分布形成部１３は、その合成の結果と、感情Ｄから感情Ａへの確率密度分布を合成する。
こうして合成された感情Ａへの確率密度分布は、α軸方向においても、β軸方向においても、比較例と比較すると、より際立つ（すなわち他の感情の確率密度分布から離れる）ことが期待される。
次に、推定フェーズにおける感情推定装置１について、図面を参照して詳細に説明する。
図２２は、推定フェーズにおける、本実施形態の感情推定装置１の構成の例を表すブロック図である。
図２２を参照すると、推定フェーズでは、受信部１６には生体情報パターンの変化量が入力される。受信部１６は、生体情報パターンの変化量を受信する。しかし、推定フェーズでは、受信部１６は、感情情報を受信しない。推定フェーズでは、受信部１６は、受信した生体情報パターンの変化量を、感情推定部１５に送信する。
例えば実験者が、学習フェーズと推定フェーズの切り替えを指示してもよい。あるいは、生体情報パターンの変化量を受信し、感情情報を受信しなかった場合に、受信部１６が、推定フェーズに切り替わったことを判定してもよい。感情推定装置１のフェーズが推定フェーズに切り替わる際、学習結果記憶部１４に学習の結果が格納されていなければ、感情推定装置１は、学習を行った後、フェーズを推定フェーズに切り替えればよい。
感情推定部１５は、受信部１６から生体情報パターンの変化量を受信する。感情推定部１５は、学習結果記憶部１４に格納されている学習結果を使用して、受信した生体情報パターンの変化量が得られた際に被験者に与えられている刺激によって誘発される感情を推定する。感情推定部１５は、推定の結果、すなわち、推定した感情を、例えば出力部２３に出力する。学習の結果は、例えば前述の確率分布p(x|ωi)である。その場合、感情推定部１５は、数１に示す式に基づき、複数の感情クラスの各々について、確率P(ωi|x)を導出する。感情クラスが、感情が属する全てのクラスの組である場合、感情クラスωiによって感情が特定される。以下、感情クラスωiによって特定される感情を、感情ωiと表記する。確率P(ωi|x)は、感情ωiが、受信した生体情報パターンの変化量xが得られた際に被験者に与えられている刺激が誘発する感情である確率を表す。感情推定部１５は、導出された確率P(ωi|x)が最も高い感情ωiが、感情推定部１５が受信した生体情報パターンの変化量が得られた際に被験者に与えられている刺激によって誘発される感情であると推定する。感情推定部１５は、導出された確率P(ωi|x)が最も高い感情ωiを感情推定の結果として選択すればよい。感情クラスωiが、いずれかの軸上のいずれかのクラスである場合、例えば、感情推定部１５は、各感情クラスωiについて、P(ωi|x)を導出すればよい。そして、感情推定部１５は、それぞれの軸上で、軸上の２つのクラスから導出されたP(ωi|x)が大きいクラスを選択すればよい。感情推定部１５は、選択された全てのクラスに属する感情を感情推定の結果として選択すればよい。
選択された感情が、感情推定部１５が受信した生体情報パターンの変化量が得られた際に被験者に与えられている刺激によって誘発される感情として推定した感情である。感情推定部１５は、推定した感情を、推定の結果として出力すればよい。感情推定部１５は、例えば、推定した感情の感情識別子を出力部２３に送信すればよい。
次に、学習フェーズにおける、本実施形態の感情推定システム２の動作について、図面を参照して詳細に説明する。
図２３は、学習フェーズにおける、本実施形態の感情推定システム２の動作の例を表すフローチャートである。感情推定システム２は、まず、生体情報パターンの相対値を抽出する処理を行う（ステップＳ１０１）。生体情報パターンの相対値を抽出する処理によって、生体情報パターンの相対値が抽出される。生体情報パターンの相対値を抽出する処理は、後で詳細に説明する。実験者は、感情入力部２２を介して、第１の刺激が誘発する第１の感情を、感情推定システム２に入力する。感情入力部２２は、第１の刺激が誘発する第１の感情を取得する（ステップＳ１０２）。実験者は、感情入力部２２を介して、第２の刺激が誘発する第２の感情を、感情推定システム２にさらに入力する。感情入力部２２は、第２の刺激が誘発する第２の感情を取得する（ステップＳ１０３）。生体情報処理部２１は、生体情報パターンの相対値を、感情推定装置１に送信する。さらに、感情入力部２２は、第１の感情から第２の感情への感情変化を表す感情情報を、感情推定装置１に送信する。すなわち、感情推定システム２は、生体情報パターンの相対値と第１の感情から第２の感情への感情変化との組み合わせを、感情推定装置１に送信する。計測が終了した場合（ステップＳ１０５においてＹｅｓ）、感情推定システム２は、図２３に示す動作を終了する。計測が終了していない場合（ステップＳ１０５においてＮｏ）、感情推定システム２の動作は、ステップＳ１０１に戻る。
図２４は、本実施形態の感情推定システム２による、生体情報パターンの相対値を抽出する処理の動作の例を表すフローチャートである。センシング部２０は、第１の刺激が与えられている状態における生体情報を計測する（ステップＳ２０１）。生体情報処理部２１は、ステップＳ２０１において計測された生体情報から生体情報パターンを抽出する（ステップＳ２０２）。センシング部２０は、さらに、第２の刺激が与えられている状態における生体情報を計測する（ステップＳ２０３）。生体情報処理部２１は、ステップＳ２０３において計測された生体情報から生体情報パターンを抽出する（ステップＳ２０４）。生体情報処理部２１は、ステップＳ２０２及びステップＳ２０４において計測された生体情報から、生体情報パターンの変化量（相対値）を導出する（ステップＳ２０５）。そして、感情推定システム２は、図２４に示す動作を終了する。
センシング部２０は、第１の刺激が与えられている状態から生体情報の計測を開始し、そして、第２の刺激が与えられている状態で生体情報の計測を終了してもよい。その間、センシング部２０は、生体情報の計測を継続的に行えばよい。生体情報処理部２１は、センシング部２０が計測した生体情報において、第１の刺激が与えられている状態で計測された生体情報と、第２の刺激が与えられている状態で計測された生体情報とを特定すればよい。生体情報処理部２１は、様々な方法によって、第１の刺激が与えられている状態で計測された生体情報と、第２の刺激が与えられている状態で計測された生体情報とを特定することができる。生体情報処理部２１は、例えば、計測された生体情報において、所定時間以上所定の変動幅内に含まれる部分を特定すればよい。そして、生体情報処理部２１は、計測の前半で特定された部分が、第１の刺激が与えられている状態で計測された生体情報であると推定すればよい。生体情報処理部２１は、計測の後半で特定された部分が、第２の刺激が与えられている状態で計測された生体情報であると推定すればよい。
次に、学習フェーズにおける、本実施形態の感情推定装置１の動作について、図面を参照して詳細に説明する。
図２５は、学習フェーズにおける、本実施形態の感情推定装置１の動作の例を表す第１のフローチャートである。受信部１６は、生体情報パターンの変化量と感情変化との組み合わせを受信する（ステップＳ３０１）。受信部１６は、生体情報の変化量と感情変化との組み合わせを、計測データ記憶部１７に格納する（ステップＳ３０２）。計測が終了した場合（ステップＳ３０３においてＹｅｓ）、感情推定装置１は、図２５に示す動作を終了する。計測が終了していない場合（ステップＳ３０３においてＮｏ）、感情推定装置１の動作は、ステップＳ３０１に戻る。
図２６は、学習フェーズにおける、本実施形態の感情推定装置１の動作の例を表す第１のフローチャートである。感情推定装置１は、図２５に示す動作が終了した後、例えば実験者による指示に従って、図２６に示す動作を開始すればよい。
分類部１０は、計測データ記憶部１７に格納されている生体情報パターンの変化量に関連する感情変化から、１つの感情変化を選択する（ステップＳ４０１）。分類部１０は、選択された感情変化に関連付けられている生体情報パターンの変化量を全て選択する（ステップＳ４０２）。分類部１０は、選択された感情変化に関連付けられている生体情報パターンの変化量を、１つのグループにするグループ化を行う。第１の分布形成部１１は、ステップＳ４０２で選択された生体情報パターンの変化量に基づき、ステップＳ４０１で選択された感情変化に関連する生体情報パターンの変化量の確率密度分布を形成する（ステップＳ４０３）。全ての感情変化が選択された場合（ステップＳ４０４においてＹｅｓ）、感情推定装置１の動作は、ステップＳ４０５に進む。選択されていない感情変化が存在する場合（ステップＳ４０４においてＮｏ）、感情推定装置１の動作は、ステップＳ４０１に戻る。
ステップＳ４０５において、合成部１２は、変化後の感情が共通である感情クラスに属する感情変化に関連する生体情報パターンの変化量のグループを、一つのグループに合成する（ステップＳ４０５）。
第２の分布形成部１３は、１つの感情クラスを選択する（ステップＳ４０６）。第２の分布形成部１３は、選択された感情クラスに関連する合成後のグループに含まれる生体情報パターンの変化量の確率密度分布を形成する（ステップＳ４０７）。全ての感情クラスが選択された場合（ステップＳ４０８においてＹｅｓ）、感情推定装置１の動作は、ステップＳ４０９に進む。選択されていない感情クラスが存在する場合（ステップＳ４０８においてＮｏ）、感情推定装置１の動作は、ステップＳ４０６に戻る。
ステップＳ４０９において、第２の分布形成部１３は、形成した確率密度分布を、学習の結果として学習結果記憶部１４に格納する。そして、感情推定装置１は、図２６に示す動作を終了する。第２の分布形成部１３は、ステップＳ４０９の動作を、ステップＳ４０７の動作の後に行ってもよい。
次に、推定フェーズにおける、本実施形態の感情推定システム２の動作について図面を参照して詳細に説明する。
図２７は、推定フェーズにおける、本実施形態の感情推定システム２の動作の例を表すフローチャートである。感情推定システム２は、まず、生体情報パターンの変化量を抽出する処理を行う（ステップＳ５０１）。推定フェーズにおける、生体情報パターンの変化量を抽出する処理は、図２４に示す、生体情報パターンの変化量を抽出する処理と同じである。生体情報処理部２１は、抽出した生体情報パターンの変化量を、感情推定装置１に送信する（ステップＳ５０２）。感情推定装置１は、送信された生体情報パターンの変化量が得られた場合における、被験者の第２の感情を推定する。感情推定装置１は、判定結果（すなわち推定した第２の感情）を出力部２３に送信する。出力部２３は、感情推定装置１から判定結果を受信する。出力部２３は、受信した判定結果を出力する（ステップＳ５０３）。
次に、推定フェーズにおける、本実施形態の感情推定装置１の動作について、図面を参照して詳細に説明する。
図２８は、推定フェーズにおける、本実施形態の感情推定装置１の動作の例を表すフローチャートである。まず、受信部１６が、生体情報処理部２１から、生体情報パターンの変化量を受信する（ステップＳ６０１）。推定フェーズでは、受信部１６は、受信した生体情報パターンの変化量を、感情推定部１５に送信する。感情推定部１５は、複数の感情クラスから、１つの感情クラスを選択する（ステップＳ６０２）。前述のように、感情クラスは、例えば、感情が属する、１つ以上のクラスの組である。感情クラスは、感情であってもよい。その場合、上述の複数の感情クラスは、あらかじめ定められている複数の感情である。本実施形態では、感情は、その感情が属する全てのクラスの組によって表される。感情クラスは、感情を分類するいずれかの軸上のいずれかのクラスであってもよい。その場合、上述の複数の感情クラスは、全ての軸上の全てのクラスである。感情推定部１５は、学習結果記憶部１４に格納されている学習の結果に基づき、受信した生体情報パターンの変化量が得られる場合の被験者の第２の感情が、選択された感情クラスに含まれる確率を導出する（ステップＳ６０３）。選択されていない感情クラスが存在する場合（ステップＳ６０４においてＮｏ）、感情推定装置１は、ステップＳ６０２の動作からの動作を繰り返す。全ての感情クラスが選択された場合（ステップＳ６０４においてＹｅｓ）、感情推定装置１は、ステップＳ６０５の動作を行う。
ステップＳ６０５において、感情推定部１５は、導出された各感情クラスの確率に基づき、感情変化後の被験者の感情（すなわち、第２の感情）を推定する。感情クラスが感情である場合、感情推定部１５は、確率が最も高い感情を、推定された感情として選択すればよい。感情クラスがいずれかの軸上のいずれかのクラスである場合、感情推定部１５は、各軸について、その軸上のクラスで確率が最も高いクラスを選択すればよい。前述のように、本実施形態では、感情は、全ての軸上において選択されたクラスによって特定される。感情推定部１５は、選択された感情クラスによって特定される感情を、推定された感情として選択すればよい。感情推定部１５は、推定した被験者の感情を、出力部２３に出力する。
以上で説明した本実施形態には、感情推定の基準が変動することによる感情の識別精度の低下を抑制することができるという効果がある。その理由は、学習部１８が、第１の感情を誘発する刺激が与えられた状態で得られる生体情報と、第２の感情を誘発する刺激が与えられた状態で得られる生体情報との差を表す生体情報パターンの変化量に基づき、学習を行うからである。すなわち、学習部１８は、安静時における生体情報を、生体情報パターンの変化量の基準として使用しない。安静時における生体情報は、個々の被験者によって、そして被験者の状態によって変動する。従って、学習部１８は、誤った学習を行う可能性を低減できる。誤った学習を行う可能性の低減によって、学習部１８による学習の結果に基づき推定される被験者の感情の識別精度の低下が抑制される。以下では、本実施形態の効果について、更に詳しく説明する。
上述のように、安静を指示された被験者の状態は必ずしも一様ではない。安静を指示された被験者の感情の変動を抑制することは困難である。従って、安静な状態の生体情報パターンも、必ずしも一様ではない。一般的に、安静な状態の生体情報パターンが、生体情報パターンのベースラインすなわち感情推定の基準とされている。そのため、感情の基準の変動を抑制することは困難である。その場合、学習時において、安静な状態であるはずの被験者から得られる生体情報パターンが、例えばいずれかの感情が誘発された状態における生体情報パターンと同様である場合、誤ったパターンを学習するリスクがある。こうしたリスクに対処するために、一般的に、多数のパターンを学習させれば安静時の生体情報パターンが平均的には特定の感情を持たない状態に近づくことを期待して、多数の生体情報パターンが学習データとして与えられる。
本実施形態の感情推定装置１は、異なる２つの感情を誘発する刺激を別々に与えることによって得られた生体情報パターンの変化量を使用して学習する。本実施形態の感情推定装置１は、被験者が安静を指示された状態で得られた生体情報パターンに関係するデータを学習に使用しない。従って、本実施形態の感情推定装置１は、安静を指示された被験者の状態の変動に影響されない。また、感情を誘発する刺激が与えられている状態で得られる生体情報パターンは、感情を誘発する刺激によって感情が強制的に誘発されるため、安静を指示された状態で得られる生体情報パターンより安定している。
従って本実施形態の感情推定装置１は、誤ったパターンを学習するリスクを低減できる。測定しようとする感情以外の全ての感情からの変化を網羅的に学習することによって、特定の感情を抱くことによるベースラインの偏りを予め織り込むことができる。そして、多数の学習によって前記偏りを排除し特定の感情を持たない状態に近づくことを期待する必要がない。よって、本実施形態の感情推定装置１による学習は、効率的な学習である。そして、このように、全ての感情から感情への変化量を学習した場合、推定フェーズにおいてある生体情報パターンの変化量を得た時、出発点がどの感情であっても、被験者がどの感情を得つつあるのかが分かる。
以下では、本実施形態の学習フェーズ及び推定フェーズにおける特徴空間の構成方法の優位性を更に詳細に説明する。
一般に、クラス内分散(within-class variance) 及びクラス間分散(between-class variance) は、次に示す式によって表せる。数１０に示すσW 2がクラス内分散を表す。数１１に示すσB 2がクラス間分散を表す。
Figure 0006665777
Figure 0006665777
数１０及び数１１に示す式において、cはクラスの数を表し、nは特徴ベクトルの数を表し、mは特徴ベクトルの平均を表し、miはクラスiに属する特徴ベクトルの平均を表し、χiはクラスiに属する特徴ベクトルの集合を表す。以下の説明において、特徴ベクトルは、パターンとも表記される。
特徴空間において、クラス内分散が小さく、クラス間分散が大きいほど、特徴ベクトルの集合の識別性は高いと言える。
したがって、数１２に示す式によって定義される比Jσによって、特徴ベクトルの集合における識別性の高さを評価することができる。
Figure 0006665777
比Jσが大きいほど識別性に優れた特徴ベクトルの集合であると判定することができる。
以下では、クラス数cが２である場合（c=2）の識別性について説明する。
これらの２つのクラスに属する特徴ベクトルの平均値ベクトルであるベクトルm1及びm2が共通に属する１次元の部分空間として、ただ一つの、直線である１次元部分空間が定義される。以下では、この１次元部分空間における識別性について説明する。１次元部分空間における各パターンは、いずれかの特徴ベクトルが変換された、その１次元部分空間への射影である。また簡単のため、全パターンの重心（すなわち平均値）がその１次元部分空間のゼロ点によって表されるように、各パターンの座標はずらされる。従って、全パターンの平均値mは０である（m=0）。なお、全パターンの平均値mは、全特徴ベクトルの重心の、その１次元部分空間への射影である。
また、以下の説明では、これらの２つのクラスに所属するパターンの数は等しい。すなわち、クラス２に属するパターンの数n2は、クラス１に属するパターンの数n1と等しい（n2=n1）。さらに、一方のクラスに属するパターンは、他方のクラスに属するパターンに、１対１で関連付けられている。互いに関連付けられている２つのパターンを、x1j及びx2jと表記する。パターンx1jは、クラス１に属する。パターンx2jは、クラス２に属する。値jは、２つのパターンの組み合わせに付与された番号である。値jは、１からniまでのいずれかの整数をとる。以下に示す式において、m1は、クラス１に属するパターンの平均値であり、m2はクラス２に属するパターンの平均値である。全パターンの平均値がゼロであり、２つのクラスに所属するパターンの数は等しいので、m1とm2の和はゼロである。
この場合、σw 2、σB 2、及びJσは、それぞれ、数１３、数１４及び数１５に示す式によって表される。
Figure 0006665777
Figure 0006665777
Figure 0006665777
本実施形態における感情推定では、上述の式において、パターンは数１６のように定義される。本実施形態では、上述の式におけるパターンx1j及びx2jは、数１６を使用して置き換えられる。
Figure 0006665777
さらに、定義より、各クラスの重心を表すパターンは、数１７によって表される。本実施形態では、上述の式における重心を表すパターンm1及びm2は、数１７を使用して置き換えられる。
Figure 0006665777
ゆえに、本実施形態におけるクラス内分散σW’2、クラス間分散σB’2及びそれらの比Jσ’は、それぞれ、次の数１８、数１９、及び数２０に示す式によって表される。
Figure 0006665777
Figure 0006665777
Figure 0006665777
ここで、Jσ’からJσを引いた値に、両者の分母を掛けた値をΔJσと表記する。ΔJσは、数２０に示す式によって表される。なお、各クラスの全てのパターンがその平均値に等しいという状況を想定しないならば、Jσ’及びJσの分母は共にゼロより大きい。
Figure 0006665777
このΔJσがゼロより大きければ、クラス数c=2等の上述の前提の下で、本実施形態の感情識別の結果は一般の場合よりも優れていると結論することができる。
ここで、数２１に示す関係を使用して数２０に示す式を整理すると、ΔJσは数２２に示す式によって表される。
Figure 0006665777
Figure 0006665777
数２４におけるΔJσjは、ΔJσのj番目の要素、すなわち、数２３に示す式の右辺のj番目の要素である。ΔJσjを、0より大きいs2j 2で割った値を整理することによって、数２４に示す式が導かれる。
Figure 0006665777
数２４に示す式はs1j/s2jの二次方程式である。全パターンの平均値はゼロであるので、式ｍ１＋ｍ２＝０が成り立つ。すなわち、ｍ２は−ｍ１と等しい。従って、数２５に示すように、(s1j/s2j)2の係数であるｍ２ ２−２ｍ１ｍ２はゼロより大きい。
Figure 0006665777
従って、数２６に示す関係が成立すれば、ΔJσj/(s2j 2)>0すなわちΔJσ>0が証明される。
Figure 0006665777
全パターンの平均値がゼロであるために成り立つｍ２＝−ｍ１という関係を再び使って数２６に示す式を整理することにより、数２７に示す式が導かれる。
Figure 0006665777
すなわち、クラス数c=2等の前提の下で、本実施形態の感情識別方法は、クラス（感情）の識別において、比較例における方法より優れていることが示された。
図２９及び図３０は、比較例と本実施形態とにおけるパターンを模式的に表す図である。
図２９は、比較例の特徴空間の１次元部分空間におけるパターンを模式的に表す図である。図２９に示す黒丸が、比較例におけるパターンである。図２９には、さらに、本実施形態の定義によるパターンが示されている。本実施形態のパターンは、異なるクラスに含まれる、比較例における２つのパターンの差として定義される。
図３０は、本実施形態の特徴空間の１次元部分空間におけるパターンを模式的に表す図である。図３０に示す黒丸が、上述の定義に基づき模式的に描かれた、本実施形態の特徴空間の１次元部分空間におけるパターンを表す。図３０に示すように、各クラス間の分布の距離、即ちクラス間分散は、クラス内分散に比較して相対的に増大する。これにより識別性が増す。本実施形態では、こうした識別性の優位性のため、より少ない学習データで高い識別性を得られることが期待できる。本実施形態では、被験者の感情が２を超える数の感情（例えば、上述の感情Ａ、Ｂ、Ｃ、及びＤ）のいずれかであることを直接推定することができる。しかし、特に、２つのクラスにおいて、被験者の感情が属するクラスを識別する場合において、本実施形態の優位性は上記のように顕著である。そのため、上述のように、あらかじめ2n個の感情を定めておき、２クラス識別をn回繰り返すことによって、被験者の感情が2n個の感情のいずれであるかを識別する方法を採用することがより望ましいと言える。２クラス識別は、感情全体が２つのクラスに分類される場合に、被験者の感情が２つのクラスのいずれであるかを識別することを表す。例えば、被験者の感情が感情Ａ、Ｂ、Ｃ、及びＤのいずれかであることを識別する場合、２クラス識別を２回繰り返すことによって、被験者の感情が４つの感情のいずれであるかを識別することができる。すなわち、被験者の感情を推定することができる。
図３１は、本実施形態における各感情において得られる生体情報パターンの変化量の分布を模式的に表す図である。図３１に示す例では、２クラス分類が２回繰り返されることによって、全ての感情が４つの感情に分類されている。図３１に模式的に示す通り、本実施形態では、２クラス分類を繰り返す分類の採用によって、比較例と比較して、感情Ａ、Ｂ、Ｃ、及びＤのそれぞれにおけるパターンの分布領域が離れる効果が得られる。このことになり、本実施形態では、クラス間の分類が明らかに容易になる。
図３２は、感情の分類の例を表す図である。本実施形態では、例えば図３２に示す、覚醒度、及び価値評価（ネガティヴ、ポジティヴ）を、軸として採用することができる。図３２に示す感情の分類の例は、例えば、非特許文献２において開示されている。
＜第２の実施形態＞
次に、本発明の第２の実施形態について、図面を参照して詳細に説明する。
図３３は、本実施形態の感情推定装置１Ａの構成を表すブロック図である。
図３３を参照すると、本実施形態の感情推定装置１Ａは、分類部１０と、学習部１８Ａと、を備える。分類部１０は、複数の感情のうち異なる２つの感情（すなわち、第１の感情及び第２の感情）の、複数の組み合わせに対して得られた、第１の生体情報と、第２の生体情報との差を表す生体情報パターン変化量を、前記第２の感情に基づき分類する。第１の生体情報は、前記２つの感情の一方である第１の感情を誘発する刺激が与えられている状態で被験者からセンシング手段によって計測された生体情報である。第２の生体情報は、前記第１の生体情報が計測された後に前記２つの感情の他方である第２の感情を誘発する刺激が与えられている状態で計測された前記生体情報である。学習部１８Ａは、前記生体情報パターン変化量が分類された結果に基づき、前記生体情報パターン変化量と、当該生体情報パターン変化量が得られた場合の前記第２の感情としての前記複数の感情の各々との関係を学習する。本実施形態の学習部１８Ａは、例えば、本発明の第１の実施形態の学習部１８と同様の学習を行えばよい。
以上で説明した本実施形態には、第１の実施形態と同じ効果がある。その理由は、第１の実施形態の効果が生じる理由と同じである。
＜その他の実施形態＞
感情推定装置１、感情推定装置１Ａ、感情推定システム２は、それぞれ、コンピュータ及びコンピュータを制御するプログラムにより実現することができる。感情推定装置１、感情推定装置１Ａ、感情推定システム２は、それぞれ、専用のハードウェアにより実現することもできる。感情推定装置１、感情推定装置１Ａ、感情推定システム２は、それぞれ、コンピュータ及びコンピュータを制御するプログラムと専用のハードウェアの組合せにより実現することもできる。
図３４は、感情推定装置１、感情推定装置１Ａ、感情推定システム２を実現することができる、コンピュータ１０００の構成の一例を表す図である。図３４を参照すると、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１００４とを含む。また、コンピュータ１０００は、記録媒体１００５にアクセスすることができる。メモリ１００２と記憶装置１００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記録媒体１００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、可搬記録媒体である。記憶装置１００３が記録媒体１００５であってもよい。プロセッサ１００１は、メモリ１００２と、記憶装置１００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１００１は、Ｉ／Ｏインタフェース１００４を介して、例えば、感情推定システム２、あるいは感情推定装置１にアクセスすることができる。プロセッサ１００１は、記録媒体１００５にアクセスすることができる。記録媒体１００５には、コンピュータ１０００を、感情推定装置１、感情推定装置１Ａ、又は感情推定システム２として動作させるプログラムが格納されている。
プロセッサ１００１は、記録媒体１００５に格納されている、コンピュータ１０００を、感情推定装置１、感情推定装置１Ａ、又は感情推定システム２として動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、感情推定装置１、感情推定装置１Ａ、又は感情推定システム２として動作する。
以下の第１グループに含まれる各部は、例えば、プログラムを記憶する記録媒体１００５からメモリ１００２に読み込まれた、各部の機能を実現することができる専用のプログラムと、そのプログラムを実行するプロセッサ１００１により実現することができる。第１グループは、分類部１０、第１の分布形成部１１、合成部１２、第２の分布形成部１３、感情推定部１５、受信部１６、学習部１８、学習部１８Ａ、生体情報処理部２１、感情入力部２２、及び、出力部２３である。また、以下の第２グループに含まれる各部は、コンピュータ１０００が含むメモリ１００２やハードディスク装置等の記憶装置１００３により実現することができる。第２グループは、学習結果記憶部１４、及び、計測データ記憶部１７である。あるいは、第１グループに含まれる部及び第２グループに含まれる部の一部又は全部を、それぞれの部の機能を実現する専用の回路によって実現することもできる。
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１４年５月２７日に出願された日本出願特願２０１４−１０９０１５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１ 感情推定装置
１Ａ 感情推定装置
２ 感情推定システム
１０ 分類部
１１ 第１の分布形成部
１２ 合成部
１３ 第２の分布形成部
１４ 学習結果記憶部
１５ 感情推定部
１６ 受信部
１７ 計測データ記憶部
１８ 学習部
２０ センシング部
２１ 生体情報処理部
２２ 感情入力部
２３ 出力部
１０１ 感情推定装置
１１０ 分類部
１１４ 学習結果記憶部
１１５ 感情推定部
１１６ 受信部
１１７ 計測データ記憶部
１１８ 学習部
２０１ 感情推定システム
２２０ センシング部
２２１ 生体情報処理部
２２２ 感情入力部
２２３ 出力部
１０００ コンピュータ
１００１ プロセッサ
１００２ メモリ
１００３ 記憶装置
１００４ Ｉ／Ｏインタフェース
１００５ 記録媒体

Claims (10)

  1. 複数の感情のうち異なる２つの感情の、複数の組み合わせに対して得られた、前記２つの感情の一方である第１の感情を誘発する刺激が与えられている状態で被験者からセンシング手段によって計測された第１の生体情報と、当該第１の生体情報が計測された後に前記２つの感情の他方である第２の感情を誘発する刺激が与えられている状態で計測された第２の生体情報との差を表す生体情報パターン変化量を、前記第２の感情に基づき分類する分類手段と、
    前記生体情報パターン変化量が分類された結果に基づき、前記生体情報パターン変化量と、当該生体情報パターン変化量が得られた場合の前記第２の感情としての前記複数の感情の各々との関係を学習する学習手段と、
    を備え、
    前記生体情報パターン変化量は、前記複数の感情のうち少なくとも２つの異なる前記第１の感情について計測された、前記第１の生体情報と前記第２の生体情報との差を表す前記生体情報パターン変化量を含む
    感情推定装置。
  2. 前記生体情報パターン変化量が与えられた場合、当該生体情報パターン変化量と学習された前記関係とに基づき、前記生体情報パターン変化量が計測された場合の前記第２の感情を推定する感情推定手段
    を備える請求項１に記載の感情推定装置。
  3. 前記分類手段は、前記複数の感情を２つのクラスのいずれかに分類するクラス分類によって、前記生体情報パターン変化量が計測された際の前記第２の感情が分類される前記クラスに基づく、前記生体情報パターン変化量の分類を、１以上の前記クラス分類の各々に対して行い、
    前記複数の感情の各々は、当該感情が分類される前記クラスの各々によって特定され、
    前記学習手段は、前記１以上のクラス分類の各々に対して、前記生体情報パターン変化量と、当該生体情報パターン変化量が得られた場合の前記第２の感情が前記クラス分類によって分類される前記クラスとの関係を学習し、
    前記感情推定手段は、前記１以上のクラス分類の各々に対して、当該クラス分類によって前記生体情報パターン変化量が分類されるクラスを推定することによって、前記第２の感情を推定する
    請求項２に記載の感情推定装置。
  4. 請求項１乃至３のいずれかに記載の感情推定装置と、
    前記センシング手段と、
    前記第１の感情を誘発する刺激が与えられている状態で計測された前記第１の生体情報と、当該第１の生体情報が計測された後、前記２つの感情の他方である前記第２の感情を誘発する刺激が与えられている状態で計測された前記第２の生体情報との差に基づき、前記生体情報パターン変化量を導出する生体情報処理手段と、
    前記第１の感情及び前記第２の感情を入力する感情入力手段と、
    推定された感情を出力する出力手段と、
    を備える感情推定システム。
  5. コンピュータが備える分類手段が、複数の感情のうち異なる２つの感情の、複数の組み合わせに対して得られた、前記２つの感情の一方である第１の感情を誘発する刺激が与えられている状態で被験者からセンシング手段によって計測された第１の生体情報と、当該第１の生体情報が計測された後に前記２つの感情の他方である第２の感情を誘発する刺激が与えられている状態で計測された第２の生体情報との差を表す生体情報パターン変化量を、前記第２の感情に基づき分類し、
    前記コンピュータが備える学習手段が、前記生体情報パターン変化量が分類された結果に基づき、前記生体情報パターン変化量と、当該生体情報パターン変化量が得られた場合の前記第２の感情としての前記複数の感情の各々との関係を学習し、
    前記生体情報パターン変化量は、前記複数の感情のうち少なくとも２つの異なる前記第１の感情について計測された、前記第１の生体情報と前記第２の生体情報との差を表す前記生体情報パターン変化量を含む
    感情推定方法。
  6. 前記コンピュータが備える感情推定手段が、前記生体情報パターン変化量が与えられた場合、当該生体情報パターン変化量と学習された前記関係とに基づき、前記生体情報パターン変化量が計測された場合の前記第２の感情を推定する
    請求項５に記載の感情推定方法。
  7. 前記分類手段は、前記複数の感情を２つのクラスのいずれかに分類するクラス分類によって、前記生体情報パターン変化量が計測された際の前記第２の感情が分類される前記クラスに基づく、前記生体情報パターン変化量の分類を、１以上の前記クラス分類の各々に対して行い、
    前記複数の感情の各々は、当該感情が分類される前記クラスの各々によって特定され、
    前記学習手段は、前記１以上のクラス分類の各々に対して、前記生体情報パターン変化量と、当該生体情報パターン変化量が得られた場合の前記第２の感情が前記クラス分類によって分類される前記クラスとの関係を学習し、
    前記感情推定手段は、前記１以上のクラス分類の各々に対して、当該クラス分類によって前記生体情報パターン変化量が分類されるクラスを推定することによって、前記第２の感情を推定する
    請求項６に記載の感情推定方法。
  8. コンピュータに、
    複数の感情のうち異なる２つの感情の、複数の組み合わせに対して得られた、前記２つの感情の一方である第１の感情を誘発する刺激が与えられている状態で被験者からセンシング手段によって計測された第１の生体情報と、当該第１の生体情報が計測された後に前記２つの感情の他方である第２の感情を誘発する刺激が与えられている状態で計測された第２の生体情報との差を表す生体情報パターン変化量を、前記第２の感情に基づき分類する分類処理と、
    前記生体情報パターン変化量が分類された結果に基づき、前記生体情報パターン変化量と、当該生体情報パターン変化量が得られた場合の前記第２の感情としての前記複数の感情の各々との関係を学習する学習処理と、
    を実行させ、
    前記生体情報パターン変化量は、前記複数の感情のうち少なくとも２つの異なる前記第１の感情について計測された、前記第１の生体情報と前記第２の生体情報との差を表す前記生体情報パターン変化量を含む
    感情推定プログラム。
  9. コンピュータに、
    前記生体情報パターン変化量が与えられた場合、当該生体情報パターン変化量と学習された前記関係とに基づき、前記生体情報パターン変化量が計測された場合の前記第２の感情を推定する感情推定処理
    を実行させる請求項８に記載の感情推定プログラム。
  10. 前記分類処理は、２つのクラスのいずれかに分類するクラス分類によって、前記生体情報パターン変化量が計測された際の前記第２の感情が分類される前記クラスに基づく、前記生体情報パターン変化量の分類を、１以上の前記クラス分類の各々に対して行い、
    前記複数の感情の各々は、分類される前記クラスの各々によって特定され、
    前記学習処理は、前記１以上のクラス分類の各々に対して、前記生体情報パターン変化量と、当該生体情報パターン変化量が得られた場合の前記第２の感情が前記クラス分類によって分類される前記クラスとの関係を学習し、
    前記感情推定処理は、前記１以上のクラス分類の各々に対して、当該クラス分類によって前記生体情報パターン変化量が分類されるクラスを推定することによって、前記第２の感情を推定する、
    請求項９に記載の感情推定プログラム。
JP2016523127A 2014-05-27 2015-05-20 感情推定装置、感情推定方法及び感情推定プログラムを記憶する記録媒体 Active JP6665777B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014109015 2014-05-27
JP2014109015 2014-05-27
PCT/JP2015/002541 WO2015182077A1 (ja) 2014-05-27 2015-05-20 感情推定装置、感情推定方法及び感情推定プログラムを記憶する記録媒体

Publications (2)

Publication Number Publication Date
JPWO2015182077A1 JPWO2015182077A1 (ja) 2017-04-27
JP6665777B2 true JP6665777B2 (ja) 2020-03-13

Family

ID=54698432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016523127A Active JP6665777B2 (ja) 2014-05-27 2015-05-20 感情推定装置、感情推定方法及び感情推定プログラムを記憶する記録媒体

Country Status (3)

Country Link
US (1) US20170188927A1 (ja)
JP (1) JP6665777B2 (ja)
WO (1) WO2015182077A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6665777B2 (ja) * 2014-05-27 2020-03-13 日本電気株式会社 感情推定装置、感情推定方法及び感情推定プログラムを記憶する記録媒体
CN106202860B (zh) * 2016-06-23 2018-08-14 南京邮电大学 一种情绪调节业务推送方法
JP7097012B2 (ja) * 2017-05-11 2022-07-07 学校法人 芝浦工業大学 感性推定装置、感性推定システム、感性推定方法およびプログラム
US20190000384A1 (en) * 2017-06-30 2019-01-03 Myant Inc. Method for sensing of biometric data and use thereof for determining emotional state of a user
GB2564865A (en) * 2017-07-24 2019-01-30 Thought Beanie Ltd Biofeedback system and wearable device
US10379535B2 (en) 2017-10-24 2019-08-13 Lear Corporation Drowsiness sensing system
KR102106517B1 (ko) * 2017-11-13 2020-05-06 주식회사 하가 피검자의 감정을 분석하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
US10836403B2 (en) 2017-12-04 2020-11-17 Lear Corporation Distractedness sensing system
US10867218B2 (en) 2018-04-26 2020-12-15 Lear Corporation Biometric sensor fusion to classify vehicle passenger state
JP7125050B2 (ja) * 2018-06-08 2022-08-24 株式会社ニコン 推定装置、推定システム、推定方法および推定プログラム
KR102174232B1 (ko) * 2018-08-09 2020-11-04 연세대학교 산학협력단 생체신호 클래스 분류 장치 및 그 방법
JP7224032B2 (ja) * 2019-03-20 2023-02-17 株式会社国際電気通信基礎技術研究所 推定装置、推定プログラムおよび推定方法
SG11202110562VA (en) * 2019-03-29 2021-10-28 Agency Science Tech & Res A system and method for measuring non-stationary brain signals
US11524691B2 (en) 2019-07-29 2022-12-13 Lear Corporation System and method for controlling an interior environmental condition in a vehicle
WO2022144978A1 (ja) * 2020-12-28 2022-07-07 日本電気株式会社 情報処理装置、制御方法及び記憶媒体
WO2022180852A1 (ja) * 2021-02-26 2022-09-01 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
US20220346681A1 (en) * 2021-04-29 2022-11-03 Kpn Innovations, Llc. System and method for generating a stress disorder ration program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI221574B (en) * 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
JP2006061632A (ja) * 2004-08-30 2006-03-09 Ishisaki:Kk 感情データ提供装置、心理解析装置、および電話ユーザ心理解析方法
US9833184B2 (en) * 2006-10-27 2017-12-05 Adidas Ag Identification of emotional states using physiological responses
JP5319960B2 (ja) * 2008-05-28 2013-10-16 株式会社日立製作所 生体光計測装置
JP5322179B2 (ja) * 2009-12-14 2013-10-23 国立大学法人東京農工大学 感性評価装置、感性評価方法、及び感性評価プログラム
KR102011495B1 (ko) * 2012-11-09 2019-08-16 삼성전자 주식회사 사용자의 심리 상태 판단 장치 및 방법
JP6665777B2 (ja) * 2014-05-27 2020-03-13 日本電気株式会社 感情推定装置、感情推定方法及び感情推定プログラムを記憶する記録媒体

Also Published As

Publication number Publication date
JPWO2015182077A1 (ja) 2017-04-27
US20170188927A1 (en) 2017-07-06
WO2015182077A1 (ja) 2015-12-03

Similar Documents

Publication Publication Date Title
JP6665777B2 (ja) 感情推定装置、感情推定方法及び感情推定プログラムを記憶する記録媒体
Shimpi et al. A machine learning approach for the classification of cardiac arrhythmia
EP3037036B1 (en) Biometric authentication method and apparatus
García-Salinas et al. Transfer learning in imagined speech EEG-based BCIs
Wang et al. Emotional state classification from EEG data using machine learning approach
KR101284561B1 (ko) 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체
JP5672144B2 (ja) 心拍数・呼吸数検出装置，方法およびプログラム
Torres-Valencia et al. Comparative analysis of physiological signals and electroencephalogram (EEG) for multimodal emotion recognition using generative models
Bostrom et al. A shapelet transform for multivariate time series classification
KR20160098960A (ko) 심전도에 기초한 인증 방법, 인증 장치, 심전도 기반 인증을 위한 학습 방법 및 학습 장치
Wu et al. Offline EEG-based driver drowsiness estimation using enhanced batch-mode active learning (EBMAL) for regression
US20180177415A1 (en) Cardiovascular disease detection
Karan et al. Time series classification via topological data analysis
JP2016536044A (ja) マルチチャネルｅｃｇ信号の評価装置及び方法
WO2023112384A1 (ja) 計算機システム及び情動推定方法
Singer et al. Classification of severity of trachea stenosis from EEG signals using ordinal decision-tree based algorithms and ensemble-based ordinal and non-ordinal algorithms
Mauldin et al. Ensemble deep learning on wearables using small datasets
Tazrin et al. LiHEA: migrating EEG analytics to ultra-edge IoT devices with logic-in-headbands
Wu et al. Statistical sleep pattern modelling for sleep quality assessment based on sound events
JP6203324B1 (ja) 認知状態推定システム及び認知状態推定方法
Wu et al. Unobtrusive monitoring of sedentary behaviors with fusion of bluetooth and ballistocardiogram signals
Rudas et al. On activity identification pipelines for a low-accuracy EEG device
JP7016680B2 (ja) 生体情報処理装置、生体情報処理方法およびプログラム
Uslu et al. On the activity detection with incomplete acceleration data using iterative KNN classifier
Malott et al. Scalable homology classification through decomposed euler characteristic curves

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200203

R150 Certificate of patent or registration of utility model

Ref document number: 6665777

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150