JP6785136B2 - 覚醒度処理方法および覚醒度処理装置 - Google Patents

覚醒度処理方法および覚醒度処理装置 Download PDF

Info

Publication number
JP6785136B2
JP6785136B2 JP2016228131A JP2016228131A JP6785136B2 JP 6785136 B2 JP6785136 B2 JP 6785136B2 JP 2016228131 A JP2016228131 A JP 2016228131A JP 2016228131 A JP2016228131 A JP 2016228131A JP 6785136 B2 JP6785136 B2 JP 6785136B2
Authority
JP
Japan
Prior art keywords
physiological data
data
alertness
arousal
arousal level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016228131A
Other languages
English (en)
Other versions
JP2018082931A (ja
Inventor
真人 千葉
真人 千葉
久保田 忠弘
忠弘 久保田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2016228131A priority Critical patent/JP6785136B2/ja
Publication of JP2018082931A publication Critical patent/JP2018082931A/ja
Application granted granted Critical
Publication of JP6785136B2 publication Critical patent/JP6785136B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は、覚醒度処理方法および覚醒度処理装置に関する。
人をはじめとする生物(動物)の覚醒の度合いを定量的に把握するための研究が行われている。例えば人に関して、その覚醒度を定量的なデータとして把握することは、ヒューマンマシンインタフェース(HMI)においてマシン側にとっての重要な要素の一つとなり得る。
特許文献1から3までには、それぞれ、覚醒度を判定するための技術が記載されている。特許文献1および特許文献2に記載された技術では、心拍波形からの情報を基に、覚醒度を判定している。また、特許文献3に記載された技術では、呼吸波形からの情報を基に、覚醒度を判定している。
国際公開第2010/140241号 国際公開第2008/069337号 国際公開第2015/060268号
しかしながら、心拍波形や呼吸波形などといった生理データと覚醒度との関係は、必ずしも単純ではなく、個人差(個体差)も大きい。つまり、ある個人にとっては心拍波形と覚醒度との間の良好な相関が得られるために心拍波形に基づいて覚醒度を精度よく判定することができても、別の個人にとっては必ずしも心拍波形と覚醒度との間に良好な相関が得られるわけではない。また、ある個人にとっては呼吸波形と覚醒度との間の良好な相関が得られるために呼吸波形に基づいて覚醒度を精度よく判定することができても、別の個人にとっては必ずしも呼吸波形と覚醒度との間に良好な相関が得られるわけではない。また、特許文献1,2,3に記載されている技術は、それぞれ、単一の生理データ(心拍波形または呼吸波形)に基づいて覚醒度を判定しようとしているが、単一の生理データのみを用いた覚醒度の判定には、その精度に限界がある。
本発明は、上記の課題認識に基づいて行なわれたものであり、単一の種類の生理データだけに依らず、複数の種類の生理データを複合的に用いるとともに、個人差(個体差)をも考慮して、生理データと覚醒度との関係を精度よく求めることのできる覚醒度処理方法および覚醒度処理装置を提供しようとするものである。また、生理データと覚醒度との関係に基づいて、精度良く覚醒度を求めることのできる、覚醒度処理方法および覚醒度処理装置を提供しようとするものである。
上記の課題を解決するため、請求項1に記載の発明に係る覚醒度処理方法は、生体からの信号に基づいて生理データを取得する生理データ取得過程と、前記生体の覚醒度を取得する覚醒度取得過程と、前記生理データ取得部が取得した前記生理データと前記覚醒度取得部が取得した前記覚醒度とに基づいて回帰分析処理を行うことによって、前記生理データと前記覚醒度との関係を表すモデルの情報を求め、前記モデルの情報をモデル記憶部に書き込む学習過程とを含む。
また、請求項2に記載の発明に係る覚醒度処理方法は、上記の覚醒度処理方法において、前記モデルの情報は、前記生理データを基に前記覚醒度を算出するための関数の情報であることを特徴とする。
また、請求項3に記載の発明に係る覚醒度処理方法は、上記の覚醒度処理方法において、前記生理データは、前記生体の自律神経活動に関するデータであることを特徴とする。
また、請求項4に記載の発明に係る覚醒度処理方法は、上記の覚醒度処理方法において、前記生理データは、心電信号に基づくデータと、脈波信号に基づくデータと、皮膚コンダクタンスに関するデータと、呼吸間隔に関するデータのうちの複数のいずれかを少なくとも含むことを特徴とする。
また、請求項5に記載の発明に係る覚醒度処理方法は、上記の覚醒度処理方法において、前記覚醒度は、脳波信号に含まれるアルファ波の成分のエネルギーと前記脳波信号に含まれる全周波数成分のエネルギーとの比に基づく数値のデータである、ことを特徴とする。ここで、アルファ波は、脳波信号のうちの所定の範囲内の周波数(例えば、8Hz以上且つ13Hz以下)の成分である。
また、請求項6に記載の発明に係る覚醒度処理方法は、上記の覚醒度処理方法において、前記覚醒度は、主観評価による尺度に基づく数値のデータである、ことを特徴とする。ここで、主観評価による尺度とは、例えば、カロリンスカ眠気尺度やスタンフォード眠気尺度などである。
また、請求項7に記載の発明に係る覚醒度処理方法は、上記の覚醒度処理方法において、前記モデル記憶部に書き込まれている前記モデルの情報を読み出すとともに、前記生体からの信号に基づいて生理データを取得し、取得した前記生理データと前記モデルの情報が表す生理データと覚醒度との関係とに基づいて覚醒度を推定する覚醒度推定過程、を含むことを特徴とする。
また、請求項8に記載の発明に係る覚醒度処理装置は、生体からの信号に基づいて生理データを取得する生理データ取得部と、前記生体の覚醒度を取得する覚醒度取得部と、前記生理データと前記覚醒度との関係を表すモデルの情報を記憶するモデル記憶部と、前記生理データ取得部が取得した前記生理データと前記覚醒度取得部が取得した前記覚醒度とに基づいて回帰分析処理を行うことによって前記モデルの情報を求め、前記モデルの情報を前記モデル記憶部に書き込む学習部とを具備することを特徴とする。
本発明の請求項1に係る覚醒度処理方法および本発明の請求項8に係る覚醒度処理装置では、生理データ取得部が、生体(人等)に関して、生理データを取得する。また、覚醒度取得部が、当該生体に関して覚醒度を取得する。学習部は、生理データと覚醒度とを相互に関連付け、回帰分析を行うことにより、生理データと覚醒度との関係を表すモデルを特定する。モデルとは、具体的には、生理データと覚醒度との関係を表すパラメーター値(の集合)である。学習部は上記のモデルの情報をモデル記憶部に書き込む。これにより、当該生体における生理データと覚醒度との関係を、モデル記憶部に記憶させておくことができる。このモデルの情報は、生体に固有のものであり、当該生体に関して生理データと覚醒度との関係を精度よく表す情報として得られる。
また、本発明の請求項2に係る覚醒度処理方法では、モデルの情報は、生理データを基に覚醒度を算出するための関数の情報である。これにより、モデルの情報をモデル記憶部から読み出すことにより、別途取得する生理データから、覚醒度への写像を行うことができる。
また、本発明の請求項3に係る覚醒度処理方法では、取得する生理データは、生体の自律神経活動に関するデータである。これにより、対象とする生体が持つ意思とは関係なく、当該生体自体が置かれている状況や当該生体に与えられる刺激や情報に対応して反応した状況を、データとして利用する。
また、本発明の請求項4に係る覚醒度処理方法では、生理データが、心電信号に基づくデータと、脈波信号に基づくデータと、皮膚コンダクタンスに関するデータと、呼吸間隔に関するデータのいずれかを含むことにより、覚醒度との相関が得られやすい。また、生理データが、ここに列挙するデータのうちの複数のいずれかを少なくとも含むことにより、生理データと覚醒度との関係を精度よく得ることが可能となる。また、生理データが、ここに列挙するデータのうちの複数のいずれかを少なくとも含むことにより、生理データと覚醒度との関係における個体差(人の場合は、個人差)にも対応できるようになる。
また、本発明の請求項5に係る覚醒度処理方法では、覚醒度は、脳波信号に含まれるアルファ波の成分のエネルギーと脳波信号に含まれる全周波数成分のエネルギーとの比に基づく数値データであるため、より客観的な指標としての覚醒度のデータが得られる。
また、本発明の請求項6に係る覚醒度処理方法では、覚醒度は、主観評価による尺度に基づく数値のデータであるため、より簡便な手段で覚醒度のデータを取得することが可能となる。
また、本発明の請求項7に係る覚醒度処理方法では、予めある個体(人の場合は、個人)について記憶しておいたモデルの情報に基づいて、別のタイミングで取得した当該個体の生理データから、そのときの覚醒度を推定することができる。モデルの情報は、個体に特有の情報であるため、生理データに基づいて、個体の覚醒度を精度よく推定することができる。また、脳波を検出するための手段を用いたり、主観評価による尺度を用いたりすることなく、客観的なデータ(生理データ)に基づいて覚醒度の推定を行うことができる。
本発明の第1実施形態に係る覚醒度処理装置の概略機能構成を示したブロック図である。 第1実施形態による覚醒度処理装置が含む生理データ取得部のさらに詳細な機能構成を示したブロック図である。 第1実施形態による覚醒度処理装置が取得する覚醒度データと生理データのデータ構成、および覚醒度データと生理データとの対応関係を示す概略図である。 第1実施形態による覚醒度処理装置が覚醒度データと生理データの関係を示すモデルを確立するための処理の手順を示すフローチャートである。 第1実施形態による覚醒度処理装置が覚醒度のデータを取得するための処理の手順を示すフローチャートである。 本発明の第2実施形態に係る覚醒度処理装置の概略機能構成を示したブロック図である。 第2実施形態による覚醒度処理装置が、生理データに基づいて覚醒度を推定するための処理の手順を示すフローチャートである。 実施例として得られた特定被験者の、覚醒度と、心拍と、呼吸頻度との関係を表すグラフである。
以下、図面を参照しながら、本発明の実施形態について説明する。
[第1実施形態]
図1は、本発明の第1実施形態に係る覚醒度処理装置の概略機能構成を示したブロック図である。図示するように、覚醒度処理装置1は、覚醒度取得部11と、生理データ取得部12と、学習部14と、モデル記憶部18とを含んで構成される。これらの各部の機能を、例えば電子回路を用いて実現する。また、後述するようにコンピュータープログラムでこれら各部の機能を実現するようにしてもよい。また、これら各部において情報を記憶するために、例えば、磁気ハードディスク装置や半導体メモリー等を用いる。この構成により、覚醒度処理装置1は、個人に関して覚醒度データと生理データとを取得し、これら覚醒度データおよび生理データに基づく学習処理を行うことにより、当該個人に関する覚醒度データと生理データとの関係を表す関数のモデルを構築する。具体的には、覚醒度処理装置1は、覚醒度データと生理データとに基づく回帰分析を行い、覚醒度データと生理データとの関係を表す関数のモデルのパラメーターを算出し、記憶する。覚醒度処理装置1を構成する各部の機能は、次の通りである。
覚醒度取得部11は、対象とする個人の覚醒度のデータを取得する(覚醒度取得過程の処理)。言い換えれば、覚醒度取得部11は、生体の覚醒度を取得する。本実施形態の覚醒度取得部11は、具体的には、下の式(1)で表される覚醒度のデータを取得する。
Figure 0006785136
つまり、覚醒度取得部11は、対象となる個人の脳波を取得し、取得した脳波についてフーリエ変換を行うことによって周波数ごとの成分を求める。α波(アルファ波)は脳波の全成分のうちの8Hz(ヘルツ)から13Hzまでの範囲の成分の波である。つまり、覚醒度取得部11は、脳波をフーリエ変換した結果に基づき、脳波の全周波数成分のエネルギーと、α波の成分のエネルギーとを算出し、式(1)にしたがって覚醒度を算出する。式(1)による覚醒度は、0以上且つ1以下の値を取る。そして、その数値が高いほど(つまり1に近いほど)覚醒されている状態を表し、数値が低いほど(つまり0に近いほど)覚醒されていない状態であることを表す。
なお、別の定義による覚醒度を用いる方法については、後で、変形例として説明する。
生理データ取得部12は、生体からの信号に基づいて、対象とする個人の各種の生理データを取得する(生理データ取得過程の処理)。本実施形態における生理データ取得部12は、生理データとして、心電信号に基づくデータと、脈波信号に基づくデータと、皮膚コンダクタンスに関するデータと、呼吸間隔に関するデータのうちの複数のいずれかを少なくとも含む。生理データ取得部12が取得する生理データの詳細については、後述する。
学習部14は、生理データ取得部12が取得した生理データと覚醒度取得部11が取得した覚醒度とに基づいて回帰分析処理を行うことによって、モデルの情報(後述する)を求め、このモデルの情報をモデル記憶部18に書き込む(学習過程の処理)。言い換えれば、学習部14は、覚醒度取得部11が取得した覚醒度のデータと、生理データ取得部12が取得した生理データとに基づき、学習処理により、覚醒度データと生理データとの関係を表すモデルを構築する。具体的には、学習部14は、教師データとして、相互に関連付けられた覚醒度データと生理データのペアを、所定数、入力する。このペアの数は、適宜定めればよいが、例えば、20以上且つ40以下とする。例えば、ペアの数を30程度とする。このとき、ペアの数が小さ過ぎれば精度よく学習を行うことができない。また、ペアの数が大き過ぎれば、学習処理に時間がかかり過ぎる。また、ペアの数が大き過ぎれば、回帰の結果が過剰適合となってしまう可能性もある。覚醒度データをYとし、生理データをXとするとき(ただし、Xはベクトルである)、両者の間にはY=F(X)という関係が成立することを想定することができる。なお、ここでFは所定の関数である。なお、関数Fは、個人ごとに異なる関数である。学習部14は、上記の教師データに基づき、この関数Fがいかなる関数であるかを求める。具体的には、学習部14は、教師データを用いた回帰分析により関数Fを表すパラメーターを求める処理を行い、得られたパラメーターをモデル記憶部18に書き込む。
なお、具体的な学習処理(回帰分析)の手法の例については、後述する。
モデル記憶部18は、学習部14によって求められる関数Fを表すパラメーターを記憶するものである。ある個人に関して、生理データと覚醒度との関係を表すモデルの情報を記憶する。モデルの情報とは、具体的にはパラメーター(通常は、複数のパラメーター)の値の集合である。特に、本実施形態において、モデルの情報とは、生理データXを覚醒度データYに写像するための関数F(つまり、Y=F(X))がどういった関数であるかを表すパラメーター値の集合の情報である。
一例として、Xがm次元ベクトルであり、Yがスカラーであるとき、関数F(X)を、X−Y多次元空間内における複数の超曲面の線形和として表す場合、それらの超曲面のそれぞれの重み係数の集合は、ここでモデル記憶部18が記憶するモデルの情報(の少なくとも一部)である。
図2は、第1実施形態による覚醒度処理装置が含む生理データ取得部のさらに詳細な機能構成を示したブロック図である。図示するように、生理データ取得部12は、心電検出部101と、心拍間隔算出部102と、ローレンツプロット算出部103と、CSI算出部104と、CVI算出部105と、皮膚コンダクタンス検出部111と、皮膚コンダクタンス反応(SCR)検出部112と、呼吸検出部121と、呼吸間隔(RI)算出部122と、脈波検出部131と、脈波頂点算出部132とを含んで構成される。生理データ取得部12は、人の様々な生理データを取得するための測定装置を備えており、それらの測定装置により対象とする個人の生理データを取得する。生理データ取得部12を構成する各部の具体的な機能は、次の通りである。
心電検出部101は、対象とする個人の生体から心電信号を検出する。
心拍間隔算出部102は、心電検出部101が検出した心電信号に基づいて、心拍間隔の時間を算出する。心拍間隔算出部102は、例えば、心拍間隔の時間をミリ秒単位で求める。
ローレンツプロット算出部103は、心拍間隔算出部102が算出した各心拍の間隔の情報に基づいて、ローレンツプロットを算出する。ローレンツプロットは、自律神経活動の時間領域指標の一つであり、次の方法により求められる。即ち、第n番目(n=1,2,・・・)の心拍間隔をRRI(n)としたとき、RRI(n)とRRI(n+1)との組みの集合がローレンツプロットである。なお、ローレンツプロットを視覚的に表現する場合には、2次元座標平面上において、第1の軸にRRI(n)の値を、第2の軸にRRI(n+1)の値を対応させることによって特定される点を、プロットする。つまり、ローレンツプロットは隣接する心拍間隔の長さの変動の程度を示す指標である。
CSI算出部104は、ローレンツプロット算出部103が算出したローレンツプロットに基づいて、CSI(交感神経機能指標,cardiac sympathetic index)を算出する。なお、CSIの算出方法自体は周知事項である。
CVI算出部105は、ローレンツプロット算出部103が算出したローレンツプロットに基づいて、CVI(副交感神経機能指標,cardiac vagal index)を算出する。なお、CVIの算出方法自体は周知事項である。
皮膚コンダクタンス検出部111は、対象とする個人の生体の皮膚コンダクタンスを測定する。皮膚コンダクタンスは、例えば発汗の程度に応じて変化し得る値である。
皮膚コンダクタンス反応(SCR)検出部112は、皮膚コンダクタンス検出部111が検出した皮膚コンダクタンスに基づいて、SCR(皮膚コンダクタンス反応,skin conductance response)を検出する。SCRは、与えられた刺激に対する反応の時間に関する指標である。
呼吸検出部121は、対象とする個人の呼吸を検出する。
呼吸間隔(RI)算出部122は、呼吸検出部121が検出した呼吸(息の吸い込みと吐き出し)に基づいて、RI(呼吸間隔,respiration interval)を算出する。
脈波検出部131は、対象とする個人の脈波を検出する。
脈波頂点算出部132は、脈波検出部131が検出した脈波の信号に基づいて、脈波頂点の振幅を算出する。
以上の構成により、生理データ取得部12は、CSIと、CVIと、SCRと、RIと、脈波頂点の振幅のデータを取得する。なお、生理データ取得部12が、ここに列挙したデータの一部分のみを取得するようにしてもよい。また、生理データ取得部12が、ここに挙げていない他の生理データを取得するようにしてもよい。
例えば、生理データ取得部12が、脈波の周波数成分解析結果を生理データの一部として取得するようにしてもよい。この場合、生理データ取得部12は、対象とする個人の脈波のフーリエ変換処理を行い、周波数成分ごと(例えば、低周波成分と高周波成分など)のエネルギー量の分布を生理データとして取得したり、所定の周波数帯域の成分のエネルギー量と他の周波数帯域の成分のエネルギー量との比の値を生理データとして取得したりする。
また、例えば、生理データ取得部12が、散瞳量を生理データの一部として取得するようにしてもよい。この場合、生理データ取得部12は、対象とする個人の瞳孔の直径を測定し、その直径の値を生理データとして取得したり、平常時の瞳孔の直径に対する測定時の瞳孔の直径の比を生理データとして取得したりする。
また、例えば、生理データ取得部12が、内分泌量を生理データの一部として取得するようにしてもよい。この場合、生理データ取得部12は、対象とする個人の内分泌に関するデータ、即ち血液中に分泌されるホルモン等の量に関するデータを生理データとして取得する。
次に、覚醒度取得部11および生理データ取得部12が取得したデータの構成について説明する。
図3は、第1実施形態による覚醒度処理装置が取得する覚醒度データと生理データのデータ構成、および覚醒度データと生理データとの対応関係を示す概略図である。図示するデータは、特定の個人から取得したデータであり、その個人の生理データから覚醒度データへの写像を表している。図示するように、覚醒度データと生理データとはそれぞれn個(n行)ずつ存在する。覚醒度データと生理データの各行には、指標値(1,2,・・・,n)が付与されている。同一の指標値を有する覚醒度データと生理データとは、ペアを成している。つまり、指標値がiである(1≦i≦n)覚醒度データYと、指標値がiである生理データXi1,Xi2,・・・,Ximとはペアを成している。ペアを成している覚醒度データおよび生理データは、同じタイミングで取得されたデータである。つまり、ペアを成している覚醒度データと生理データは、同時に、または充分に小さい所定の時間差内に取得されたデータである。1個(1行)の生理データは、m個の要素を含んでいる。つまり、第i行(1≦i≦n)の生理データは、Xi1,Xi2,・・・,Ximのm個の要素を含んでいる。第i行の生理データをベクトルとして表すと、X=(Xi1,Xi2,・・・,Xim)である。
なお、覚醒度処理装置1が取得する覚醒度データおよび生理データに関して、nの値(ペアの数)は、学習部14が行う学習処理のために十分に大きな値となるようにする。また、精度の良い学習処理を学習部14が行えるように、覚醒度処理装置1が取得する生理データX,X,・・・,Xは、できるだけ多様な値であることが望ましい。
次に、覚醒度処理装置1による処理の手順について説明する。
図4は、第1実施形態による覚醒度処理装置が覚醒度データと生理データの関係を表すモデルを確立するための処理の手順(覚醒度処理方法)を示すフローチャートである。以下、このフローチャートに沿って処理手順を説明する。
まずステップS11において、覚醒度取得部11は、1件の覚醒度データを取得する。
次にステップS12において、生理データ取得部12は、ステップS11で取得した覚醒度データに対応する1セットの生理データを取得する。第i番目の生理データは、ベクトルXにあたるものである。
次にステップS13において、覚醒度処理装置1は、覚醒度データおよび生理データの取得を終了するか否かを判断する。本ステップでのこの判断は、例えば、覚醒度データおよび生理データのペアが、充分な個数分(例えば、予め設定しておいた個数)得られたか否かに基づいて行う。あるいは、本ステップでのこの判断は、例えば、既に取得済みの複数回分の覚醒度データの値が、適度に分散しているか否か(似たような覚醒度の値のデータばかりではないか)に基づいて行う。ここで、覚醒度データの値が適度に分散しているか否かの判断は、例えば、既に取得済みの覚醒度データの平均値と分散値を計算し、その分散値が所定の閾値以上であるか否かに基づいて行う。あるいは、本ステップでのこの判断は、例えば、装置のユーザーによる操作に基づいて行うようにする。
データの取得を終了する場合(ステップS13:YES)には次のステップS14に進む。データの取得を終了しない場合(ステップS13:NO)には、当該個人の次の覚醒度データおよび生理データを取得するために、ステップS11に戻る。
次にステップS14に進んだ場合、同ステップにおいて、学習部14は、個人マップデータを作成する。つまり、学習部14は、ステップS11からS13までのループで取得した覚醒度データ(Y)および生理データ(X)を基に、XからYへの写像の集合(1≦i≦n)のデータを作成する。この個人マップデータの構成は、図3で既に説明した通りである。
次にステップS15において、学習部14は、ステップS14で作成した個人マップデータを教師データとして用いて、回帰分析を行い、当該個人用のモデルを確立させる。この処理は、つまり、個人マップデータに基づいて回帰分析を行い、関数を求めるものである。ここで求められる関数Fは、生理データ(X)を覚醒度データ(Y)に写像する関数である。つまり、Y=F(X)の関係が成り立つ。そして、学習部14は、求められた関数Fを表すモデル(具体的には、パラメーター値の集合)を、モデル記憶部18に書き込む。
なお、ステップS15における回帰分析の具体的手法としては、例えば、サポートベクトル回帰(support vector regression,SVR)を用いる。サポートベクトル回帰自体は、知られた処理であり、コンピュータープログラムのライブラリーとしても提供されている。また、ステップS15で用いることのできる回帰分析の手法は、サポートベクトル回帰に限られず、他の手法によって関数Fを求めるようにしてもよい。
図5は、第1実施形態による覚醒度処理装置が覚醒度のデータを取得するための処理(覚醒度処理方法)の手順を示すフローチャートである。この図5は、図4におけるステップS11の処理をさらに詳細化して示したものである。以下、このフローチャートに沿って処理手順を説明する。
まずステップS21において、覚醒度取得部11は、脳波信号を取得する。
次にステップS22において、覚醒度取得部11は、ステップS21で取得した脳波信号をフーリエ変換することによって、周波数帯域ごとの成分を解析する。
次にステップS23において、覚醒度取得部11は、ステップS22におけるフーリエ変換の結果に基づいて、α波の成分を抽出する。なお、α波の成分は、8Hz以上且つ13Hz以下の成分である。
次にステップS24において、覚醒度取得部11は、覚醒度の値を算出する。覚醒度の値は、前に式(1)で示した通りである。つまり、覚醒度取得部11は、α波の成分のエネルギーと、脳波の全成分のエネルギーとを算出し、そして式(1)に基づき覚醒度の値を計算する。
覚醒度取得部11がある時点における覚醒度を求めるための処理は、以上の通りである。
以上、説明したように、本実施形態によれば、個人ごとに生理データと覚醒度データとをペアとして相互に関連付ける形で、複数回取得する。そして、それらの生理データと覚醒度データとを教師データとして、回帰分析処理により、生理データと覚醒度データとの関係を表すモデルを算出する。得られたこのモデルは、当該個人に特有のものであり、例えば生理データのみから覚醒度データを精度よく推定するために用いることができる情報である。
[第2実施形態]
次に第2実施形態について説明する。なお、以下では、本実施形態に特有の事項を中心に説明し、前実施形態において既に述べた事項については説明を省略する場合がある。
図6は、本発明の第2実施形態に係る覚醒度処理装置の概略機能構成を示したブロック図である。図示するように、覚醒度処理装置2は、覚醒度取得部11と、生理データ取得部12と、学習部14と、モデル記憶部18と、覚醒度推定部21と、推定結果出力部22とを含んで構成される。つまり、本実施形態による覚醒度処理装置2は、第1実施形態における覚醒度処理装置1の構成に加えて、覚醒度推定部21と、推定結果出力部22とを含んでいる。これらの各部の機能を、第1実施形態と同様に、例えば電子回路を用いて実現する。また、後述するようにコンピュータープログラムでこれら各部の機能を実現するようにしてもよい。
覚醒度処理装置2は、学習モードで機能する場合と、推定モードで機能する場合とがある。覚醒度処理装置2は、ユーザーの操作等によって、適宜、これらのモードの切り替えを行う。
なお、覚醒度取得部11と生理データ取得部12と学習部14とモデル記憶部18の各々の機能は、第1実施形態における各部の機能と同様のものである。そして、学習モードで機能する場合の処理は、第1実施形態で既に説明した処理の内容と同様のものである。
生理データ取得部12は、学習モードで機能する状況においては、取得した生理データを学習部14に渡す。それに対して、生理データ取得部12は、推定モードで機能する状況においては、取得した生理データを覚醒度推定部21に渡す。
また、本実施形態に特有の各部の機能は、次に説明する通りである。
覚醒度推定部21と推定結果出力部22とは、推定モードのみに用いられる機能である。また、推定モードで機能する場合には、学習部14による学習処理が既に済んでいて、モデル記憶部18が学習結果であるパラメーターの情報を記憶していることを前提とする。
覚醒度推定部21は、モデル記憶部18から読み出したパラメーターの値と、生理データ取得部12が取得した生理データとに基づいて、覚醒度を算出し、その覚醒度の値を推定結果出力部22に渡す(覚醒度推定過程の処理)。具体的には、覚醒度推定部21は、モデル記憶部18から読み出したパラメーターの値によって決まる関数Fと、生理データ取得部12が取得した生理データXとに基づいて、覚醒度の推定値であるY=F(X)を算出する。
推定結果出力部22は、覚醒度推定部21によって算出された覚醒度の値を、推定結果として外部に出力する。
次に、推定モードにおける覚醒度処理装置2の処理の手順について説明する。
図7は、第2実施形態による覚醒度処理装置が、生理データに基づいて覚醒度を推定するための処理の手順を示すフローチャートである。以下、このフローチャートに沿って処理手順を説明する。
まずステップS31において、生理データ取得部12が生理データ(X)を取得する。ここで生理データ取得部12が取得する生理データは、図4(第1実施形態)のステップS12で取得する生理データと同様のものである。
次にステップS32において、覚醒度推定部21は、モデル記憶部18からモデルの情報を読み出す。つまり、覚醒度推定部21は、本ステップにおいて、モデル記憶部18から読み出すパラメーターの情報により、生理データXを入力とする関数Fを特定する。
次にステップS33において、覚醒度推定部21は、ステップS31で取得した生理データXに、ステップS32で特定した関数Fを適用し、即ちF(X)の計算を行い、覚醒度の推定値Yを算出する。
次にステップS34において、推定結果出力部22は、ステップS33において算出した覚醒度の推定値Yを外部に出力する。
このフローチャートに示した処理により、生理データを基に、個人の特性を織り込み済みの関数Fを用いて、その生理データを取得した時点での覚醒度を推定することができる。
[変形例]
次に、第1実施形態および第2実施形態に関する変形例を説明する。
第1実施形態および第2実施形態では、覚醒度として、式(1)によって計算する値を用いていた。覚醒度は上記実施形態で用いたものに限定されるものではなく、異なる態様の覚醒度を用いるようにしてもよい。ここで説明する変形例では、主観評価による覚醒度を用いる。例えば、主観評価による尺度として、カロリンスカ眠気尺度(Karolinska sleepiness scale,KSS)や、スタンフォード眠気尺度(Stanford sleepiness scale,SSS)などといった尺度を用いることができる。なお、カロリンスカ眠気尺度やスタンフォード眠気尺度自体は、既に知られている尺度である。
上記のカロリンスカ眠気尺度は、1から9までの9段階の数値で眠気を表すものである。カロリンスカ眠気尺度を取得するために、覚醒度取得部11は、「あなたの眠気の状態を最もよく表した数字を選択してください」という設問を対象者に対して提示する。また、覚醒度取得部11は、選択肢「1:非常にはっきり目覚めている」,「3:目覚めている」,「5:どちらでもない」,「7:眠い」,「9:とても眠い(眠気と戦っている)」を対象者に対して提示する。この提示を受けた対象者は、1から9までの数値のいずれかを選択することができる。なお、数値として、2は1と3の間の状態を表し、4は3と5の間の状態を表し、6は5と7の間の状態を表し、8は7と9の間の状態を表す。覚醒度取得部11は、対象者が選択した数値を、眠気尺度として取得する。覚醒度取得部11が取得するカロリンスカ眠気尺度の値を以下においてKSS値と呼ぶ。
あるいは上記のスタンフォード眠気尺度を用いることもできる。スタンフォード眠気尺度は、1から7までの7段階の数値で眠気を表すものである。スタンフォード眠気尺度を取得するために、覚醒度取得部11は、「現在のあなたの眠気について、最も近いものを一つ選んでください」という設問を対象者に対して提示する。また、覚醒度取得部11は、選択肢「1:やる気があり、活発で、頭がさえていて、眠くない感じ」,「2:最高とはいえないまでも、頭の働きが活発、集中していられる」,「3:くつろいで起きている、しかしどちらかというと少し頭がぼんやりし反応が悪い」,「4:すこしぼんやりしていて、何かしたいと思わない」,「5:ぼんやりしている、集中していられない、起きているのが困難」,「6:眠いので横になりたい、ぼおっとしている」,「7:まどろんでいる、起きていられない、すぐにねむってしまいそうだ」を対象者に対して提示する。この提示を受けた対象者は、1から7までの数値のいずれかを選択することができる。覚醒度取得部11は、対象者が選択した数値を、眠気尺度として取得する。覚醒度取得部11が取得するスタンフォード眠気尺度の値を以下においてSSS値と呼ぶ。
覚醒度取得部11は、KSS値あるいはSSS値を取得すると、これを覚醒度の値に変換する。KSS値を用いる場合には、覚醒度取得部11は、式(2)によって覚醒度を算出する。また、SSS値を用いる場合には、覚醒度取得部11は、式(3)によって覚醒度を算出する。
Figure 0006785136
Figure 0006785136
式(2)または式(3)によって覚醒度取得部11が計算する覚醒度の値は、0以上且つ1以下となる。なお、覚醒度の値を0以上且つ1以下になるようにして、覚醒度が1のときに最も覚醒されている状態であって、覚醒度が0のときに最も覚醒されていない(つまり眠気を感じている)状態とするためには、上の式(2)や式(3)によって覚醒度を計算すればよい。ただし、KSS値あるいはSSS値に基づいて他の計算方法によって覚醒度を算出するようにしてもよい。また、KSS値あるいはSSS値をそのまま覚醒度の値として用いてもよい(ただし、その場合は、値が小さいほど覚醒された状態を表す)。
本変形例では、学習過程において、上記の主観評価によって取得される覚醒度を用いる。そして、そのような学習処理によって、学習部14は回帰分析により関数Fを求める。この学習処理によって求められた関数Fを用いて、推定モードにおける覚醒度推定部21は、覚醒度を推定することができる。
なお、さらにカロリンスカ眠気尺度やスタンフォード眠気尺度以外の尺度を用いて覚醒度を取得するようにしてもよい。
[さらなる変形例]
上記の実施形態では、覚醒度を処理する対象が人である場合を述べた。しかし、対象は人に限定されるものではなく、人以外の生物(動物)の覚醒度を処理するようにしてもよい。
また、生理データとして、実施形態において例示したもの以外のデータを用いるようにしてもよい。
なお、上述した各実施形態および変形例における覚醒度処理装置の機能をコンピューターで実現するようにしても良い。その場合、機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
[実施例]
次に、一つの実施例について説明する。
本実施例では、生理データとして、心拍(「HR」で表す)と、呼吸頻度(「resp」で表す)の2つを用いる。つまり、図3に示した生理データにおいて、m=2である。そして、この生理データ中の第1列(X11,X21,・・・)がHRの数値にあたる。また、生理データ中の第2列(X12,X22,・・・)がrespの数値にあたる。
表1は、一人の特定の被験者に関して取得した、覚醒度と、生理データとの関係を表す表である。ここで、心拍は、単位時間当たりの心拍回数の数値であり、単位は「回数/min」(回数毎秒)である。また、呼吸頻度は、単位時間当たりの呼吸の回数の数値であり、単位は「回数/min」(回数毎秒)である。また、覚醒度(arousal)は、0以上且つ1以下の実数で表される。なお、この表において、覚醒度の有効数字は小数点第6位まで、心拍の有効数字は小数点第5位まで、呼吸の有効数字は小数点第5位までとして、それぞれ扱っている。また、この表は、当該被験者の様々な状況における20件のデータを含んでいる。
Figure 0006785136
学習部14は、表1に示したデータに基づいて学習処理を行う。言い換えれば、学習部14は、表1に示したデータに関する回帰分析を行う。具体的には、学習部14は、HRとrespに関する一次式で、回帰分析を行う。即ち、学習部14は、arousal=α・HR+β・resp という一次式における重み係数αおよびβを求める。
表1のデータに基づいて学習部14が回帰分析を行った結果、α=0.05797、β=−0.21772 という値が得られる。即ち、表1のデータは、下の式(4)の一次式に回帰される。
Figure 0006785136
図8は、表1に示したデータを3次元空間内に表したグラフである。図示するグラフの3つの軸は、覚醒度(arousal)と、心拍(HR)と、呼吸頻度(resp,respiration)である。図示するグラフにおいて、覚醒度の値の範囲は、0.0以上且つ1.0以下である。また、心拍(HR)の値の範囲は、57以上且つ64以下である。また、呼吸頻度(repsiration)の値の版には、13.5以上且つ16.0以下である。この3次元空間内に示した黒丸の印が、表1の各行のデータに対応する点の位置を示す。また、表1に含まれる20行のデータに基づいて回帰分析した結果が、グラフ内に示す傾いた平面である。言い換えれば、表1に含まれる各行のデータが表す位置が、この平面の近傍になるように、重み係数が求められている。この平面を表す式は、上で述べた式(4)である。
なお、様々な種類の生理データのうちのどの生理データが覚醒度に大きく影響するかというのは、被験者それぞれによって異なる。言い換えれば、覚醒度を求める数式(複数種類の生理データを重み付け加算するための積和形の数式)において、どの生理データの重み係数が大きくなるかというのは、被験者それぞれによって異なる。実施形態で説明した覚醒度処理装置は、そういった被験者ごとの特徴(どの生理データが覚醒度に大きく影響するか)にも対応し、汎用的な方法で回帰分析を行い、生理データの種類ごとの重み係数を求める。一方で、被験者個人の特性に応じて、多種の生理データのうち相対的に覚醒度に大きく影響する特定の数種類のみを予め選択するようにしてもよい。ここで説明する実施例では、そのように多種の生理データのうち、当該被験者に合った2種類の生理データ(心拍と呼吸頻度)を選択している。そして、覚醒度処理装置が、回帰分析により、覚醒度を推定するための計算式(式(4))を求めている。
学習部14が上記の回帰分析処理を行った後、覚醒度処理装置2の覚醒度推定部21は、新たに取得する生理データと、学習部14による回帰分析結果(回帰式のパラメーターで表されるモデル)とに基づいて、覚醒度を推定することができる。一例として、回帰分析処理によって式(4)が既に得られている場合、且つ当該被験者から取得した心拍(HR)が58.69[回/min]、また呼吸頻度(resp)が13.45[回/min]の場合、覚醒度推定部21は次のように覚醒度を推定する。即ち、HR=58.69、resp=13.45の値を、式(4)内の変数それぞれに代入する。その結果、得られる覚醒度は、0.86である(小数点第3位を四捨五入)。
1,2 覚醒度処理装置
11 覚醒度取得部
12 生理データ取得部
14 学習部
18 モデル記憶部
21 覚醒度推定部
22 推定結果出力部
101 心電検出部
102 心拍間隔算出部
103 ローレンツプロット算出部
104 CSI算出部
105 CVI算出部
111 皮膚コンダクタンス検出部
112 皮膚コンダクタンス反応(SCR)検出部
121 呼吸検出部
122 呼吸間隔(RI)算出部
131 脈波検出部
132 脈波頂点算出部

Claims (4)

  1. 生体からの信号に基づいて生理データを取得する生理データ取得過程と、
    前記生体の覚醒度を取得する覚醒度取得過程と、
    前記生理データ取得過程で取得した前記生理データと前記覚醒度取得過程で取得した前記覚醒度とに基づいて回帰分析処理を行うことによって、前記生理データと前記覚醒度との関係を表すモデルの情報を求め、前記モデルの情報をモデル記憶部に書き込む学習過程と、
    を含み、
    取得される前記生理データは、前記生体の自律神経活動に関するデータであり、心電信号に基づくデータと、脈波信号に基づくデータと、皮膚コンダクタンスに関するデータと、呼吸間隔に関するデータのうちの複数のいずれかを少なくとも含むものであり、
    前記覚醒度取得過程においては、脳波の周波数ごとの成分を求め、脳波の全周波数成分のエネルギーとα波の成分のエネルギーとを算出し、前記α波の成分のエネルギーを前記脳波の全周波数成分のエネルギーで除した値を1から減ずることによって前記覚醒度を取得する、
    覚醒度処理方法。
  2. 前記モデルの情報は、前記生理データを基に前記覚醒度を算出するための関数の情報である、
    ことを特徴とする請求項1に記載の覚醒度処理方法。
  3. 前記モデル記憶部に書き込まれている前記モデルの情報を読み出すとともに、前記生体からの信号に基づいて生理データを取得し、取得した前記生理データと前記モデルの情報が表す生理データと覚醒度との関係とに基づいて覚醒度を推定する覚醒度推定過程、
    を含むことを特徴とする請求項1または2に記載の覚醒度処理方法。
  4. 生体からの信号に基づいて生理データを取得する生理データ取得部と、
    前記生体の覚醒度を取得する覚醒度取得部と、
    前記生理データと前記覚醒度との関係を表すモデルの情報を記憶するモデル記憶部と、
    前記生理データ取得部が取得した前記生理データと前記覚醒度取得部が取得した前記覚醒度とに基づいて回帰分析処理を行うことによって前記モデルの情報を求め、前記モデルの情報を前記モデル記憶部に書き込む学習部と、
    を具備し、
    取得される前記生理データは、前記生体の自律神経活動に関するデータであり、心電信号に基づくデータと、脈波信号に基づくデータと、皮膚コンダクタンスに関するデータと、呼吸間隔に関するデータのうちの複数のいずれかを少なくとも含むものであり、
    前記覚醒度取得部は、脳波の周波数ごとの成分を求め、脳波の全周波数成分のエネルギーとα波の成分のエネルギーとを算出し、前記α波の成分のエネルギーを前記脳波の全周波数成分のエネルギーで除した値を1から減ずることによって前記覚醒度を取得する、
    ことを特徴とする覚醒度処理装置。
JP2016228131A 2016-11-24 2016-11-24 覚醒度処理方法および覚醒度処理装置 Active JP6785136B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016228131A JP6785136B2 (ja) 2016-11-24 2016-11-24 覚醒度処理方法および覚醒度処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016228131A JP6785136B2 (ja) 2016-11-24 2016-11-24 覚醒度処理方法および覚醒度処理装置

Publications (2)

Publication Number Publication Date
JP2018082931A JP2018082931A (ja) 2018-05-31
JP6785136B2 true JP6785136B2 (ja) 2020-11-18

Family

ID=62237324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016228131A Active JP6785136B2 (ja) 2016-11-24 2016-11-24 覚醒度処理方法および覚醒度処理装置

Country Status (1)

Country Link
JP (1) JP6785136B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7252542B2 (ja) * 2019-05-21 2023-04-05 本田技研工業株式会社 覚醒状態推定装置及び覚醒状態推定方法
WO2022124515A1 (ko) * 2020-12-07 2022-06-16 주식회사 오토웰즈 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치 및 방법
WO2022176221A1 (ja) * 2021-02-16 2022-08-25 ヘルスセンシング株式会社 信号処理装置、信号処理システムおよび信号処理プログラム
EP4176801A4 (en) * 2021-02-16 2023-11-01 Health Sensing Co., Ltd. SIGNAL PROCESSING APPARATUS, SIGNAL PROCESSING SYSTEM AND SIGNAL PROCESSING PROGRAM
JP7389413B1 (ja) * 2022-07-26 2023-11-30 インタークロス株式会社 被験者の脳波スコア算出装置および方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0596971A (ja) * 1991-10-04 1993-04-20 Nissan Motor Co Ltd 居眠り運転防止装置
JP2005323691A (ja) * 2004-05-12 2005-11-24 Toyota Motor Corp 状態表示装置及び状態表示方法
JP5036383B2 (ja) * 2007-04-18 2012-09-26 株式会社デルタツーリング 睡眠状態判定装置、睡眠状態判定方法及びコンピュータプログラム
US20100100004A1 (en) * 2008-10-16 2010-04-22 Koninklijke Nederlandse Akademie Van Wetenschappen Skin Temperature Measurement in Monitoring and Control of Sleep and Alertness
JP6122884B2 (ja) * 2015-02-13 2017-04-26 日本電信電話株式会社 作業覚醒度推定装置、方法およびプログラム

Also Published As

Publication number Publication date
JP2018082931A (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
JP6785136B2 (ja) 覚醒度処理方法および覚醒度処理装置
Bulagang et al. A review of recent approaches for emotion classification using electrocardiography and electrodermography signals
Blascovich et al. Social psychophysiology for social and personality psychology
Mazher et al. An EEG-based cognitive load assessment in multimedia learning using feature extraction and partial directed coherence
Nacke An introduction to physiological player metrics for evaluating games
JP6190466B2 (ja) 生体信号測定器及び接触状態推定方法
US20190008436A1 (en) Method and system for monitoring and improving attention
JP2015042267A (ja) 睡眠/覚醒状態評価方法及びシステム
JP5929020B2 (ja) 意識状態推定装置及びプログラム
Wallot et al. Using complexity metrics with RR intervals and BPM heart rate measures
KR20110004899A (ko) 생리적 상태를 결정하기 위한 방법 및 시스템
Sharma et al. Modeling stress recognition in typical virtual environments
Mikuckas et al. Emotion recognition in human computer interaction systems
Cimr et al. Automatic detection of breathing disorder from ballistocardiography signals
JP2017536946A (ja) 意識状態を決定するデバイスおよび方法
JP6627112B2 (ja) 生体機能検査装置、生体機能検査装置の作動方法及びプログラム
CN113614751A (zh) 脑电图信号的识别和提取
Urrestilla et al. Measuring cognitive load: Heart-rate variability and pupillometry assessment
Nacke Introduction to biometric measures for games user research
Chu et al. Physiological signals based quantitative evaluation method of the pain
Ahmad et al. Multiparameter physiological analysis in obstructive sleep apnea simulated with Mueller maneuver
Yiu et al. Fatigue-Related change in surface electromyographic activities of the perilaryngeal muscles
JP2016047305A (ja) 意識状態推定装置及びプログラム
Sim et al. A study on emotion classification utilizing bio-signal (PPG, GSR, RESP)
JP6209395B2 (ja) 生体状態推定装置及びコンピュータプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201026

R150 Certificate of patent or registration of utility model

Ref document number: 6785136

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150