JP6375496B2 - 眠気検出方法及び眠気検出装置 - Google Patents

眠気検出方法及び眠気検出装置 Download PDF

Info

Publication number
JP6375496B2
JP6375496B2 JP2014114093A JP2014114093A JP6375496B2 JP 6375496 B2 JP6375496 B2 JP 6375496B2 JP 2014114093 A JP2014114093 A JP 2014114093A JP 2014114093 A JP2014114093 A JP 2014114093A JP 6375496 B2 JP6375496 B2 JP 6375496B2
Authority
JP
Japan
Prior art keywords
data
hrv
drowsiness
sleepiness
rri
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014114093A
Other languages
English (en)
Other versions
JP2015226696A (ja
Inventor
俊貴 山川
俊貴 山川
幸一 藤原
幸一 藤原
敏洋 平岡
敏洋 平岡
恵里花 阿部
恵里花 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Kyoto University
Original Assignee
Shizuoka University NUC
Kyoto University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC, Kyoto University filed Critical Shizuoka University NUC
Priority to JP2014114093A priority Critical patent/JP6375496B2/ja
Publication of JP2015226696A publication Critical patent/JP2015226696A/ja
Application granted granted Critical
Publication of JP6375496B2 publication Critical patent/JP6375496B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、車両の運転者の眠気を検出するための眠気検出方法及び眠気検出装置に関するものである。
居眠り運転の経験がある運転者は、運転免許証保有者の約3割にも達すると言われており、近時において、安全性の観点から居眠り運転防止技術は社会的にも最も重要な課題の一つであると認識されている。そのため、運転者の眠気検出をリアルタイムに行い、眠気を検出した際に警告を行うことで居眠り運転を防止する技術が開発されており、例えば運転席に取り付けた静脈センサ或いは圧力センサ等を用いて運転中の眠気検出を行う技術や、眠気の予兆とされる前庭動眼反射の劣化を画像処理等で検知することにより眠気を検出する運転中の技術等が提案されている。
しかし、静脈センサ或いは圧力センサ等を用いる技術においては、運転者の姿勢によって計測が中断されてしまう等の不具合や導入コストが嵩んでしまうという問題があった。また、前庭動眼反射の劣化を画像処理等で検知する技術においては、夜間等の検出が困難であるという問題がある。このような不具合を解消すべく、例えば特許文献1等により、心電図における隣接するR波の間隔であるRR間隔(RRI)を計測し、その計測されたRRIに基づいて眠気の発生を検出して警告を発する技術が提案されている。
特開平8−196636号公報
上記従来の眠気検出方法においては、RRIを計測するためのデバイスが安価となり且つ小型化されていることから、導入コストが嵩んでしまうのを抑制しつつ車両に対して容易に実装可能とされるとともに、眠気を検出するためのリアルタイム性が高いという技術的優位性を有しているものの、その検出精度については未だ十分でないという問題があった。
本発明は、このような事情に鑑みてなされたもので、居眠り検出のリアルタイム性が高く車両に対して容易に実装可能とされるとともに、より高精度に運転者の居眠りを検出することができる眠気検出方法及び眠気検出装置を提供することにある。
請求項1記載の発明は、車両の運転者の眠気を検出するための眠気検出方法において、運転者の覚醒時の心電図波形における隣接するR波の間隔であるRRIデータを取得し、その取得されたRRIデータに基づいて心拍変動を解析するHRV解析のためのデータセットを構築した後、それぞれのデータセットでHRV指標を求めて覚醒時HRV指標データを求め、標準化された覚醒時HRV指標データに基づいて多変量統計的プロセス管理(MSPC)を用いて運転者毎の眠気検出モデルを構築することを特徴とする。
請求項2記載の発明は、請求項1記載の眠気検出方法において、前記覚醒時HRV指標データの平均と分散を求めて覚醒時HRV指標データを標準化することを特徴とする。
請求項3記載の発明は、請求項1又は請求項2記載の眠気検出方法において、車両走行時の運転者のRRIデータを測定し、その取得されたRRIデータに基づいてHRV解析のためのデータセットを構築した後、そのデータセットでHRV指標を求めてHRV指標ベクトルとし、標準化したHRV指標ベクトルと予め構築された運転者毎の前記眠気検出モデルとに基づいて眠気を検出することを特徴とする。
請求項4記載の発明は、車両の運転者の眠気を検出するための眠気検出装置において、運転者の覚醒時の心電図波形における隣接するR波の間隔であるRRIデータを取得し、その取得されたRRIデータに基づいて心拍変動を解析するHRV解析のためのデータセットを構築した後、それぞれのデータセットでHRV指標を求めて覚醒時HRV指標データを求め、標準化された覚醒時HRV指標データに基づいて多変量統計的プロセス管理(MSPC)を用いて運転者毎の眠気検出モデルを構築することを特徴とする。
請求項5記載の発明は、請求項4記載の眠気検出装置において、前記覚醒時HRV指標データの平均と分散を求めて覚醒時HRV指標データを標準化することを特徴とする。
請求項6記載の発明は、請求項4又は請求項5記載の眠気検出装置において、車両走行時の運転者のRRIデータを測定し、その取得されたRRIデータに基づいてHRV解析のためのデータセットを構築した後、そのデータセットでHRV指標を求めてHRV指標ベクトルとし、標準化したHRV指標ベクトルと予め構築された運転者毎の前記眠気検出モデルとに基づいて眠気を検出することを特徴とする。
本発明によれば、標準化された覚醒時HRV指標データに基づいて多変量統計的プロセス管理(MSPC)を用いて運転者毎の眠気検出モデルを構築するので、居眠り検出のリアルタイム性が高く車両に対して容易に実装可能とされるとともに、より高精度に運転者の居眠りを検出することができる。
特に、車両走行時において、運転者のRRIデータから求められる標準化したHRV指標ベクトルと予め構築された運転者毎の眠気検出モデルとに基づいて眠気を検出するので、より一層の高精度化及びリアルタイム性の向上を図ることができる。
本発明の実施形態に係る眠気検出方法におけるRRI及びHRV指標を求めるためのデータを示すグラフ 同眠気検出方法におけるT統計量を利用する前の管理限界を示すグラフ 同眠気検出方法におけるT統計量を利用した後の管理限界を示すグラフ 主成分で張られる部分空間とその直交補空間を独立に管理する方法を示すための概念図 本実施形態に係る制御内容を示すためのフローチャート 同眠気検出方法における実施例の実験データを取得する方法の流れを示す模式図 同眠気検出方法における実施例の実験データを取得する装置(赤外線カメラ)を示す模式図 同眠気検出方法における実施例の実験データを取得する装置(RRI測定装置)を示す模式図 同眠気検出方法における実施例で使用される覚醒度評価判定基準を示す表 同眠気検出方法における実施例における実験の顔表情判定の結果を示すグラフ 同眠気検出方法における実施例において、覚醒時の被験者2のLFに対して誤検出が0%になるように管理限界を設定した際のグラフ 同眠気検出方法における実施例において、衝突時の被験者2のLFに対して管理限界を設定した際のグラフ 同眠気検出方法における実施例において、覚醒時の被験者2に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ 同眠気検出方法における実施例において、衝突時の被験者2に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ 同眠気検出方法における実施例において、覚醒時の被験者6のLFに対して誤検出が0%になるように設定した際のグラフ 同眠気検出方法における実施例において、衝突時の被験者6のLFに対して誤検出が0%になるように設定した際のグラフ 同眠気検出方法における実施例において、覚醒時の被験者6に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ 同眠気検出方法における実施例において、衝突時の被験者6に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ 同眠気検出方法における実施例において、覚醒時の被験者7のLFに対して誤検出が0%になるように設定した際のグラフ 同眠気検出方法における実施例において、衝突時の被験者7のLFに対して誤検出が0%になるように設定した際のグラフ 同眠気検出方法における実施例において、覚醒時の被験者7に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ 同眠気検出方法における実施例において、衝突時の被験者7に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ 同眠気検出方法における実施例において、覚醒時の被験者11のLFに対して誤検出が0%になるように設定した際のグラフ 同眠気検出方法における実施例において、衝突時の被験者11のLFに対して誤検出が0%になるように設定した際のグラフ 同眠気検出方法における実施例において、覚醒時の被験者11に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ 同眠気検出方法における実施例において、衝突時の被験者11に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ
以下、本発明の実施形態について図面を参照しながら具体的に説明する。
本実施形態に係る眠気検出方法及び眠気検出装置は、車両の運転者の眠気を検出するためのもので、眠気検出モデルを構築し、その予め構築された眠気検出モデルと標準化したHRV指標ベクトルとに基づいて眠気を検出するよう構成されている。具体的には、本実施形態に係る眠気モデルの構築方法として、運転者の覚醒時の心電図波形における隣接するR波の間隔であるRRIデータを取得し、その取得されたRRIデータに基づいて(例えば、移動窓を用いて)心拍変動を解析するHRV解析のためのデータセットを構築した後、それぞれのデータセットでHRV指標を求めて覚醒時HRV指標データを求め、標準化された覚醒時HRV指標データに基づいて多変量統計的プロセス管理(MSPC)を用いて運転者毎の眠気検出モデルを構築するよう構成されている。特に、本実施形態に係る標準化された覚醒時HRVは、例えば移動窓を用いて求められた醒時HRV指標データの平均と分散を求めて覚醒時HRV指標データを標準化して得られたものとされている。
一方、本実施形態に係る車両走行時における眠気検出方法及び眠気検出装置は、両走行時の運転者のRRIデータを測定し、その取得されたRRIデータに基づいて(例えば、移動窓を用いて)HRV解析のためのデータセットを構築した後、そのデータセットでHRV指標を求めてHRV指標ベクトルとし、標準化したHRV指標ベクトルと予め構築された運転者毎の眠気検出モデルとに基づいて眠気を検出するよう構成されている。
心拍変動(heart rate variability;HRV)は、RRIの変動であり、従来より、自律神経活動と関係があるためHRV解析は循環器系疾患の診察やストレスの推定等に用いられてきている。なお、一般的に、HRV指標として時間領域指標と周波数領域指標とに大別される。典型的な心電図(electrocardiogram;ECG)波形を図1(a)に示す。心電図波形は、いくつかのピークから構成されているが、もっとも高いピークをR波と呼び、隣接するR波の間隔(ms)をRR間隔(RR interval;RRI)という。
健常者から取得したRRIデータを図1(b)に示す。RRIデータは等間隔に取得されていないため、そのまま解析することは困難である。そこで、スプラインなどを用いてRRIデータを補間することにより等間隔(例えば1s間隔)でデータをリサンプリングすると、図1(c)の如き結果となる。以下に医学的なガイドライン等で提案されているHRV指標の一部について説明する。
時間領域指標は、サンプリングされたRRIデータより計算にて求めることができ、以下の定義とされている。「mean of RRI」は、RRIの平均値、「SDNN」は、RRIの標準偏差(RRIがどれだけ変動しているかを示す指標となり、RRIの変動が大きいと値は大きくなる)、「Total Power RRI」は、全周波数帯のパワースペクトル(RRIの分散に等しいため、RRIの分散を計算することで算出することができる)、「RMSSD」は、n番目のRRIとn+1番目のRRIの差の2乗の平均値の平方根(5分計測における指標の一つとして推奨されており、RRIの変動が大きいと値は大きくなる)、「NN50」は、n番目とn+1番目のRRIの差が50(ms)を超えた数(通常のRRIの変動は50(ms)以下であり、激しい変動の指標となる)、「pNN50」は、NN50の値を全R波の数で割って割合としたもの(大きな変動が起こる割合を把握できる)、「HRV index」は、RRIの合計数をRRIのヒストグラムの最大値で割った値(ヒストグラムのビンの長さに依存する)を示すものである。
周波数領域指標は、リサンプリングされたRRIデータのパワースペクトル密度(powerspectrum density;PSD)より求めることができる。ここで、RRIデータのPSDの計算には、Fourier変換又は自己回帰(autto regression;AR)モデルを用いることができる。以下に、周波数領域指標に関する定義を示す。
「Power of LF」は、LF帯(0.04Hz〜0.15Hz)のパワースペクトル(LFは主に交感神経系の活動の指標とされる)、「power of HF」は、HF帯(0.15Hz〜0.4Hz)のパワースペクトル(HFは主に副交感神経系の活動の指標とされる)、「LF/HF」は、LFをHFで割った値であり交感神経系と副交感神経系の活動状況の比を示すものである。
このうち、「LF/HF」について、交感神経優位では、LFが現れてHFは減少するのに対し、副交感神経優位では、LFとHFのどちらも現れるので、交感神経優位で値が大きくなり、副交感神経優位で値が小さくなる。このため、「LF/HF」は、ストレス指標とも呼ばれるものである。なお、図1(c)のRRIデータのPSDとLF/HFを同図(d)に示す。
次に、本実施形態に係る眠気検出方法について、図5のフローチャートに基づいて説明する。
先ず、RRIデータIデータを1拍分受け付け(S1)、外れ値補正部にて外れ値補正(S2)を行った後、その補正済みRRIデータをバッファに送信し、特徴抽出部による特徴抽出(S4)、識別部による眠気の検出(S5)を順次行い、眠気があるか否かの判定(S6)を行う。S6にて眠気があると判定されると、眠気(眠気の警告)アラームを発生(S7)させて運転者に注意喚起をさせる。また、覚醒時のデータ収集時においては、特徴抽出部による特徴抽出(S4)の後、得られたデータをバッファにて保持させ(S8)、眠気検出モデル構築部にて眠気検出モデルを構築(S9)している。
外れ値補正部(S2)は、体動などによってR波計測デバイスにてR波が正しく検出されず、RRIが外れ値となった場合に、その外れ値を補正するためのプロセスである。具体的には、取得したRRIデータの外れ値検出において、通常の3σ法を参考として平均値の代わりに中央値を、標準偏差の代わりに中央絶対偏差を用いるものとされている。中央絶対偏差(mad_std)は、サンプルデータを列ベクトルx、中央値をmedian(x)とすると、以下の式で定義される。
また、サンプルデータが正規分布に従うときの標準偏差推定値madは、次式で計算される。
この中央値と中央絶対偏差を用いた外れ値検出法により、正常値と見なされるRRIデータの下限値及び上限値は、以下のように定義される。
そして、下限値を下回った場合は、中央値で置き換えを行う。RRIデータが下限値を下回るのは、心拍測定デバイスに筋電などのアーチファクトが混入して誤ってR波と見なされ、不正確なR波のタイミングがデバイスから送信されている場合である。プログラムは、デバイスからの不正確なR波のタイミングのみを受信するため、実際のRRIを求めるのが困難であるので、本実施形態のように、下限値を下回ったRRIを中央値で置き換えることにより、外れ値の影響を小さくすることができる。
一方、RRIデータが上限値を上回った場合は、数拍分のRRIの合計をRRIデータとして誤ってカウントしていると考えられる。そこで、本実施形態においては、上限値を上回ったRRIデータをサンプルの中央値で除して最も近い整数へ丸め、外れ値が何拍分に相当するのかを計算した後、外れ値をその拍数で除した値で外れ値を置き換えるものとされている。
特徴抽出部(S4)は、取得されたRRIデータを解析することが容易なデータ形式(即ち、特徴量)に変換するためのプロセスである。本プロセスで用いられる特徴量は、上記した医学的なガイドライン等で提案されている解析法を参考にして、10種類を用いている。すなわち、mean of RRI、SDNN、RMSSD、Total power、NN50、pNN50、HRV index、LF、HF、LF/HFの10種類(各詳細な説明は上記参照)を用いて特徴量を得ているのである。なお、これらの特徴量を1回計算するには、3分程度の長さのRRIデータが必要であるため、本実施形態においては、先ず250拍分のRRIデータをバッファとして保持する必要がある。つまり、本プロセス開始後、250拍分のRRIデータがバッファとして保持されるまで特徴量は計算されず、250拍目以降は、1拍毎に特徴量が計算されるのである。
眠気検出モデル構築部(S9)は、プログラム実行直後にRRIデータにより個人適合する(運転者毎の)眠気検出モデルを構築するプロセスである。RRIデータは、個人差が大きいため、単一の眠気検出モデルでは、多様なユーザに適合させるのが困難である。そこで、個人に適合した運転者毎のプロセスとするため、250拍分の特徴量データより、そのユーザに特化した眠気検出モデルを構築しているのである。
したがって、本実施形態に係る眠気検出モデル構築部においては、特徴量計算のための250拍分のRRIデータのバッファと、特徴量計算開始後250拍分の特徴量データ取得のため、合計500拍分のデータが必要とされる。500拍とは、約6分程度のデータ量に相当するが、本実施形態においては、構築した眠気検出モデルをストレージに記憶させて保持しておき、それを本プログラムの起動時にロードするよう構成しているので、一度眠気検出モデルを構築すれば、HRV指標計算のための250拍のRRIデータを取得すればよく、RRIデータ取得開始約3分後に眠気検出を開始させることができる。
識別部(S5)は、眠気検出モデル構築部(S9)にて構築された眠気検出モデルと、特徴抽出部(S4)にて求められた特徴量とに基づいて、運転者の眠気を判定するためのプロセスである。そして、S6にて眠気があるか否か判断され、眠気があると判断されると、S7にて眠気アラーム(警報)を発生させるとともに、眠気がないと判断されると、S1に戻って一連のプロセスが繰り返される。なお、図5中の点線は、眠気検出モデルの構築時のみ行われるプロセスを示している。
ここで、本実施形態に係る眠気検出モデル構築において、主成分分析に基づいた異常検出方法である多変量統計的プロセス管理(Multivariate Statistical Process Control;MSPC)を用いている。主成分分析は、データの特徴抽出及び次元圧縮を目的とする多変量解析であり、変数間の相関関係を捉えるために、変数の線形結合によって、主成分と呼ばれる新たな合成変数を作り出すものである。
すなわち、図2で示すように、データを最もよく表現でできる方向に第1主成分(the 1st main component)を設定し、その第1主成分と直交する空間の中で、第1主成分では表現できないデータの変動を最もよく表現できる方向に第2主成分(the 2nd main component)を設定するという手順で、主成分を次々と設定する。ここで、データを最もよく表現する方向とは、主成分得点の分散が最大となる方向という意味であり、主成分得点とは、主成分軸上の座標、すなわち主成分が張る空間にデータを射影した値をいう。
先ず、データ行列を以下のように定義する。なお、Pは変数の数、Nはサンプル数であり、各変数は標準化されているとする。
また、データ行列Xの特異値分解を以下のように定義する。
UとVは、直交行列であり、対角行列Sの対角要素には、特異値sが降順に並んでいる。採用する主成分の数をRとすると、第r主成分は負荷量行列(Loading Matrix)Vの第r列vで与えられ、第r主成分tは、
で計算される。なお、vはUの第r列である。第R主成分得点までをまとめて表現すると、
となる。主成分得点の共分散行列が、
のように対角行列となることから、主成分得点は互いに無相関であることがわかる。このように、主成分を導入することによって、データを表現するための空間をP次元からR次元へ圧縮することができる。かかる次元圧縮後のR次元空間の基底が主成分であり、主成分得点が座標である。次元圧縮後のデータを元のP次元空間上の座標で表現すると、
となる。X^は再構築データであり、
が次元圧縮によって失われる情報、すなわち予測誤差とも呼ばれる残差である。
しかるに、主成分分析を利用することによって、図2のように楕円管理限界を設定することができる。しかし、このままでは管理限界を超えたかどうかの判断を簡単に行うことができないので、以下に示す統計量「Hotelling’s T2」を用いる。
ここで、σtrは第r主成分得点tの標準偏差であり、T統計量はマハラノビス距離に対応している。つまり、T統計量が小さいほどサンプルはモデル構築データの平均に近いのである。このT統計量を利用することによって、図3に示すように、管理限界を楕円から真円に変形することができるため、正常と異常を区別するのに適した上限値をT統計量に対して設定すればよく、主成分で張られる部分空間については、T統計量による管理が有効である。
一方、主成分分析による次元圧縮で失った情報、すなわち主成分で張られる部分空間の直交補空間における残差を監視することにより、サンプルと構築したモデルとの非類似度を求めることができる。そこで、残差から計算される以下のQ統計量を用いる。
このQ統計量は、二乗予測誤差とも呼ばれ、データのうち、モデルによっては表現できない部分を表すものとされる。このようなT統計量とQ統計量を用いて、主成分で張られる部分空間とその直交補空間を独立に管理する方法の概念図を図4に示す。そして、T統計量とQ統計量とを同時に監視し、いずれか一方でも管理限界を超えた場合に異常と判定するのが、主成分分析に基づく「多変量統計的プロセス管理」なのである。
上記した実施形態に係る眠気検出方法及び眠気検出装置によれば、標準化された覚醒時HRV指標データに基づいて多変量統計的プロセス管理(MSPC)を用いて運転者毎の眠気検出モデルを構築するので、居眠り検出のリアルタイム性が高く車両に対して容易に実装可能とされるとともに、より高精度に運転者の居眠りを検出することができる。特に、車両走行時において、運転者のRRIデータから求められる標準化したHRV指標ベクトルと予め構築された運転者毎の眠気検出モデルとに基づいて眠気を検出するので、より一層の高精度化及びリアルタイム性の向上を図ることができる。
次に、本発明の技術的優位性を示すための実験、及び実施例について説明する。
(実験条件)
本実施例においては、眠気検出モデルの構築するためのデータを取得するため、図6に示すように、ドライビングシミュレータDを用いた被験者実験を行い、運転時のRRIデータ、顔表情データ及び運転データを取得した。被験者実験では、ドライビングシミュレータDからデータ収集手段1に対してH1(LANによる運転データの収集)、H2(無線によるRRIデータの収集)及びH3(動画による顔表示データの収集)により種々データを収集するものとし、実験参加者(被験者)30名分のドライビングシミュレータDを運転した時のRRIデータ、顔表情データ(動画)、運転データ(位置、速度、加速度、ハンドル角、ペダル入力など)を取得した。
なお、実験においては、夜間の高速道路を模擬した周回路を最長2時間運転するものされ、単調な走行によって眠気を誘発するために、他の車両が一切出現しないシナリオとした。夜間走行を模擬した実験を行うためには、部屋を暗くする必要があり、普通のカメラでは被験者の顔表情データを種等できないことから、図7に示す如き、赤外線を照射しつつレンズ2a部にて被験者の表情を撮像できる赤外線カメラ2を用いるものとした。また、ドライビングシミュレータのホストPCでは十分な量の運転データを保存できないため、LAN経由でデータ収集手段1にデータを送信して保存するものとした。
被験者のRRIデータは、図8に示すようなRRIを長時間遠隔計測できる心電RR間隔遠隔計測システムを用い、無線通信によりデータ収集手段1にて保存するものとした。このように、時間を同期して全ての実験データを収集できる環境を構築して実験が行われた。本実験では、実験参加者30名における運転中のRRIデータ、顔表情データ及び運転データを取得したが、ハードウェアの不調や被験者の体調不良による実験中止等により、実際に解析可能なデータが取得できた被験者は27名となった。この被験者27名の属性について、以下の表1に示す。
(顔表情判定)
眠気の度合いを客観的に評価するため、図9に示す覚醒度評価判定基準に基づき、取得した被験者の顔表情データ(動画)から顔表情判定値を求め、当該顔表情報判定値を用いてRRIデータを異常サンプルと正常サンプルとに分類した。かかる覚醒度評価判定基準は、覚醒水準、覚醒努力、覚醒の回復の三つの視点から評定者による評定を行わせるものである。本実験では、被験者の正常画像を20秒ごとのセグメントに分割して、ランダムな順序で3名の評定者に提示し、覚醒水準、覚醒努力、覚醒の回復の有無を評定させた。この覚醒度評価判定基準に基づいて被験者(被験者8)に対して顔表情判定を行った結果を図10に示す。
それぞれの評定者による評定には、ばらつきが見られることから、本実験の如く3名の評定者による評定は信頼性が高いと判断できる。なお、実験データ解析には、評定者3名の20秒ごとの覚醒水準の評定値を平均し、さらに1分毎の3つの平均値をとることとし、最終的に得た1分毎の顔表情判定値を用いることとした。
(眠気検出モデルの構築)
被験者実験で取得した27名の運転時のHRV指標を用いて眠気検出モデルを構築した。この眠気検出モデルは、HRV解析によって得られた時間領域指標7個と、周波数領域指数3個との合計10個のHRV指標にて構築されるものとされ、RRIを受信する毎にこれらのHRV指標が計算され、眠気検出モデルに入力されて構築されるようになっている。なお、出力は、眠気ありと眠気なしの二値である。
(眠気検出モデル構築用データ)
被験者実験で得られた27名の運転時のHRV指数と顔表情判定値とから被験者毎に眠気検出モデルを構築した。図9に示す覚醒度評価判定基準に基づく顔表情判定によって覚醒水準が2.0未満と判定されたHRV指標データのうち、250拍(約3分)のデータを眠気検出モデル構築用の覚醒時サンプルとした。
(眠気検出モデルの構築条件)
眠気検出モデルの構築には、多変量統計的プロセス管理(MSPC)を用い、主成分と管理限界の信頼区間は以下のように設定した。
・主成分
主成分数1を作用した。主成分数は試行錯誤で決定した。
・管理限界の信頼区間
眠気検出モデル構築用の覚醒時サンプルの80%が正常、すなわち覚醒状態であると判定されるように管理限界を設定した。
(眠気検出モデルの検証)
被験者実験で得られた27名の運転時のHRV指標と、顔表情判定値とから被験者毎に構築した眠気検出モデルの検証を行った。この検証は、覚醒時と衝突時の識別性能評価と、覚醒時と低覚醒時の識別性能評価の2通りの方法で行った。
(覚醒時と衝突時の識別)
図10に示すように、評定者による眠気の評定値にはばらつきが大きく、被験者本人も強い眠気を感じた時間を示すのが困難である。そこで、じっさいに運転中に居眠りをして道路外壁と衝突したり、或いは居眠り運転による事故を起こしたケースについて、衝突前に眠気検出を行うことができたか検証した。検証サンプルを以下に示す。
・検証用覚醒時サンプル
顔表情判定によって覚醒水準2.0未満と判定されたHRV指標データであり、眠気検出モデル構築に用いていないデータのうち、20分間のデータを検証用覚醒時サンプルとした。
・検証用衝突時サンプル
ドライビングシミュレータを運転中に居眠りをして道路外壁と衝突した時刻の周辺20分のHRV指標データを検証用衝突時サンプルとした。なお、衝突時サンプルの選定には顔表情動画の確認を行い、居眠り以外の要因で衝突したサンプルを含まないようにした。よって、検証用衝突時サンプルには、被験者が居眠りに至るほどの強い眠気を感じており、顔表情判定値よりも客観性の高い低覚醒状態のものしか含まれていない。
眠気検出モデルでは、T統計量とQ統計量とが管理限界内にある場合は正常(覚醒状態)と判定され、管理限界を超える場合は異常(低覚醒状態)と判定される。眠気検出装置の性能評価に用いられる指標として、感度と特異度とが挙げられる。これら感度及び特異度は、表2で示す真陽性a、偽陽性b、偽陰性c、真陰性dを用いて以下の式であらわされる。
すなわち、眠気検出モデルが異常サンプルを正しく異常と判定できた割合が感度であり、正常サンプルを正しく正常と判定できた割合が特異度である。衝突した8名の覚醒時サンプルと衝突時サンプルとによりT統計量とQ統計量との感度と特異度を計算したところ、表3のようになった。
Q統計量は、T統計量より感度が高いが、特異度が極めて低く、覚醒状態を低覚醒状態と誤判定する確率が高くなっているため、感度と特異度がともに高いT統計量の方が識別指数として性能が高く優れている。これは、1つの主成分が張る空間、すなわち直線上の原点からの距離を表すT統計量が管理限界内にあるかどうかで、覚醒状態か低覚醒状態かを識別できていることを表す。主成分数が少ない場合は、このようにT統計量での識別性能が高くなる傾向にある。T統計量の感度が73%であることから、T統計量を監視した場合の誤検出は36%と小さく抑えることができた。
また、本実験においては、被験者全員の管理限界をモデル構築用の覚醒時サンプルの80%が正常であると判定されるように設定したが、被験者個人に合わせて調整することによって、さらに感度及び特異度を大きくすることができると考えられるとともに、眠気検出技術の使用用途に合わせて管理限界を調整することで、感度と特異度とのバランスを決定することも考えられる。例えば、乗客の人命を預かるバスやタクシー等の運転者に対しては、多少誤検出があっても感度の高い眠気検出装置が必要であり、少しでも低覚醒状態に近いときは警告を発するように管理限界を下げることができる。
次に、T統計量及びQ統計量に対して最適な管理限界の設定を行った場合に、覚醒時と衝突時とが適切に識別できるかを検証した。つまり、T統計量及びQ統計量が覚醒時と衝突時とで明らかに異なっているかを評価したのである。はじめに、HRV指標のみで覚醒時と衝突時とを識別可能かを評価した後、T統計量及びQ統計量を用いた眠気検出装置の性能評価を行った。しかるに、衝突した8名の被験者のうち、4名の覚醒状態1200(s)と、居眠り運転による衝突を含む1200(s)における10種類のHRV指標、T統計量、Q統計量を図11〜26に示す。なお、衝突時の図においては、900(s)が衝突タイミングを示している。
まず、それぞれの被験者の10種類のHRV指標を覚醒時と衝突周辺時とで比較する。8名全ての被験者において、Total power、NN50、pNN50、HRV index、LF、LF/HFの平均値について、衝突周辺時の方が覚醒時よりも大きくなるという傾向が見られた。また、SDNN、RMSSD、HFの平均値は、覚醒時と比べて衝突周辺時の方が大きくなる若しくは変化なしという傾向が見られたが、小さくなる傾向は見られなかった。
以上により、覚醒時と低覚醒時とで異なる心拍パターンを示すことが分かった。Total power、NN50、pNN50、HRV index、LF、LF/HFの平均値について、衝突周辺時の方が覚醒時よりも大きくなる傾向が見られたので、試しに、LFに管理限界を設定することにより識別性能の検証についても行った。被験者2、被験者7のLFに対して誤検出率が0%となるように管理限界を設定したものについて、図11、12、及び図19、20にそれぞれ示す。被験者2のデータは、衝突100(s)前から継続して管理限界を上回っており、眠気を検出できている一方、被験者7のデータは、衝突前に管理限界を上回っている時間帯も存在するが、衝突40(s)前には一度管理限界を下回っており、正確に眠気を検出できていない。
このように、被験者によっては、それぞれのHRV指標毎に管理限界を設定する手法では眠気を検出するのが困難であるので、より正確に眠気を検出するには、本実施形態の如く運転者毎の眠気検出モデルを用いる必要がある。眠気検出モデルを用いて、被験者2に対して、眠気検出を行った結果を図13、14に示す。T2の統計量は、覚醒時よりも衝突周辺時の方が有意に大きくなっていることが分かる。
これは、各HRV指標の線形結合である第1主成分上において、衝突周辺時のHRV指標が覚醒時のHRV指標の平均値から離れていることを意味している。Q統計量に関しては、T2統計量ほど顕著ではないものの衝突前に大きくなっていることが確認できる。よって、T2統計量及びQ統計量に適切な管理限界を設けることにより、覚醒時のHRVデータと衝突周辺時のHRVデータとを正しく識別することができる。但し、誤検出は必ずあるため、どこに管理限界を設けるかは感度と特異度とのトレードオフで決める必要がある。
そこで、被験者2の場合では、点線で示したようにT2統計量及びQ統計量の管理限界を決めたとすると、覚醒時データを示す図13においては誤検出がほぼ見られないが、衝突を含むデータを示す図14においては衝突の30(s)前には、T2統計量及びQ統計量の両方で確実に眠気を検出できている。これらの検出時刻は、管理限界の設定によって変化するが、覚醒時と衝突時とではT2統計量の大きさに明確な差があることから、このケースでは容易に眠気検出ができることが分かる。
さらに、他の3名の被験者においても、図15〜26に示すように、被験者2と同様、覚醒時と衝突時とでHRV指標に差があること、また衝突直前にT2統計量及びQ統計量が増加することが分かる。特に、被験者7については、LFに対して管理限界を設定する方法では眠気検出が困難であったが、T2統計量に管理限界を設定する方法では、図21、22に示すように、衝突前から継続して眠気を検出できており、LFを用いた眠気検出方法よりもT2統計量を用いた眠気検出方法の方が識別性能が高いことが分かる。なお、図示していない他の4名の被験者についても同様の傾向が見られた。すなわち、管理限界の設定によって検出時間は前後するものの、衝突30(s)前には眠気を検出できるため、居眠り運転による事故を回避できると考えられる。
(覚醒時と低覚醒時の識別)
覚醒時サンプルと低覚醒時サンプルについて、顔表情判定値に基づいて分類した。以下に検出用サンプルについて説明する。
・検証用覚醒時サンプル
顔表情判定によって覚醒水準2.9未満と判定されたHRV指標データのうち、眠気検出モデルの構築に用いていない残りのデータを検証用覚醒時サンプルとした。
・検証用低覚醒時サンプル
顔表情判定によって覚醒水準2.2以上と判定されたHRV指標データを全て検証用低覚醒時サンプルとした。
(眠気検出モデル性能検証)
被験者27名の覚醒時サンプルと低覚醒時サンプルとによりT2統計量及びQ統計量を計算した結果、表4のようになった。覚醒時と衝突時との識別の場合と同様、Q統計量はT2統計量よりも感度が高いが特異度が極めて低く、覚醒状態を低覚醒状態と誤判定する確率が高くなっている。このため、感度及び特異度が共に高いT2統計量の方が識別指標として性能が高く優れていることが分かる。T2統計量の感度が74%であることから、T2統計量を監視した場合の眠気検出率は74%となった。
以上、本実施形態について説明したが、本発明はこれに限定されず、例えば標準化された覚醒時HRV指標データについて、覚醒時HRV指標データの平均と分散を求めて覚醒時HRV指標データを標準化するものに代え、上記実施形態と異なる標準化方法を採用してもよい。また、標準化された覚醒時HRV指標データに基づいて多変量統計的プロセス管理(MSPC)を用いて運転者毎の眠気検出モデルを構築するものであれば足りる。
運転者の覚醒時の心電図波形における隣接するR波の間隔であるRRIデータを取得し、その取得されたRRIデータに基づいて心拍変動を解析するためのHRV解析のためのデータセットを構築した後、それぞれのデータセットでHRV指標を求めて覚醒時HRV指標データを求め、標準化された覚醒時HRV指標データに基づいて多変量統計的プロセス管理(MSPC)を用いて運転者毎の眠気検出モデルを構築する眠気検出方法及び眠気検出装置であれば、他の形態のものであってもよい。
1 データ収集手段
2 赤外線カメラ
D ドライビングシミュレータ

Claims (6)

  1. 車両の運転者の眠気を検出するための眠気検出方法において、
    運転者の覚醒時の心電図波形における隣接するR波の間隔であるRRIデータを取得し、その取得されたRRIデータに基づいて心拍変動を解析するHRV解析のためのデータセットを構築した後、それぞれのデータセットでHRV指標を求めて覚醒時HRV指標データを求め、標準化された覚醒時HRV指標データに基づいて多変量統計的プロセス管理(MSPC)を用いて運転者毎の眠気検出モデルを構築することを特徴とする眠気検出方法。
  2. 前記覚醒時HRV指標データの平均と分散を求めて覚醒時HRV指標データを標準化することを特徴とする請求項1記載の眠気検出方法。
  3. 車両走行時の運転者のRRIデータを測定し、その取得されたRRIデータに基づいてHRV解析のためのデータセットを構築した後、そのデータセットでHRV指標を求めてHRV指標ベクトルとし、標準化したHRV指標ベクトルと予め構築された運転者毎の前記眠気検出モデルとに基づいて眠気を検出することを特徴とする請求項1又は請求項2記載の眠気検出方法。
  4. 車両の運転者の眠気を検出するための眠気検出装置において、
    運転者の覚醒時の心電図波形における隣接するR波の間隔であるRRIデータを取得し、その取得されたRRIデータに基づいて心拍変動を解析するHRV解析のためのデータセットを構築した後、それぞれのデータセットでHRV指標を求めて覚醒時HRV指標データを求め、標準化された覚醒時HRV指標データに基づいて多変量統計的プロセス管理(MSPC)を用いて運転者毎の眠気検出モデルを構築することを特徴とする眠気検出装置。
  5. 前記覚醒時HRV指標データの平均と分散を求めて覚醒時HRV指標データを標準化することを特徴とする請求項4記載の眠気検出装置。
  6. 車両走行時の運転者のRRIデータを測定し、その取得されたRRIデータに基づいてHRV解析のためのデータセットを構築した後、そのデータセットでHRV指標を求めてHRV指標ベクトルとし、標準化したHRV指標ベクトルと予め構築された運転者毎の前記眠気検出モデルとに基づいて眠気を検出することを特徴とする請求項4又は請求項5記載の眠気検出装置。
JP2014114093A 2014-06-02 2014-06-02 眠気検出方法及び眠気検出装置 Active JP6375496B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014114093A JP6375496B2 (ja) 2014-06-02 2014-06-02 眠気検出方法及び眠気検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014114093A JP6375496B2 (ja) 2014-06-02 2014-06-02 眠気検出方法及び眠気検出装置

Publications (2)

Publication Number Publication Date
JP2015226696A JP2015226696A (ja) 2015-12-17
JP6375496B2 true JP6375496B2 (ja) 2018-08-22

Family

ID=54884622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014114093A Active JP6375496B2 (ja) 2014-06-02 2014-06-02 眠気検出方法及び眠気検出装置

Country Status (1)

Country Link
JP (1) JP6375496B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107252313A (zh) * 2017-05-25 2017-10-17 深圳市卡迪赛克科技有限公司 一种安全驾驶的监测方法及系统、汽车、可读存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955925B2 (en) * 2015-12-18 2018-05-01 Microsoft Technology Licensing, Llc Drowsiness onset detection
JP6751525B2 (ja) * 2016-09-14 2020-09-09 いすゞ自動車株式会社 生体状態判定装置及び生体状態判定プログラム
KR101878567B1 (ko) * 2016-11-15 2018-07-13 가톨릭대학교 산학협력단 심전도 기반의 운전 능력 평가 방법
JP6692283B2 (ja) * 2016-12-14 2020-05-13 日本電信電話株式会社 瞬時心拍信頼性評価装置、方法およびプログラム
JP6692284B2 (ja) * 2016-12-14 2020-05-13 日本電信電話株式会社 瞬時心拍評価装置、方法およびプログラム
JP6689183B2 (ja) * 2016-12-14 2020-04-28 日本電信電話株式会社 状態推定装置、方法およびプログラム
CN107149480B (zh) * 2017-04-13 2020-02-07 吉林大学 一种基于驾驶人心电rr间期的驾驶疲劳判别方法
JP6853159B2 (ja) 2017-10-31 2021-03-31 トヨタ自動車株式会社 状態推定装置
JP7095200B2 (ja) * 2017-11-09 2022-07-05 国立大学法人豊橋技術科学大学 信号検出装置
JP7328828B2 (ja) 2019-08-27 2023-08-17 フォルシアクラリオン・エレクトロニクス株式会社 状態推定装置、状態推定プログラムおよび状態推定方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030199943A1 (en) * 2002-04-17 2003-10-23 Orly Katz Method and device for maintaining wakefulness and preventing undesired sleep
JP2007000280A (ja) * 2005-06-22 2007-01-11 Toyota Motor Corp 覚醒度低下判定装置
EP2087841B1 (en) * 2006-11-29 2015-08-19 Fujitsu Limited Arousal level judging method and arousal level judging program
JP5045492B2 (ja) * 2008-02-27 2012-10-10 トヨタ自動車株式会社 覚醒度推定装置
JP4609539B2 (ja) * 2008-07-04 2011-01-12 トヨタ自動車株式会社 眠気検出装置
JP2013005988A (ja) * 2011-06-27 2013-01-10 Tokai Rika Co Ltd 心的負荷推定装置
JP5776939B2 (ja) * 2011-10-12 2015-09-09 アイシン精機株式会社 睡眠状態判別装置および睡眠状態判別方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107252313A (zh) * 2017-05-25 2017-10-17 深圳市卡迪赛克科技有限公司 一种安全驾驶的监测方法及系统、汽车、可读存储介质

Also Published As

Publication number Publication date
JP2015226696A (ja) 2015-12-17

Similar Documents

Publication Publication Date Title
JP6375496B2 (ja) 眠気検出方法及び眠気検出装置
Guede-Fernandez et al. Driver drowsiness detection based on respiratory signal analysis
RU2540901C2 (ru) Способ и устройство для выявления случаев микросна
De Rosario et al. Controlled inducement and measurement of drowsiness in a driving simulator
EP3485806A1 (en) Wearable device capable of detecting sleep apnea event and detection method thereof
EP2087841B1 (en) Arousal level judging method and arousal level judging program
EP2285270B1 (en) Method and system for determining a physiological condition
Abe et al. Development of drowsiness detection method by integrating heart rate variability analysis and multivariate statistical process control
JP6691334B2 (ja) 睡眠時無呼吸症候群の疑いを検知するためのシステム、処理部及びコンピュータプログラム
JP2009039167A (ja) 眠気判定装置
Tateno et al. Development of drowsiness detection system based on respiration changes using heart rate monitoring
Rodríguez-Ibáñez et al. Drowsiness detection by thoracic effort signal analysis in real driving environments
US9693726B2 (en) Alertness device, seat, and method for determining alertness
Abe et al. Development of drowsy driving accident prediction by heart rate variability analysis
CN106913333B (zh) 一种持续性注意水平的敏感性特征指标的选取方法
US20140031635A1 (en) Methods, systems and apparatuses for detecting seizure and non-seizure states
JP2007229218A (ja) 覚醒度推定装置及びシステム並びに方法
US8805484B2 (en) System, apparatus and method for diagnosing seizures
EP2962638B1 (en) Dozing prevention method
KR101034886B1 (ko) 짧은 심장박동 주기의 변화를 이용한 졸음상태 판정 시스템 및 방법
JP2010012100A (ja) 眠気検出装置
JP3960168B2 (ja) 生体状態推定方法及び装置、プログラム
JP6865438B2 (ja) 精神神経状態を判別する指標の作成方法および作成装置
JP7158641B1 (ja) 無呼吸低呼吸指標推定装置、方法およびプログラム
Pugliese et al. Real-time Sleep Prediction Algorithm using Commercial Off the Shelf Wearable Devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180607

R150 Certificate of patent or registration of utility model

Ref document number: 6375496

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150