JP5007975B2 - 居眠り検知装置 - Google Patents
居眠り検知装置 Download PDFInfo
- Publication number
- JP5007975B2 JP5007975B2 JP2007184377A JP2007184377A JP5007975B2 JP 5007975 B2 JP5007975 B2 JP 5007975B2 JP 2007184377 A JP2007184377 A JP 2007184377A JP 2007184377 A JP2007184377 A JP 2007184377A JP 5007975 B2 JP5007975 B2 JP 5007975B2
- Authority
- JP
- Japan
- Prior art keywords
- heart rate
- sleep
- time
- reference value
- rate variability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
図1は、本発明の実施形態に係る居眠り検知装置の構成を示すブロック図である。
図2は、運転者の状態とまばたき時間および心拍変動のHF成分の変化との関係を模式的に示すグラフである。グラフの横軸は時間を示しており、縦軸はまばたき時間と心拍変動のHF成分のレベル(HF値)を示している。破線がまばたき時間の変化であり、実線が心拍変動のHF成分の変化である。なお図2のグラフに示す関係は、本発明者らの実験により得られたデータを基礎としている。この実験の内容については後で詳しく述べる。
処理がスタートすると、カメラ20および心拍センサ30が計測を開始する。所定時間ごと(たとえば数ミリ秒ごと)に運転者の画像と心拍信号が装置本体10に取り込まれる。CPU11は、順次取り込まれる時系列画像を解析することによって、運転者のまばたき時間を算出する。まばたき時間の算出には、公知の画像処理手法を利用可能である。たとえば、画像処理によって眼、まぶた、瞳、白眼などを検出することで開眼状態か閉眼状態かを判別し、閉眼状態の画像が何枚連続するかでまばたき時間を求める手法などがある。また、CPU11は、順次取り込まれる心拍信号を解析することによって、運転者の心拍変動のHF成分のレベルを算出する。心拍変動のHF成分の評価手法は公知のため、ここでは説明を割愛する。
理が行われる。
ステップS2では、CPU11が、基準値の更新処理を実行する。基準値とは、図2に示すように、運転者の安静覚醒状態におけるまばたき時間および心拍変動のHF成分の値(ベースライン)である。
基準値の更新処理が終わったら、CPU11は、「入眠予兆」を検知するモードに入る。まず、CPU11は、まばたき時間の計測値と基準値との比較によって、運転者のまばたき時間の延長を監視する。このステップS3の機能が、本発明の第1監視手段に対応している。
ステップS4では、CPU11が、心拍変動のHF成分の計測値と基準値との比較によって、運転者の心拍変動のHF成分の上昇を監視する。このステップS4の機能が、本発明の第2監視手段に対応している。
まばたき時間の延長が現れている間に(ステップS3)心拍変動のHF成分の上昇の開始が認められた(ステップS4)という条件が満たされた時、CPU11は、運転者に「入眠予兆」が現れたと判定する。すなわち、図2の点Aの時点を、「入眠予兆」として検
知するのである。本発明者らの実験では、上記条件が揃う点Aの時点は、実際の入眠の時点よりも数秒から数十秒ほど先行することが確認されている。また、後述するようにマイクロスリープ現象が発現する場合も、まばたき時間の延長とHF成分の上昇がみられることから、上記判定条件を使えばマイクロスリープ現象も検知することができる。
「入眠予兆」と判定した場合、CPU11は、警報装置15を制御して、第一段階の警告を出力する。入眠前にいち早く警告を発することで、運転者の覚醒を促すことができるので、事故や危険を未然に回避することができる。
第一段階の「入眠予兆」が検知された後、CPU11は、第二段階の「入眠」を検知するモードに入る。図2に示すように、本発明者らの実験によると、入眠の時点では心拍変動のHF成分は上昇の途中にある。この状態を捉えるべく、本実施形態では、HF成分の上昇勾配を監視し、その勾配が所定のしきい値に達した時点で、運転者が「入眠」したと判定する。
ステップS7で「入眠」と判定した場合、CPU11は、警報装置15を制御して、第二段階の警告を出力する。このとき、第一段階のときよりも大きな音声で警告を出力し、確実に運転者の覚醒を促すことが好ましい。
第二段階の「入眠」が検出された後、CPU11は、第三段階の「持続的睡眠」を検知するモードに入る。図2に示すように、心拍変動のHF成分は、入眠後しばらく上昇を続けた後、あるレベルで安定する。そこで、本実施形態では、HF成分の計測値と基準値との差分(もしくは上昇率)を監視し、その差分が所定のしきい値を超えている状態が10分以上続いた場合に、運転者が「持続的睡眠」に入ったと判定する。持続的な睡眠状態に入った後は、まばたきが完全に消失するので、その情報を持続的睡眠の判定に利用することも好ましい。なお、このモードにおいてHF成分の低下が認められた場合も、運転者が覚醒状態に復帰したとみなし、ステップS3の入眠予兆検知モードあるいはステップS7の入眠検知モードに戻るとよい。
ステップS9で「持続的睡眠」と判定した場合には、CPU11は、警報装置15を制御して第三段階の警告を出力する。
3、S4を順番に実行しているが、マルチタスク処理によりまばたき時間の監視と心拍変動のHF成分の監視を並列に実行してもよい。
以下、本発明者らが行った実験の概要を説明する。なお実験の対象は健常大学生25例であった。
実験は、シールドルーム内の暗室にて行った。被実験者の体位は運転中とあわせ、座位とした。検査前、喫煙および過度な飲酒および運動は禁止した。シールドルーム内の暗室内で20分以上睡眠が得られない場合は検査を中止した。一回目の検査では環境に慣れていないため、2回目以降からのデータを使用した。
終夜睡眠ポリグラフィ(Polysomnography:PSG)を用い睡眠を評価した。脳波電極
装着(C4-A1,C3-A2,O2-A1,O1-A2)および睡眠判定は国際基準に従った。このシステムか
ら得られる情報は、睡眠ステージ、心電図R−R間隔、脳波、頤筋電図、眼球運動である。
されている。
討した。
図4(a)は、PSGにより取得された脳波、眼球運動、心電図のデータの一例である。PSGでは、30秒区間のデータを1単位(epoch)として睡眠段階(睡眠ステージ)
の判定を行う(20秒区間で判定されることもある。)。脳波深度の分類には、Rechtschaffen&Kalesの分類が広く用いられている。睡眠段階1−4をNREM睡眠と総称する。
睡眠段階3、4はまとめて徐波睡眠(slow wave sleep:SWS)と呼ばれる。
られ、筋電図は相対的に高電位。
・睡眠段階1(Stage I):α波振幅低下、8−12Hzのα波が50%未満。低電位
でさまざまな周波数の脳波がみられる。緩徐な眼球運動がみられる(slow eye movements)。
・睡眠段階2(Stage II):脳波上、紡錘波(spindles)が中心、頭頂部に出現。K複合(Kcomplex)の出現。眼球運動はほとんど消失。
・睡眠段階3(Stage III):脳波上、2Hz以下で振幅が75μV以上のδ波が1epochの20−50%を占める。
・睡眠段階4(Stage IV):脳波上、2Hz以下で振幅が75μV以上のδ波が1epochの50%以上を占める。
・REM睡眠(Stage REM):比較的低電位でさまざまな周波数の脳波がみられる。覚
醒時より1−2Hz遅いα波が出現することもある。特徴的な急速眼球運動がみられ、筋電図は一夜を通して最も低電位。
図5は、睡眠状態および覚醒状態における心拍変動周波数解析結果を示す。本症例では、LFが覚醒状態において上昇した。また、覚醒状態で、交感神経活動を反映するLF/HFの上昇が認められた。また、睡眠状態で、副交感神経活動を反映するHFの上昇が認められた。
本実験では、マイクロスリープ(microsleep)状態と覚醒状態での心拍変動解析も行った。図4(a)は睡眠段階1を示し、図4(b)はマイクロスリープ状態における脳波、眼球運動、心電図R−R間隔のデータを示すものである。マイクロスリープは、「Manual
of Standardized Terminology, Techniques and Scoring System for Sleep Stage of Human Subjects」、「Sleep Disorders Atlas Task Force of the American Sleep Disorders Association. EEG arousals: scoring rules and examples」、および、「Blaivas AJ, et al. Quantifying microsleep to help assess subjective sleepiness. Sleep Medicine 2007;8:156~159」に従い、1epochの3秒以上15秒未満の睡眠と定義した。
AntiSleepから得られたまぶた間隙(単位はメートル)から、まばたき時間(閉眼時刻
から開眼時刻までの時間)を計算した。そして、覚醒状態でのまばたき時間と入眠10秒前のまばたき時間を比較した。図7に示すように、まばたき時間は覚醒状態に比べて入眠10秒前に有意に延長した。
図8は、まばたき時間と心拍変動のHF成分(5分間値)の経時変化を示している。この症例では、入眠時期(390秒)に先行してまばたき時間の延長が認められ、その後HF値の上昇が認められた。また、他の症例においても、入眠時期(覚醒から睡眠への移行期)にまばたき時間の延長とHF値の上昇が認められ、まばたき時間の延長はHF値の上昇に先行した。本実験の結果を統合し、一般化したものが、図2のグラフである。
10 装置本体
11 CPU
12 記憶装置
13 カメラとのI/F
14 心拍センサとのI/F
15 警報装置
20 カメラ
30 心拍センサ
Claims (3)
- 対象者のまばたき時間を計測する第1計測手段と、
前記対象者の心拍変動を計測する第2計測手段と、
まばたき時間の基準値である第1基準値、および、心拍変動のHF成分の基準値である第2基準値を記憶する記憶手段と、
前記第1計測手段で計測されるまばたき時間と前記第1基準値との比較によって、前記対象者のまばたき時間の延長を監視する第1監視手段と、
前記第2計測手段で計測される心拍変動のHF成分と前記第2基準値との比較によって、前記対象者の心拍変動のHF成分の上昇を監視する第2監視手段と、
まばたき時間の延長が現れている間に心拍変動のHF成分の上昇の開始が認められた場合に、入眠予兆と判定する判定手段と、
を備えることを特徴とする居眠り検知装置。 - 前記第1基準値が、前記第1計測手段で計測された前記対象者のまばたき時間の計測値に応じて更新される
ことを特徴とする請求項1に記載の居眠り検知装置。 - 前記第2基準値が、前記第2計測手段で計測された前記対象者の心拍変動の計測値に応じて更新される
ことを特徴とする請求項1または2に記載の居眠り検知装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007184377A JP5007975B2 (ja) | 2007-07-13 | 2007-07-13 | 居眠り検知装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007184377A JP5007975B2 (ja) | 2007-07-13 | 2007-07-13 | 居眠り検知装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009018091A JP2009018091A (ja) | 2009-01-29 |
JP5007975B2 true JP5007975B2 (ja) | 2012-08-22 |
Family
ID=40358240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007184377A Expired - Fee Related JP5007975B2 (ja) | 2007-07-13 | 2007-07-13 | 居眠り検知装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5007975B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5387367B2 (ja) * | 2008-12-01 | 2014-01-15 | 富士通株式会社 | 覚醒度判定装置および覚醒度判定方法 |
JP5709017B2 (ja) * | 2010-02-15 | 2015-04-30 | 国立大学法人九州大学 | 被験体状態解析用信号のピーク周波数測定システム |
US20130021462A1 (en) * | 2010-03-23 | 2013-01-24 | Aisin Seiki Kabushiki Kaisha | Alertness determination device, alertness determination method, and recording medium |
JP2012203551A (ja) * | 2011-03-24 | 2012-10-22 | Komatsu Ltd | 居眠り抑制システム及びダンプトラック |
KR101386823B1 (ko) * | 2013-10-29 | 2014-04-17 | 김재철 | 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치 |
JP6218336B2 (ja) * | 2015-01-28 | 2017-10-25 | 日本電信電話株式会社 | 情報処理能力推定装置、方法及びプログラム |
JP6671780B2 (ja) * | 2016-03-10 | 2020-03-25 | 住友重機械工業株式会社 | 作業機械 |
JP6641642B2 (ja) * | 2016-08-03 | 2020-02-05 | オムロン株式会社 | 生命徴候検出装置 |
JP6791707B2 (ja) * | 2016-09-30 | 2020-11-25 | 東芝情報システム株式会社 | 眠気推定装置及び眠気推定プログラム |
JP6791708B2 (ja) * | 2016-09-30 | 2020-11-25 | 東芝情報システム株式会社 | 眠気推定装置及び眠気推定プログラム |
KR101932147B1 (ko) * | 2017-03-06 | 2018-12-26 | 계명대학교 산학협력단 | 심전도 신호를 이용한 운전자의 졸음운전 진단 방법 및 장치 |
WO2020157989A1 (ja) * | 2019-02-01 | 2020-08-06 | 日本電気株式会社 | 覚醒度推定装置、覚醒度推定方法、及びコンピュータ読み取り可能な記録媒体 |
EP4071419A4 (en) * | 2019-12-06 | 2023-01-11 | Panasonic Intellectual Property Management Co., Ltd. | CONTROL METHOD, AIR CONDITIONING AND PROGRAM |
WO2023105970A1 (ja) * | 2021-12-10 | 2023-06-15 | パナソニックIpマネジメント株式会社 | 推定装置、推定方法及びプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05184558A (ja) * | 1992-01-17 | 1993-07-27 | Mitsubishi Motors Corp | 運転者の異常検出装置 |
JPH05330360A (ja) * | 1992-06-02 | 1993-12-14 | Toyota Motor Corp | 車両用居眠り防止装置 |
JP3252586B2 (ja) * | 1994-02-21 | 2002-02-04 | いすゞ自動車株式会社 | 居眠り警告装置 |
JPH0939603A (ja) * | 1995-07-31 | 1997-02-10 | Toyota Motor Corp | 居眠り判定装置 |
JPH11197127A (ja) * | 1998-01-16 | 1999-07-27 | Nippon Soken Inc | 生体信号検出センサ |
JP3852294B2 (ja) * | 2001-03-22 | 2006-11-29 | 日産自動車株式会社 | 居眠り検出装置 |
LU90879B1 (de) * | 2001-12-12 | 2003-06-13 | Hagen Hultzsch | Verfahren und Vorrichtung zur Erkennung des Schlaefrigkeitszustandes von Fuehrern bewegter Objekte |
CN1767784A (zh) * | 2003-04-03 | 2006-05-03 | 日本先锋公司 | 活体信息检测装置及其使用的接触部件、以及活体信息检测部件使用的涂料 |
JP4701694B2 (ja) * | 2004-12-08 | 2011-06-15 | トヨタ自動車株式会社 | 覚醒度判定装置及び覚醒度判定方法 |
-
2007
- 2007-07-13 JP JP2007184377A patent/JP5007975B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009018091A (ja) | 2009-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5007975B2 (ja) | 居眠り検知装置 | |
JP6757532B2 (ja) | 睡眠段階判定装置、睡眠段階判定方法、睡眠段階判定プログラム | |
JP4697185B2 (ja) | 覚醒度判定装置及び覚醒度判定方法 | |
Solaz et al. | Drowsiness detection based on the analysis of breathing rate obtained from real-time image recognition | |
De Rosario et al. | Controlled inducement and measurement of drowsiness in a driving simulator | |
US8570176B2 (en) | Method and device for the detection of microsleep events | |
JP5209545B2 (ja) | 生体検査装置、プログラム、及び記録媒体 | |
JP4867215B2 (ja) | 生理・心理状態判定装置、生理・心理状態判定方法、リファレンスデータ生成装置、及びリファレンスデータ生成方法。 | |
WO2011055505A1 (ja) | 注意状態判定装置、方法およびプログラム | |
Tateno et al. | Development of drowsiness detection system based on respiration changes using heart rate monitoring | |
Wörle et al. | Detecting sleep in drivers during highly automated driving: The potential of physiological parameters | |
JP2010128649A (ja) | 覚醒状態判断装置及び覚醒状態判断方法 | |
Rodríguez-Ibáñez et al. | Drowsiness detection by thoracic effort signal analysis in real driving environments | |
Miyaji | Method of drowsy state detection for driver monitoring function | |
KR20160078020A (ko) | 심박 신호 기반 운전자 상태 판단 장치 및 방법 | |
JP2009022370A (ja) | 人の状態推定装置 | |
Ma et al. | Design and application of mental fatigue detection system using non-contact ECG and BCG measurement | |
US10596963B2 (en) | Fatigue alarm apparatus and method | |
JP2001245871A (ja) | 動脈血酸素飽和度を居眠り判定法に用いた居眠り判定装置 | |
JPH10272960A (ja) | 覚醒度推定装置 | |
Watson et al. | Microsleep prediction using an EKG capable heart rate monitor | |
JP6836265B2 (ja) | 生体状態推定装置、生体状態推定方法、コンピュータプログラム及び記録媒体 | |
JP2005312868A (ja) | 瞬きを用いた覚醒度計測法 | |
Noda et al. | Simultaneous measurement of heart rate variability and blinking duration to predict sleep onset and drowsiness in drivers | |
KR101034886B1 (ko) | 짧은 심장박동 주기의 변화를 이용한 졸음상태 판정 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100712 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100713 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100712 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100713 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120424 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120521 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150608 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |