JP6662352B2 - 居眠り運転警報装置 - Google Patents
居眠り運転警報装置 Download PDFInfo
- Publication number
- JP6662352B2 JP6662352B2 JP2017133268A JP2017133268A JP6662352B2 JP 6662352 B2 JP6662352 B2 JP 6662352B2 JP 2017133268 A JP2017133268 A JP 2017133268A JP 2017133268 A JP2017133268 A JP 2017133268A JP 6662352 B2 JP6662352 B2 JP 6662352B2
- Authority
- JP
- Japan
- Prior art keywords
- drowsiness level
- level
- drowsiness
- reliability
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
しかしながら、上述したような従来技術では、データの信頼度に応じてデータの種類ごとに重み付けを行うに過ぎないので、信頼度の高いデータと低いデータとが混在したまま蓄積されてしまう。したがって、それらの蓄積データに基づいて眠気判定を行った結果、信頼度の低いデータの影響を受けて、ドライバ自身がそれほど眠気を感じていない場合でもドライバが居眠りをしていると判定して警告を出力することがあり、この場合、ドライバは警告を煩わしいと感じてしまう。
このように構成された本発明においては、所定の判定時間の間に決定された複数の総合眠気レベルの頻度分布に基づき警報のレベルを設定するとき、警報レベル設定手段は、総合眠気レベルの総合信頼度が低いほど当該総合眠気レベルの頻度が低くなるように、総合眠気レベルの頻度の補正を行うので、ドライバ画像や車両挙動に基づき総合的に決定された総合眠気レベルの信頼度が低い場合には、その総合眠気レベルの頻度を下方に補正することで警報レベルの設定に与える影響を小さくすることができ、これにより、所定の判定時間の間に蓄積された眠気レベルのデータに信頼度の高いデータと信頼度の低いデータとが混在している場合でも、ドライバの眠気レベルをより正確に判定して適切な警報レベルを設定することができ、誤った警報出力を抑制することができる。
このように構成された本発明においては、ドライバ画像眠気レベルの信頼度が所定以上であり、車両の挙動に基づく眠気レベルよりもドライバ画像に基づく眠気レベルの方がより正確にドライバの眠気レベルを判定できていると想定される場合には、ドライバ画像眠気レベルを優先的に用いて総合眠気レベルを決定することができ、これにより、ドライバの眠気レベルをより正確に判定して適切な警報レベルを設定することができる。
本発明において、好ましくは、ドライバ画像眠気レベル判定手段は、ドライバの画像の鮮明度に応じて、カメラが撮影したドライバの画像に基づいて判定されるドライバの眠気レベルであるドライバ画像眠気レベルの信頼度を決定する。
また、本発明において、好ましくは、ドライバ画像眠気レベル判定手段は、ドライバの顔、瞼又は黒目の輪郭に直交する方向におけるピクセル値の最大変動量に応じて、ドライバ画像眠気レベルの信頼度を決定する。
まず、図1により、本発明の実施形態による居眠り運転警報装置の構成を説明する。図1は、本発明の実施形態による居眠り運転警報装置の電気的構成を示すブロック図である。
また、居眠り運転警報装置1は、カメラ2、車速センサ4、及び操舵角センサ6から入力された信号に基づき、ディスプレイ8及びスピーカ10を含む車両の出力装置12の制御を行うECU14(Electric Control Unit)を備えている。
また、ECU14は、総合眠気レベルの設定や総合信頼度の設定に用いられるデータを記憶する記憶部24を有する。
ECU14が備えるこれらの要素は、CPU、当該CPU上で解釈実行される各種のプログラム(OSなどの基本制御プログラムや、OS上で起動され特定機能を実現するアプリケーションプログラムを含む)、及びプログラムや各種のデータを記憶するためのROMやRAMの如き内部メモリを備えるコンピュータにより構成される。
図2は、居眠り運転警報装置1が実行する眠気レベル判定処理のフローチャートである。また、図3は眠気レベルの判定基準を例示した表であり、図4は眠気レベル判定処理において居眠り運転警報装置1が総合信頼度を決定するときに参照する総合信頼度テーブルであり、図5は眠気レベル判定処理において居眠り運転警報装置1が総合眠気レベルを決定するときに参照する総合眠気レベルテーブルである。
具体的には、ドライバ画像眠気レベル判定部16は、ドライバ画像から取得したドライバの動作が、図3に例示したような判定基準の何れに該当するのかを特定し、特定した判定基準に相当する値をドライバ画像眠気レベルとして判定する。ドライバの動作は、公知の画像認識技術に基づき特定することが可能である。
図3の例によれば、眠気レベルは1から5の5段階の評価値に区分されている。ドライバ画像から取得したドライバの動作が、視線の移動が早く頻繁且つ動きが活発で体の動きを伴う場合には、眠気レベルが最も低い1と判定される。また、唇が開いており視線の動きが鈍い場合には、眠気レベルが2番目に低い2と判定される。また、瞬きがゆっくり且つ頻発する場合には、眠気レベルが中間の3と判定される。また、意図的な瞬きがあり、頭を振り、あくびが頻発する場合には、眠気レベルが2番目に高い4と判定される。さらに、瞼を閉じる、頭が前後に傾く等の動作が検出された場合には、眠気レベルは最高の5と判定される。
具体的には、車両挙動眠気レベル判定部18は、操舵角の変化速度及び変化量に基づき、車両を走行車線内に維持するための修正操舵を抽出する。修正操舵か否かについては、例えばMT(マハラノビス・タグチ)法により判定することが可能である。
そして、所定の判定時間における修正操舵の発生頻度が予め定めた閾値以上である場合に眠気レベルが「眠気あり」であると判定し、修正操舵の発生頻度が閾値未満である場合に眠気レベルが「眠気なし」であると判定する。
具体的には、図4に示すような、ドライバ画像眠気レベルの信頼度と車両挙動眠気レベルの信頼度とのそれぞれに関連付けられた信頼度を規定した総合信頼度テーブルを予め記憶部24に格納しておく。総合眠気レベル決定部20は、この総合信頼度テーブルを参照し、ステップS2で判定したドライバ画像眠気レベルの信頼度とステップS3で判定した車両挙動眠気レベルの信頼度とに関連付けられている信頼度を、総合信頼度として決定する。
図4の例では、ドライバ画像眠気レベルの信頼度が高である場合には、車両挙動眠気レベルの信頼度に関わらず総合信頼度は高であり、ドライバ画像眠気レベルの信頼度が低である場合には、車両挙動眠気レベルの信頼度に関わらず総合信頼度は低である。また、ドライバ画像眠気レベルの信頼度が無効である状況の下で、車両挙動眠気レベルの信頼度が無効である場合には総合信頼度は無効であり、車両挙動眠気レベルの信頼度が低又は高である場合には総合信頼度は低である。
具体的には、図5に示すような、ドライバ画像眠気レベル及びその信頼度と、車両挙動眠気レベル及びその信頼度とのそれぞれに関連付けられた眠気レベルを規定した総合眠気レベルテーブルを、予め記憶部24に格納しておく。総合眠気レベル決定部20は、この総合眠気レベルテーブルを参照し、ステップS2で判定したドライバ画像眠気レベル及びその信頼度と、ステップS3で判定した車両挙動眠気レベル及びその信頼度とに関連付けられている眠気レベルを、総合眠気レベルとして決定する。
また、ドライバ画像眠気レベルの信頼度が低である状況の下で、車両挙動眠気レベルの信頼度が無効である場合には、ドライバ画像眠気レベルが総合眠気レベルとして決定される。同じくドライバ画像眠気レベルの信頼度が低である状況の下で、車両挙動眠気レベルの信頼度が低であり且つ車両挙動眠気レベルが眠気なしである場合には、眠気レベルの最大値がドライバ画像眠気レベルの最大値より小さくなるように総合眠気レベルが決定され(図5ではドライバ画像眠気レベル1、2、3、4、5である場合にそれぞれに対して1、2、2、3、3)、車両挙動眠気レベルの信頼度が低であり且つ車両挙動眠気レベルが眠気ありの場合には、眠気レベルの最小値がドライバ画像眠気レベルの最小値より大きく且つ眠気レベルの最大値がドライバ画像眠気レベルの最大値よりも小さくなるように総合眠気レベルが決定される(図5ではドライバ画像眠気レベル1、2、3、4、5である場合にそれぞれに対して2、3、3、4、4)。また、ドライバ画像眠気レベルの信頼度が低である状況の下で、車両挙動眠気レベルの信頼度が高であり且つ車両挙動眠気レベルが眠気なしである場合には、眠気レベルの最大値がドライバ画像眠気レベルの最大値より小さくなるように総合眠気レベルが決定され(図5ではドライバ画像眠気レベル1、2、3、4、5である場合にそれぞれに対して1、2、2、3、3)、車両挙動眠気レベルの信頼度が高であり且つ車両挙動眠気レベルが眠気ありの場合には、眠気レベルがドライバ画像眠気レベル以上となるように総合眠気レベルが決定される(図5ではドライバ画像眠気レベル1、2、3、4、5である場合にそれぞれに対して3、4、4、5、5)。
また、ドライバ画像眠気レベルの信頼度が高の場合には、車両挙動眠気レベル及びその信頼度に関わらず、ドライバ画像眠気レベルが総合眠気レベルとして決定される。
その後、ECU14は眠気レベル判定処理を終了する。上述したように、眠気レベル判定処理は所定周期で繰り返し実行されるので、総合眠気レベル及び総合信頼度は所定周期で記憶部24に蓄積される。
図6は、本発明の実施形態による居眠り運転警報装置1が実行する警報出力処理のフローチャートである。
例えば、総合眠気レベル5と判定された回数が合計10回である状況の下で、総合信頼度が高であった回数が6回、低であった回数が4回である場合、総合信頼度が低のときの総合眠気レベル5の判定回数は4×0.5=2回に補正される。したがって、補正後の総合眠気レベル5の判定回数は、6+2=8回とカウントされる。
このように、警報レベル設定部22は、総合眠気レベルの総合信頼度が低いほどその総合眠気レベルの頻度が低くなるように補正を行う。
その結果、総合眠気レベル5の頻度が5%以上である場合、ステップS16に進み、警報レベル設定部22は、警報レベルを「警告」に設定する。
その結果、総合眠気レベル4以上の頻度が10%以上である場合、ステップS16に進み、警報レベル設定部22は、警報レベルを「警告」に設定する。
その結果、総合眠気レベル3以上の頻度が30%以上である場合、ステップS19に進み、警報レベル設定部22は、警報レベルを「注意」に設定する。
その結果、総合眠気レベル3以上の頻度が15%以上である場合、ステップS21に進み、警報レベル設定部22は、警報レベルを「通知」に設定する。
また、総合眠気レベル3以上の頻度が15%未満である場合、ステップS22に進み、警報レベル設定部22は、警報レベルを「無し」に設定する。
例えば、警報レベルが「警告」に設定されている場合、警報レベル設定部22は、直ちに車両を安全な場所に停車させ休憩を取る旨の警報メッセージを継続的にディスプレイ8に表示させると共に、同様のメッセージ及び警報音を継続的にスピーカ10から出力させる。
また、警報レベルが「注意」に設定されている場合、警報レベル設定部22は、可能な限り速やかに車両を安全な場所に停車させ休憩を取る旨の注意メッセージをディスプレイ8に表示させると共に、同様のメッセージをスピーカ10から出力させる。
また、警報レベルが「通知」に設定されている場合、警報レベル設定部22は、車両を安全な場所に停車させ休憩を取ることを促すメッセージをディスプレイ8に表示させる。
一方、警報レベルが「無し」に設定されている場合、警報レベル設定部22は、ディスプレイ8やスピーカ10による警報や情報の出力を行わない。
上述した実施形態においては、車両挙動眠気レベル判定部18は、車速及び操舵角に基づき車両挙動眠気レベル及びその信頼度を判定すると説明したが、車速や操舵角と共に、あるいはこれらに代えて、車両の挙動に関連する他のパラメータに基づき車両挙動眠気レベル及びその信頼度を判定するようにしてもよい。車両の挙動に関連する他のパラメータとしては、例えば、ヨーレート、横加速度、アクセル開度、ブレーキペダル踏込量等を用いることができる。
同様に、上述した実施形態においては、ドライバ画像眠気レベルの信頼度、車両挙動眠気レベルの信頼度、及び総合信頼度を無効、低、高の3段階に区分しているが、これとは異なる段階に区分してもよい。
特に、総合信頼度を3段階よりも多段あるいは連続的な評価値により表してもよく、この場合、警報レベル設定部22は、総合眠気レベルの総合信頼度が低いほどその総合眠気レベルの頻度が低くなるように補正を行うことができる。
2 カメラ
4 車速センサ
6 操舵角センサ
8 ディスプレイ
10 スピーカ
12 出力装置
14 ECU
16 ドライバ画像眠気レベル判定部
18 車両挙動眠気レベル判定部
20 総合眠気レベル決定部
22 警報レベル設定部
24 記憶部
Claims (4)
- ドライバの眠気レベルに応じて警報を出力装置から出力させる居眠り運転警報装置であって、
ドライバを撮影するカメラと、
車両の挙動を検出する車両挙動検出手段と、
前記カメラが撮影したドライバの画像に基づきドライバの眠気レベルを判定すると共に、当該眠気レベルの信頼度を判定するドライバ画像眠気レベル判定手段と、
前記車両の挙動に基づきドライバの眠気レベルを判定すると共に、当該眠気レベルの信頼度を判定する車両挙動眠気レベル判定手段と、
前記ドライバ画像眠気レベル判定手段が判定した眠気レベル及びその信頼度と、前記車両挙動眠気レベル判定手段が判定した眠気レベル及びその信頼度とに基づき、総合眠気レベルを決定すると共に、当該総合眠気レベルの信頼度である総合信頼度を決定する総合眠気レベル決定手段と、
当該総合眠気レベル決定手段により決定された前記総合眠気レベル及び前記総合信頼度を記憶する記憶部と、
所定の判定時間の間に前記記憶部に蓄積された複数の前記総合眠気レベル及び前記総合信頼度を読み込み、複数の前記総合眠気レベルのうちで所定の総合眠気レベルであると判定された頻度により前記警報のレベルを設定する警報レベル設定手段と、を備え、
前記警報レベル設定手段は、前記警報のレベルを設定する際に、前記総合眠気レベルの前記総合信頼度が低いほど当該総合眠気レベルの頻度が低くなるように、前記総合眠気レベルの頻度の補正を行う、
ことを特徴とする居眠り運転警報装置。 - 前記総合眠気レベル決定手段は、前記カメラが撮影したドライバの画像に基づいて判定されるドライバの眠気レベルであるドライバ画像眠気レベルの信頼度が所定以上である場合、車両挙動眠気レベルに関わらず、前記ドライバ画像眠気レベルを前記総合眠気レベルとして決定する、請求項1に記載の居眠り運転警報装置。
- 前記ドライバ画像眠気レベル判定手段は、前記ドライバの画像の鮮明度に応じて、前記カメラが撮影したドライバの画像に基づいて判定されるドライバの眠気レベルであるドライバ画像眠気レベルの信頼度を決定する、請求項1又は2に記載の居眠り運転警報装置。
- 前記ドライバ画像眠気レベル判定手段は、ドライバの顔、瞼又は黒目の輪郭に直交する方向におけるピクセル値の最大変動量に応じて、前記ドライバ画像眠気レベルの信頼度を決定する、請求項3に記載の居眠り運転警報装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017133268A JP6662352B2 (ja) | 2017-07-07 | 2017-07-07 | 居眠り運転警報装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017133268A JP6662352B2 (ja) | 2017-07-07 | 2017-07-07 | 居眠り運転警報装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019016178A JP2019016178A (ja) | 2019-01-31 |
JP6662352B2 true JP6662352B2 (ja) | 2020-03-11 |
Family
ID=65356485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017133268A Active JP6662352B2 (ja) | 2017-07-07 | 2017-07-07 | 居眠り運転警報装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6662352B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021131708A (ja) * | 2020-02-19 | 2021-09-09 | いすゞ自動車株式会社 | 運転支援装置 |
CN113312948A (zh) * | 2020-03-26 | 2021-08-27 | 香港生产力促进局 | 一种使用深度学习模型检测睡意的方法、设备及系统 |
JP7375691B2 (ja) * | 2020-07-01 | 2023-11-08 | トヨタ自動車株式会社 | 眠気兆候通知システム |
JP6946587B1 (ja) * | 2021-03-15 | 2021-10-06 | Dmg森精機株式会社 | 画像処理装置および工作機械 |
WO2022234662A1 (ja) * | 2021-05-07 | 2022-11-10 | 三菱電機株式会社 | 眠気推定装置及び眠気推定システム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06274798A (ja) * | 1993-03-23 | 1994-09-30 | Mazda Motor Corp | 車両の安全装置 |
JPH07257220A (ja) * | 1994-03-22 | 1995-10-09 | Toyota Motor Corp | 車両用覚醒度評価装置 |
JP4182131B2 (ja) * | 2007-03-13 | 2008-11-19 | トヨタ自動車株式会社 | 覚醒度判定装置及び覚醒度判定方法 |
EP2546816B1 (en) * | 2010-03-11 | 2019-04-24 | Toyota Jidosha Kabushiki Kaisha | Biological state determination device |
JP2013143088A (ja) * | 2012-01-12 | 2013-07-22 | Denso Corp | 居眠り運転防止装置 |
JP5940972B2 (ja) * | 2012-12-21 | 2016-06-29 | ダイムラー・アクチェンゲゼルシャフトDaimler AG | 居眠り運転警報装置および居眠り運転警報方法 |
JP6226135B2 (ja) * | 2014-05-19 | 2017-11-08 | マツダ株式会社 | 居眠り運転防止装置 |
KR101646401B1 (ko) * | 2014-12-08 | 2016-08-12 | 현대자동차주식회사 | 운전자의 졸음상태 판단 시스템 및 그 판단 방법 |
JP6578784B2 (ja) * | 2015-07-24 | 2019-09-25 | 株式会社デンソー | 状態推定装置および状態推定プログラム |
-
2017
- 2017-07-07 JP JP2017133268A patent/JP6662352B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019016178A (ja) | 2019-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6662352B2 (ja) | 居眠り運転警報装置 | |
JP5974915B2 (ja) | 覚醒度検出装置、および覚醒度検出方法 | |
US9526448B2 (en) | State estimation device and state estimation program | |
US20160262682A1 (en) | Driver monitoring apparatus | |
JP4788624B2 (ja) | 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム | |
JP6226135B2 (ja) | 居眠り運転防止装置 | |
JP6973928B2 (ja) | 瞼開閉判定装置および眠気検知装置 | |
JP2008099884A (ja) | 状態推定装置 | |
JP2017194772A (ja) | 覚醒度判定装置 | |
JP2015032291A (ja) | 自動走行支援装置 | |
JP2018133007A (ja) | 警報装置 | |
US11430231B2 (en) | Emotion estimation device and emotion estimation method | |
JP2021037216A (ja) | 閉眼判定装置 | |
JP7046748B2 (ja) | 運転者状態判定装置および運転者状態判定方法 | |
JP5050794B2 (ja) | 眠気検知装置、眠気検知方法 | |
JP7192668B2 (ja) | 覚醒度判定装置 | |
US10945651B2 (en) | Arousal level determination device | |
US20220027646A1 (en) | Method for determining a drowsiness level of a motor vehicle driver | |
JP3812355B2 (ja) | 運転注意力検出装置および居眠り運転検出装置 | |
CN113879319B (zh) | 困倦征兆通知系统 | |
US11893807B2 (en) | Method for determining a level of alertness of a driver | |
JP7320188B2 (ja) | ドライバ異常姿勢検出装置 | |
WO2012147698A1 (ja) | ドライバ状態判定装置 | |
JP2019169100A (ja) | 覚醒度推定装置 | |
JP2023092261A (ja) | 車両制御装置、車両制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190702 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191021 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6662352 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |