JP6662352B2 - 居眠り運転警報装置 - Google Patents

居眠り運転警報装置 Download PDF

Info

Publication number
JP6662352B2
JP6662352B2 JP2017133268A JP2017133268A JP6662352B2 JP 6662352 B2 JP6662352 B2 JP 6662352B2 JP 2017133268 A JP2017133268 A JP 2017133268A JP 2017133268 A JP2017133268 A JP 2017133268A JP 6662352 B2 JP6662352 B2 JP 6662352B2
Authority
JP
Japan
Prior art keywords
drowsiness level
level
drowsiness
reliability
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017133268A
Other languages
English (en)
Other versions
JP2019016178A (ja
Inventor
山本 直樹
直樹 山本
貴行 森谷
貴行 森谷
隆史 濱田
隆史 濱田
正人 柏原
正人 柏原
敦 栗本
敦 栗本
敬史 圓山
敬史 圓山
智也 大谷
智也 大谷
由佳 峯岸
由佳 峯岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2017133268A priority Critical patent/JP6662352B2/ja
Publication of JP2019016178A publication Critical patent/JP2019016178A/ja
Application granted granted Critical
Publication of JP6662352B2 publication Critical patent/JP6662352B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、居眠り運転警報装置に係わり、特に、ドライバの眠気レベルに応じて警報を出力装置から出力させる居眠り運転警報装置に関する。
従来、ドライバの眠気を判定して居眠り運転の警報を出力する居眠り運転警報装置が知られている。
例えば、特許文献1には、ドライバの瞬き及び操舵状況に基づきドライバの覚醒度を評価する車両用覚醒度評価装置において、ドライバの瞬き状態を高精度に認識することができない状況においては、瞬きデータの重み付けを小さくし、相対的に操舵データによる覚醒度評価を大きくする一方、操舵データの信頼性が低いと考えられる状況においては、操舵データの重み付けを小さくして、相対的に瞬きデータによる覚醒度評価を大きくすることが開示されている。
特開平7−257220号公報
ところで、瞬きや操舵状況のようなドライバの眠気に関わるデータを一定時間蓄積した上で、蓄積されたデータに基づいてドライバの眠気を判定することも考えられる。
しかしながら、上述したような従来技術では、データの信頼度に応じてデータの種類ごとに重み付けを行うに過ぎないので、信頼度の高いデータと低いデータとが混在したまま蓄積されてしまう。したがって、それらの蓄積データに基づいて眠気判定を行った結果、信頼度の低いデータの影響を受けて、ドライバ自身がそれほど眠気を感じていない場合でもドライバが居眠りをしていると判定して警告を出力することがあり、この場合、ドライバは警告を煩わしいと感じてしまう。
本発明は、上述した従来技術の問題点を解決するためになされたものであり、ドライバの眠気レベルをより正確に判定し、誤った警報出力を抑制することができる居眠り運転警報装置を提供することを目的とする。
上記の目的を達成するために、本発明の居眠り運転警報装置は、ドライバの眠気レベルに応じて警報を出力装置から出力させる居眠り運転警報装置であって、ドライバを撮影するカメラと、車両の挙動を検出する車両挙動検出手段と、カメラが撮影したドライバの画像に基づきドライバの眠気レベルを判定すると共に、当該眠気レベルの信頼度を判定するドライバ画像眠気レベル判定手段と、車両の挙動に基づきドライバの眠気レベルを判定すると共に、当該眠気レベルの信頼度を判定する車両挙動眠気レベル判定手段と、ドライバ画像眠気レベル判定手段が判定した眠気レベル及びその信頼度と、車両挙動眠気レベル判定手段が判定した眠気レベル及びその信頼度とに基づき、総合眠気レベルを決定すると共に、当該総合眠気レベルの信頼度である総合信頼度を決定する総合眠気レベル決定手段と、当該総合眠気レベル決定手段により決定された総合眠気レベル及び総合信頼度を記憶する記憶部と、所定の判定時間の間に記憶部に蓄積された複数の総合眠気レベル及び総合信頼度を読み込み、複数の総合眠気レベルのうちで所定の総合眠気レベルであると判定された頻度により警報のレベルを設定する警報レベル設定手段と、を備え、警報レベル設定手段は、警報のレベルを設定する際に、総合眠気レベルの総合信頼度が低いほど当該総合眠気レベルの頻度が低くなるように、総合眠気レベルの頻度の補正を行うことを特徴とする。
このように構成された本発明においては、所定の判定時間の間に決定された複数の総合眠気レベルの頻度分布に基づき警報のレベルを設定するとき、警報レベル設定手段は、総合眠気レベルの総合信頼度が低いほど当該総合眠気レベルの頻度が低くなるように、総合眠気レベルの頻度の補正を行うので、ドライバ画像や車両挙動に基づき総合的に決定された総合眠気レベルの信頼度が低い場合には、その総合眠気レベルの頻度を下方に補正することで警報レベルの設定に与える影響を小さくすることができ、これにより、所定の判定時間の間に蓄積された眠気レベルのデータに信頼度の高いデータと信頼度の低いデータとが混在している場合でも、ドライバの眠気レベルをより正確に判定して適切な警報レベルを設定することができ、誤った警報出力を抑制することができる。
また、本発明において、好ましくは、総合眠気レベル決定手段は、カメラが撮影したドライバの画像に基づいて判定されるドライバの眠気レベルであるドライバ画像眠気レベルの信頼度が所定以上である場合、車両挙動眠気レベルに関わらず、ドライバ画像眠気レベルを総合眠気レベルとして決定する。
このように構成された本発明においては、ドライバ画像眠気レベルの信頼度が所定以上であり、車両の挙動に基づく眠気レベルよりもドライバ画像に基づく眠気レベルの方がより正確にドライバの眠気レベルを判定できていると想定される場合には、ドライバ画像眠気レベルを優先的に用いて総合眠気レベルを決定することができ、これにより、ドライバの眠気レベルをより正確に判定して適切な警報レベルを設定することができる。
本発明において、好ましくは、ドライバ画像眠気レベル判定手段は、ドライバの画像の鮮明度に応じて、カメラが撮影したドライバの画像に基づいて判定されるドライバの眠気レベルであるドライバ画像眠気レベルの信頼度を決定する。
また、本発明において、好ましくは、ドライバ画像眠気レベル判定手段は、ドライバの顔、瞼又は黒目の輪郭に直交する方向におけるピクセル値の最大変動量に応じて、ドライバ画像眠気レベルの信頼度を決定する。
本発明による居眠り運転警報装置によれば、ドライバの眠気レベルをより正確に判定し、誤った警報出力を抑制することができる。
本発明の実施形態による居眠り運転警報装置の電気的構成を示すブロック図である。 本発明の実施形態による居眠り運転警報装置が実行する眠気レベル判定処理のフローチャートである。 眠気レベルの判定基準を例示した表である。 眠気レベル判定処理において居眠り運転警報装置が総合信頼度を決定するときに参照する総合信頼度テーブルである。 眠気レベル判定処理において居眠り運転警報装置が総合眠気レベルを決定するときに参照する総合眠気レベルテーブルである。 本発明の実施形態による居眠り運転警報装置が実行する警報出力処理のフローチャートである。
以下、添付図面を参照して、本発明の実施形態による居眠り運転警報装置を説明する。
まず、図1により、本発明の実施形態による居眠り運転警報装置の構成を説明する。図1は、本発明の実施形態による居眠り運転警報装置の電気的構成を示すブロック図である。
図1において、符号1は本発明の実施形態による居眠り運転警報装置を示し、この居眠り運転警報装置1は、車室内に設けられドライバを撮影するカメラ2、車速を検出する車速センサ4、及び、ステアリングホイールの回転角度を検出する操舵角センサ6を備えている。車速センサ4及び操舵角センサ6は、本発明の「車両挙動検出手段」としての機能を有する。
また、居眠り運転警報装置1は、カメラ2、車速センサ4、及び操舵角センサ6から入力された信号に基づき、ディスプレイ8及びスピーカ10を含む車両の出力装置12の制御を行うECU14(Electric Control Unit)を備えている。
ECU14は、ドライバの画像に基づきドライバの眠気レベル及びその信頼度を判定するドライバ画像眠気レベル判定部16と、車両の挙動に基づきドライバの眠気レベル及びその信頼度を判定する車両挙動眠気レベル判定部18と、ドライバ画像眠気レベル判定部16が判定した眠気レベル及び信頼度と車両挙動眠気レベル判定部18が判定した眠気レベル及び信頼度とに基づき総合眠気レベル及び総合信頼度を決定する総合眠気レベル決定部20と、総合眠気レベル及び総合信頼度に基づき警報のレベルを設定する警報レベル設定部22とを有する。
また、ECU14は、総合眠気レベルの設定や総合信頼度の設定に用いられるデータを記憶する記憶部24を有する。
ECU14が備えるこれらの要素は、CPU、当該CPU上で解釈実行される各種のプログラム(OSなどの基本制御プログラムや、OS上で起動され特定機能を実現するアプリケーションプログラムを含む)、及びプログラムや各種のデータを記憶するためのROMやRAMの如き内部メモリを備えるコンピュータにより構成される。
次に、図2〜図5により、居眠り運転警報装置1が実行する眠気レベル判定処理を説明する。
図2は、居眠り運転警報装置1が実行する眠気レベル判定処理のフローチャートである。また、図3は眠気レベルの判定基準を例示した表であり、図4は眠気レベル判定処理において居眠り運転警報装置1が総合信頼度を決定するときに参照する総合信頼度テーブルであり、図5は眠気レベル判定処理において居眠り運転警報装置1が総合眠気レベルを決定するときに参照する総合眠気レベルテーブルである。
図2に示す眠気レベル判定処理は、車両のイグニッションがオンにされたときに起動され、所定周期(例えば200ms毎)で繰り返し実行される。
図2に示すように、眠気レベル判定処理が開始されると、ステップS1において、ECU14は、カメラ2により撮影されたドライバ画像を取得すると共に、車速センサ4により検出された車速及び操舵角センサ6により検出された操舵角を、車両挙動に関するデータとして取得する。ここで取得したデータは、メモリに一時的に記憶される。
次に、ステップS2において、ドライバ画像眠気レベル判定部16は、ドライバ画像に基づきドライバの眠気レベル(ドライバ画像眠気レベル)を判定すると共に、ここで判定したドライバ画像眠気レベルの信頼度を判定する。
具体的には、ドライバ画像眠気レベル判定部16は、ドライバ画像から取得したドライバの動作が、図3に例示したような判定基準の何れに該当するのかを特定し、特定した判定基準に相当する値をドライバ画像眠気レベルとして判定する。ドライバの動作は、公知の画像認識技術に基づき特定することが可能である。
図3の例によれば、眠気レベルは1から5の5段階の評価値に区分されている。ドライバ画像から取得したドライバの動作が、視線の移動が早く頻繁且つ動きが活発で体の動きを伴う場合には、眠気レベルが最も低い1と判定される。また、唇が開いており視線の動きが鈍い場合には、眠気レベルが2番目に低い2と判定される。また、瞬きがゆっくり且つ頻発する場合には、眠気レベルが中間の3と判定される。また、意図的な瞬きがあり、頭を振り、あくびが頻発する場合には、眠気レベルが2番目に高い4と判定される。さらに、瞼を閉じる、頭が前後に傾く等の動作が検出された場合には、眠気レベルは最高の5と判定される。
また、ドライバ画像眠気レベルの信頼度は、ドライバ画像の鮮明度(顔、瞼、黒目等の輪郭の鮮明度)に応じて、鮮明度が低い順に無効、低、高の3段階に区分される。例えば、ドライバ画像眠気レベル判定部16は、ドライバの顔、瞼、黒目の輪郭を検出できないほど鮮明度が低い場合にドライバ画像眠気レベルの信頼度を無効と判定し、ドライバの顔、瞼、黒目の輪郭を検出することができ且つその輪郭に直交する方向におけるピクセル値の最大変動量が予め定めた閾値未満の場合にドライバ画像眠気レベルの信頼度を低と判定し、ドライバの顔、瞼、黒目の輪郭を検出することができ且つその輪郭に直交する方向におけるピクセル値の最大変動量が予め定めた閾値以上の場合にドライバ画像眠気レベルの信頼度を高と判定する。
次に、ステップS3において、車両挙動眠気レベル判定部18は、車速及び操舵角に基づきドライバの眠気レベル(車両挙動眠気レベル)を判定すると共に、ここで判定した車両挙動眠気レベルの信頼度を判定する。
具体的には、車両挙動眠気レベル判定部18は、操舵角の変化速度及び変化量に基づき、車両を走行車線内に維持するための修正操舵を抽出する。修正操舵か否かについては、例えばMT(マハラノビス・タグチ)法により判定することが可能である。
そして、所定の判定時間における修正操舵の発生頻度が予め定めた閾値以上である場合に眠気レベルが「眠気あり」であると判定し、修正操舵の発生頻度が閾値未満である場合に眠気レベルが「眠気なし」であると判定する。
また、車両挙動眠気レベルの信頼度は、操舵角センサ6による操舵角の検出状態や、操舵角の変化に影響を与える車両の走行状態(例えば車速)に応じて、無効、低、高の3段階に区分される。例えば、車両挙動眠気レベル判定部18は、何らかの原因により操舵角を取得できない場合に車両挙動眠気レベルの信頼度を無効と判定し、車速が所定の閾値未満である場合に車両挙動眠気レベルの信頼度を低と判定し、車速が所定の閾値以上である場合に車両挙動眠気レベルの信頼度を高と判定する。
次に、ステップS4において、総合眠気レベル決定部20は、ステップS2でドライバ画像眠気レベル判定部16が判定したドライバ画像眠気レベルの信頼度と、ステップS3で車両挙動眠気レベル判定部18が判定した車両挙動眠気レベルの信頼度とに基づき、ドライバ画像眠気レベル及び車両挙動眠気レベルから決定される総合眠気レベルの信頼度である総合信頼度を決定する。
具体的には、図4に示すような、ドライバ画像眠気レベルの信頼度と車両挙動眠気レベルの信頼度とのそれぞれに関連付けられた信頼度を規定した総合信頼度テーブルを予め記憶部24に格納しておく。総合眠気レベル決定部20は、この総合信頼度テーブルを参照し、ステップS2で判定したドライバ画像眠気レベルの信頼度とステップS3で判定した車両挙動眠気レベルの信頼度とに関連付けられている信頼度を、総合信頼度として決定する。
図4の例では、ドライバ画像眠気レベルの信頼度が高である場合には、車両挙動眠気レベルの信頼度に関わらず総合信頼度は高であり、ドライバ画像眠気レベルの信頼度が低である場合には、車両挙動眠気レベルの信頼度に関わらず総合信頼度は低である。また、ドライバ画像眠気レベルの信頼度が無効である状況の下で、車両挙動眠気レベルの信頼度が無効である場合には総合信頼度は無効であり、車両挙動眠気レベルの信頼度が低又は高である場合には総合信頼度は低である。
次に、ステップS5において、総合眠気レベル決定部20は、ステップS2でドライバ画像眠気レベル判定部16が判定したドライバ画像眠気レベル及びその信頼度と、ステップS3で車両挙動眠気レベル判定部18が判定した車両挙動眠気レベル及びその信頼度とに基づき、総合眠気レベルを決定する。
具体的には、図5に示すような、ドライバ画像眠気レベル及びその信頼度と、車両挙動眠気レベル及びその信頼度とのそれぞれに関連付けられた眠気レベルを規定した総合眠気レベルテーブルを、予め記憶部24に格納しておく。総合眠気レベル決定部20は、この総合眠気レベルテーブルを参照し、ステップS2で判定したドライバ画像眠気レベル及びその信頼度と、ステップS3で判定した車両挙動眠気レベル及びその信頼度とに関連付けられている眠気レベルを、総合眠気レベルとして決定する。
図5の例では、ドライバ画像眠気レベルの信頼度が無効である状況の下で、車両挙動眠気レベルの信頼度が無効である場合には総合眠気レベルは0、車両挙動眠気レベルの信頼度が低又は高であり且つ車両挙動眠気レベルが眠気なしの場合には総合眠気レベルは1、車両挙動眠気レベルの信頼度が低であり且つ車両挙動眠気レベルが眠気ありの場合には総合眠気レベルは3、車両挙動眠気レベルの信頼度が高であり且つ車両挙動眠気レベルが眠気ありの場合には総合眠気レベルは4と決定される。
また、ドライバ画像眠気レベルの信頼度が低である状況の下で、車両挙動眠気レベルの信頼度が無効である場合には、ドライバ画像眠気レベルが総合眠気レベルとして決定される。同じくドライバ画像眠気レベルの信頼度が低である状況の下で、車両挙動眠気レベルの信頼度が低であり且つ車両挙動眠気レベルが眠気なしである場合には、眠気レベルの最大値がドライバ画像眠気レベルの最大値より小さくなるように総合眠気レベルが決定され(図5ではドライバ画像眠気レベル1、2、3、4、5である場合にそれぞれに対して1、2、2、3、3)、車両挙動眠気レベルの信頼度が低であり且つ車両挙動眠気レベルが眠気ありの場合には、眠気レベルの最小値がドライバ画像眠気レベルの最小値より大きく且つ眠気レベルの最大値がドライバ画像眠気レベルの最大値よりも小さくなるように総合眠気レベルが決定される(図5ではドライバ画像眠気レベル1、2、3、4、5である場合にそれぞれに対して2、3、3、4、4)。また、ドライバ画像眠気レベルの信頼度が低である状況の下で、車両挙動眠気レベルの信頼度が高であり且つ車両挙動眠気レベルが眠気なしである場合には、眠気レベルの最大値がドライバ画像眠気レベルの最大値より小さくなるように総合眠気レベルが決定され(図5ではドライバ画像眠気レベル1、2、3、4、5である場合にそれぞれに対して1、2、2、3、3)、車両挙動眠気レベルの信頼度が高であり且つ車両挙動眠気レベルが眠気ありの場合には、眠気レベルがドライバ画像眠気レベル以上となるように総合眠気レベルが決定される(図5ではドライバ画像眠気レベル1、2、3、4、5である場合にそれぞれに対して3、4、4、5、5)。
また、ドライバ画像眠気レベルの信頼度が高の場合には、車両挙動眠気レベル及びその信頼度に関わらず、ドライバ画像眠気レベルが総合眠気レベルとして決定される。
次に、ステップS6において、総合眠気レベル決定部20は、ステップS4で決定した総合信頼度及びステップS5で決定した総合眠気レベルを互いに関連付けて記憶部24に記憶させる。
その後、ECU14は眠気レベル判定処理を終了する。上述したように、眠気レベル判定処理は所定周期で繰り返し実行されるので、総合眠気レベル及び総合信頼度は所定周期で記憶部24に蓄積される。
次に、図6により、居眠り運転警報装置1が実行する警報出力処理を説明する。
図6は、本発明の実施形態による居眠り運転警報装置1が実行する警報出力処理のフローチャートである。
図6に示す警報出力処理は、車両のイグニッションがオンにされた後、後述する所定の判定時間が経過した後(例えば3分経過後)に起動され、所定周期(例えば200ms毎)で繰り返し実行される。
図6に示すように、警報出力処理が開始されると、ステップS11において、警報レベル設定部22は、直近の所定の判定時間(例えば3分間)の間に決定され記憶部24に蓄積された複数の総合眠気レベル及び総合信頼度を読み込む。
次に、ステップS12において、警報レベル設定部22は、ステップS11で読み込んだ総合眠気レベルにおいて、1から5の各段階の総合眠気レベルが判定された回数をそれぞれカウントする。
次に、ステップS13において、警報レベル設定部22は、ステップS12でカウントした各総合眠気レベルに関連付けられている総合信頼度を取得し、総合信頼度が低であった総合眠気レベルについてはその総合眠気レベルが判定された回数を0.5回としてカウントするように補正する。
例えば、総合眠気レベル5と判定された回数が合計10回である状況の下で、総合信頼度が高であった回数が6回、低であった回数が4回である場合、総合信頼度が低のときの総合眠気レベル5の判定回数は4×0.5=2回に補正される。したがって、補正後の総合眠気レベル5の判定回数は、6+2=8回とカウントされる。
このように、警報レベル設定部22は、総合眠気レベルの総合信頼度が低いほどその総合眠気レベルの頻度が低くなるように補正を行う。
次に、ステップS14において、警報レベル設定部22は、ステップS13で補正した後の各総合眠気レベルの判定回数に基づき、各総合眠気レベルの頻度を算出する。
次に、ステップS15において、警報レベル設定部22は、ステップS14で算出した総合眠気レベル5の頻度が5%以上か否かを判定する。
その結果、総合眠気レベル5の頻度が5%以上である場合、ステップS16に進み、警報レベル設定部22は、警報レベルを「警告」に設定する。
一方、ステップS15において総合眠気レベル5の頻度が5%未満である場合、ステップS17に進み、警報レベル設定部22は、ステップS14で算出した総合眠気レベル4以上の頻度が10%以上か否かを判定する。
その結果、総合眠気レベル4以上の頻度が10%以上である場合、ステップS16に進み、警報レベル設定部22は、警報レベルを「警告」に設定する。
一方、ステップS17において総合眠気レベル4以上の頻度が10%未満である場合、ステップS18に進み、警報レベル設定部22は、ステップS14で算出した総合眠気レベル3以上の頻度が30%以上か否かを判定する。
その結果、総合眠気レベル3以上の頻度が30%以上である場合、ステップS19に進み、警報レベル設定部22は、警報レベルを「注意」に設定する。
一方、ステップS18において総合眠気レベル3以上の頻度が30%未満である場合、ステップS20に進み、警報レベル設定部22は、ステップS14で算出した総合眠気レベル3以上の頻度が15%以上か否かを判定する。
その結果、総合眠気レベル3以上の頻度が15%以上である場合、ステップS21に進み、警報レベル設定部22は、警報レベルを「通知」に設定する。
また、総合眠気レベル3以上の頻度が15%未満である場合、ステップS22に進み、警報レベル設定部22は、警報レベルを「無し」に設定する。
ステップS16、S19、S21、又はS22の後、ステップS23に進み、警報レベル設定部22は、設定した警報レベルに基づきディスプレイ8やスピーカ10を制御する。
例えば、警報レベルが「警告」に設定されている場合、警報レベル設定部22は、直ちに車両を安全な場所に停車させ休憩を取る旨の警報メッセージを継続的にディスプレイ8に表示させると共に、同様のメッセージ及び警報音を継続的にスピーカ10から出力させる。
また、警報レベルが「注意」に設定されている場合、警報レベル設定部22は、可能な限り速やかに車両を安全な場所に停車させ休憩を取る旨の注意メッセージをディスプレイ8に表示させると共に、同様のメッセージをスピーカ10から出力させる。
また、警報レベルが「通知」に設定されている場合、警報レベル設定部22は、車両を安全な場所に停車させ休憩を取ることを促すメッセージをディスプレイ8に表示させる。
一方、警報レベルが「無し」に設定されている場合、警報レベル設定部22は、ディスプレイ8やスピーカ10による警報や情報の出力を行わない。
ステップS23の後、ECU14は警報出力処理を終了する。
次に、本発明の実施形態のさらなる変形例を説明する。
上述した実施形態においては、車両挙動眠気レベル判定部18は、車速及び操舵角に基づき車両挙動眠気レベル及びその信頼度を判定すると説明したが、車速や操舵角と共に、あるいはこれらに代えて、車両の挙動に関連する他のパラメータに基づき車両挙動眠気レベル及びその信頼度を判定するようにしてもよい。車両の挙動に関連する他のパラメータとしては、例えば、ヨーレート、横加速度、アクセル開度、ブレーキペダル踏込量等を用いることができる。
また、上述した実施形態において、警報レベル設定部22は、ステップS12でカウントした各総合眠気レベルに関連付けられている総合信頼度を取得し、総合信頼度が低であった総合眠気レベルについてはその総合眠気レベルが判定された回数を0.5回としてカウントするように補正する説明したが、0.5回ではなく他の値(例えば0.3回や0.1回等)に補正してもよい。
また、上述した実施形態においては、ドライバ画像眠気レベル及び総合眠気レベルを5段階に区分し、車両挙動眠気レベルを2段階に区分しているが、これとは異なる段階に区分してもよい。
同様に、上述した実施形態においては、ドライバ画像眠気レベルの信頼度、車両挙動眠気レベルの信頼度、及び総合信頼度を無効、低、高の3段階に区分しているが、これとは異なる段階に区分してもよい。
特に、総合信頼度を3段階よりも多段あるいは連続的な評価値により表してもよく、この場合、警報レベル設定部22は、総合眠気レベルの総合信頼度が低いほどその総合眠気レベルの頻度が低くなるように補正を行うことができる。
次に、上述した本発明の実施形態及び本発明の実施形態の変形例による居眠り運転警報装置1の作用効果を説明する。
まず、所定の判定時間の間に決定された複数の総合眠気レベルの頻度分布に基づき警報のレベルを設定するとき、警報レベル設定部22は、総合眠気レベルの総合信頼度が低いほど当該総合眠気レベルの頻度が低くなるように、総合眠気レベルの頻度の補正を行う。したがって、ドライバ画像や車両挙動に基づき総合的に決定された総合眠気レベルの信頼度が低い場合には、その総合眠気レベルの頻度を下方に補正することで警報レベルの設定に与える影響を小さくすることができ、これにより、所定の判定時間の間に蓄積された眠気レベルのデータに信頼度の高いデータと信頼度の低いデータとが混在している場合でも、ドライバの眠気レベルをより正確に判定して適切な警報レベルを設定することができ、誤った警報出力を抑制することができる。
また、総合眠気レベル決定部20は、ドライバ画像眠気レベルの信頼度が所定以上である場合、車両挙動眠気レベルに関わらず、ドライバ画像眠気レベルを総合眠気レベルとして決定するので、ドライバ画像眠気レベルの信頼度が所定以上であり、車両の挙動に基づく眠気レベルよりもドライバ画像に基づく眠気レベルの方がより正確にドライバの眠気レベルを判定できていると想定される場合には、ドライバ画像眠気レベルを優先的に用いて総合眠気レベルを決定することができ、これにより、ドライバの眠気レベルをより正確に判定して適切な警報レベルを設定することができる。
1 居眠り運転警報装置
2 カメラ
4 車速センサ
6 操舵角センサ
8 ディスプレイ
10 スピーカ
12 出力装置
14 ECU
16 ドライバ画像眠気レベル判定部
18 車両挙動眠気レベル判定部
20 総合眠気レベル決定部
22 警報レベル設定部
24 記憶部

Claims (4)

  1. ドライバの眠気レベルに応じて警報を出力装置から出力させる居眠り運転警報装置であって、
    ドライバを撮影するカメラと、
    車両の挙動を検出する車両挙動検出手段と、
    前記カメラが撮影したドライバの画像に基づきドライバの眠気レベルを判定すると共に、当該眠気レベルの信頼度を判定するドライバ画像眠気レベル判定手段と、
    前記車両の挙動に基づきドライバの眠気レベルを判定すると共に、当該眠気レベルの信頼度を判定する車両挙動眠気レベル判定手段と、
    前記ドライバ画像眠気レベル判定手段が判定した眠気レベル及びその信頼度と、前記車両挙動眠気レベル判定手段が判定した眠気レベル及びその信頼度とに基づき、総合眠気レベルを決定すると共に、当該総合眠気レベルの信頼度である総合信頼度を決定する総合眠気レベル決定手段と、
    当該総合眠気レベル決定手段により決定された前記総合眠気レベル及び前記総合信頼度を記憶する記憶部と、
    所定の判定時間の間に前記記憶部に蓄積された複数の前記総合眠気レベル及び前記総合信頼度を読み込み、複数の前記総合眠気レベルのうちで所定の総合眠気レベルであると判定された頻度により前記警報のレベルを設定する警報レベル設定手段と、を備え、
    前記警報レベル設定手段は、前記警報のレベルを設定する際に、前記総合眠気レベルの前記総合信頼度が低いほど当該総合眠気レベルの頻度が低くなるように、前記総合眠気レベルの頻度の補正を行う、
    ことを特徴とする居眠り運転警報装置。
  2. 前記総合眠気レベル決定手段は、前記カメラが撮影したドライバの画像に基づいて判定されるドライバの眠気レベルであるドライバ画像眠気レベルの信頼度が所定以上である場合、車両挙動眠気レベルに関わらず、前記ドライバ画像眠気レベルを前記総合眠気レベルとして決定する、請求項1に記載の居眠り運転警報装置。
  3. 前記ドライバ画像眠気レベル判定手段は、前記ドライバの画像の鮮明度に応じて、前記カメラが撮影したドライバの画像に基づいて判定されるドライバの眠気レベルであるドライバ画像眠気レベルの信頼度を決定する、請求項1又は2に記載の居眠り運転警報装置。
  4. 前記ドライバ画像眠気レベル判定手段は、ドライバの顔、瞼又は黒目の輪郭に直交する方向におけるピクセル値の最大変動量に応じて、前記ドライバ画像眠気レベルの信頼度を決定する、請求項3に記載の居眠り運転警報装置。
JP2017133268A 2017-07-07 2017-07-07 居眠り運転警報装置 Active JP6662352B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017133268A JP6662352B2 (ja) 2017-07-07 2017-07-07 居眠り運転警報装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017133268A JP6662352B2 (ja) 2017-07-07 2017-07-07 居眠り運転警報装置

Publications (2)

Publication Number Publication Date
JP2019016178A JP2019016178A (ja) 2019-01-31
JP6662352B2 true JP6662352B2 (ja) 2020-03-11

Family

ID=65356485

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017133268A Active JP6662352B2 (ja) 2017-07-07 2017-07-07 居眠り運転警報装置

Country Status (1)

Country Link
JP (1) JP6662352B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021131708A (ja) * 2020-02-19 2021-09-09 いすゞ自動車株式会社 運転支援装置
CN113312948A (zh) * 2020-03-26 2021-08-27 香港生产力促进局 一种使用深度学习模型检测睡意的方法、设备及系统
JP7375691B2 (ja) * 2020-07-01 2023-11-08 トヨタ自動車株式会社 眠気兆候通知システム
JP6946587B1 (ja) * 2021-03-15 2021-10-06 Dmg森精機株式会社 画像処理装置および工作機械
WO2022234662A1 (ja) * 2021-05-07 2022-11-10 三菱電機株式会社 眠気推定装置及び眠気推定システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06274798A (ja) * 1993-03-23 1994-09-30 Mazda Motor Corp 車両の安全装置
JPH07257220A (ja) * 1994-03-22 1995-10-09 Toyota Motor Corp 車両用覚醒度評価装置
JP4182131B2 (ja) * 2007-03-13 2008-11-19 トヨタ自動車株式会社 覚醒度判定装置及び覚醒度判定方法
EP2546816B1 (en) * 2010-03-11 2019-04-24 Toyota Jidosha Kabushiki Kaisha Biological state determination device
JP2013143088A (ja) * 2012-01-12 2013-07-22 Denso Corp 居眠り運転防止装置
JP5940972B2 (ja) * 2012-12-21 2016-06-29 ダイムラー・アクチェンゲゼルシャフトDaimler AG 居眠り運転警報装置および居眠り運転警報方法
JP6226135B2 (ja) * 2014-05-19 2017-11-08 マツダ株式会社 居眠り運転防止装置
KR101646401B1 (ko) * 2014-12-08 2016-08-12 현대자동차주식회사 운전자의 졸음상태 판단 시스템 및 그 판단 방법
JP6578784B2 (ja) * 2015-07-24 2019-09-25 株式会社デンソー 状態推定装置および状態推定プログラム

Also Published As

Publication number Publication date
JP2019016178A (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
JP6662352B2 (ja) 居眠り運転警報装置
JP5974915B2 (ja) 覚醒度検出装置、および覚醒度検出方法
US9526448B2 (en) State estimation device and state estimation program
US20160262682A1 (en) Driver monitoring apparatus
JP4788624B2 (ja) 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム
JP6226135B2 (ja) 居眠り運転防止装置
JP6973928B2 (ja) 瞼開閉判定装置および眠気検知装置
JP2008099884A (ja) 状態推定装置
JP2017194772A (ja) 覚醒度判定装置
JP2015032291A (ja) 自動走行支援装置
JP2018133007A (ja) 警報装置
US11430231B2 (en) Emotion estimation device and emotion estimation method
JP2021037216A (ja) 閉眼判定装置
JP7046748B2 (ja) 運転者状態判定装置および運転者状態判定方法
JP5050794B2 (ja) 眠気検知装置、眠気検知方法
JP7192668B2 (ja) 覚醒度判定装置
US10945651B2 (en) Arousal level determination device
US20220027646A1 (en) Method for determining a drowsiness level of a motor vehicle driver
JP3812355B2 (ja) 運転注意力検出装置および居眠り運転検出装置
CN113879319B (zh) 困倦征兆通知系统
US11893807B2 (en) Method for determining a level of alertness of a driver
JP7320188B2 (ja) ドライバ異常姿勢検出装置
WO2012147698A1 (ja) ドライバ状態判定装置
JP2019169100A (ja) 覚醒度推定装置
JP2023092261A (ja) 車両制御装置、車両制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191021

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200127

R150 Certificate of patent or registration of utility model

Ref document number: 6662352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150