JP7251524B2 - 眠気兆候通知システム、眠気兆候通知方法、及び眠気兆候通知プログラム - Google Patents

Description

本発明は、車両のドライバに眠気兆候があることを通知する技術に関する。

特許文献１は、車両用の居眠り防止装置を開示している。居眠り防止装置は、ドライバの眠気を検出する。ドライバの眠気が検出された場合、居眠り防止装置は、まず最初に音声ガイド（例：「眠気の兆候があります」）を出力する。音声ガイドの出力後、依然としてドライバの眠気が検出されている場合、居眠り防止装置は、ドライバが座っているシートの空調をＯＮし、更に、そのシートを振動させる。

特許文献２は、ドライバ状態改善支援装置を開示している。ドライバ状態（眠気、緊張、疲労など）が安全運転に支障を来す状態となった場合、ドライバ状態改善支援装置は、ドライバに会話を行わせて、ドライバ状態を改善する。

特開２００７－３０４７０５号公報 特開２０１６－１７３６５１号公報

特許文献１に開示されている技術によれば、ドライバの眠気が検出された場合、まず最初に音声ガイドが出力される。音声ガイドは、ドライバの他の同乗者にも聞こえてしまう。つまり、初期段階ではドライバに通知が届けば十分であるにもかかわらず、その通知がドライバだけでなく同乗者にも届いてしまう。そのような初期段階での通知は、同乗者にとって煩わしい。

本発明の１つの目的は、同乗者が感じる煩わしさを抑制しながら、ドライバに眠気兆候があることを通知することができる技術を提供することにある。

第１の観点は、車両に適用される眠気兆候通知システムに関連する。
眠気兆候通知システムは、
車両のドライバの状態であるドライバ状態を検出するドライバモニタと、
制御装置と
を備える。
制御装置は、
ドライバ状態に基づいて、ドライバに眠気兆候があるか否かを判定する眠気兆候判定処理と、
ドライバに眠気兆候があると判定された場合、音声を用いることなく表示又は振動を通してドライバに第１眠気兆候通知を出す第１眠気兆候通知処理と、
第１眠気兆候通知処理の後、ドライバに眠気兆候があると再度判定された場合、音声を通してドライバに第２眠気兆候通知を出す第２眠気兆候通知処理と
を実行する。

第２の観点は、車両に適用される眠気兆候通知方法に関連する。
車両は、車両のドライバの状態であるドライバ状態を検出するドライバモニタを備える。
眠気兆候通知方法は、
ドライバ状態に基づいて、ドライバに眠気兆候があるか否かを判定する眠気兆候判定処理と、
ドライバに眠気兆候があると判定された場合、音声を用いることなく表示又は振動を通してドライバに第１眠気兆候通知を出す第１眠気兆候通知処理と、
第１眠気兆候通知処理の後、ドライバに眠気兆候があると再度判定された場合、音声を通してドライバに第２眠気兆候通知を出す第２眠気兆候通知処理と
を含む。

第３の観点は、車両に適用される眠気兆候通知プログラムに関連する。
車両は、車両のドライバの状態であるドライバ状態を検出するドライバモニタを備える。
眠気兆候通知プログラムは、コンピュータによって実行されることによって、コンピュータに、
ドライバ状態に基づいて、ドライバに眠気兆候があるか否かを判定する眠気兆候判定処理と、
ドライバに眠気兆候があると判定された場合、音声を用いることなく表示又は振動を通してドライバに第１眠気兆候通知を出す第１眠気兆候通知処理と、
第１眠気兆候通知処理の後、ドライバに眠気兆候があると再度判定された場合、音声を通してドライバに第２眠気兆候通知を出す第２眠気兆候通知処理と
を実行させる。

本発明によれば、車両のドライバに眠気兆候があると判定された場合、眠気兆候通知がドライバに出される。これにより、ドライバに刺激を与え、ドライバの覚醒状態を維持することができる。言い換えれば、ドライバが居眠り状態になることを防止し、ドライバを運転に適した状態に維持することができる。

特に、本発明によれば、まず最初に、第１眠気兆候通知が、音声ではなく表示又は振動を通してドライバに出される。この第１眠気兆候通知は音声を含まないため、同乗者は第１眠気兆候通知には気付かない。初期段階における第１眠気兆候通知は同乗者には気付かれないため、同乗者が感じる煩わしさが抑制される。

第１眠気兆候通知の後、ドライバに眠気兆候があると再度判定された場合、第２眠気兆候通知が音声を通してドライバに出される。音声を含む第２眠気兆候通知は、第１眠気兆候通知よりも強い刺激をドライバに与える。これにより、ドライバの覚醒状態をより確実に維持することができる。

本発明の実施の形態に係る眠気兆候通知システムの概要を説明するための概念図である。 本発明の実施の形態に係る眠気兆候通知システムの概要を説明するためのタイミングチャートである。 本発明の実施の形態に係る眠気兆候通知システムの構成例を示すブロック図である。 本発明の実施の形態に係る眠気兆候判定処理の第１の例を説明するための概念図である。 本発明の実施の形態に係る眠気兆候判定処理の第１の例を説明するための概念図である。 本発明の実施の形態に係る眠気兆候判定処理の第２の例を説明するための概念図である。 本発明の実施の形態に係る眠気兆候通知システムによる処理の一例を示すタイミングチャートである。 本発明の実施の形態に係る眠気兆候通知システムによる第１フィードバックモードにおける処理を要約的に示すフローチャートである。 本発明の実施の形態に係る眠気兆候通知システムによる第２フィードバックモードにおける処理を要約的に示すフローチャートである。 本発明の実施の形態に係る自動運転システムの構成例を示すブロック図である。

添付図面を参照して、本発明の実施の形態を説明する。

１．概要
図１は、本実施の形態に係る眠気兆候通知システム１０の概要を説明するための概念図である。眠気兆候通知システム１０は、車両１のドライバ５の「眠気兆候」を検出する。ここで、「眠気兆候」とは、ドライバ５の覚醒度が低下した状態であり、ドライバ５が眠気を感じる前後の状態を意味する。典型的には、眠気兆候は、ドライバ５が眠気を感じる前後に特有な眠気動作として現れる。ドライバ５が眠気を自覚していなくても、眠気兆候が検出される可能性はある。いずれにせよ、眠気兆候が検出されるのは、ドライバ５が居眠りに移行する前の段階である。

より詳細には、眠気兆候通知システム１０は、ドライバ５の状態であるドライバ状態を検出するドライバモニタを有する。眠気兆候通知システム１０は、ドライバモニタによって検出されるドライバ状態に基づいて、ドライバ５に眠気兆候があるか否かを判定する。例えば、眠気兆候通知システム１０は、ドライバ状態に基づいて、ドライバ５が眠気を感じる前後に特有な眠気動作の有無を判定し、それにより、ドライバ５に眠気兆候があるか否かを判定する。

ドライバ５に眠気兆候があると判定された場合、すなわち、眠気兆候が検出された場合、眠気兆候通知システム１０は、眠気兆候の検出をドライバ５に通知（フィードバック）する。その通知（フィードバック）を、以下、「眠気兆候通知ＦＢ」と呼ぶ。眠気兆候通知システム１０は、表示、音声、振動、等を通して、眠気兆候通知ＦＢをドライバ５に出す。そのような眠気兆候通知ＦＢにより、ドライバ５に刺激を与え、ドライバ５の覚醒状態を維持することができる。言い換えれば、眠気兆候通知ＦＢにより、ドライバ５が居眠り状態になることを防止し、ドライバ５を運転に適した状態に維持することができる。

図２は、本実施の形態に係る眠気兆候通知システム１０の概要を説明するためのタイミングチャートである。横軸は時間を表し、縦軸はドライバ５の覚醒度Ａ及び眠気度Ｄを表している。覚醒度Ａと眠気度Ｄは表裏一体であり、覚醒度Ａが低下するにつれて眠気度Ｄは増加する。覚醒度Ａを算出することと眠気度Ｄを算出することは等価である。

本実施の形態によれば、眠気兆候通知ＦＢは、「第１眠気兆候通知ＦＢ１」と「第２眠気兆候通知ＦＢ２」の二種類を含んでいる。第１眠気兆候通知ＦＢ１は、覚醒度Ａが低下した比較的早い段階（初期段階）において用いられる。一方、第２眠気兆候通知ＦＢ２は、第１眠気兆候通知ＦＢ１の後に用いられる。

図２に示される例において、時刻ｔ１の前、ドライバ５の覚醒度Ａが徐々に低下し、眠気度Ｄが徐々に増加している。時刻ｔ１において、ドライバ５に眠気兆候があると判定される。それに応答して、眠気兆候通知システム１０は、第１眠気兆候通知ＦＢ１をドライバ５に出す。この第１眠気兆候通知ＦＢ１は、音声を用いることなく、表示又は振動を通してドライバ５に出される。

例えば、第１眠気兆候通知ＦＢ１は、ドライバ５の前方のディスプレイに表示されるテキストメッセージ（例：「眠くありませんか？」）である。他の例として、第１眠気兆候通知ＦＢ１は、ドライバ５の前方のディスプレイや発光装置の点滅表示であってもよい。更に他の例として、第１眠気兆候通知ＦＢ１は、ドライバ５が装着しているシートベルトの振動であってもよい。

このような第１眠気兆候通知ＦＢ１により、ドライバ５に刺激を与え、ドライバ５の覚醒状態を維持することができる。また、第１眠気兆候通知ＦＢ１は音声を含まないため、車両１の同乗者は第１眠気兆候通知ＦＢ１には気付かない。すなわち、第１眠気兆候通知ＦＢ１は、表示又は振動を通してドライバ５だけが気付くように出される。初期段階における第１眠気兆候通知ＦＢ１は同乗者には気付かれないため、同乗者が感じる煩わしさが抑制される。

第１眠気兆候通知ＦＢ１の後、時刻ｔ２において、ドライバ５に眠気兆候があると再度判定される。それに応答して、眠気兆候通知システム１０は、第２眠気兆候通知ＦＢ２をドライバ５に出す。この第２眠気兆候通知ＦＢ２は、少なくとも音声を通してドライバ５に出される。

例えば、第２眠気兆候通知ＦＢ２は、スピーカから出力される音声メッセージ（例：「眠くありませんか？」）である。他の例として、第２眠気兆候通知ＦＢ２は、ドライバ５との対話（例：「近くに静岡サービスエリアがあります。寄りますか？」）であってもよい。更に他の例として、第２眠気兆候通知ＦＢ２は、スピーカから出力される警告音であってもよい。

このような第２眠気兆候通知ＦＢ２により、ドライバ５に刺激を与え、ドライバ５の覚醒状態を維持することができる。特に、音声を含む第２眠気兆候通知ＦＢ２は、第１眠気兆候通知ＦＢ１よりも強い刺激をドライバ５に与える。これにより、ドライバ５の覚醒状態をより確実に維持することができる。第２眠気兆候通知ＦＢ２が対話形式であると、更に確実に覚醒状態を維持することが期待される。尚、車両１に同乗者がいる場合、音声による第２眠気兆候通知ＦＢ２は、同乗者にも聞こえる。この場合、同乗者がドライバ５に話しかけ、ドライバ５を覚醒状態に維持することも期待される。

第２眠気兆候通知ＦＢ２は、必要に応じて、繰り返し出されてもよい。図２に示される例では、時刻ｔ２の後の時刻ｔ３において、ドライバ５に眠気兆候があると再度判定され、第２眠気兆候通知ＦＢ２が再度出される。このとき、前回と内容の異なる第２眠気兆候通知ＦＢ２が出されてもよい。様々な種類の第２眠気兆候通知ＦＢ２により、ドライバ５の覚醒状態をより確実に維持することができる。

以下、本実施の形態に係る眠気兆候通知システム１０について更に詳しく説明する。

２．眠気兆候通知システム
２－１．構成例
図３は、本実施の形態に係る眠気兆候通知システム１０の構成例を示すブロック図である。眠気兆候通知システム１０は、ドライバモニタ２０、ＨＭＩ（Human Machine Interface）ユニット３０、シート装置４０、及び制御装置５０を含んでいる。

ドライバモニタ２０は、車両１に搭載されており、ドライバ５の状態であるドライバ状態を検出する。例えば、ドライバモニタ２０は、ドライバ５を撮像するカメラを含んでいる。ドライバ状態情報ＤＲＳは、ドライバモニタ２０によって検出されるドライバ状態を示す。例えば、ドライバ状態情報ＤＲＳは、ドライバ５の開眼度、開口度、顔向き、視線、等を示す。

ＨＭＩユニット３０は、ドライバ５に情報を出力し、また、ドライバ５から情報の入力を受け付けるインタフェースである。ＨＭＩユニット３０は、視覚デバイス３１、スピーカ３２、及び入力装置３３を含んでいる。

視覚デバイス３１は、ドライバ５の前方に配置され、ドライバ５に視覚的に情報を提供する。視覚デバイス３１としては、ディスプレイや発光装置が例示される。ディスプレイとしては、インストルメントパネルに設置されたディスプレイ（液晶ディスプレイ、有機ＥＬディスプレイ、等）、ヘッドアップディスプレイ（HUD: Head-Up Display）、等が例示される。発光装置としては、ＬＥＤ（Light Emitting Diode）が例示される。

スピーカ３２は、音声を出力する。入力装置３３としては、タッチパネル、ボタン、マイク、等が例示される。

シート装置４０は、ドライバ５が座るシートに関連する装置である。例えば、シート装置４０は、ドライバ５が座るシートのシートベルトを振動させるアクチュエータを含んでいる。他の例として、シート装置４０は、シート内の空気袋を膨張させ、ドライバ５の背中や大腿部を刺激するリフレッシュシート機能を有していてもよい。

制御装置５０は、各種情報処理を行うコンピュータである。制御装置５０は、プロセッサ６０及び記憶装置７０を備えている。プロセッサ６０は、各種情報処理を実行する。例えば、プロセッサ６０は、ＣＰＵ（Central Processing Unit）を含んでいる。記憶装置７０には、各種情報が格納される。例えば、記憶装置７０には、ドライバモニタ２０によって取得されるドライバ状態情報ＤＲＳが格納される。記憶装置７０としては、揮発性メモリ、不揮発性メモリ、等が例示される。

眠気兆候通知プログラムＦＢＰは、コンピュータによって実行されるコンピュータプログラムである。プロセッサ６０が眠気兆候通知プログラムＦＢＰを実行することによって、プロセッサ６０（制御装置５０）による各種情報処理が実現される。眠気兆候通知プログラムＦＢＰは、記憶装置７０に格納される。眠気兆候通知プログラムＦＢＰは、コンピュータ読み取り可能な記録媒体に記録されてもよい。眠気兆候通知プログラムＦＢＰは、ネットワーク経由で提供されてもよい。

尚、制御装置５０は、車両１に搭載されたＥＣＵ（Electronic Control Unit）であってもよいし、車両１の外部の情報処理装置であってもよい。後者の場合、制御装置５０は、車両１と通信を行い、リモートで各種情報処理を行う。

２－２．眠気兆候判定処理
制御装置５０は、「眠気兆候判定処理」を実行する。眠気兆候判定処理において、制御装置５０は、ドライバ状態情報ＤＲＳに基づいて、ドライバ５に眠気兆候があるか否かを判定する。以下、眠気兆候判定処理の様々な例について説明する。但し、眠気兆候判定処理の具体的手法は、特に限定されない。

２－２－１．第１の例
図４及び図５は、眠気兆候判定処理の第１の例を説明するための概念図である。典型的には、眠気兆候は、ドライバ５が眠気を感じる前後に特有な眠気動作として現れる。そこで、第１の例では、ドライバ状態が、眠気動作の観点から複数の眠気レベルに分類（ランク分け）される。

図４に示される例では、ドライバ状態が、５段階の眠気レベルＤ０～Ｄ４に分類される。眠気レベルＤ０が最も低く、眠気レベルＤ４が最も高い。眠気レベルが高いほど、ドライバ５の眠気が強いことを意味する。

具体的には、眠気レベルＤ０は、眠くなさそうなドライバ状態である。眠気レベルＤ０に関連付けられる眠気動作は、会話している、周囲を確認している、等である。

眠気レベルＤ１は、やや眠そうなドライバ状態である。眠気レベルＤ１に関連付けられる眠気動作は、例えば、瞬き速度の低下である。

眠気レベルＤ２は、眠そうなドライバ状態である。眠気レベルＤ２に関連付けられる眠気動作は、例えば、頻発する瞬き、頭を動かす、等である。

眠気レベルＤ３は、かなり眠そうなドライバ状態である。眠気レベルＤ３に関連付けられる眠気動作は、例えば、半目、瞼が重い、長いあくび、等である。

眠気レベルＤ４は、非常に眠そうなドライバ状態である。眠気レベルＤ４に関連付けられる眠気動作は、瞼を閉じる、等である。

このように、眠気動作と各眠気レベルが予め関連づけられる。制御装置５０は、一定期間（例：１０秒）毎に、一定期間内のドライバ状態情報ＤＲＳ（開眼度、開口度、等）に基づいて眠気動作を検出する。そして、制御装置５０は、検出した眠気動作に関連付けられている眠気レベルを選択する。

更に、図４に示されるように、眠気レベル毎に異なる眠気ポイントが設定されている。例えば、眠気レベルＤ０の眠気ポイントは負値であり、眠気レベルＤ１～Ｄ４の眠気ポイントは正値である。眠気レベルが高くなるにつれて（Ｄ０からＤ４へ向かうにつれて）、眠気ポイントは増加する。制御装置５０は、眠気動作に応じて選択した眠気レベルを、眠気ポイントに換算する。尚、眠気レベルと眠気ポイントの対応関係は、状況に応じて変化してもよい。

このように、制御装置５０は、一定期間（例：１０秒）毎に、ドライバ状態に応じた眠気ポイントを取得する。そして、図５に示されるように、制御装置５０は、眠気ポイントを積算していく。その眠気ポイントの積算値が、「眠気度Ｄ」として用いられる。すなわち、制御装置５０は、眠気ポイントの積算値を眠気度Ｄとして算出する。尚、積算値が負の場合、眠気度Ｄは０に設定される。

そして、制御装置５０は、眠気度Ｄを閾値Ｄｔｈと比較する。眠気度Ｄが閾値Ｄｔｈを超えた場合、制御装置５０は、ドライバ５に眠気兆候があると判定する。図５に示される例では、時刻ｔｄにおいて、ドライバ５に眠気兆候があると判定される。

２－２－２．第２の例
図６は、眠気兆候判定処理の第２の例を説明するための概念図である。第２の例では、ドライバ５の漫然状態が眠気兆候として検出される。

図６には、一定期間（例：３０秒）におけるドライバ５の顔向き角度及び視線角度の分布が示されている。通常状態の場合、ドライバ５の顔向き角度及び視線角度は、広範囲にわたって変動する。すなわち、顔向き角度の変動範囲ＲＦや、視線角度の変動範囲ＲＧは、比較的広い。しかし、ドライバ５がぼんやりしてくると、変動範囲ＲＦ、ＲＧは狭くなる傾向にある。変動範囲ＲＦ、ＲＧがそれぞれ所定範囲ＲＦ＿ｍｉｎ、ＲＧ＿ｍｉｎ以内に収まった場合、ドライバ５は漫然状態にあると考えられる。

以上の観点から、制御装置５０は、一定期間（例：３０秒）毎に、一定期間内のドライバ状態情報ＤＲＳ（顔向き、視線、等）に基づいて、変動範囲ＲＦ、ＲＧを取得する。変動範囲ＲＦ、ＲＧがそれぞれ所定範囲ＲＦ＿ｍｉｎ、ＲＧ＿ｍｉｎ以内に収まっている場合、制御装置５０は、ドライバ５に眠気兆候があると判定する。

２－２－３．第３の例
第１の例と第２の例を適宜組み合わせることも可能である。例えば、第１の例における第１判定条件と第２の例における第２判定条件のいずれか一方が成立した場合、ドライバ５に眠気兆候があると判定される。あるいは、ドライバ５の漫然状態が数値化され、眠気度Ｄに加算されてもよい。

２－３．眠気兆候通知処理
眠気兆候判定処理によってドライバ５に眠気兆候があると判定された場合、制御装置５０は、「眠気兆候通知処理」を実行する。眠気兆候通知処理において、制御装置５０は、眠気兆候通知ＦＢをドライバ５に出す。この眠気兆候通知処理は、以下に説明される「第１眠気兆候通知処理」と「第２眠気兆候通知処理」を含む。

２－３－１．第１眠気兆候通知処理
第１眠気兆候通知処理において、制御装置５０は、音声を用いることなく、表示又は振動を通してドライバ５に「第１眠気兆候通知ＦＢ１」を出す。第１眠気兆候通知ＦＢ１は、例えば数秒～数十秒程度継続する。

例えば、第１眠気兆候通知ＦＢ１は、ディスプレイに表示されるテキストメッセージ（例：「眠くありませんか？」）である。この場合、制御装置５０は、視覚デバイス３１（ディスプレイ）にテキストメッセージを表示する。

他の例として、第１眠気兆候通知ＦＢ１は、ディスプレイや発光装置の点滅表示であってもよい。この場合、制御装置５０は、視覚デバイス３１（ディスプレイ、発光装置）を点滅させる。

更に他の例として、第１眠気兆候通知ＦＢ１は、ドライバ５が装着しているシートベルトの振動であってもよい。この場合、制御装置５０は、シート装置４０を制御して、シートベルトを振動させる。

第１眠気兆候通知ＦＢ１は、上述の複数の例のうち２以上の組み合わせであってもよい。

２－３－２．第２眠気兆候通知処理
第２眠気兆候通知処理において、制御装置５０は、少なくとも音声を通してドライバ５に「第２眠気兆候通知ＦＢ２」を出す。音声は、スピーカ３２から出力される。

例えば、第２眠気兆候通知ＦＢ２は、音声メッセージ（例：「眠くありませんか？」）である。この場合、制御装置５０は、スピーカ３２から音声メッセージを出力する。

他の例として、第２眠気兆候通知ＦＢ２は、ドライバ５との対話であってもよい。この場合、制御装置５０は、音声を通してドライバ５と対話を行う「対話処理」を行う。例えば、制御装置５０は、ドライバ５への提案メッセージ（例：「近くに静岡サービスエリアがあります。寄りますか？」、「リフレッシュシートを使いますか？」）をスピーカ３２から出力する。同時に、制御装置５０は、その提案メッセージを視覚デバイス３１（ディスプレイ）に表示してもよい。ドライバ５は、提案メッセージに対して返事（Ｙｅｓ／Ｎｏ）をする。制御装置５０は、入力装置３３（マイク）からドライバ５の音声を取得し、音声認識処理によってドライバ５の返事を認識する。ドライバ５が提案を受け入れた場合、制御装置５０は、それに応じた処理（例：目的地設定、シート装置４０のリフレッシュシート機能をＯＮ）を実行する。このような対話処理によって、ドライバ５が少なくともこれ以上眠くならないことが期待される。言い換えれば、対話処理によって、少なくとも現在の覚醒状態が維持されることが期待される。このような第２眠気兆候通知処理において行われる対話を、「覚醒対話」、「ナビ対話」、「エージェント対話」と呼ぶこともできる。

更に他の例として、第２眠気兆候通知ＦＢ２は、警告音であってもよい。この場合、制御装置５０は、スピーカ３２から警告音を出力する。

第２眠気兆候通知ＦＢ２は、上述の複数の例のうち２以上の組み合わせであってもよい。

３．眠気兆候通知システムによる処理例
図７は、本実施の形態に係る眠気兆候通知システム１０（制御装置５０）による処理の一例を示すタイミングチャートである。横軸は時間を表し、縦軸は眠気度Ｄを表している。

図７に示される例では、制御装置５０の動作モードは、「第１フィードバックモードＭＦＢ１」と第２フィードバックモードＭＦＢ２の２つを含む。制御装置５０は、必要に応じて動作モードを切り替える。初期動作モードは、第１フィードバックモードＭＦＢ１である。

第１フィードバックモードＭＦＢ１において、制御装置５０は、ドライバ状態情報ＤＲＳに基づいて眠気度Ｄを算出し、眠気兆候判定処理を行う。時刻ｔ１において、眠気度Ｄが第１閾値Ｄｔｈ１を超える。これに応答して、制御装置５０は、上述の第１眠気兆候通知処理を実行し、第１眠気兆候通知ＦＢ１を出す。また、制御装置５０は、眠気度Ｄをリセットする。そして、制御装置５０は、動作モードを第１フィードバックモードＭＦＢ１から第２フィードバックモードＭＦＢ２に切り替える。

第２フィードバックモードＭＦＢ２において、制御装置５０は、ドライバ状態情報ＤＲＳに基づいて眠気度Ｄを算出し、眠気兆候判定処理を行う。時刻ｔ２において、眠気度Ｄが第２閾値Ｄｔｈ２を超える。これに応答して、制御装置５０は、上述の第２眠気兆候通知処理を実行し、第２眠気兆候通知ＦＢ２を出す。また、制御装置５０は、眠気度Ｄをリセットする。

時刻ｔ２から所定期間Ｔｂ（例：３分）が経過した後の時刻ｔ３において、制御装置５０は、眠気度Ｄの算出を再開する。時刻ｔ４において、眠気度Ｄが第２閾値Ｄｔｈ２を再度超える。これに応答して、制御装置５０は、上述の第２眠気兆候通知処理を再度実行し、第２眠気兆候通知ＦＢ２を再度出す。時刻ｔ４における第２眠気兆候通知ＦＢ２の内容は、先の時刻ｔ２におけるものと異なっていてもよい。様々な種類の第２眠気兆候通知ＦＢ２により、ドライバ５の覚醒状態をより確実に維持することができる。

時刻ｔ５は、動作モードが第１フィードバックモードＭＦＢ１から第２フィードバックモードＭＦＢ２に切り替わってから所定期間Ｔａ（例：２０分）が経過した時刻である。この時刻ｔ５において、制御装置５０は、動作モードを第２フィードバックモードＭＦＢ２から第１フィードバックモードＭＦＢ１に切り替える。これにより、ドライバ５の覚醒度Ａがある程度回復した後に第２眠気兆候通知処理が不必要に繰り返されることが抑制される。

このように、第１フィードバックモードＭＦＢ１と第２フィードバックモードＭＦＢ２を用意することによって、眠気動作通知処理を柔軟に設計することが可能となる。例えば、第２フィードバックモードＭＦＢ２における第２眠気兆候通知処理は、第１フィードバックモードＭＦＢ１における第１眠気兆候通知処理より作動しやすく設計されてもよい。言い換えれば、第２眠気兆候通知処理は、第１眠気兆候通知処理よりも感度が高くなるように設計されてもよい。

例えば、第２フィードバックモードＭＦＢ２において用いられる第２閾値Ｄｔｈ２が、第１フィードバックモードＭＦＢ１において用いられる第１閾値Ｄｔｈ１よりも低く設定される。

他の例として、第２フィードバックモードＭＦＢ２において用いられる眠気ポイント（図４、図５参照）が、第１フィードバックモードＭＦＢ１において用いられる眠気ポイントよりも大きく設定される。この場合、第１閾値Ｄｔｈ１と第２閾値Ｄｔｈ２は同じであってもよい。

第２眠気兆候通知処理が第１眠気兆候通知処理より作動しやすくなるため、ドライバ５の覚醒度Ａがなかなか回復しない場合に、ドライバ５の覚醒をより素早く促すことが可能となる。

図８は、本実施の形態に係る第１フィードバックモードＭＦＢ１における処理を要約的に示すフローチャートである。ステップＳ１００において、制御装置５０は、第１フィードバックモードＭＦＢ１で動作する。

より詳細には、ステップＳ１１０において、制御装置５０は、ドライバ状態情報ＤＲＳに基づいて、ドライバ５に眠気兆候があるか否かを判定する眠気兆候判定処理を実行する。例えば、制御装置５０は、ドライバ状態情報ＤＲＳに基づいて、ドライバ５の眠気度Ｄを算出する（ステップＳ１１１）。眠気度Ｄが第１閾値Ｄｔｈ１以下である場合（ステップＳ１１２；Ｎｏ）、処理は、ステップＳ１１１に戻る。眠気度Ｄが第１閾値Ｄｔｈ１を超えた場合（ステップＳ１１２；Ｙｅｓ）、制御装置５０は、ドライバ５に眠気兆候があると判定する。そして、処理は、ステップＳ１２０に進む。

ステップＳ１２０において、制御装置５０は、第１眠気兆候通知処理を実行し、第１眠気兆候通知ＦＢ１をドライバ５に出す。

ステップＳ１３０において、制御装置５０は、眠気度Ｄをリセットする。

そして、制御装置５０は、動作モードを第１フィードバックモードＭＦＢ１から第２フィードバックモードＭＦＢ２に切り替える。処理は、ステップＳ２００に進む。

図９は、本実施の形態に係る第２フィードバックモードＭＦＢ２における処理を要約的に示すフローチャートである。ステップＳ２００において、制御装置５０は、第２フィードバックモードＭＦＢ２で動作する。

より詳細には、ステップＳ２１０において、制御装置５０は、ドライバ状態情報ＤＲＳに基づいて、ドライバ５に眠気兆候があるか否かを判定する眠気兆候判定処理を実行する。例えば、制御装置５０は、ドライバ状態情報ＤＲＳに基づいて、ドライバ５の眠気度Ｄを算出する（ステップＳ２１１）。眠気度Ｄが第２閾値Ｄｔｈ２以下である場合（ステップＳ２１２；Ｎｏ）、処理は、ステップＳ２１１に戻る。眠気度Ｄが第２閾値Ｄｔｈ２を超えた場合（ステップＳ２１２；Ｙｅｓ）、制御装置５０は、ドライバ５に眠気兆候があると判定する。そして、処理は、ステップＳ２２０に進む。

ステップＳ２２０において、制御装置５０は、第２眠気兆候通知処理を実行し、第２眠気兆候通知ＦＢ２をドライバ５に出す。

ステップＳ２３０において、制御装置５０は、眠気度Ｄをリセットする。

ステップＳ２４０において、制御装置５０は、第２フィードバックモードＭＦＢ２の開始から所定期間Ｔａが経過したか否かを判定する。所定期間Ｔａが経過していない場合（ステップＳ２４０；Ｎｏ）、処理は、ステップＳ２１０に戻る。一方、所定期間Ｔａが経過した場合（ステップＳ２４０；Ｙｅｓ）、制御装置５０は、動作モードを第２フィードバックモードＭＦＢ２から第１フィードバックモードＭＦＢ１に切り替える。処理は、ステップＳ１００に戻る。

４．自動運転システム
本実施の形態に係る車両１は、自動運転を行ってもよい。自動運転中においてもドライバ５の覚醒状態を維持することが重要である場合がある。例えば、レベル２の自動運転中、ドライバ５が手放し運転を行うと、運転に対する集中度が低下するおそれがある。高速道路を走行中、車線変更、合流、被合流、追い越しといったシーンでは、ドライバの集中度が特に求められる。また、レベル３の自動運転では、ドライバ５は、自動運転システムからの要求に応答して運転に復帰しなければならない。従って、自動運転中においても、本実施の形態に係る眠気兆候通知システム１０は有用である。

図１０は、本実施の形態に係る自動運転システム１００の構成例を示すブロック図である。自動運転システム１００は、運転環境情報取得装置１２０、走行装置１３０、及び制御装置１５０を含んでいる。

運転環境情報取得装置１２０は、車両１の運転環境を示す運転環境情報ＥＮＶを取得する。例えば、運転環境情報ＥＮＶは、地図情報、車両位置情報、車両状態情報、周辺状況情報、等を含んでいる。

地図情報は、一般的なナビゲーション地図を含んでいる。地図情報は、更に、レーン配置や道路形状を示していてもよい。地図情報は、運転環境情報取得装置１２０は、地図データベースから必要な地図情報を取得する。

車両位置情報は、地図上の車両１の位置及び方位を示す。運転環境情報取得装置１２０は、ＧＰＳ（Global Positioning System）センサを用いて、車両位置情報を取得する。運転環境情報取得装置１２０は、周知のローカライズ（Localization）によって、より高精度な車両位置情報を取得してもよい。

車両状態情報は、車両１の速度（車速）、操舵角、横加速度、等の車両状態を示す。運転環境情報取得装置１２０は、車両１に搭載されたセンサを用いて、車両状態情報を取得する。

周辺状況情報は、車両１の周囲の状況を示す。運転環境情報取得装置１２０は、車両１に搭載された認識センサを用いて、周辺状況情報を取得する。認識センサとしては、カメラ、レーダ、ライダー（LIDAR: Laser Imaging Detection and Ranging）、等が例示される。

走行装置１３０は、操舵装置、駆動装置、及び制動装置を含んでいる。操舵装置は、車両１の車輪を転舵する。例えば、操舵装置は、パワーステアリング（EPS: Electric Power Steering）装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジン、電動機、インホイールモータ等が例示される。制動装置は、制動力を発生させる。

制御装置１５０は、各種情報処理を行うコンピュータである。制御装置１５０は、プロセッサ１６０及び記憶装置１７０を備えている。プロセッサ１６０は、各種情報処理を実行する。例えば、プロセッサ１６０は、ＣＰＵを含んでいる。記憶装置１７０には、各種情報が格納される。例えば、記憶装置１７０には、上述の運転環境情報ＥＮＶが格納される。記憶装置１７０としては、揮発性メモリ、不揮発性メモリ、等が例示される。

制御装置１５０は、車両１の自動運転を制御する「自動運転制御」を実行する。例えば、制御装置１５０は、地図情報と車両位置情報に基づいて、目的地までの目標ルートを決定する。決定された目標ルートは、地図情報と共に管理される。

また、制御装置１５０は、運転環境情報ＥＮＶに基づいて、自動運転中の車両１の走行プランを生成する。走行プランは、現在の走行車線を維持する、車線変更を行う、等を含む。更に、制御装置１５０は、車両１が走行プランに従って走行するために必要な目標トラジェクトリ（目標軌道）を生成する。そして、制御装置１５０は、車両１が目標トラジェクトリに追従するように、走行装置１３０を制御して車両走行制御を実行する。

自動運転制御プログラムＡＤＰは、コンピュータによって実行されるコンピュータプログラムである。プロセッサ１６０が自動運転制御プログラムＡＤＰを実行することによって、プロセッサ１６０（制御装置１５０）による自動運転制御が実現される。自動運転制御プログラムＡＤＰは、記憶装置１７０に格納される。自動運転制御プログラムＡＤＰは、コンピュータ読み取り可能な記録媒体に記録されてもよい。自動運転制御プログラムＡＤＰは、ネットワーク経由で提供されてもよい。

尚、制御装置１５０は、車両１に搭載されたＥＣＵであってもよいし、車両１の外部の情報処理装置であってもよい。後者の場合、制御装置１５０は、車両１と通信を行い、リモートで自動運転制御を行う。

本実施の形態に係る眠気兆候通知システム１０は、自動運転システム１００に含まれていてもよい。眠気兆候通知システム１０の制御装置５０は、制御装置１５０に含まれていてもよいし、制御装置１５０とは別であってもよい。眠気兆候通知システム１０の眠気兆候通知プログラムＦＢＰは、自動運転制御プログラムＡＤＰに含まれていてもよいし、自動運転制御プログラムＡＤＰとは別であってもよい。

１ 車両
５ ドライバ
１０ 眠気兆候通知システム
２０ ドライバモニタ
３０ ＨＭＩユニット
３１ 視覚デバイス
３２ スピーカ
３３ 入力装置
４０ シート装置
５０ 制御装置
６０ プロセッサ
７０ 記憶装置
１００ 自動運転システム
Ｄ 眠気度
ＤＲＳ ドライバ状態情報
ＦＢ１ 第１眠気兆候通知
ＦＢ２ 第２眠気兆候通知
ＦＢＰ 眠気兆候通知プログラム

Claims (8)

1. 車両に適用される眠気兆候通知システムであって、
   前記車両のドライバの状態であるドライバ状態を検出するドライバモニタと、
   制御装置と
   を備え、
   前記制御装置は、
   前記ドライバ状態に基づいて、前記ドライバに眠気兆候があるか否かを判定する眠気兆候判定処理と、
   前記ドライバに前記眠気兆候があると判定された場合、音声を用いることなく表示又は振動を通して前記ドライバに第１眠気兆候通知を出す第１眠気兆候通知処理と、
   前記第１眠気兆候通知処理の後、前記ドライバに前記眠気兆候があると再度判定された場合、音声を通して前記ドライバに第２眠気兆候通知を出す第２眠気兆候通知処理と
   を実行し、
   前記眠気兆候判定処理は、
   一定期間毎に、前記一定期間内の前記ドライバ状態に基づいて、前記ドライバの眠気レベルを選択し、前記眠気レベルが高くなるにつれて増加する眠気ポイントを取得することと、
   前記眠気ポイントの積算値を眠気度として算出することと、
   前記眠気度が閾値を超えた場合、前記ドライバに前記眠気兆候があると判定することと
   を含み、
   前記眠気度が第１閾値を超えた場合、前記制御装置は、前記第１眠気兆候通知処理を実行すると共に前記眠気度をリセットし、
   前記第１眠気兆候通知処理の後に前記眠気度が第２閾値を超えた場合、前記制御装置は、前記第２眠気兆候通知処理を実行する
   眠気兆候通知システム。
2. 請求項１に記載の眠気兆候通知システムであって、
   前記制御装置は、前記第２眠気兆候通知処理を実行すると共に前記眠気度をリセットし、
   前記第２眠気兆候通知処理の後に前記眠気度が前記第２閾値を再度超えた場合、前記制御装置は、前記第２眠気兆候通知処理を再度実行する
   眠気兆候通知システム。
3. 請求項１又は２に記載の眠気兆候通知システムであって、
   前記第２閾値は、前記第１閾値以下である
   眠気兆候通知システム。
4. 請求項１乃至３のいずれか一項に記載の眠気兆候通知システムであって、
   前記制御装置の動作モードは、第１フィードバックモードと第２フィードバックモードを含み、
   前記第１フィードバックモードにおいて、前記制御装置は、前記眠気兆候判定処理と前記第１眠気兆候通知処理を実行し、
   前記第１眠気兆候通知処理を実行した場合、前記制御装置は、前記動作モードを前記第１フィードバックモードから前記第２フィードバックモードに切り替え、
   前記第２フィードバックモードにおいて、前記制御装置は、前記眠気兆候判定処理と前記第２眠気兆候通知処理を実行する
   眠気兆候通知システム。
5. 請求項４に記載の眠気兆候通知システムであって、
   前記動作モードが前記第１フィードバックモードから前記第２フィードバックモードに切り替わってから所定期間が経過した場合、前記制御装置は、前記動作モードを前記第２フィードバックモードから前記第１フィードバックモードに切り替える
   眠気兆候通知システム。
6. 請求項１乃至５のいずれか一項に記載の眠気兆候通知システムであって、
   前記第２眠気兆候通知処理は、前記音声を通して前記ドライバと対話を行う対話処理を含む
   眠気兆候通知システム。
7. コンピュータによって実行され、車両に適用される眠気兆候通知方法であって、
   前記車両は、前記車両のドライバの状態であるドライバ状態を検出するドライバモニタを備え、
   前記眠気兆候通知方法は、
   前記コンピュータが、前記ドライバ状態に基づいて、前記ドライバに眠気兆候があるか否かを判定する眠気兆候判定処理と、
   前記ドライバに前記眠気兆候があると判定された場合、前記コンピュータが、音声を用いることなく表示又は振動を通して前記ドライバに第１眠気兆候通知を出す第１眠気兆候通知処理と、
   前記第１眠気兆候通知処理の後、前記ドライバに前記眠気兆候があると再度判定された場合、前記コンピュータが、音声を通して前記ドライバに第２眠気兆候通知を出す第２眠気兆候通知処理と
   を含み、
   前記眠気兆候判定処理は、
   一定期間毎に、前記一定期間内の前記ドライバ状態に基づいて、前記ドライバの眠気レベルを選択し、前記眠気レベルが高くなるにつれて増加する眠気ポイントを取得することと、
   前記眠気ポイントの積算値を眠気度として算出することと、
   前記眠気度が閾値を超えた場合、前記ドライバに前記眠気兆候があると判定することと
   を含み、
   前記眠気兆候通知方法は、更に、
   前記眠気度が第１閾値を超えた場合、前記コンピュータが、前記第１眠気兆候通知処理を実行すると共に前記眠気度をリセットすることと、
   前記第１眠気兆候通知処理の後に前記眠気度が第２閾値を超えた場合、前記コンピュータが、前記第２眠気兆候通知処理を実行することと
   を含む
   眠気兆候通知方法。
8. 車両に適用される眠気兆候通知プログラムであって、
   前記車両は、前記車両のドライバの状態であるドライバ状態を検出するドライバモニタを備え、
   前記眠気兆候通知プログラムは、コンピュータによって実行されることによって、前記コンピュータに、
   前記ドライバ状態に基づいて、前記ドライバに眠気兆候があるか否かを判定する眠気兆候判定処理と、
   前記ドライバに前記眠気兆候があると判定された場合、音声を用いることなく表示又は振動を通して前記ドライバに第１眠気兆候通知を出す第１眠気兆候通知処理と、
   前記第１眠気兆候通知処理の後、前記ドライバに前記眠気兆候があると再度判定された場合、音声を通して前記ドライバに第２眠気兆候通知を出す第２眠気兆候通知処理と
   を実行させ、
   前記眠気兆候判定処理は、
   一定期間毎に、前記一定期間内の前記ドライバ状態に基づいて、前記ドライバの眠気レベルを選択し、前記眠気レベルが高くなるにつれて増加する眠気ポイントを取得することと、
   前記眠気ポイントの積算値を眠気度として算出することと、
   前記眠気度が閾値を超えた場合、前記ドライバに前記眠気兆候があると判定することと
   を含み、
   前記眠気兆候通知プログラムは、更に、
   前記眠気度が第１閾値を超えた場合、前記コンピュータが、前記第１眠気兆候通知処理を実行すると共に前記眠気度をリセットすることと、
   前記第１眠気兆候通知処理の後に前記眠気度が第２閾値を超えた場合、前記コンピュータが、前記第２眠気兆候通知処理を実行することと
   を前記コンピュータに実行させる
   眠気兆候通知プログラム。

Images