JP7091632B2 - 安全運転促進装置及び安全運転促進方法 - Google Patents

Description

本発明は、安全運転促進装置及び安全運転促進方法に関し、より詳細には、運転者の安全運転に対する意識が低下したときに警告して安全運転を促進させる安全運転促進装置及び安全運転促進方法に関する。

安全運転促進装置として、カメラの撮像した画像に基づいて、運転者の顔向き、傾き、頭部位置、白目度合い、表情などを検出し、運転者が運転不能状態になったことを判定して警告するものが提案されている（例えば、特許文献１を参照）。

特開２０１６－４５７１４号公報

ところで、特許文献１に記載の装置は、運転者が物を取る動作をしても、運転者の頭部が画像に収まることが多いことを前提として、運転者の頭部がフレームアウトした場合は、運転不能状態になったと判定している。つまり、運転者が運転不能状態でない場合で、運転者の頭部が画像に収まらないときに、警告が発生されることになる。それ故、運転者がその警告を煩わしく感じる頻度が高くなり、装置を停止させてしまうおそれがある。

一方で、運転者が煩わしさを感じる頻度を低くするために、運転者の頭部がフレームアウトした場合に警告をしないようにすると、人事不省などの運転者が運転不能状態に陥ったときに対処できない。

本発明の目的は、警告による煩わしさを感じさせずに、運転者の安全運転に対する意識が低下したときに確実に警告して安全運転を促進させることができる安全運転促進装置及び安全運転促進方法を提供することである。

上記の目的を達成する本発明の安全運転促進装置は、運転席に着座した運転者が安全確認のための視認行動を行ったときに運転者の瞼の開閉を判別可能な運転者の顔が映る画像を逐次撮像する撮像装置と、運転者に対する警告を発する警告装置と、前記撮像装置及び前記警告装置に接続された制御装置と、を備えた安全運転促進装置において、前記撮像装置が逐次撮像した前記画像に基づいて、前記制御装置により、運転者の瞼の開閉を示すパラメータを含み、運転者が安全運転に対する意識が低下した警告状態に陥ったことを判定可能な現在のパラメータを抽出し、抽出したその現在のパラメータを過去のパラメータとして記憶する構成にすると共に、運転者が運転に関係の無い行動を行ったときに前記画像の範囲から運転者の顔がはみ出して前記画像から前記現在のパラメータを抽出不可能な場合は、その現在のパラメータを抽出不可能になる前に前記制御装置に記憶した過去のパラメータに基づいて、前記制御装置により、前記現在のパラメータを抽出不可能な間の運転者の状態を予想して、その運転者の状態が予め設定された異常なパターンに属するあるいは予め設定された正常なパターンに属さない経過時間が予め設定された判定時間を超えたか否かの判定を行うことで、その運転者の状態を運転者の意図的な行動により一時的に発生した状態と前記警告状態とに区別し、その運転者の状態を前記警告状態と区別したときに、前記警告装置に運転者に対して警告させる制御をする構成にしたことを特徴とする。

上記の目的を達成する本発明の安全運転促進方法は、運転者が安全運転に対する意識が低下した警告状態に陥った場合に警告して車両の安全運転を促進する安全運転促進方法において、撮像装置が運転席に着座した運転者が安全確認のための視認行動を行ったときに運転者の瞼の開閉が判別可能な運転者の顔が映る画像を逐次撮像し、制御装置が、撮像したその画像に基づいて、その画像から運転者の瞼の開閉を示すパラメータを含み、運転者が安全運転に対する意識が低下した警告状態に陥ったことを判定可能な現在のパラメータを抽出すると共に抽出したその現在のパラメータを過去のパラメータとして記憶し、運転者が運転に関係の無い行動を行ったときに前記画像の範囲から運転者の顔がはみ出して前記画像から前記現在のパラメータを抽出不可能な場合は、その現在のパラメータを抽出不可能になる前に記憶した前記過去のパラメータに基づいて、前記現在のパラメータを抽出不可能な間の運転者の状態を予想し、予想したその運転者の状態が予め設定された異常なパターンに属するあるいは予め設定された正常なパターンに属さない経過時間が予め設定された判定時間を超えたか否かの判定を行い、その判定に基づいてその運転者の状態を、運転者の意図的な行動により一時的に発生した状態と前記警告状態とに区別し、前記運転者の状態を前記警告状態と区別したときに、警告装置に運転者に対して警告させることを特徴とする。

本発明によれば、画像から現在のパラメータを抽出不可能な場合、つまり、画像から現在の運転者の状態を判断できない場合は、過去のパラメータに基づいて運転者の状態を予想する。それ故、画像から現在の運転者の状態を判断できない場合でも運転者が警告状態に陥っているか否かを正確に判断することができる。

これにより、運転者が警告状態に陥っていないときに発せられる警告の頻度を低減するには有利になり、警告による煩わしさを起因とする運転者が装置を停止することを回避して、運転者に安全運転を促進させることができる。また、人事不省などの運転者の安全運転に対する意識が低下したときに確実に警告を発してその警告により運転者の警告状態に陥っていることを認識させるには有利になり、運転者に安全運転を促進させることができる。

安全運転促進装置の実施形態を例示する斜視図である。 図１の撮像装置が撮像した画像を例示する説明図である。 図１の制御装置を例示するブロック図である。 安全運転促進方法の実施形態のメインルーチンを例示するフロー図である。 図４のＳ１３０の詳細を例示するフロー図である。 図５の「Ａ」から分岐する第二の判定のサブルーチンを例示する第一のフロー図である。 図５の「Ｂ」から分岐する第二の判定のサブルーチンを例示する第二のフロー図である。 図５の「Ｃ」から分岐する第二の判定のサブルーチンを例示する第三のフロー図である。 図５の「Ｄ」から分岐する第二の判定のサブルーチンを例示する第四のフロー図である。 図５の「Ｅ」から分岐する第二の判定のサブルーチンを例示する第五のフロー図である。 図５の「Ｆ」から分岐する第二の判定のサブルーチンを例示する第六のフロー図である。 図１１の移動軌跡を例示する説明図である。 図１０、図１１の「ＩＩ」から進む第七のフロー図である。 図４の第三の判定のサブルーチンを例示するフロー図である。

以下に、安全運転促進装置２０の実施形態について、図面を参照して説明する。図中では、ｘを車両の進行方向（前後方向）とし、ｙを車両の側方（左右方向）とし、ｚを鉛直方向（上下方向）とする。また、ｎを現在の周期、ｎ－１を前回の周期、ｎ＋１を次回の周期とする。

図１に例示するように、安全運転促進装置２０は、車両の運転室１０に設置された運転
席１１に腰掛けた運転者に対して、安全運転を促進させるものである。

運転室１０は、運転席１１の前方にフロントガラス１２が、運転席１１の側方にフロントドアガラス１３が配置されている。フロントドアガラス１３の外側には、サイドミラー１４が配置されている。フロントガラス１２は、運転室１０のｙ方向両端に配置されたＡピラー１５により支持されている。

安全運転促進装置２０は、撮像装置２１、警告装置２２、及び制御装置２３を備えている。

撮像装置２１は、運転室１０の前方の所定範囲内に設置されたビデオカメラやスチルカメラである。撮像装置２１は、運転席１１からｘ方向前方に見て、運転室１１の外側に設置されたサイドミラー１４よりもｙ方向内側の範囲に設置される。撮像装置２１は、運転者が運転席１１に腰掛けて車両の前方を向いたときに、運転者の顔が正面を向いていることが判別可能な画像Ｄｎを逐次撮像するビデオカメラやスチルカメラである。なお、スチルカメラの場合は、所定の周期ごとに画像Ｄｎを撮像するとよい。

図２に例示するように、撮像装置２１の撮像範囲は、画像Ｄｎに、車両の運転中に運転席１１に着座した運転者が安全確認のための視認行動を行ったときの運転者の顔が映る範囲に設定される。安全運転のための視認行動は、脇見などの安全運転に関係のない視認行動を除いたものである。安全運転のための視認行動としては、フロントガラス１２を介して車両の進行方向であるｘ方向前方を視認する前方視認行動、メータパネルを視認するためのｚ方向下方を視認する下側視認行動と、ルームミラーを介して車両の後方を視認する後方視認行動と、右側サイドミラーを介して車両の右側後方を視認する右側視認行動と、左側サイドミラーを介して車両の左側後方を視認する左側視認行動が例示される。つまり、撮像装置２１の撮像範囲は、画像Ｄｎに、視認行動を行ったときの運転者の顔の輪郭の全域が映る範囲が好ましい。

撮像装置２１が画像Ｄｎを撮像する周期は、運転者が運転に関係の無い行動をとり、運転者の顔が撮像装置２１の撮像範囲の外に出るときに、その運転に関係の無い行動を判定可能な周期に設定される。運転に関係の無い行動を判定可能な周期は、運転者の顔が撮像装置２１の撮像範囲の中央部から撮像範囲の外に向って移動する場合に、その軌跡を解析可能な周期である。つまり、撮像装置２１が画像Ｄｎを撮像する周期は、運転者の顔が撮像装置２１の撮像範囲の中央部から撮像範囲の外に向って移動する場合に、画像Ｄｎにおける運転者の顔の位置が異なる少なくとも二枚の画像Ｄｎを撮像可能に設定されることが好ましく、三枚以上の画像Ｄｎを撮像可能に設定されることがより好ましい。なお、撮像装置２１が画像Ｄｎを映像として連続的に撮像可能な場合は、映像に対するサンプリング周期であるフレームレートが、運転者の顔が撮像装置２１の撮像範囲の中央部から撮像範囲の外に向って移動する場合に、二つ以上のフレーム数になるように設定される。

画像Ｄｎは、制御装置２３における画像解析により、運転者が車両の安全運転に対する意識が低下した警告状態に陥ったことを判定可能なパラメータとして、顔認識情報Ｆｎ、顔位置座標情報Ｐｎ、顔向き角度情報θｎ、及び開閉眼情報Ｅｎを抽出可能な画像である。画像Ｄｎは、運転者が運転席１１に腰掛けて車両の前方を向いたときに、運転者の顔の輪郭、目、鼻、口、眉、耳などの各パーツが映ることが好ましい。

顔認識情報Ｆｎは、画像Ｄｎに基づく運転者の顔の認識の可不可（ＯＫ又はＮＧ）を示す二値信号（０又は１）で構成されるデータである。顔認識情報Ｆｎは、制御装置２３における画像解析により画像Ｄｎにおいて、運転者の顔の輪郭が認識可能な場合を「可（ＯＫ）」とすることが好ましく、運転者の顔の輪郭に加えて、目、鼻、口、眉、耳などの各
パーツが認識可能な場合を「可（ＯＫ）」とすることがより好ましい。

顔位置座標情報Ｐｎは、画像Ｄｎにおける顔の中心の位置を示しており、運転者がｘ方向前方を向いて運転している状態で、画像Ｄｎの中心を基準とした二次元座標（ｘ、ｚ座標）で構成されるデータである。顔の中心としては、鼻や顔の輪郭形状の中心が例示される。

顔向き角度情報θｎは、顔の正面がｘ方向前方を向いた状態を基準にして、ｙ方向に傾いた角度やｚ方向に傾いた角度で構成されるデータであり、顔の輪郭形状の変化や顔のパーツの位置関係などに基づいて算出される。

開閉眼情報Ｅｎは、運転者の瞼の開閉を示す二値信号で構成されるデータである。

パラメータとしては、顔認識情報Ｆｎ、顔位置座標情報Ｐｎ、顔向き角度情報θｎ、及び開閉眼情報Ｅｎに限定されずに適宜変更可能であり、運転者の顔の血色などを追加してもよい。なお、パラメータとしては、撮像装置２１が撮像した画像Ｄｎから抽出可能なパラメータに加えて、運転者が直接的に身につけるセンサを用いて取得したパラメータを用いてもよい。例えば、体温計や脈拍などの運転者の健康状態情報を取得するセンサ、顔向きを取得可能な頭部に装着されたジャイロセンサが例示される。

警告装置２２は、運転者に対して運転者の五感のいずれかに刺激を与えて警告を発する装置であり、車両の運転室内に配置されている。警告としては、ダッシュボードに設置されたスピーカーから発する音による警告、ダッシュボードに設置されたディスプレイから発する光による警告、運転席１１の振動による警告が例示される。

制御装置２３は、各種情報処理を行うＣＰＵ、その各種情報処理を行うために用いられるプログラムや情報処理結果を読み書き可能な内部記憶装置、及び各種インターフェースなどから構成されるハードウェアである。制御装置２３は、撮像装置２１及び警告装置２２に一点鎖線で示す信号線を介して電気的に接続されている。また、制御装置２３は、周辺機器２４に信号線を介して電気的に接続される。本明細書でいう周辺機器２４とは、運転者が操作可能で、且つ運転操作に関係しない機器である。周辺機器２４としては、カーエアコンディショナ、カーオーディオ、カーナビゲーションシステム、及びシガーライタが例示される。

制御装置２３は、撮像装置２１が撮像した画像Ｄｎから抽出したパラメータ（Ｆｎ、Ｐｎ、θｎ、Ｅｎ）に基づいて、顔位置座標情報Ｐｎの可不可や顔向き角度情報θｎが変化した回数や変化した頻度の増減、その変化のバランスの正否の情報を用いて、運転者の安全運転に対する意識が低下した状態か否かを判定する機能要素を有している。

図３に例示するように、制御装置２３は、機能要素として、抽出部２５、判定部２６、及び警告部２７を有している。

抽出部２５は、撮像装置２１が撮像した画像Ｄｎを画像解析して、上述したパラメータを抽出して判定部２６に出力すると共に、そのパラメータを内部記憶装置に記憶する機能要素である。判定部２６は、抽出部２５から出力されたパラメータに基づいて運転者が警告状態に陥ったか否かを判定し、その判定した結果を警告部２７に出力する機能要素である。また、判定部２６は経過時間をカウント可能なタイマ２８を有した機能要素である。警告部２７は、判定部２６から出力された判定結果に基づいて、警告装置２２に警告させる指示を出す機能要素である。この実施形態で、抽出部２５、判定部２６、及び警告部２７は、プログラムとして内部記憶装置に記憶されているが、それぞれ個別のプログラマブルロジックコントローラ（ＰＬＣ）などのハードウェアや電子回路で構成されてもよい。

図４～図１４に例示するように、実施形態の安全運転促進方法は、撮像装置２１が撮像した画像Ｄｎに基づいて、運転者が警告状態に陥ったことを判定するものであり、撮像装置２１が画像Ｄｎを撮像する周期ごとに、行われるものである。安全運転促進方法は、図４をメインルーチンとし、図６～図１２、図１３をサブルーチンとするものである。

本明細書において、運転者が警告状態に陥った状態は、運転者の安全運転に対する意識が低下した状態である。この状態は、人事不省などの運転者が運転不能状態に陥った状態に加えて、運転者が脇見をしていて意識が運転以外に向いている意識外状態や、居眠り運転状態や漫然状態が例示される。なお、漫然状態とは、運転者の意識レベルが低下した状態であり、「前をよく見ていなかった」、「ぼうっとしたいた」などの注意が散漫になった運転状態であり、居眠り運転状態が懸念される状態でもある。

図４に例示するように、所定の周期ごとに撮像装置２１が画像Ｄｎを撮像する（Ｓ１１０）。次いで、抽出部２５が画像Ｄｎを解析する（Ｓ１２０）。具体的に、抽出部２５は、画像解析として画像Ｄｎにおける濃度の変化から物体の境界を検出するエッジ検出により各パラメータを抽出する。

次いで、判定部２６が、画像Ｄｎから各パラメータ（Ｆｎ、Ｐｎ、θｎ、Ｅｎ）が抽出されたか否かを判定する（Ｓ１３０）。

画像Ｄｎから各パラメータが抽出されたと判定すると（Ｓ１３０：ＹＥＳ）、判定部２６が、抽出された各パラメータを内部記憶装置に記憶させる（Ｓ１４０）。次いで、判定部２６が、抽出された各パラメータに基づいて、運転者が警告状態に陥ったか否かを判定する第一の判定を行う（Ｓ１５０）。

第一の判定は、運転者が上述した安全運転に関する行動を行っている、あるいはその行動以外の行動を行っていることを、画像Ｄｎから抽出された現時点のパラメータ（Ｆｎ、Ｐｎ、θｎ、Ｅｎ）を用いて判定する方法であればよい。例えば、顔位置座標情報Ｐｎの可不可や顔向き角度情報θｎが変化した回数や頻度が閾値未満の状態が予め設定した経過時間続いた場合に意識が低下した状態であると判定する方法が例示される。また、顔向き角度情報θｎが予め設定された閾値以上の状態が予め設定された経過時間続いた場合に意識が低下した状態であると判定する方法も例示される。また、顔位置座標情報Ｐｎの可不可や顔向き角度情報θｎの変化速度が予め設定された閾値以下であるか否かを判定し、その変化速度が閾値以下の場合には意識が低下した状態であると判定する方法も例示される。また、開閉眼情報Ｅｎが閉（運転者の瞼が閉の状態）であるいか否かを判定し、閉であると判定した場合には意識が低下した状態であると判定する方法も例示される。

第一の判定で、運転者が警告状態に陥ったと判定すると、判定部２６が、第一の判定の警告フラグを立てる（ｆｌａｇ０１：ＯＮ）。また、第一の判定で、運転者が警告状態に陥っていないと判定する第一の判定の警告フラグを降ろす（ｆｌａｇ０１：ＯＦＦ）。

一方、画像Ｄｎから各パラメータが抽出されないと判定すると（Ｓ１３０：ＮＯ）、判定部２６が、第二の判定を行う（Ｓ２００）。第二の判定は、各パラメータ（Ｆｎ、Ｐｎ、θｎ、Ｅｎ）が抽出不可能になる前に内部記憶装置に記憶された過去のパラメータ（Ｆ（ｎ－１）、Ｐ（ｎ－１）、θ（ｎ－１）、Ｅ（ｎ－１）など）に基づいて、運転者が警告状態に陥ったか否かを判定する方法である。第二の判定は、複数のサブルーチンから構成される。第二の判定で、運転者が警告状態に陥ったと判定すると、判定部２６が、第二の判定の警告フラグを立てる（ｆｌａｇ０２：ＯＮ）。また、第二の判定で、運転者が警告状態に陥っていないと判定する第二の判定の警告フラグを降ろす（ｆｌａｇ０２：ＯＦＦ）。第二の判定についての詳細は、後述する。なお、第二の判定の警告フラグは判定方法ごとに立てられるものであり、ここでいう第二の判定の警告フラグ（ｆｌａｇ０２）は、後述するｆｌａｇ０４～ｆｌａｇ０９に相当するものである。

第一の判定が終了すると、判定部２６が、第三の判定を行う（Ｓ３００）。第三の判定は、各パラメータ（Ｆｎ、Ｐｎ、θｎ、Ｅｎ）の変化に基づいて、運転者が警告状態に陥ったか否かを判定する方法である。第三の判定で、運転者が警告状態に陥ったと判定すると、判定部２６が、第三の判定の警告フラグを立てる（ｆｌａｇ０３：ＯＮ）。また、第三の判定で、運転者が警告状態に陥っていないと判定する第三の判定の警告フラグを降ろす（ｆｌａｇ０３：ＯＦＦ）。第三の判定についての詳細も、後述する。

次いで、判定部２６が、第一の判定、第二の判定、及び第三の判定におけるいずれかの警告フラグが立っているか否かを判定する（Ｓ１６０）。いずれかの警告フラグが立っていると判定すると（Ｓ１６０：ＹＥＳ）、警告部２７が、運転者が警告状態に陥っていると判定して、警告装置２２に警告させる（Ｓ１７０）。一方、いずれの警告フラグも立っていない（降りている）と判定すると（Ｓ１６０：ＮＯ）、運転者が警告状態に陥っていないと判定して、スタートへ戻る。運転者が警告状態に陥っていない状態は、運転者が安全運転に対する意識が維持されている状態である。このとき各パラメータから解析される運転者の行動としては、安全運転のための視認行動が例示される。

図５～図１３に例示するように、第二の判定は、各パラメータ（Ｆｎ、Ｐｎ、θｎ、Ｅｎ）が抽出不可能になる前に内部記憶装置に記憶された過去のパラメータ（Ｆ（ｎ－１）、Ｐ（ｎ－１）、θ（ｎ－１）、Ｅ（ｎ－１）など）に基づいて、運転者が警告状態に陥ったか否かを判定する方法である。

図５に例示するように、判定部２６における画像Ｄｎから各パラメータが抽出されたか否かの判定は（Ｓ１３０）、画像Ｄｎから各パラメータ（Ｆｎ、Ｐｎ、θｎ、Ｅｎ）が抽出可能か否かをパラメータごとに順に判定する（Ｓ１３２～Ｓ１３８）。具体的に、ここでは、「ＯＫ」がパラメータを抽出可能な状態（特定可能な状態）を示しており、顔認識情報Ｆｎが抽出不可能な状態では、顔位置座標情報Ｐｎ、顔向き角度情報θｎ、及び開閉眼情報Ｅｎも特定不可能な状態と見做して、パラメータごとに順次、直列処理で判定する。なお、各パラメータを並列処理で判定してもよい。パラメータごとに並列処理で判定することで、光源などの具合により顔の輪郭が抽出できずに顔位置座標情報Ｐｎ及び顔向き角度情報θｎが特定不可能な一方で、開閉眼情報Ｅｎが特定可能な状態にも対応可能になる。

図６～図９に例示するように、画像Ｄｎから現在のパラメータ（Ｆｎ、Ｐｎ、θｎ、Ｅｎ）を抽出不可能な場合（ＮＯ）に、判定部２６は、第二の判定として（Ｓ２００）、パラメータごとにパラメータを抽出不可能な経過時間（Ｔａ、Ｔｂ、Ｔｃ、Ｔｄ）が判定時間（Ａ、Ｂ、Ｃ、Ｄ）を超えたときに、運転者が警告状態に陥っていると判定する。以下、現在のパラメータのうちの顔認識情報Ｆｎを例に説明する。

図６に例示するように、抽出部２５から画像Ｄｎから現在の顔認識情報Ｆｎを抽出不可能な信号を受信すると、判定部２６は、過去の顔認識情報Ｆ（ｎ－１）を抽出可能だったか否かを判定する（Ｓ２１０ａ）。ここでいう過去の顔認識情報Ｆ（ｎ－１）は、周期的に現在の顔認識情報Ｆｎを抽出する一つ前に抽出されて内部記憶装置に記憶されたパラメータである。

過去の顔認識情報Ｆ（ｎ－１）が抽出可能だったと判定すると（Ｓ２１０ａ：ＹＥＳ）
、判定部２６は、顔認識情報Ｆｎが抽出不可能な経過時間Ｔａのカウントをリセットする（Ｓ２２０ａ）。一方、過去の顔認識情報Ｆ（ｎ－１）が抽出不可能だったと判定すると（Ｓ２１０ａ：ＮＯ）、判定部２６は、顔認識情報Ｆｎが抽出不可能な経過時間Ｔａをカウントする（Ｓ２３０ａ）。

次いで、判定部２６は、経過時間Ｔａが予め設定した判定時間Ａ以上になったか否かを判定する（Ｓ２４０ａ）。経過時間Ｔａが判定時間Ａ以上と判定すると（Ｓ２４０ａ：ＹＥＳ）、判定部２６が、第二の判定の警告フラグを立てる（Ｓ２５０ａ）。一方、経過時間Ｔａが判定時間Ａ未満と判定すると（Ｓ２４０ａ：ＮＯ）、判定部２６が、第二の判定の警告フラグを降ろす（Ｓ２６０ａ）。

判定部２６は、他のパラメータ（顔位置座標情報Ｐｎ、顔向き角度情報θｎ、開閉眼情報Ｅｎ）についても、図７～図９に例示するように、顔認識情報Ｆｎと同様に判定する。

判定時間（Ａ、Ｂ、Ｃ、Ｄ）は、予め実験や試験により求められて、それぞれ異なる時間に設定してもよい。判定時間は、画像Ｄｎからパラメータを抽出不可能なことに基づいて、運転者が警告状態に陥っている可能性がある状態を判定可能な時間に設定される。例えば、運転者が警告状態に陥っていない場合では、画像Ｄｎから各パラメータが抽出不可能な状態は、運転者が意図的に周辺機器２４を操作している状態である。そこで、判定時間は、運転者が警告状態に陥っていると判定する際に、その一時的な時間を排除可能な時間に設定されることが好ましい。

以上のように、判定部２６は、第二の判定において、パラメータごとに第二の判定の警告フラグを立てたり（ｆｌａｇ０４～ｆｌａｇ０７：ＯＮ）、降ろしたりする（ｆｌａｇ０４～ｆｌａｇ０７：ＯＦＦ）。例えば、顔位置座標情報Ｐｎにおける第二の判定の警告フラグが降ろされている場合に（ｆｌａｇ０５：ＯＦＦ）、顔向き角度情報θｎや開閉眼情報Ｅｎにおける第二の判定の警告フラグが立っている場合（ｆｌａｇ０６、ｆｌａｇ０７：ＯＮ）がある。

図１０～図１４に例示するように、画像Ｄｎから現在のパラメータ（Ｆｎ、Ｐｎ、θｎ、Ｅｎ）を抽出不可能な場合（ＮＯ）に、判定部２６は、第二の判定として（Ｓ２００）、過去のパラメータに基づいて、現在のパラメータを抽出不可能な間の運転者の状態を予想して、運転者が警告状態に陥っていると判定する。また、この第二の判定は、各パラメータが抽出不可能な間の運転者の状態が異常なパターンに属するか否か、又は、正常なパターンに属するか否かを判定する方法である。

図１０に例示するように、顔認識情報Ｆｎが抽出不可能と判定すると（Ｓ１３２：ＮＯ）、判定部２６は、顔認識情報Ｆｎが抽出不可能と判定されるよりも前に抽出された開閉眼情報（Ｅ（ｎ－１）、Ｅ（ｎ－２）、・・・）において、閉眼を検知したか否かを判定する（Ｓ２１０ｅ）。

このステップは、顔認識情報Ｆｎが抽出不可能となった直前に閉眼したか否かを判定することが好ましい。このステップにより、各パラメータが抽出不可能な間の運転者の状態が、居眠りや人事不省により運転者が倒れたことを示す異常なパターンに属するか否かを判定することが可能になる。なお、本明細書において、開閉眼情報Ｅｎにおける閉眼は、目の瞼の開閉運動のうちの瞬きによる閉眼が除外されたものとする。つまり、開閉眼情報Ｅｎにおける閉眼は、瞬きよりも長い時間に亘って瞼が閉じられた状態を示す。また、直前とは、顔認識情報Ｆｎが抽出不可能となった周期（ｎ）の一つ前の周期（ｎ－１）を少なくとも含み、その一つ前の周期に加えて、その一つ前の周期よりも前の周期を含むものとする。例えば、顔認識情報Ｆｎが抽出不可能となった周期（ｎ）の直前に行われた運転
者による安全運転のための視認行動が確認され周期から顔認識情報Ｆｎが抽出不可能となった周期までの間でもよい。

直前に閉眼を検知したと判定すると（Ｓ２１０ｅ：ＹＥＳ）、判定部２６は、タイマーフラグを立てる（Ｓ２２０ｅ）。一方、直前に閉眼を検知していないと判定すると（Ｓ２１０ｅ：ＮＯ）、判定部２６は、タイマーフラグを降ろす（Ｓ２３０ｅ）。以上のように、タイマーフラグを立てたり、降ろしたりすると図１３の「ＩＩ」へ進む。

図１１に例示するように、顔認識情報Ｆｎが抽出不可能と判定すると（Ｓ１３２：ＮＯ）、判定部２６が、顔位置の移動軌跡Ｌｎを予測する（Ｓ２１０ｆ）。

顔位置の移動軌跡Ｌｎは、顔認識情報Ｆｎが抽出不可能と判定されるよりも前に抽出された複数の過去のパラメータに基づいて予測される。具体的に、移動軌跡Ｌｎは、顔認識情報Ｆｎが抽出不可能と判定されるよりも前で、且つ、抽出されたときに第一の判定、第二の判定、及び第三の判定のいずれの警告フラグも立たなかったときのパラメータと、顔認識情報Ｆｎが抽出不可能と判定される直前のパラメータとを用いて予測される。移動軌跡Ｌｎの予測に用いられる複数のパラメータは、二つ以上を用いる場合に、それらが周期的に連続していることが好ましい。移動軌跡Ｌｎの予測に用いられる複数のパラメータとしては、顔位置座標情報Ｐ（ｎ－ｓ）、Ｐ（ｎ－ｔ）、顔向き角度情報θ（ｎ－ｓ）、θ（ｎ－ｔ）のどちらか一方、あるいは両方が例示される。

次いで、判定部２６が、予測した移動軌跡Ｌｎが異常か否かを判定する（Ｓ２２０ｆ）。移動軌跡Ｌｎが異常な状態は、運転中に、運転者が警告状態に陥っている状態の軌跡であり、運転者が安全運転のための視認行動以外に行う意識的な行動に基づいた正常な軌跡Ｌａから外れた軌跡である。正常な軌跡Ｌａは、運転中に、運転者が警告状態に陥っていない状態で、運転者が安全運転のための視認行動以外に行う意識的な行動に基づいた軌跡である。運転者が安全運転のための視認行動以外に行う意識的な行動としては、周辺機器２４の操作行動、運転席の周囲に設置したドリンクホルダから飲み物を取るなどの行動、あるいは、前を向いたまま体を前に倒して足下の何かを探している行動が例示される。正常な軌跡Ｌａは、前述の行動のうちの特定可能な行動の軌跡に限定される。正常な軌跡Ｌａとしては、周辺機器２４の操作行動が例示される。なお、ドリンクホルダの位置が予め特定可能な場合は、正常な軌跡Ｌａとして、ドリンクホルダから飲み物を取る行動の軌跡も例示される。

このステップの判定は、移動軌跡Ｌｎと内部記憶装置に予め記憶させていた正常な軌跡Ｌａとを比較して、移動軌跡Ｌｎが正常な軌跡Ｌａに一致しない場合に移動軌跡Ｌｎが異常と判定する方法が例示される。本明細書では、移動軌跡Ｌｎが正常な軌跡Ｌａに一致しないとは、移動軌跡Ｌｎが正常な軌跡Ｌａに完全に一致しない場合に加えて、正常な軌跡Ｌａを中心とした所定の範囲内に無い場合も含む。

また、このステップの判定は、移動軌跡Ｌｎと内部記憶装置に予め記憶させていた異常な軌跡とを比較して、移動軌跡Ｌｎが異常な軌跡に一致した場合を移動軌跡Ｌｎが異常と判定する方法も例示される。異常な軌跡は、運転中に、運転者が警告状態に陥った状態の軌跡である。移動軌跡Ｌｎが異常な軌跡に一致する場合も同様に、完全に一致する場合に加えて、所定の範囲内に存在する場合も含む。なお、異常な軌跡及び正常な軌跡Ｌａは一つに限定されずに複数設定されてもよい。

このステップにより、各パラメータが抽出不可能な間の運転者の状態が、異常なパターンに属するか否か、あるいは正常なパターンに属するか否かを判定することが可能になる。

図１２に例示するように、顔位置座標情報Ｐ（ｎ－ｓ）を警告フラグが立っていないパラメータ、顔位置座標情報Ｐ（ｎ－ｔ）を顔認識情報Ｆｎが抽出不可能と判定される直前のパラメータとする。顔位置座標情報Ｐ（ｎ－ｓ）と顔位置座標情報Ｐ（ｎ－ｔ）とを結ぶ線分の延長線が移動軌跡Ｌｎとなる。

画像Ｄｎに対して画像Ｄｎの外の右側下方に周辺機器２４が設置されており、正常な軌跡Ｌａは、その周辺機器２４の操作行動に基づいて設定される。

顔位置座標情報Ｐ（ｎ－ｓ）及び顔位置座標情報Ｐ（ｎ―ｔ）から予測される移動軌跡Ｌｎは、正常な軌跡Ｌａに一致しない。このような場合に、ステップＳ２２０ｆでは、移動軌跡Ｌｎが異常であると判定する。

図１１に例示するように、移動軌跡Ｌｎが異常と判定すると（Ｓ２２０ｆ：ＹＥＳ）、判定部２６が、周辺機器２４の操作信号の有無を判定する（Ｓ２３０ｆ）。周辺機器２４の操作信号の有無の判定は、顔認識情報Ｆｎが抽出不可能となっている状態が、運転者が意図的な行動を行っている状態を判定するために行われる。つまり、このステップにより、各パラメータが抽出不可能な間の運転者の状態が、正常なパターンに属するか否かを判定することが可能になる。

例えば、一時的に画像Ｄｎから顔認識情報Ｆｎが抽出不可能になったときに、周辺機器２４の操作信号が有ると判定されると、その一時的な抽出不可能な時間は、運転者が意図的に周辺機器２４を操作する行動を行ったと判定できる。つまり、画像Ｄｎから顔認識情報Ｆｎが抽出不可能になってから周辺機器２４の操作信号の有無を確認することで、運転者が警告状態に陥っているか否かを確認可能になる。この判定で用いられる周辺機器２４の操作信号は、移動軌跡Ｌｎが異常と判定されてから検知される操作信号に、つまり、顔認識情報Ｆｎが抽出不可能と判定されてから検知される操作信号に限定される。

移動軌跡Ｌｎが異常で、且つ、周辺機器２４の操作信号が無いと判定すると（Ｓ２２０ｆ：ＹＥＳ、Ｓ２３０ｆ：ＮＯ）、判定部２６は、タイマーフラグを立てる（Ｓ２４０ｆ）。一方、移動軌跡Ｌｎが正常（異常でない）、あるいは、周辺機器２４の操作信号が有ると判定すると（Ｓ２２０ｆ：ＮＯ、Ｓ２３０ｆ：ＹＥＳ）、判定部２６は、タイマーフラグを降ろす（Ｓ２５０ｆ）。以上のように、タイマーフラグを立てたり、降ろしたりすると図１３の「ＩＩ」へ進む。

図１３に例示するように、タイマーフラグが立っている場合に（Ｓ２１０ｇ：ＹＥＳ）、判定部２６が、経過時間Ｔｅをカウントする（Ｓ２２０ｇ）。一方、タイマーフラグが降りている場合に（Ｓ２１０ｇ：ＮＯ）、判定部２６が、経過時間Ｔｅのカウントをリセットする（Ｓ２３０ｇ）。

次いで、判定部２６は、経過時間Ｔｅが予め設定した判定時間Ｅ以上になったか否かを判定する（Ｓ２４０ｇ）。経過時間Ｔｅが判定時間Ｅ以上と判定すると（Ｓ２４０ｇ：ＹＥＳ）、判定部２６が、第二の判定の警告フラグを立てる（Ｓ２５０ｇ）。一方、経過時間Ｔｅが判定時間Ｅ未満と判定すると（Ｓ２４０ｇ：ＮＯ）、判定部２６が、第二の判定の警告フラグを降ろす（Ｓ２６０ｇ）。

判定時間Ｅは、判定時間Ａ～Ｄと同様に、予め実験や試験により求められる。判定時間Ｅは、画像Ｄｎからパラメータを抽出不可能なことに基づいて、運転者が警告状態に陥っている可能性がある状態を判定可能な時間に設定される。

以上のように、判定部２６は、第二の判定において、パラメータごとに第二の判定の警告フラグを立てたり（ｆｌａｇ０４～ｆｌａｇ０８：ＯＮ）、降ろしたりする（ｆｌａｇ０４～ｆｌａｇ０８：ＯＦＦ）。

図１４に例示するように、第三の判定は、撮像装置２１の撮像範囲内で、運転者がｘ方向前方を向いたまま、開眼した状態で発作などの突発的な人事不省に陥った状態を判定するものである。つまり、第三の判定は、各パラメータが抽出可能な間の運転者の状態が、異常なパターンに属するか否かを判定する。

撮像装置２１の撮像範囲内で、運転者がｘ方向前方を向いたまま、開眼した状態の場合に、第一の判定では、運転者が前方視認行動を行っていると判定される。そこで、第三の判定では、前方視認行動が一定期間Ｔｆに亘って連続して行われた場合に、運転者がｘ方向前方を向いたまま、開眼した状態で人事不省に陥ったと判定する。

判定部２６が、一定期間Ｔｆに亘って各パラメータが変化無いか否かをパラメータごとに順に判定する（Ｓ３１０、Ｓ３２０、Ｓ３３０）。以下、各パラメータのうちの顔位置座標情報を例に説明する。

このステップでは、一定期間Ｔｆにおける複数の顔位置座標情報（Ｐｎ、Ｐ（ｎ－１）、・・・、Ｐ（ｎ－Ｔｆ））が一致するか否かを判定する（Ｓ３１０）。一定期間Ｔｆは、複数の周期を含んだ期間である。また、一定期間Ｔｆは、運転者が人事不省により意識を失っていることを判定可能な期間に設定される。本明細書において、複数の顔位置座標情報が一致することは、複数の顔位置座標情報の全てが同一であることに加えて、複数の顔位置座標情報が所定の範囲内に収まっていることも包含する。つまり、このステップは、読み込んだ複数の顔位置座標情報が同じ領域に存在していることを判定できればよい。

判定部２６は、他のパラメータ（顔向き角度情報、開閉眼情報）についても、Ｓ３２０、Ｓ３３０に例示するように、顔位置座標情報と同様に判定する。

一定期間Ｔｆに亘って顔位置座標情報、顔向き角度情報、開閉眼情報が変化していないと判定すると（Ｓ３１０：ＹＥＳ、Ｓ３２０：ＹＥＳ、Ｓ３３０：ＹＥＳ）、判定部２６が、経過時間Ｔｇをカウントする（Ｓ３４０）。一方、一定期間Ｔｆの間に顔位置座標情報、顔向き角度情報、開閉眼情報のいずれかが変化したと判定すると（Ｓ３１０：ＮＯ、Ｓ３２０：ＮＯ、Ｓ３３０：ＮＯ）、判定部２６が、経過時間Ｔｇのカウントをリセットする（Ｓ３５０）。

次いで、判定部２６は、経過時間Ｔｇが予め設定した判定時間Ｇ以上になったか否かを判定する（Ｓ３６０）。経過時間Ｔｇが判定時間Ｇ以上と判定すると（Ｓ３６０：ＹＥＳ）、判定部２６が、第三の判定の警告フラグを立てる（Ｓ３７０）。一方、経過時間Ｔｇが判定時間Ｇ未満と判定すると（Ｓ３６０：ＮＯ）、判定部２６が、第三の判定の警告フラグを降ろす（Ｓ３８０）。

判定時間Ｇも、判定時間Ａ～Ｄと同様に、予め実験や試験により求められる。判定時間Ｇは、画像Ｄｎからパラメータを抽出不可能なことに基づいて、運転者が警告状態に陥っている可能性がある状態を判定可能な時間に設定される。

このように、実施形態の安全運転促進装置２０によれば、画像Ｄｎから現在のパラメータ（Ｆｎ、Ｐｎ、θｎ、Ｅｎ）を抽出不可能な場合、つまり、画像Ｄｎから現在の運転者の状態を判断できない場合は、過去のパラメータ（Ｆ（ｎ－１）、Ｐ（ｎ－１）、θ（ｎ－１）、Ｅ（ｎ－１）など）に基づいて運転者の状態を予想する。それ故、画像Ｄｎから
現在の運転者の状態を判断できない場合でも運転者が警告状態に陥っているか否かを正確に判断することができる。

これにより、運転者が警告状態に陥っていないときに発せられる警告の頻度を低減するには有利になり、警告による煩わしさを起因とする運転者が装置を停止することを回避して、運転者に安全運転を促進させることができる。また、人事不省などの運転者の安全運転に対する意識が低下したときに確実に警告を発してその警告により運転者の警告状態に陥っていることを認識させるには有利になり、運転者に安全運転を促進させることができる。

安全運転促進装置２０は、画像Ｄｎから各パラメータが抽出不可能な状況をより詳細に特定することで、その状況が運転者の意図的な行動により一時的に発生した状況であることを特定することが可能になる。これにより、画像Ｄｎから各パラメータが抽出不可能な状況で警告させるのではなく、運転中に行われる運転者の複雑な動作に対応させて、不要な警告を発することを抑制することができる。運転者が警告状態に陥っていないが、一時的に画像Ｄｎから各パラメータが抽出不可能な行動としては、周辺機器２４の操作行動、運転席の周囲に設置したドリンクホルダから飲み物を取るなどの行動、あるいは、前を向いたまま体を前に倒して足下の何かを探している行動などが例示される。

安全運転促進装置２０は、画像Ｄｎから各パラメータが抽出不可能な間の運転者の状態を予想する一つの手法として、過去のパラメータに基づいて抽出不可能な間の運転者の状態が、異常なパターンに属するか、正常なパターンに属するかを判定する構成にした。具体的に、図１０、図１４に例示するサブルーチンは、運転者の状態が異常なパターンに属するか否かを判定するものである。また、図１１に例示するサブルーチンは、予測した移動軌跡Ｌｎにより運転者の状態が異常なパターンに属するか否か、正常なパターンに属するか否かを判定すると共に、周辺機器２４の操作信号の有無を確認することで正常なパターンに属するか否かを判定するものである。

このように、過去のパラメータに基づいて、画像Ｄｎから各パラメータが抽出不可能な間の運転者の状態を異常なパターンや正常なパターンと比較して特定することで、警告させる必要がある状況と、警告させない状況とを確実に区別することが可能になる。これにより、運転者に安全運転を促進させるには有利になる。

また、予測した移動軌跡Ｌｎが正常な軌跡Ｌａから外れたときや、移動軌跡Ｌｎが異常な軌跡に一致したときに、運転者が警告状態に陥っていると判定することで、画像Ｄｎから各パラメータが抽出不可能な状況をより詳細に特定するには有利になる。なお、正常な軌跡Ｌａは、車両ごとに異なる周辺機器２４の設置位置やドリンクホルダの設置位置に基づいて設定可能である。また、異常な軌跡は、運転者ごとに異なる周辺機器２４の操作行動や飲み物を取るなどの行動を逐次、内部記憶装置に記憶させて学習させることで、より精度を高めることが可能になる。

安全運転促進装置２０は、運転者が警告状態に陥ったと判定してからの経過時間（Ｔａ、Ｔｂ、Ｔｃ、Ｔｄ、Ｔｅ、Ｔｇ）が予め設定された判定時間（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｇ）を超えたときに、警告させる構成にしたことで、運転者が意識的に行う行動により一時的に画像Ｄｎからパラメータが抽出不可能な状態に対して警告させないことができる。これにより、運転者が警告状態に陥っていない状態で警告装置２２による警告が頻発することを抑制するには有利になる。

安全運転促進装置２０は、移動軌跡Ｌｎを予測して運転者の状態を判定する際の、最終確認として、周辺機器２４の操作信号の有無を確認する構成にした。それ故、運転者が予
想外の行動を行ったとしても、その行動が周辺機器２４の操作行動か否かを判定することが可能になり、周辺機器２４の操作行動に対して警告させないことができる。

既述した安全運転促進方法は、図４をメインルーチン、図６～図１２をメインルーチンよりも下位のサブルーチンとする構成にしたが、図４をメインルーチン、図６～図９をメインルーチンの下位のサブルーチン、図１０～図１２をそのサブルーチンよりも下位のサブルーチンとしてもよい。つまり、図１０～図１２のサブルーチンは、図６～図９のサブルーチンのいずれかにおいて警告フラグが立ってから行われるように構成してもよい。

また、運転中の運転者の複雑な行動パターンに合わせて、異常なパターンのサブルーチンや正常なパターンのサブルーチンを増やすとよい。例えば、正常なパターンとして、車両用のサンバイザを降ろす動作が例示される。

既述した安全運転促進装置２０は、車両に搭載されるものに限定されずに、運転者が運転席１１に腰掛けて運転するものであれば適用可能である。

１０ 運転室
２０ 安全運転促進装置
２１ 撮像装置
２２ 警告装置
２３ 制御装置
２４ 周辺機器
Ｄｎ 画像
Ｆｎ、Ｐｎ、θｎ、Ｅｎ 現在のパラメータ
Ｆ（ｎ－１）、Ｐ（ｎ－１）、θ（ｎ－１）、Ｅ（ｎ－１） 過去のパラメータ

Claims (5)

1. 運転席に着座した運転者が安全確認のための視認行動を行ったときに運転者の瞼の開閉を判別可能な運転者の顔が映る画像を逐次撮像する撮像装置と、運転者に対する警告を発する警告装置と、前記撮像装置及び前記警告装置に接続された制御装置と、を備えた安全運転促進装置において、
   前記撮像装置が逐次撮像した前記画像に基づいて、前記制御装置により、運転者の瞼の開閉を示すパラメータを含み、運転者が安全運転に対する意識が低下した警告状態に陥ったことを判定可能な現在のパラメータを抽出し、抽出したその現在のパラメータを過去のパラメータとして記憶する構成にすると共に、
   運転者が運転に関係の無い行動を行ったときに前記画像の範囲から運転者の顔がはみ出して前記画像から前記現在のパラメータを抽出不可能な場合は、その現在のパラメータを抽出不可能になる前に前記制御装置に記憶した過去のパラメータに基づいて、前記制御装置により、前記現在のパラメータを抽出不可能な間の運転者の状態を予想して、その運転者の状態が予め設定された異常なパターンに属するあるいは予め設定された正常なパターンに属さない経過時間が予め設定された判定時間を超えたか否かの判定を行うことで、その運転者の状態を運転者の意図的な行動により一時的に発生した状態と前記警告状態とに区別し、その運転者の状態を前記警告状態と区別したときに、前記警告装置に運転者に対して警告させる制御をする構成にしたことを特徴とする安全運転促進装置。
2. 前記制御装置が、運転者が操作可能で、運転操作に関係しない周辺機器に接続されていて、
   前記過去のパラメータから予想した前記運転者の状態が前記異常なパターンに属するあるいは前記正常なパターンに属さない場合に、前記制御装置により前記周辺機器の操作信号を受信しない経過時間が予め設定された判定時間を超えたか否かの判定を行うことで、前記運転者の状態を運転者の意図的な行動により一時的に発生した状態と前記警告状態とに区別する請求項１に記載の安全運転促進装置。
3. 前記画像から前記現在のパラメータを抽出可能な場合は、前記現在のパラメータと前記過去のパラメータとに基づいて、前記制御装置により、前記現在のパラメータが変化しない経過時間が予め設定された判定時間を超えたか否かを判定する構成にした請求項１または２に記載の安全運転促進装置。
4. 前記判定時間は前記一時的に発生した状態に要する一時的な時間よりも長い請求項１～３のいずれか１項に記載の安全運転促進装置。
5. 運転者が安全運転に対する意識が低下した警告状態に陥った場合に警告して車両の安全運転を促進する安全運転促進方法において、
   撮像装置が運転席に着座した運転者が安全確認のための視認行動を行ったときに運転者の瞼の開閉が判別可能な運転者の顔が映る画像を逐次撮像し、
   制御装置が、
   撮像したその画像に基づいて、その画像から運転者の瞼の開閉を示すパラメータを含み、運転者が安全運転に対する意識が低下した警告状態に陥ったことを判定可能な現在のパラメータを抽出すると共に抽出したその現在のパラメータを過去のパラメータとして記憶し、
   運転者が運転に関係の無い行動を行ったときに前記画像の範囲から運転者の顔がはみ出して前記画像から前記現在のパラメータを抽出不可能な場合は、その現在のパラメータを抽出不可能になる前に記憶した前記過去のパラメータに基づいて、前記現在のパラメータを抽出不可能な間の運転者の状態を予想し、
   予想したその運転者の状態が予め設定された異常なパターンに属するあるいは予め設定された正常なパターンに属さない経過時間が予め設定された判定時間を超えたか否かの判定を行い、
   その判定に基づいてその運転者の状態を、運転者の意図的な行動により一時的に発生した状態と前記警告状態とに区別し、
   前記運転者の状態を前記警告状態と区別したときに、警告装置に運転者に対して警告させることを特徴とする安全運転促進方法。

Images