JP4941678B2 - 警報制御装置 - Google Patents

Description

本発明は、例えば、車両に搭載され、該車両に衝突の可能性がある場合に警報の出力を制御する警報制御装置に関する。

従来、車両前方等の障害物への自車両の衝突可能性が予め設定された閾値レベルに達したときに、運転者に衝突警報を行う車載警報装置が知られている（例えば、特許文献１参照）。特許文献１に記載の車載警報装置においては、車室内に設けられたカメラの撮影する画像を用いて運転者が脇見をしているか否かが検出される。そして、運転者の脇見が検出されたときは、衝突警報を早目に出力させる（＝前出しする）ことができ、その結果として、車両走行時における安全性を向上させることが可能となる。
特開２００７−７２６２９号公報

しかしながら、特許文献１等に記載の車載警報装置では、例えば、運転者の顔向きが略正面であって且つ目を閉じている状態（＝閉眼状態）から、顔向きが正面に対して予め設定された角度（例えば、１５度）以上横を向いている状態（＝脇見状態）に移行した場合であっても、単に脇見状態にある場合と同様に、脇見時間に応じて衝突警報の前出しが行われるため、適正なタイミングで警報が出力されない場合があった。

すなわち、前者の場合には、後者と比較して、脇見状態に先だって閉眼状態が存在するため、単に脇見状態にある場合よりも早いタイミングで衝突警報を出力することが好ましい。つまり、前者の場合には、後者と比較して、脇見状態に先だって存在する閉眼状態の継続時間（＝閉眼時間）に応じて、衝突警報を更に前出しすることが好ましいのである。

また、同様に、脇見状態から閉眼状態に移行した場合にも、単に閉眼状態にある場合と比較して、閉眼状態に先だって存在する脇見状態の継続時間（＝脇見時間）に応じて、衝突警報を更に前出しすることが好ましいのである。なお、以下の説明においては、運転者が脇見状態及び閉眼状態の少なくとも一方の状態にある場合に、運転者が「前方不注意状態」にあるという。

本発明は、上記事情に鑑みてなされたものであって、運転者の前方不注意状態に応じて適正に警報の前出しを行うことの可能な警報制御装置を提供することにある。

上記目的を達成するために、本発明は、以下の特徴を有している。第１の発明は、車両に搭載され、該車両に衝突の可能性がある場合に警報の出力を制御する警報制御装置であって、該車両の衝突の可能性が予め設定された閾値以上であるか否かを判定し、閾値以上であると判定された場合に、予め設定された基準タイミングで警報を出力させる警報出力手段と、運転者が脇見状態であるか否かを検出し、脇見状態が継続している時間である脇見時間を計時する脇見検出手段と、運転者が閉眼状態であるか否かを検出し、閉眼状態が継続している時間である閉眼時間を計時する閉眼検出手段と、前記脇見時間及び閉眼時間に基づいて、前記警報出力手段に対して警報を出力するタイミングを規定する前出し時間を設定する時間設定手段と、前記警報出力手段に対して、前記基準タイミングを基準として前記時間設定手段によって設定された前記前出し時間だけ前のタイミングで警報を出力させるタイミング変更手段と、を備える。

第２の発明は、上記第１の発明において、前記脇見検出手段によって脇見状態であると検出されている場合に、脇見状態であると検出される直前に略連続して閉眼状態であったか否かを判定する第１継続判定手段を備え、前記時間設定手段が、前記第１継続判定手段によって閉眼状態であったと判定された場合には、前記第１継続判定手段によって閉眼状態ではなかったと判定された場合と比較して、長い前出し時間を設定する。

第３の発明は、上記第２の発明において、前記第１継続判定手段は、前記脇見検出手段によって脇見状態であるとの判定が開始されたタイミングから、予め設定された第１判定時間だけ前のタイミングで、前記閉眼検出手段によって閉眼状態であると検出されていたか否かに基づいて、脇見状態であると判定される直前に略連続して閉眼状態であったか否かを判定する。

第４の発明は、上記第３の発明において、前記第１判定時間が、前記脇見検出手段が脇見状態であるか否かを判定するのに要する時間に基づいて設定されている。

第５の発明は、上記第２の発明において、脇見状態が継続している時間である脇見時間に対応付けて、警報が出力されるタイミングを、前記基準タイミングを基準として前出しする時間である第１出力時間を予め格納する第１記憶手段を備え、前記時間設定手段が、前記第１継続判定手段によって閉眼状態ではなかったと判定された場合には、前記第１記憶手段に格納され、前記脇見検出手段によって検出された脇見時間に対応する第１出力時間を、前出し時間として設定し、前記第１継続判定手段によって閉眼状態であったと判定された場合には、前記第１記憶手段に格納され、前記脇見検出手段によって検出された脇見時間に対応する第１出力時間よりも長い時間を、前出し時間として設定する。

第６の発明は、上記第５の発明において、前記時間設定手段が、前記第１継続判定手段によって閉眼状態であったと判定された場合には、該閉眼状態に対応する閉眼時間を、前記閉眼検出手段を介して取得し、取得された閉眼時間に基づいて前出し時間を設定する。

第７の発明は、上記第６の発明において、前記時間設定手段が、前記第１継続判定手段によって閉眼状態であったと判定された場合には、前記閉眼検出手段を介して取得された閉眼時間に予め設定された第１係数を乗じた積に、前記脇見検出手段によって検出された脇見時間を加算した和の脇見時間に対応し、前記第１記憶手段に格納された第１出力時間を、前出し時間として設定する。

第８の発明は、上記第７の発明において、前記第１係数が、０．５以上、且つ、１以下に設定されている。

第９の発明は、上記第１の発明又は第２の発明において、前記閉眼検出手段によって閉眼状態であると検出されている場合に、閉眼状態であると検出される直前に略連続して脇見状態であったか否かを判定する第２継続判定手段を備え、前記時間設定手段が、前記第２継続判定手段によって脇見状態であったと判定された場合には、前記第１継続判定手段によって脇見状態ではなかったと判定された場合と比較して、長い前出し時間を設定する。

第１０の発明は、上記第９の発明において、前記第２継続判定手段が、前記閉眼検出手段によって閉眼状態であるとの判定が開始されたタイミングから、予め設定された第２判定時間だけ前のタイミングで、前記脇見検出手段によって脇見状態であると検出されていたか否かに基づいて、閉眼状態であると判定される直前に略連続して脇見状態であったか否かを判定する。

第１１の発明は、上記第１０の発明において、前記第２判定時間が、前記閉眼検出手段が閉眼状態であるか否かを判定するのに要する時間に基づいて設定されている。

第１２の発明は、上記第９の発明において、閉眼状態が継続している時間である閉眼時間に対応付けて、警報が出力されるタイミングを、前記基準タイミングを基準として前出しする時間である第２出力時間を予め格納する第２記憶手段を備え、前記時間設定手段が、前記第２継続判定手段によって脇見状態ではなかったと判定された場合には、前記第２記憶手段に格納され、前記閉眼検出手段によって検出された閉眼時間に対応する第２出力時間を、前出し時間として設定し、前記第２継続判定手段によって脇見状態であったと判定された場合には、前記第２記憶手段に格納され、前記閉眼検出手段によって検出された閉眼時間に対応する第２出力時間よりも長い時間を、前出し時間として設定する。

第１３の発明は、上記第１２の発明において、前記時間設定手段が、前記第２継続判定手段によって脇見状態であったと判定された場合には、該脇見状態に対応する閉眼時間を、前記脇見検出手段を介して取得し、取得された脇見時間に基づいて前出し時間を設定する。

第１４の発明は、上記第１３の発明において、前記時間設定手段が、前記第２継続判定手段によって閉眼状態であったと判定された場合には、前記脇見検出手段を介して取得された脇見時間に予め設定された第２係数を乗じた積に、前記閉眼検出手段によって検出された閉眼時間を加算した和の閉眼時間に対応し、前記第２記憶手段に格納された第２出力時間を、前出し時間として設定する。

第１５の発明は、上記第１４の発明において、前記第２係数が、０．５以上、且つ、１以下に設定されている。

上記第１の発明によれば、警報出力手段によって、車両の衝突の可能性が予め設定された閾値以上であるか否かが判定され、閾値以上であると判定された場合に、予め設定された基準タイミングで警報が出力される。そして、運転者が脇見状態であるか否かが検出され、脇見状態が継続している時間である脇見時間が計時される。また、運転者が閉眼状態であるか否かが検出され、閉眼状態が継続している時間である閉眼時間が計時される。更に、脇見時間及び閉眼時間に基づいて、警報出力手段に対して警報を出力するタイミングを規定する前出し時間が設定され、警報出力手段を介して、基準タイミングを基準として、設定された前出し時間だけ前のタイミングで警報が出力されるため、運転者の前方不注意状態に応じて適正に警報の前出しを行うことができる。

すなわち、警報出力手段を介して、基準タイミングを基準として、脇見時間及び閉眼時間に基づいて設定された前出し時間だけ前のタイミングで警報が出力されるため、例えば、脇見状態から閉眼状態に移行した場合に、閉眼状態に先だって存在する脇見状態の継続時間（＝脇見時間）に応じて、適正な前出し時間を設定することができるので、運転者の前方不注意状態に応じて適正に警報の前出しを行うことができるのである。

上記第２の発明によれば、脇見状態であると検出されている場合に、脇見状態であると検出される直前に略連続して閉眼状態であったか否かが判定され、閉眼状態であったと判定された場合には、閉眼状態ではなかったと判定された場合と比較して、長い前出し時間が設定されるため、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

上記第３の発明によれば、脇見状態であるとの判定が開始されたタイミングから、予め設定された第１判定時間だけ前のタイミングで、閉眼状態であると検出されていたか否かに基づいて、脇見状態であると判定される直前に略連続して閉眼状態であったか否かが判定されるため、脇見状態であると判定される直前に略連続して閉眼状態であったか否かの判定を簡素な構成で適正に行うことができる。

上記第４の発明によれば、第１判定時間が、脇見状態であるか否かを判定するのに要する時間に基づいて設定されているため、脇見状態であると判定される直前に略連続して閉眼状態であったか否かの判定を更に簡素な構成で適正に行うことができる。

すなわち、例えば、脇見状態であるか否かを、運転者の顔向きが正面に対して予め設定された閾値角度（例えば、１５度）以上である（＝以下、この状態を「非正面状態」という）か否かに基づいて判定する場合には、運転者の正常な短時間の確認動作（例えば、標識確認、左折時の左側後方確認等）と区別するために、非正面状態が予め設定された第１継続時間閾値（例えば、２秒）以上継続した場合に脇見状態であると判定するが、この場合には、第１判定時間を略第１継続時間閾値（＝第１継続時間閾値＋α（＝顔向きを識別する画像処理に要する時間）＋β（＝余裕時間））に設定することによって、脇見状態であると判定される直前に略連続して閉眼状態であったか否かの判定を更に簡素な構成で適正に行うことができるのである。

上記第５の発明によれば、脇見状態が継続している時間である脇見時間に対応付けて、警報が出力されるタイミングを、基準タイミングを基準として前出しする時間である第１出力時間が予め第１記憶手段に格納されており、閉眼状態ではなかったと判定された場合には、第１記憶手段に格納され、検出された脇見時間に対応する第１出力時間が、前出し時間として設定され、閉眼状態であったと判定された場合には、第１記憶手段に格納され、検出された脇見時間に対応する第１出力時間よりも長い時間が、前出し時間として設定されるため、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

すなわち、脇見状態であると検出される直前に略連続して閉眼状態ではなかった場合には、第１記憶手段に格納され、検出された脇見時間に対応する第１出力時間が、前出し時間として設定されるため、第１記憶手段に適正な第１出力時間を格納しておくことによって、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができるのである。

上記第６の発明によれば、閉眼状態であったと判定された場合には、この閉眼状態に対応する閉眼時間が取得され、取得された閉眼時間に基づいて前出し時間が設定されるため、脇見状態であると検出される直前に略連続して閉眼状態であった場合に、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

上記第７の発明によれば、閉眼状態であったと判定された場合には、取得された閉眼時間に予め設定された第１係数を乗じた積に、検出された脇見時間を加算した和の脇見時間に対応し、第１記憶手段に格納された第１出力時間が、前出し時間として設定されるため、簡素な構成で運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

すなわち、脇見状態であると検出される直前に略連続して閉眼状態であった場合に、検出された脇見時間に、取得された閉眼時間（＝脇見時間の直前の閉眼時間）に予め設定された第１係数を乗じた積を加算した和の脇見時間に対応する第１出力時間が、前出し時間として設定されるため、簡素な構成で運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができるのである。

上記第８の発明によれば、第１係数が０．５以上、且つ、１以下に設定されているため、脇見状態であると検出される直前に略連続して閉眼状態であった場合に、脇見時間の直前に存在する閉眼時間の影響を、前出し時間に適正に反映することができるので、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

上記第９の発明によれば、閉眼状態であると検出されている場合に、閉眼状態であると検出される直前に略連続して脇見状態であったか否かが判定され、脇見状態であったと判定された場合には、脇見状態ではなかったと判定された場合と比較して、長い前出し時間が設定されるため、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

上記第１０の発明によれば、閉眼状態であるとの判定が開始されたタイミングから、予め設定された第２判定時間だけ前のタイミングで、脇見状態であると検出されていたか否かに基づいて、閉眼状態であると判定される直前に略連続して脇見状態であったか否かが判定されるため、閉眼状態であると判定される直前に略連続して脇見状態であったか否かの判定を簡素な構成で適正に行うことができる。

上記第１１の発明によれば、第２判定時間が、閉眼状態であるか否かを判定するのに要する時間に基づいて設定されているため、閉眼状態であると判定される直前に略連続して脇見状態であったか否かの判定を更に簡素な構成で適正に行うことができる。

すなわち、例えば、閉眼状態であるか否かを、運転者の瞼の開度が予め設定された閾値（例えば、３ｍｍ）以下である（以下、この状態を「瞼閉状態」という）か否かに基づいて判定する場合には、運転者の瞬き等の動作と区別するために、瞼閉状態が予め設定された第２継続時間閾値（例えば、１秒）以上継続した場合に閉眼状態であると判定するが、この場合には、第２判定時間を略第２継続時間閾値（＝第２継続時間閾値＋γ（＝瞼の開度を識別する画像処理に要する時間）＋δ（余裕時間））に設定することによって、閉眼状態であると判定される直前に略連続して脇見状態であったか否かの判定を更に簡素な構成で適正に行うことができるのである。

上記第１２の発明によれば、閉眼状態が継続している時間である閉眼時間に対応付けて、警報が出力されるタイミングを、基準タイミングを基準として前出しする時間である第２出力時間が予め第２記憶手段に格納されており、脇見状態ではなかったと判定された場合には、第２記憶手段に格納され、検出された閉眼時間に対応する第２出力時間が、前出し時間として設定され、脇見状態であったと判定された場合には、第２記憶手段に格納され、検出された閉眼時間に対応する第２出力時間よりも長い時間が、前出し時間として設定されるため、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

すなわち、閉眼状態であると検出される直前に略連続して脇見状態ではなかった場合には、第２記憶手段に格納され、検出された閉眼時間に対応する第２出力時間が、前出し時間として設定されるため、第２記憶手段に適正な第２出力時間を格納しておくことによって、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができるのである。

上記第１３の発明によれば、脇見状態であったと判定された場合には、この脇見状態に対応する脇見時間が取得され、取得された脇見時間に基づいて前出し時間が設定されるため、閉眼状態であると検出される直前に略連続して脇見状態であった場合に、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

上記第１４の発明によれば、脇見状態であったと判定された場合には、取得された脇見時間に予め設定された第２係数を乗じた積に、検出された閉眼時間を加算した和の閉眼時間に対応し、第２記憶手段に格納された第２出力時間が、前出し時間として設定されるため、簡素な構成で運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

すなわち、閉眼状態であると検出される直前に略連続して脇見状態であった場合に、検出された閉眼時間に、取得された脇見時間（＝閉眼時間の直前の脇見時間）に予め設定された第２係数を乗じた積を加算した和の閉眼時間に対応する第２出力時間が、前出し時間として設定されるため、簡素な構成で運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができるのである。

上記第１５の発明によれば、第２係数が０．５以上、且つ、１以下に設定されているため、閉眼状態であると検出される直前に略連続して脇見状態であった場合に、閉眼時間の直前に存在する脇見時間の影響を、前出し時間に適正に反映することができるので、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

以下、図面を参照して本発明に係る警報制御装置の実施形態について説明する。図１は、本発明に係る警報制御装置の構成の一例を示すブロック図である。図１に示すように、本発明に係る警報制御ＥＣＵ（Electronic Control Unit）１２（＝警報制御装置の一部に相当する）は、画像処理ＥＣＵ１１、及び、周辺機器としての入力機器２、出力機器３と通信可能に接続されている。

ここで、図１を参照して、警報制御ＥＣＵ１２の周辺機器について説明する。まず、入力機器２について説明する。入力機器２は、カメラ２１及びレーダセンサ２２を備えている。カメラ２１（脇見検出手段の一部、閉眼検出手段の一部に相当する）は、運転席のメーターフード内、メーターパネル内、及びステアリングコラム上等に配設されたＣＣＤ（Charge Coupled Device）カメラ等からなり、運転者の顔の画像を撮影するものである。また、カメラ２１は、生成された運転者の顔の画像情報を、画像処理ＥＣＵ１１へ出力する。

画像処理ＥＣＵ１１（脇見検出手段の一部、閉眼検出手段の一部に相当する）は、カメラ２１から送信された運転者の顔の画像情報に対して画像処理を施し、運転者の顔向きが正面に対してどの程度左右方向に向いているかを示す顔向き角度情報、顔向き角度が検出されているか否かを示す角度検出可否情報、運転者の瞼の開度を示す瞼開度情報、及び、瞼開度が検出されているか否かを示す開度検出可否情報を生成すると共に、生成された顔向き角度情報、角度検出可否情報、瞼開度情報及び開度検出可否情報を警報制御ＥＣＵ１２（ここでは、図２に示す脇見検出部１２１及び閉眼検出部１２２）へ出力するＥＣＵである。

レーダセンサ２２（警報出力手段の一部に相当する）は、例えば、ミリ波レーダ等を介して、先行車両との車間距離を検出するセンサであって、警報制御ＥＣＵ１２（ここでは、図２に示す警報出力部１２７）に対して、車間距離を示す信号、又は、先行車両が検出されていない旨の信号を出力する。

次に、図１を参照して、出力機器３について説明する。出力機器３は、スピーカ３１、及び、モニタ３２を備えている。スピーカ３１は、警報制御ＥＣＵ１２（ここでは、図２に示す警報出力部１２７）からの指示に従って、運転者に対して警報に対応する音声を出力するものである。モニタ３２は、メーターパネル下方等に配設されたＬＣＤ（Liquid Crystal Display）等からなり、警報制御ＥＣＵ１２（ここでは、図２に示す警報出力部１２７）からの指示に従って、運転者に対して警報に対応する画像又は文字を表示するものである。

次に、図２を用いて、画像処理ＥＣＵ１１及び警報制御ＥＣＵ１２の機能構成について説明する。図２は、画像処理ＥＣＵ１１及び警報制御ＥＣＵ１２の機能構成の一例を示すブロック図である。画像処理ＥＣＵ１１は、機能的に、顔向き検出部１１１、及び、瞼開度検出部１１２を備え、警報制御ＥＣＵ１２は、機能的に、脇見検出部１２１、閉眼検出部１２２、第１継続判定部１２３、第２継続判定部１２４、時間設定部１２５、タイミング変更部１２６、警報出力部１２７、第１記憶部１２８、及び、第２記憶部１２９を備えている。

なお、画像処理ＥＣＵ１１は、画像処理ＥＣＵ１１の適所に配設されたマイクロコンピュータに、画像処理ＥＣＵ１１の適所に配設されたＲＯＭ（Read Only Memory）等に予め格納された制御プログラムを実行させることにより、当該マイクロコンピュータを、顔向き検出部１１１、瞼開度検出部１１２等の機能部として機能させる。また、警報制御ＥＣＵ１２は、警報制御ＥＣＵ１２の適所に配設されたマイクロコンピュータに、警報制御ＥＣＵ１２の適所に配設されたＲＯＭ（Read Only Memory）等に予め格納された制御プログラムを実行させることにより、当該マイクロコンピュータを、脇見検出部１２１、閉眼検出部１２２、第１継続判定部１２３、第２継続判定部１２４、時間設定部１２５、タイミング変更部１２６、警報出力部１２７、第１記憶部１２８、第２記憶部１２９等の機能部として機能させる。

顔向き検出部１１１（脇見検出手段の一部に相当する）は、カメラ２１から送信された運転者の顔の画像情報に対して画像処理を施し、運転者の顔向きが正面に対してどの程度左右方向に向いているかを示す顔向き角度情報、及び、顔向き角度が検出されているか否かを示す角度検出可否情報を生成すると共に、生成された顔向き角度情報及び角度検出可否情報を脇見検出部１２１へ出力する機能部である。

瞼開度検出部１１２（閉眼検出手段の一部に相当する）は、カメラ２１から送信された運転者の顔の画像情報に対して画像処理を施し、運転者の瞼の開度（＝上下の瞼の間隔）を示す瞼開度情報、及び、瞼開度が検出されているか否かを示す開度検出可否情報を生成すると共に、生成された瞼開度情報及び開度検出可否情報を閉眼検出部１２２へ出力する機能部である。

脇見検出部１２１（脇見検出手段の一部に相当する）は、顔向き検出部１１１から入力された顔向き角度情報及び角度検出可否情報に基づいて、運転者が脇見状態であるか否かを検出し、脇見状態が継続している時間である脇見時間を計時する機能部である。具体的には、脇見検出部１２１は、顔向き検出部１１１から入力された顔向き角度θが閾値角度θ１（例えば、１５度）以上である非正面状態（図３参照）が、予め設定された第１継続時間閾値（例えば、２秒）以上継続した場合に脇見状態であると判定する。

このように、脇見検出部１２１によって、非正面状態が第１継続時間閾値ＴＳＨ１（例えば、２秒）以上継続した場合に脇見状態であると判定されるため、運転者の正常な短時間の確認動作（例えば、標識確認、左折時の左側後方確認等）が脇見状態であると誤って判定されることを防止することができる。

閉眼検出部１２２（閉眼検出手段の一部に相当する）は、瞼開度検出部１１２から入力された瞼開度情報及び開度検出可否情報に基づいて、運転者が閉眼状態であるか否かを検出し、閉眼状態が継続している時間である閉眼時間を計時する機能部である。具体的には、閉眼検出部１２２は、瞼開度検出部１１２から入力された瞼開度が予め設定された閾値（例えば、３ｍｍ）以下である瞼閉状態が、予め設定された第２継続時間閾値（例えば、１秒）以上継続した場合に閉眼状態であると判定する。なお、ここでは、便宜上、脇見検出部１２１によって脇見状態にあると判定される場合（＝顔向き角度θが閾値角度θ１（例えば、１５度）以上である非正面状態である場合）には、閉眼検出部１２２は、閉眼状態であるか否かの検出が不可能であるものとする。

このように、閉眼検出部１２２によって、瞼閉状態が第２継続時間閾値（例えば、１秒）以上継続した場合に閉眼状態であると判定されるため、運転者の瞬き等の動作が閉眼状態であると誤って判定されることを防止することができる。

第１継続判定部１２３（第１継続判定手段に相当する）は、脇見検出部１２１によって脇見状態であると検出されている場合に、脇見状態であると検出される直前に略連続して閉眼状態であったか否かを判定する機能部である。具体的には、第１継続判定部１２３は、脇見検出部１２１によって脇見状態であるとの判定が開始されたタイミングＴＭ１から、予め設定された第１判定時間ΔＴ１だけ前のタイミングＴＭ２で、閉眼検出部１２２によって閉眼状態であると検出されていたか否かに基づいて、脇見状態であると判定される直前に略連続して閉眼状態であったか否かを判定する（図３参照）。

第２継続判定部１２４（第２継続判定手段に相当する）は、閉眼検出部１２２によって閉眼状態であると検出されている場合に、閉眼状態であると検出される直前に略連続して脇見状態であったか否かを判定する機能部である。具体的には、第２継続判定部１２４は、閉眼検出部１２２によって閉眼状態であるとの判定が開始されたタイミングＴＭ３から、予め設定された第２判定時間ΔＴ２だけ前のタイミングＴＭ４で、脇見検出部１２１によって脇見状態であると検出されていたか否かに基づいて、閉眼状態であると判定される直前に略連続して脇見状態であったか否かを判定する（図３参照）。

図３は、第１継続判定部１２３及び第２継続判定部１２４の処理の一例を示す説明図である。図３（ａ）は、第１継続判定部１２３及び第２継続判定部１２４において判定される運転者の動作の一例を示す概念図である。図３（ｂ）は、第１継続判定部１２３及び第２継続判定部１２４が、それぞれ、脇見状態であると判定される直前に略連続して閉眼状態であったか否か、及び、閉眼状態であると判定される直前に略連続して脇見状態であったか否か、を判定するタイミングの一例を示すタイミングチャートである。

図３（ａ）に示すように、顔向き角度θが閾値角度θ１（ここでは、１５度）未満である正面状態から顔向き角度θが閾値角度θ１以上である非正面状態に移行する動作Ｍ１を運転者が行う。その後、脇見検出部１２１によって脇見状態であると検出された場合に、図３（ｂ）に示すように、第１継続判定部１２３は、脇見状態であるとの判定が開始されたタイミングＴＭ１から、予め設定された第１判定時間ΔＴ１だけ前のタイミングＴＭ２で、閉眼検出部１２２によって閉眼状態であると検出されていたか否かに基づいて、脇見状態であると判定される直前に略連続して閉眼状態であったと判定する。

このようにして、脇見状態であるとの判定が開始されたタイミングＴＭ１から、予め設定された第１判定時間ΔＴ１だけ前のタイミングＴＭ２で、閉眼状態であると検出されていたか否かに基づいて、脇見状態であると判定される直前に略連続して閉眼状態であったか否かが判定されるため、脇見状態であると判定される直前に略連続して閉眼状態であったか否かの判定を簡素な構成で適正に行うことができる。

ここで、第１判定時間ΔＴ１は、脇見検出部１２１が脇見状態であるか否かを判定するのに要する時間（≒第１継続時間閾値ＴＳＨ１）に基づいて設定されている。具体的には、例えば、第１判定時間ΔＴ１は、次の（１）式によって設定されている。
第１判定時間ΔＴ１＝第１継続時間閾値ＴＳＨ１＋α１＋β１ （１）
ここで、α１＝顔向きを識別する画像処理に要する時間（例えば、０．１秒）、β１＝余裕時間（例えば、０．２秒）である。

このように、第１判定時間ΔＴ１が、脇見検出部１２１が脇見状態であるか否かを判定するのに要する時間（≒第１継続時間閾値ＴＳＨ１）に基づいて設定されているため、脇見状態であると判定される直前に略連続して閉眼状態であったか否かの判定を更に簡素な構成で適正に行うことができる。すなわち、脇見検出部１２１によって、非正面状態が第１継続時間閾値ＴＳＨ１（例えば、２秒）以上継続した場合に脇見状態であると検出されるため、現実には閉眼状態と脇見状態とが連続して発生している場合であっても、閉眼状態と脇見状態とは、略第１継続時間閾値ＴＳＨ１だけ離間して検出されるのである。

また、図３（ａ）に示すように、顔向き角度θが閾値角度θ１（ここでは、１５度）以上である非正面状態から顔向き角度θが閾値角度θ１未満である正面状態に移行する動作Ｍ２を運転者が行う。その後、閉眼検出部１２２によって閉眼状態であると検出された場合に、図３（ｂ）に示すように、第２継続判定部１２４は、閉眼状態であるとの判定が開始されたタイミングＴＭ３から、予め設定された第２判定時間ΔＴ２だけ前のタイミングＴＭ４で、脇見検出部１２１によって脇見状態であると検出されていたか否かに基づいて、閉眼状態であると判定される直前に略連続して脇見状態であったと判定する。

このようにして、閉眼状態であるとの判定が開始されたタイミングＴＭ３から、予め設定された第２判定時間ΔＴ２だけ前のタイミングＴＭ４で、脇見状態であると検出されていたか否かに基づいて、閉眼状態であると判定される直前に略連続して脇見状態であったか否かが判定されるため、閉眼状態であると判定される直前に略連続して脇見状態であったか否かの判定を簡素な構成で適正に行うことができる。

ここで、第２判定時間ΔＴ２は、閉眼検出部１２２が閉眼状態であるか否かを判定するのに要する時間（≒第２継続時間閾値ＴＳＨ２）に基づいて設定されている。具体的には、例えば、第２判定時間ΔＴ２は、次の（２）式によって設定されている。
第２判定時間ΔＴ２＝第２継続時間閾値ＴＳＨ２＋α２＋β２ （２）
ここで、α２＝瞼開度を検出する画像処理に要する時間（例えば、０．１秒）、β２＝余裕時間（例えば、０．２秒）である。

このように、第２判定時間ΔＴ２が、閉眼検出部１２２が閉眼状態であるか否かを判定するのに要する時間（≒第２継続時間閾値ＴＳＨ２）に基づいて設定されているため、閉眼状態であると判定される直前に略連続して脇見状態であったか否かの判定を更に簡素な構成で適正に行うことができる。すなわち、閉眼検出部１２２によって、閉眼状態が第２継続時間閾値ＴＳＨ２（例えば、１秒）以上継続した場合に閉眼状態であると検出されるため、現実には脇見状態と閉眼状態とが連続して発生している場合であっても、脇見状態と閉眼状態とは、略第２継続時間閾値ＴＳＨ２だけ離間して検出されるのである。

再び、図２に戻って、警報制御ＥＣＵ１２の機能構成について説明する。第１記憶部１２８（第１記憶手段に相当する）は、脇見状態が継続している時間である脇見時間ＴＡに対応付けて、警報が出力されるタイミングを、基準タイミングＴ０を基準として前出しする時間である第１出力時間ＴＸを予め格納する機能部である。また、第１記憶部１２８に格納された第１出力時間ＴＸは、時間設定部１２５によって読み出される。

図５（ａ）は、第１記憶部１２８に格納される脇見時間ＴＡと第１出力時間（前出し時間）ＴＸとの関係の一例を示すグラフである。図に示すように、横軸に脇見時間ＴＡ、縦軸に第１出力時間（前出し時間）ＴＸをとった場合に、脇見時間ＴＡが予め設定された時間ＴＡ１から時間ＴＡ２の間において、グラフが下に凸の曲線であって、単調増加関数となるように第１出力時間（前出し時間）ＴＸが設定されている。

再び、図２に戻って、警報制御ＥＣＵ１２の機能構成について説明する。第２記憶部１２９（第２記憶手段に相当する）は、閉眼状態が継続している時間である閉眼時間ＴＢに対応付けて、警報が出力されるタイミングを、基準タイミングＴ０を基準として前出しする時間である第２出力時間ＴＹを予め格納する機能部である。また、第２記憶部１２９に格納された第２出力時間ＴＹは、時間設定部１２５によって読み出される。

図５（ｂ）は、第２記憶部１２９に格納される閉眼時間ＴＢと第２出力時間（前出し時間）ＴＹとの関係の一例を示すグラフである。図に示すように、横軸に閉眼時間ＴＢ、縦軸に第２出力時間（前出し時間）ＴＹをとった場合に、閉眼時間ＴＡが予め設定された時間ＴＢ１から時間ＴＢ２の間において、グラフが単調増加関数（ここでは、時間ＴＢ１側で下に凸な関数から、時間ＴＢ２側で上に凸な関数）となるように第２出力時間（前出し時間）ＴＹが設定されている。

再び、図２に戻って、警報制御ＥＣＵ１２の機能構成について説明する。時間設定部１２５（時間設定手段に相当する）は、脇見時間及び閉眼時間に基づいて、警報出力部１２７に対して警報を出力するタイミングを規定する前出し時間を設定する機能部である。図４は、時間設定部１２５により前出し時間が設定される方法を場合分けして説明する説明図である。図４（ａ）は、場合分けの一例を示すタイミングチャートである。図４（ａ）に示すように、ケース１は、脇見検出部１２１によって、脇見時間Ｔ２だけ脇見状態であると検出され、脇見時間Ｔ２の前には、略連続した閉眼状態はない場合を示している。ケース２は、脇見検出部１２１によって、脇見時間Ｔ２だけ脇見状態であると検出され、脇見時間Ｔ２の前に、略連続した閉眼時間Ｔ１が存在する場合を示している。第１継続判定部１２３は、ケース１であるかケース２であるかを判別する機能部である。

また、図４（ａ）に示すように、ケース３は、閉眼検出部１２２によって、閉眼時間Ｔ４だけ閉眼状態であると検出され、閉眼時間Ｔ４の前には、略連続した脇見状態はない場合を示している。ケース３は、閉眼検出部１２２によって、閉眼時間Ｔ４だけ閉眼状態であると検出され、閉眼時間Ｔ４の前に、略連続した脇見時間Ｔ３が存在する場合を示している。第２継続判定部１２４は、ケース３であるかケース４であるかを判別する機能部である。

また、時間設定部１２５は、ケース２の場合（＝第１継続判定部１２３によって閉眼状態であったと判定された場合）には、ケース１の場合（＝第１継続判定部１２３によって閉眼状態ではなかったと判定された場合）と比較して、長い前出し時間を設定する。更に、時間設定部１２５は、ケース４の場合（＝第２継続判定部１２４によって脇見状態であったと判定された場合）には、ケース３の場合（＝第２継続判定部１２４によって脇見状態ではなかったと判定された場合）と比較して、長い前出し時間を設定する。

図４（ｂ）は、図４（ａ）に示すケース１〜ケース４の場合に、それぞれ、前出し時間を決定するために、時間設定部１２５によって設定される評価時間（ここでは、脇見時間ＴＡ及び閉眼時間ＴＢを総称して「評価時間」という）を説明する図表である。時間設定部１２５は、図４（ｂ）に示す評価時間に対応する第１出力時間ＴＸ（又は第２出力時間ＴＹ）を前出し時間として設定する（図５参照）。

以下、図４（ｂ）及び図５を参照して、時間設定部１２５が前出し時間を設定する方法について具体的に説明する。ケース１の場合には、時間設定部１２５は、評価時間（ここでは、脇見時間ＴＡ）として、脇見時間Ｔ２を設定し（図４（ｂ）参照）、第１記憶部１２８に格納され、脇見時間Ｔ２に対応する第１出力時間ＴＸ１を、前出し時間として設定する（図５（ａ）参照）。ケース２の場合には、時間設定部１２５は、評価時間（ここでは、脇見時間ＴＡ）として、閉眼時間Ｔ１に予め設定された第１係数αを乗じた積に脇見時間Ｔ２を加算した和（＝Ｔ２＋Ｔ１×α）を設定し（図４（ｂ）参照）、第１記憶部１２８に格納され、脇見時間ＴＡ（＝Ｔ２＋Ｔ１×α）に対応する第１出力時間ＴＸ２を、前出し時間として設定する（図５（ａ）参照）。ここで、第１係数αは、０．５以上、且つ、１以下（ここでは、α＝０．８）に設定されている。

ケース３の場合には、時間設定部１２５は、評価時間（ここでは、閉眼時間ＴＢ）として、閉眼時間Ｔ４を設定し（図４（ｂ）参照）、第２記憶部１２９に格納され、閉眼時間ＴＢ（＝Ｔ４）に対応する第２出力時間ＴＹ１を、前出し時間として設定する（図５（ｂ）参照）。ケース４の場合には、時間設定部１２５は、評価時間（ここでは、閉眼時間ＴＢ）として、脇見時間Ｔ３に予め設定された第２係数βを乗じた積に閉眼時間Ｔ４を加算した和（＝Ｔ４＋Ｔ３×β）を設定し（図４（ｂ）参照）、第２記憶部１２９に格納され、閉眼時間ＴＢ（＝Ｔ４＋Ｔ３×β）に対応する第２出力時間ＴＹ２を、前出し時間として設定する（図５（ｂ）参照）。ここで、第２係数βは、０．５以上、且つ、１以下（ここでは、β＝０．８）に設定されている。

再び、図２に戻って、タイミング変更部１２６（タイミング変更手段に相当する）は、警報出力部１２７に対して、基準タイミングＴ０を基準として時間設定部１２５によって設定された前出し時間だけ前のタイミングで警報を出力させる機能部である。

警報出力部１２７（警報出力手段に相当する）は、車両の衝突の可能性が予め設定された閾値以上であるか否かを判定し、閾値以上であると判定された場合に、予め設定された基準タイミングＴ０で、図１に示すスピーカ３１及びモニタ３２に対して、警報を出力させる機能部である。ただし、警報出力部１２７は、タイミング変更部１２６からタイミングを変更する旨の指示を受けた場合には、指示に従って、基準タイミングＴ０を基準として前出し時間だけ前のタイミングで警報を出力させる。

図６は、図２に示す警報制御ＥＣＵ１２の動作の一例を示すフローチャートである。まず、時間設定部１２５等によって前出し時間を設定する処理である時間設定処理が行われる（Ｓ１）。そして、警報出力部１２７等によって警報を出力する処理である警報出力処理が行われる（Ｓ２）。ステップＳ２の処理が終了されると、処理がステップＳ１に戻され、ステップＳ１以降の処理が繰り返し実行される。

図７、図８は、図６に示すフローチャートのステップＳ１において実行される時間設定処理の一例を示す詳細フローチャートである。なお、ここでは、便宜上、第１記憶部１２８に脇見時間ＴＡに対応付けて第１出力時間ＴＸが予め格納され、第２記憶部１２９に閉眼時間ＴＢに対応付けて第２出力時間ＴＹが予め格納されている場合について説明する。まず、脇見検出部１２１によって、運転者が脇見状態であるか否かの判定が行われる（Ｓ１０１）。脇見状態であると判定された場合（Ｓ１０１でＹｅｓ）には、図８に示すステップＳ１２１に処理が進められる。

脇見状態ではないと判定された場合（Ｓ１０１でＮｏ）には、閉眼検出部１２２によって、運転者が閉眼状態であるか否かの判定が行われる（Ｓ１０３）。閉眼状態ではないと判定された場合（Ｓ１０３でＮｏ）には、前出し時間がクリアされ（＝前出し時間が設定されていない状態にされ）（Ｓ１１９）、処理が図６に示すステップＳ２にリターンされる。閉眼状態であると判定された場合（Ｓ１０３でＹｅｓ）には、閉眼検出部１２２によって、閉眼時間Ｔ４がカウントされる（Ｓ１０５）。そして、第２継続判定部１２４によって、閉眼状態であると検出される直前に略連続して脇見状態であったか否かが判定される（Ｓ１０７）。略連続して脇見状態ではなかったと判定された場合（Ｓ１０７でＮｏ）には、評価時間（ここでは、閉眼時間ＴＢ）として、ステップＳ１０５においてカウントされた閉眼時間Ｔ４がセットされ（Ｓ１１３）、処理がステップＳ１１５に進められる。

略連続して脇見状態であったと判定された場合（Ｓ１０７でＹｅｓ）には、時間設定部１２５によって、脇見検出部１２１を介して脇見時間Ｔ３が取得される（Ｓ１０９）。そして、時間設定部１２５によって、評価時間（ここでは、閉眼時間ＴＢ）として、ステップＳ１０９において取得された脇見時間Ｔ３に予め設定された第２係数β（例えば、０．８）を乗じた積に、ステップＳ１０５においてカウントされた閉眼時間Ｔ４が加算された和（＝Ｔ４＋β×Ｔ３）がセットされる（Ｓ１１１）。ステップＳ１１１又はステップＳ１１３の処理が終了した場合には、時間設定部１２５によって、ステップＳ１１１（又はステップＳ１１３）において設定された評価時間（ここでは、閉眼時間ＴＢ）に対応する第２出力時間ＴＹ２（又は、第２出力時間ＴＹ１）が第２記憶部１２９から読み出される（Ｓ１１５）。そして、時間設定部１２５によって、ステップＳ１１５において読み出された第２出力時間ＴＹ２（又は、第２出力時間ＴＹ１）が前出し時間として設定され（Ｓ１１７）、処理が図６に示すステップＳ２にリターンされる。

ステップＳ１０１でＹｅｓの場合には、図８に示すように、脇見検出部１２１によって、脇見時間Ｔ２がカウントされる（Ｓ１２１）。そして、第１継続判定部１２３によって、脇見状態であると検出される直前に略連続して閉眼状態であったか否かが判定される（Ｓ１２３）。略連続して閉眼状態ではなかったと判定された場合（Ｓ１２３でＮｏ）には、評価時間（ここでは、脇見時間ＴＡ）として、ステップＳ１２１においてカウントされた脇見時間Ｔ２がセットされ（Ｓ１２９）、処理がステップＳ１３１に進められる。

略連続して閉眼状態であったと判定された場合（Ｓ１２３でＹｅｓ）には、時間設定部１２５によって、閉眼検出部１２２を介して閉眼時間Ｔ１が取得される（Ｓ１２５）。そして、時間設定部１２５によって、評価時間（ここでは、脇見時間ＴＡ）として、ステップＳ１２５において取得された閉眼時間Ｔ１に予め設定された第１係数α（例えば、０．８）を乗じた積に、ステップＳ１２１においてカウントされた脇見時間Ｔ２が加算された和（＝Ｔ２＋α×Ｔ１）がセットされる（Ｓ１２７）。ステップＳ１２７又はステップＳ１２９の処理が終了した場合には、時間設定部１２５によって、ステップＳ１２７（又はステップＳ１２９）において設定された評価時間（ここでは、閉眼時間ＴＢ）に対応する第１出力時間ＴＸ２（又は、第１出力時間ＴＸ１）が第１記憶部１２８から読み出される（Ｓ１３１）。そして、時間設定部１２５によって、ステップＳ１３１において読み出された第１出力時間ＴＸ２（又は、第１出力時間ＴＸ１）が前出し時間として設定され（Ｓ１３３）、処理が図６に示すステップＳ２にリターンされる。

図９は、図６に示すフローチャートのステップＳ２において実行される警報出力処理の一例を示す詳細フローチャートである。まず、警報出力部１２７によって、車両の衝突の可能性の有無が判定される（Ｓ２０１）。衝突の可能性が無いと判定された場合（Ｓ２０１でＮｏ）には、処理が図６に示すステップＳ１にリターンされる。衝突の可能性が有ると判定された場合（Ｓ２０１でＹｅｓ）には、警報出力部１２７によって、衝突の可能性が予め設定された閾値以上であるか否かの判定が行われる（Ｓ２０３）。閾値未満であると判定された場合（Ｓ２０３でＮｏ）には、処理が図６に示すステップＳ１にリターンされる。閾値以上であると判定された場合（Ｓ２０３でＹｅｓ）には、警報出力部１２７によって、基準タイミングＴ０が設定される（Ｓ２０５）。

そして、タイミング変更部１２６によって、時間設定部１２５により前出し時間が設定されているか否かの判定が行われる（Ｓ２０７）。前出し時間が設定されていないと判定された場合（Ｓ２０７でＮｏ）には、処理がステップＳ２１５に進められる。前出し時間が設定されていると判定された場合（Ｓ２０７でＹｅｓ）には、タイミング変更部１２６によって、時間設定部１２５により設定された前出し時間ＴＸ（又は、前出し時間ＴＹ）が取得される（Ｓ２０９）。そして、タイミング変更部１２６によって、警報を出力させるタイミングが、ステップＳ２０５において設定された基準タイミングＴ０から、ステップＳ２０９において取得された前出し時間ＴＸ（又は、前出し時間ＴＹ）だけ前のタイミングＴＰに変更される（Ｓ２１１）。

次に、警報出力部１２７によって、タイミングＴＰに到達したか否かの判定が行われる（Ｓ２１３）。タイミングＴＰに到達したと判定された場合（Ｓ２１３でＹｅｓ）には、処理がステップＳ２１７に進められる。タイミングＴＰに到達していないと判定された場合（Ｓ２１３でＮｏ）には、処理が図６に示すステップＳ１にリターンされる。ステップＳ２０７でＮｏの場合には、警報出力部１２７によって、ステップＳ２０５において設定されたタイミングＴ０に到達したか否かの判定が行われる（Ｓ２１５）。タイミングＴ０に到達したと判定された場合（Ｓ２１５でＹｅｓ）には、処理がステップＳ２１７に進められる。タイミングＴ０に到達していないと判定された場合（Ｓ２１５でＮｏ）には、処理が図６に示すステップＳ１にリターンされる。ステップＳ２１３でＹｅｓ、又は、ステップＳ２１５でＹｅｓの場合には、警報出力部１２７によって、スピーカ３１及びモニタ３２を介して、警報が出力され（Ｓ２１７）、処理が図６に示すステップＳ１にリターンされる。

このようにして、脇見時間及び閉眼時間に基づいて、警報出力部１２７に対して警報を出力するタイミングを規定する前出し時間が設定され、警報出力部１２７を介して、基準タイミングＴ０を基準として、設定された前出し時間だけ前のタイミングＴＰで警報が出力されるため、運転者の前方不注意状態に応じて適正に警報の前出しを行うことができる。

すなわち、警報出力部１２７を介して、基準タイミングＴ０を基準として、脇見時間及び閉眼時間に基づいて設定された前出し時間だけ前のタイミングＴＰで警報が出力される。従って、例えば、脇見状態から閉眼状態に移行した場合に、閉眼状態に先だって存在する脇見状態の継続時間（＝脇見時間）に応じて、適正な前出し時間を設定することができる。つまり、運転者の前方不注意状態に応じて適正に警報の前出しを行うことができるのである（図４のケース４、図５参照）。

また、脇見状態であると検出されている場合に、脇見状態であると検出される直前に略連続して閉眼状態であったか否かが判定され、閉眼状態であったと判定された場合には、閉眼状態ではなかったと判定された場合と比較して、長い前出し時間が設定されるため、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる（図４のケース１、ケース２、図５参照）。

更に、脇見状態が継続している時間である脇見時間ＴＡに対応付けて、警報が出力されるタイミングを、基準タイミングＴ０を基準として前出しする時間である第１出力時間ＴＸが予め第１記憶部１２８に格納されている。そして、閉眼状態ではなかったと判定された場合には、第１記憶部１２８に格納され、検出された脇見時間ＴＡに対応する第１出力時間ＴＸが、前出し時間として設定され、閉眼状態であったと判定された場合には、第１記憶部１２８に格納され、検出された脇見時間ＴＡに対応する第１出力時間ＴＸよりも長い時間が、前出し時間として設定される。従って、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

すなわち、脇見状態であると検出される直前に略連続して閉眼状態ではなかった場合には、第１記憶部１２８に格納され、検出された脇見時間ＴＡに対応する第１出力時間ＴＸが、前出し時間として設定されるため、第１記憶部１２８に適正な第１出力時間ＴＸを格納しておくことによって、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができるのである。

加えて、閉眼状態であったと判定された場合には、取得された閉眼時間Ｔ１に予め設定された第１係数αを乗じた積に、検出された脇見時間Ｔ２を加算した和（＝Ｔ２＋Ｔ１×α）の脇見時間ＴＡに対応し、第１記憶部１２８に格納された第１出力時間ＴＸ２が、前出し時間として設定されるため、簡素な構成で運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

すなわち、脇見状態であると検出される直前に略連続して閉眼状態であった場合に、検出された脇見時間Ｔ２に、取得された閉眼時間Ｔ１（＝脇見時間の直前の閉眼時間Ｔ１）に予め設定された第１係数αを乗じた積を加算した和（＝Ｔ２＋Ｔ１×α）の脇見時間ＴＡに対応する第１出力時間ＴＸ２が、前出し時間として設定されるため、簡素な構成で運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができるのである。

また、第１係数αが０．５以上、且つ、１以下に設定されているため、脇見状態であると検出される直前に略連続して閉眼状態であった場合に、脇見時間Ｔ２の直前に存在する閉眼時間Ｔ１の影響を、前出し時間に適正に反映することができるので、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

更に、閉眼状態であると検出されている場合に、閉眼状態であると検出される直前に略連続して脇見状態であったか否かが判定され、脇見状態であったと判定された場合には、脇見状態ではなかったと判定された場合と比較して、長い前出し時間が設定されるため、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる（図４のケース３、ケース４、図５参照）。

加えて、閉眼状態が継続している時間である閉眼時間Ｔ４に対応付けて、警報が出力されるタイミングを、基準タイミングＴ０を基準として前出しする時間である第２出力時間ＴＹが予め第２記憶部１２９に格納されている。そして、閉眼状態ではなかったと判定された場合には、第２記憶部１２９に格納され、検出された閉眼時間Ｔ４に対応する第２出力時間ＴＹ１が、前出し時間として設定され、脇見状態であったと判定された場合には、第２記憶部１２９に格納され、検出された閉眼時間Ｔ４に対応する第２出力時間ＴＹ１よりも長い時間が、前出し時間として設定される。したがって、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

すなわち、閉眼状態であると検出される直前に略連続して脇見状態ではなかった場合には、第２記憶部１２９に格納され、検出された脇見時間Ｔ４に対応する第２出力時間ＴＹ１が、前出し時間として設定されるため、第２記憶部１２９に適正な第２出力時間ＴＹを格納しておくことによって、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができるのである。

また、脇見状態であったと判定された場合には、取得された脇見時間Ｔ３に予め設定された第２係数βを乗じた積に、検出された閉眼時間Ｔ４を加算した和（＝Ｔ４＋Ｔ３×β）の閉眼時間ＴＢに対応し、第２記憶部１２９に格納された第２出力時間ＴＹ２が、前出し時間として設定されるため、簡素な構成で運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

すなわち、閉眼状態であると検出される直前に略連続して脇見状態であった場合に、検出された閉眼時間Ｔ４に、取得された脇見時間Ｔ３（＝閉眼時間の直前の脇見時間Ｔ３）に予め設定された第２係数βを乗じた積を加算した和（＝Ｔ４＋Ｔ３×β）の閉眼時間ＴＢに対応する第２出力時間ＴＹ２が、前出し時間として設定されるため、簡素な構成で運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができるのである。

更に、第２係数βが０．５以上、且つ、１以下に設定されているため、閉眼状態であると検出される直前に略連続して脇見状態であった場合に、閉眼時間Ｔ４の直前に存在する脇見時間Ｔ３の影響を、前出し時間に適正に反映することができるので、運転者の前方不注意状態に応じて更に適正に警報の前出しを行うことができる。

なお、本発明に係る警報制御ＥＣＵは、上記実施形態に係る警報制御ＥＣＵ１２に限定されず、下記の形態でも良い。
（Ａ）本実施形態においては、警報制御ＥＣＵ１２が、スピーカ３１及びモニタ３２に対して警報を出力させる場合について説明したが、警報制御ＥＣＵ１２が、スピーカ３１及びモニタ３２の一方に警報を出力させる形態でも良い。また、本実施形態においては、警報制御ＥＣＵ１２が、直接、スピーカ３１及びモニタ３２に対して警報を出力させる場合について説明したが、警報制御ＥＣＵ１２が、他のＥＣＵを介して、スピーカ３１及びモニタ３２に対して警報を出力させる形態でも良い。更に、警報制御ＥＣＵ１２が、スピーカ３１及びモニタ３２を介して運転者に警報を出力する場合について説明したが、警報制御ＥＣＵ１２が、その他の機器（例えば、運転者に振動を与えるバイブレータ等）を介して警報を出力する形態でも良い。

（Ｂ）本実施形態においては、警報制御ＥＣＵ１２が、機能的に、脇見検出部１２１、閉眼検出部１２２、第１継続判定部１２３、第２継続判定部１２４、時間設定部１２５、タイミング変更部１２６、警報出力部１２７、第１記憶部１２８、第２記憶部１２９等を備える場合について説明したが、脇見検出部１２１、閉眼検出部１２２、第１継続判定部１２３、第２継続判定部１２４、時間設定部１２５、タイミング変更部１２６、警報出力部１２７、第１記憶部１２８、及び、第２記憶部１２９の内、少なくとも１の機能部が、電気回路等のハードウェアによって構成されている形態でも良い。

（Ｃ）本実施形態においては、前方不注意状態が、脇見状態及び閉眼状態からなる場合について説明したが、前方不注意状態が、脇見状態及び閉眼状態に加えて他の不注意状態（例えば、脇見状態ではないが、前方の掲示板等を継続的に視認している状態、携帯電話で通話している状態等）含む形態でも良い。

（Ｄ）本実施形態においては、脇見検出部１２１によって脇見状態にあると判定される場合（＝顔向き角度θが閾値角度θ１（例えば、１５度）以上である非正面状態である場合）には、閉眼検出部１２２は、閉眼状態であるか否かの検出が不可能である場合について説明したが、閉眼検出部１２２が、常時、閉眼状態であるか否かの検出が可能である形態（すなわち、脇見状態と閉眼状態とを同時に検出可能な形態）でも良い。

この場合には、第１継続判定部１２３は、タイミングＴＭ２（図３（ｂ）参照）に換えて（又は、加えて）、タイミングＴＭ１（図３（ｂ）参照）で閉眼状態であるか否かに基づいて、脇見状態の直前に略連続して閉眼状態であったか否かを判定する形態でも良い。また、第２継続判定部１２４は、タイミングＴＭ４（図３（ｂ）参照）に換えて（又は、加えて）、タイミングＴＭ３（図３（ｂ）参照）で脇見状態であるか否かに基づいて、閉眼状態の直前に略連続して脇見状態であったか否かを判定する形態でも良い。

（Ｅ）本実施形態においては、第１継続判定部１２３が、タイミングＴＭ２（図３（ｂ）参照）で閉眼状態であるか否かに基づいて、脇見状態の直前に略連続して閉眼状態であったか否かを判定する場合について説明したが、第１継続判定部１２３が、タイミングＴＭ２に換えて（又は加えて）他のタイミング（例えば、タイミングＴＭ２の０．１秒前等）で閉眼状態であるか否かに基づいて、脇見状態の直前に略連続して閉眼状態であったか否かを判定する形態でも良い。複数のタイミングで、閉眼状態であるか否かを判定するほうが、より正確に脇見状態の直前に略連続して閉眼状態であったか否かを判定することができる。

（Ｆ）本実施形態においては、第２継続判定部１２４が、タイミングＴＭ４（図３（ｂ）参照）で脇見状態であるか否かに基づいて、閉眼状態の直前に略連続して脇見状態であったか否かを判定する場合について説明したが、第２継続判定部１２４が、タイミングＴＭ４に換えて（又は加えて）他のタイミング（例えば、タイミングＴＭ４の０．１秒前等）で脇見状態であるか否かに基づいて、閉眼状態の直前に略連続して脇見状態であったか否かを判定する形態でも良い。複数のタイミングで、脇見状態であるか否かを判定するほうが、より正確に閉眼状態の直前に略連続して脇見状態であったか否かを判定することができる。

（Ｇ）本実施形態においては、第１継続判定部１２３によって閉眼状態であったと判定されたときには（＝図４のケース２の場合）に、時間設定部１２５が、脇見時間ＴＡ（＝Ｔ２＋Ｔ１×α）に対応する第１出力時間ＴＸ２を、前出し時間として設定する場合について説明したが、時間設定部１２５が、前出し時間として脇見時間ＴＡ（＝Ｔ２）に対応する第１出力時間ＴＸ１より長い時間を設定する形態であれば良い。例えば、時間設定部１２５が、第１出力時間ＴＸ１に予め設定された時間（例えば、１秒）を加算した和を前出し時間として設定する形態でも良い。この場合には、処理が簡略化される。

（Ｈ）本実施形態においては、第２継続判定部１２４によって脇見状態であったと判定された場合（＝図４のケース４の場合）に、時間設定部１２５が、閉眼時間ＴＢ（＝Ｔ４＋Ｔ３×β）に対応する第２出力時間ＴＹ２を、前出し時間として設定する場合について説明したが、時間設定部１２５が、前出し時間として脇見時間ＴＢ（＝Ｔ４）に対応する第２出力時間ＴＹ１より長い時間を設定する形態であれば良い。例えば、時間設定部１２５が、第２出力時間ＴＹ１に予め設定された時間（例えば、１秒）を加算した和を前出し時間として設定する形態でも良い。この場合には、処理が簡略化される。

本発明は、例えば、車両に搭載され、該車両に衝突の可能性がある場合に警報の出力を制御する警報制御装置に適用することができる。

本発明に係る警報制御装置の構成の一例を示すブロック図 画像処理ＥＣＵ及び警報制御ＥＣＵの機能構成の一例を示すブロック図 第１継続判定部及び第２継続判定部の処理の一例を示す説明図 時間設定部により前出し時間が設定される方法を場合分けして説明する説明図 脇見時間ＴＡと第１出力時間ＴＸとの関係、及び、閉眼時間ＴＢと第２出力時間ＴＹとの関係の一例を示すグラフ 図２に示す警報制御ＥＣＵの動作の一例を示すフローチャート 図６に示すフローチャートのステップＳ１において実行される時間設定処理の一例を示す詳細フローチャート（前半部） 図６に示すフローチャートのステップＳ１において実行される時間設定処理の一例を示す詳細フローチャート（後半部） 図６に示すフローチャートのステップＳ２において実行される警報出力処理の一例を示す詳細フローチャート

符号の説明

１１ 画像処理ＥＣＵ（警報制御装置の一部）
１１１ 顔向き検出部（脇見検出手段の一部）
１１２ 瞼開度検出部（閉眼検出手段の一部）
１２ 警報制御ＥＣＵ（警報制御装置の一部）
１２１ 脇見検出部（脇見検出手段の一部）
１２２ 閉眼検出部（閉眼検出手段の一部）
１２３ 第１継続判定部（第１継続判定手段）
１２４ 第２継続判定部（第２継続判定手段）
１２５ 時間設定部（時間設定手段）
１２６ タイミング変更部（タイミング変更手段）
１２７ 警報出力部（警報出力手段）
１２８ 第１記憶部（第１記憶手段）
１２９ 第２記憶部（第２記憶手段）
２ 入力機器
２１ カメラ（脇見検出手段の一部、閉眼検出手段の一部）
２２ レーダセンサ（警報出力手段の一部）
３ 出力機器
３１ スピーカ
３２ モニタ

Claims (15)

1. 車両に搭載され、該車両に衝突の可能性がある場合に警報の出力を制御する警報制御装置であって、
   該車両の衝突の可能性が予め設定された閾値以上であるか否かを判定し、閾値以上であると判定された場合に、予め設定された基準タイミングで警報を出力させる警報出力手段と、
   運転者が脇見状態であるか否かを検出し、脇見状態が継続している時間である脇見時間を計時する脇見検出手段と、
   運転者が閉眼状態であるか否かを検出し、閉眼状態が継続している時間である閉眼時間を計時する閉眼検出手段と、
   前記脇見時間及び閉眼時間に基づいて、前記警報出力手段に対して警報を出力するタイミングを規定する前出し時間を設定する時間設定手段と、
   前記警報出力手段に対して、前記基準タイミングを基準として前記時間設定手段によって設定された前記前出し時間だけ前のタイミングで警報を出力させるタイミング変更手段と、を備える警報制御装置。
2. 前記脇見検出手段によって脇見状態であると検出されている場合に、脇見状態であると検出される直前に略連続して閉眼状態であったか否かを判定する第１継続判定手段を備え、
   前記時間設定手段は、前記第１継続判定手段によって閉眼状態であったと判定された場合には、前記第１継続判定手段によって閉眼状態ではなかったと判定された場合と比較して、長い前出し時間を設定する、請求項１に記載の警報制御装置。
3. 前記第１継続判定手段は、前記脇見検出手段によって脇見状態であるとの判定が開始されたタイミングから、予め設定された第１判定時間だけ前のタイミングで、前記閉眼検出手段によって閉眼状態であると検出されていたか否かに基づいて、脇見状態であると判定される直前に略連続して閉眼状態であったか否かを判定する、請求項２に記載の警報制御装置。
4. 前記第１判定時間は、前記脇見検出手段が脇見状態であるか否かを判定するのに要する時間に基づいて設定されている、請求項３に記載の警報制御装置。
5. 脇見状態が継続している時間である脇見時間に対応付けて、警報が出力されるタイミングを、前記基準タイミングを基準として前出しする時間である第１出力時間を予め格納する第１記憶手段を備え、
   前記時間設定手段は、
   前記第１継続判定手段によって閉眼状態ではなかったと判定された場合には、前記第１記憶手段に格納され、前記脇見検出手段によって検出された脇見時間に対応する第１出力時間を、前出し時間として設定し、
   前記第１継続判定手段によって閉眼状態であったと判定された場合には、前記第１記憶手段に格納され、前記脇見検出手段によって検出された脇見時間に対応する第１出力時間よりも長い時間を、前出し時間として設定する、請求項２に記載の警報制御装置。
6. 前記時間設定手段は、前記第１継続判定手段によって閉眼状態であったと判定された場合には、該閉眼状態に対応する閉眼時間を、前記閉眼検出手段を介して取得し、取得された閉眼時間に基づいて前出し時間を設定する、請求項５に記載の警報制御装置。
7. 前記時間設定手段は、前記第１継続判定手段によって閉眼状態であったと判定された場合には、前記閉眼検出手段を介して取得された閉眼時間に予め設定された第１係数を乗じた積に、前記脇見検出手段によって検出された脇見時間を加算した和の脇見時間に対応し、前記第１記憶手段に格納された第１出力時間を、前出し時間として設定する、請求項６に記載の警報制御装置。
8. 前記第１係数は、０．５以上、且つ、１以下に設定されている、請求項７に記載の警報制御装置。
9. 前記閉眼検出手段によって閉眼状態であると検出されている場合に、閉眼状態であると検出される直前に略連続して脇見状態であったか否かを判定する第２継続判定手段を備え、
   前記時間設定手段は、前記第２継続判定手段によって脇見状態であったと判定された場合には、前記第２継続判定手段によって脇見状態ではなかったと判定された場合と比較して、長い前出し時間を設定する、請求項１又は請求項２に記載の警報制御装置。
10. 前記第２継続判定手段は、前記閉眼検出手段によって閉眼状態であるとの判定が開始されたタイミングから、予め設定された第２判定時間だけ前のタイミングで、前記脇見検出手段によって脇見状態であると検出されていたか否かに基づいて、閉眼状態であると判定される直前に略連続して脇見状態であったか否かを判定する、請求項９に記載の警報制御装置。
11. 前記第２判定時間は、前記閉眼検出手段が閉眼状態であるか否かを判定するのに要する時間に基づいて設定されている、請求項１０に記載の警報制御装置。
12. 閉眼状態が継続している時間である閉眼時間に対応付けて、警報が出力されるタイミングを、前記基準タイミングを基準として前出しする時間である第２出力時間を予め格納する第２記憶手段を備え、
    前記時間設定手段は、
    前記第２継続判定手段によって脇見状態ではなかったと判定された場合には、前記第２記憶手段に格納され、前記閉眼検出手段によって検出された閉眼時間に対応する第２出力時間を、前出し時間として設定し、
    前記第２継続判定手段によって脇見状態であったと判定された場合には、前記第２記憶手段に格納され、前記閉眼検出手段によって検出された閉眼時間に対応する第２出力時間よりも長い時間を、前出し時間として設定する、請求項９に記載の警報制御装置。
13. 前記時間設定手段は、前記第２継続判定手段によって脇見状態であったと判定された場合には、該脇見状態に対応する脇見時間を、前記脇見検出手段を介して取得し、取得された脇見時間に基づいて前出し時間を設定する、請求項１２に記載の警報制御装置。
14. 前記時間設定手段は、前記第２継続判定手段によって閉眼状態であったと判定された場合には、前記脇見検出手段を介して取得された脇見時間に予め設定された第２係数を乗じた積に、前記閉眼検出手段によって検出された閉眼時間を加算した和の閉眼時間に対応し、前記第２記憶手段に格納された第２出力時間を、前出し時間として設定する、請求項１３に記載の警報制御装置。
15. 前記第２係数は、０．５以上、且つ、１以下に設定されている、請求項１４に記載の警報制御装置。

Images