JP7745831B2 - 運転者状態判定方法及びその装置 - Google Patents

Description

本発明は、車両を運転する運転者の異常状態を検出する運転者状態判定方法及びその装置に関する。

従来より、運転者の意識状態、特に運転者の覚醒状態を的確に把握し、この覚醒状態に応じて車両に対する運転操作を支援する運転者支援装置が知られている。
眠気レベルや覚醒不良状態を含めた運転者の異常状態は、通常、カメラ等の撮像手段によって取得された運転者の頭部姿勢や顔状態等の頭部関連情報を介して判定される。
頭部関連情報のうち頭部姿勢は、例えば、運転者の顔向きや頭部位置（三次元座標）等を介して検出され、顔状態は、例えば、運転者の表情や目の開度状態（瞼状態）等を介して検出されている。

特許文献１のドライバ監視装置は、運転者の撮像画像を取得する撮像画像取得手段と、この撮像画像取得手段による認識安定性を判定する認識安定性判定手段と、運転者に注意を喚起する注意喚起手段と、運転者に所定動作を要求する動作要求手段とを有し、認識安定性判定手段は、認識安定性が高く且つ開眼度が低いとき、注意喚起手段を作動させ、認識安定性が低いとき、運転者に対して画像処理によらずに動作を検出するための非画像動作を要求し、この非画像動作の有無によって運転者の覚醒度を判定している。

特開２０１５－０９５１６２号公報

特許文献１のドライバ監視装置は、運転者が撮像されている車内撮像環境や撮像画像取得手段の動作性能等の撮像条件が成立してない撮像条件不成立時、運転者による非画像動作に基づき運転者の異常状態（覚醒不良状態）を判定することが可能である。
しかし、特許文献１のドライバ監視装置では、撮像条件が成立した撮像条件成立時であるにも拘らず、運転者の異常状態を判定することができない虞がある。

特許文献１の技術は、運転者を撮像するに当たり撮像条件が成立している場合、運転者の開眼度に基づき運転者の異常状態を判定している。それ故、運転者の片目閉眼状態が撮像画像取得手段に撮像された場合、他方の目は開眼されているため、開眼判定される。
しかし、運転者が、脳疾患（脳梗塞や脳卒中等）に起因した眼瞼痙攣等の顔面神経麻痺を発症した場合、一方の目が開眼で他方の目が閉眼とされる状態が発生し得る。

他方、夏季の日中のように進行方向前方が高照度の場合や、運転者の目にごみ等が入った場合、運転者が覚醒良好状態であっても、片目のみが閉眼状態になる状況が発生する。
それ故、運転者の片目閉眼状態が撮像手段によって撮像されたうえで正確に検出されたとしても、この検知された片目閉眼状態の取得を運転者の疾患の徴候であると一義的に見做すことはできない。即ち、運転者の異常状態を高精度に判定することは容易ではない。

本発明の目的は、運転者の異常状態を高精度に判定可能な運転者状態判定方法及びその装置等を提供することである。

請求項１の運転者状態判定方法は、車両の運転者の異常状態を検出する運転者状態判定方法において、前記運転者の左右両目の開閉状態を検出する開閉眼判定工程と、所定タイミングにおける前記運転者による前記車両の操作機器に対する運転操作量の少なくとも１つを取得する運転操作量取得工程と、前記運転者が異常状態か否かを判定する運転者異常状態判定工程とを有し、前記運転者異常状態判定工程は、前記運転者の左右両目が閉眼状態であって前記運転者による運転不操作状態が第１所定時間継続した場合、前記運転者が異常状態であると判定し、前記運転者の片目が閉眼状態であって前記運転者に対して運転を阻害しない特定操作が要求されても第２所定時間内に前記特定操作が検出されない場合、前記運転者が異常状態であると判定することを特徴としている。

この運転者状態判定方法では、前記運転者の左右両目の開閉状態を検出する開閉眼判定工程と、所定タイミングにおける前記運転者による前記車両の操作機器に対する運転操作量の少なくとも１つを取得する運転操作量取得工程と、前記運転者が異常状態か否かを判定する運転者異常状態判定工程とを有するため、異常時の運転者の徴候（以下、異常時徴候）である閉眼と異常時の運転者の動作（以下、異常時動作）である運転不操作とを運転者の異常状態の判定条件にすることができる。
前記運転者異常状態判定工程は、前記運転者の左右両目が閉眼状態であって前記運転者による運転不操作状態が第１所定時間継続した場合、前記運転者が異常状態であると判定するため、異常時徴候と異常時動作の２つの異常判定条件によって運転者の異常状態を高精度に判定することができる。前記運転者異常状態判定工程は、前記運転者の片目が閉眼状態であって前記運転者に対して運転を阻害しない特定操作が要求されても第２所定時間内に前記特定操作が検出されない場合、前記運転者が異常状態であると判定するため、車両の運転に支障を与えることなく片目閉眼状態における運転者の異常状態を運転者の実際の操作に基づき確実に判定することができる。

請求項２の発明は、請求項１の発明において、前記運転者異常状態判定工程は、前記運転者の左右両目が閉眼状態である場合及び片目が閉眼状態である場合に報知することを特徴としている。
この構成によれば、左右両目が開眼状態ではない状況において、運転者の異常状態を一層確実に判定することができる。

請求項３の発明は、請求項１又は２の発明において、前記運転者の顔向きと頭部位置を取得する頭部姿勢取得工程を有し、前記運転者異常状態判定工程は、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転者の片目が閉眼状態であって、前記運転者による運転不操作状態が第１所定時間よりも短い第３所定時間継続した場合、前記運転者が異常状態であると判定することを特徴としている。
この構成によれば、異常姿勢をパラメータとして運転者の異常状態を確実且つ早期に判定することができる。

請求項４の運転者状態判定装置は、車両の運転者の異常状態を検出する運転者状態判定装置において、前記運転者の左右両目の開閉状態を検出する開閉眼判定手段と、所定タイミングにおける前記運転者による前記車両の操作機器に対する運転操作量の少なくとも１つを取得する運転操作量取得手段と、前記運転者が異常状態か否かを判定する運転者異常状態判定手段とを有し、前記運転者異常状態判定手段は、前記運転者の左右両目が閉眼状態であって前記運転者による運転不操作状態が第１所定時間継続した場合、前記運転者が異常状態であると判定し、前記運転者の片目が閉眼状態であって前記運転者に対して運転を阻害しない特定操作が要求されても第２所定時間内に前記特定操作が検出されない場合、前記運転者が異常状態であると判定することを特徴としている。

この運転者状態判定装置では、前記運転者の左右両目の開閉状態を検出する開閉眼判定手段と、所定タイミングにおける前記運転者による前記車両の操作機器に対する運転操作量の少なくとも１つを取得する運転操作量取得手段と、前記運転者が異常状態か否かを判定する運転者異常状態判定手段とを有するため、異常時徴候である閉眼と異常時動作である運転不操作とを運転者の異常状態の判定条件にすることができる。
前記運転者異常状態判定手段は、前記運転者の左右両目が閉眼状態であって前記運転者による運転不操作状態が第１所定時間継続した場合、前記運転者が異常状態であると判定するため、異常時徴候と異常時動作の２つの異常判定条件によって運転者の異常状態を高精度に判定することができる。前記運転者異常状態判定手段は、前記運転者の片目が閉眼状態であって前記運転者に対して運転を阻害しない特定操作が要求されても第２所定時間内に前記特定操作が検出されない場合、前記運転者が異常状態であると判定するため、車両の運転に支障を与えることなく片目閉眼状態における運転者の異常状態を確実に判定することができる。

本発明の運転者状態判定方法及びその装置によれば、片目閉眼状態における運転者の疾患徴候を判断することにより、運転者の異常状態を高精度に判定することができる。

実施例１に係る運転者状態判定装置のブロック図である。 監視支援装置に係る説明図である。 制動支援装置に係る説明図である。 停車支援装置に係る説明図である。 閉眼判定制御処理を示すフローチャートである。 頭部姿勢判定制御処理を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて詳細に説明する。
以下の説明は、本発明を車両の運転者状態判定装置に適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。

以下、本発明の実施例１について図１～図６に基づいて説明する。
運転者状態判定装置Ｍは、運転者の意識状態、特に運転者が運転する車両（以下、自車両ともいう）の運転操作が困難な異常状態を判定すると共に、運転者の異常状態が判定された場合、自律的に緊急停車可能な運転支援装置である。
以下、運転者の異常状態とは、運転者が意識的に覚醒しておらず且つ身体的に姿勢が崩れて運転操作が不可能な覚醒不良状態（疾患発症や居眠を含む）として説明する。
また、以下の説明は、運転者状態判定方法の説明を含むものである。

図１に示すように、運転者状態判定装置Ｍは、運転者の操作挙動及び車両の走行挙動等を検出可能な複数の検出手段１と、運転者に対して車両側から自律的に車両の運転支援を行う運転者支援装置２と、検出手段１から入力される入力信号に基づき各種演算を行うと共に運転者支援装置２に各種指令信号を出力するＥＣＵ（Electronic Control Unit）３等を主な構成要素としている。

まず、検出手段１について説明する。
図１に示すように、検出手段１は、運転者を撮像するカメラ１１と、車両の速度を検出する車速センサ１２と、ステアリングホイール（図示略）の操作による操舵角度を検出する舵角センサ１３と、運転者によるステアリングホイールの把持を検出する把持センサ１４と、アクセルペダル（図示略）の踏込量を検出するアクセルセンサ１５と、ブレーキペダル（図示略）の踏込量を検出するブレーキセンサ１６と、ハザードランプ（図示略）を作動させるハザードスイッチ１７等を備えている。各センサ１２～１６が、所定タイミング、所謂判定時直前である現時点の運転操作量を取得する運転操作量取得手段に相当している。

カメラ１１は、例えば、ＣＣＤ（Charge Coupled Device）カメラによって構成され、インスツルメントパネル（図示略）上部中央において運転者対向位置に装着されている。
このカメラ１１は、運転席に着座してシートベルトを着用した運転者の顔面を含む頭部を前方正面から撮像可能に形成されている。撮像された頭部画像は、運転者の顔面部分の画像を切り出して、顔面の指向方向（顔向方向）、運転者の表情の特定、目のアイリス（虹彩）を拡大検出して視線向方向、瞼部分を拡大検出して運転者の左右の目の眼開度や開閉状態、運転者の頭部（重心）の三次元座標位置等を検出可能に構成されている。
カメラ１１は、少なくとも、必要な撮像画像を取得できれば良く、前方正面カメラと運転席の真上に設置した上方カメラの２つのカメラ、或いは３以上のカメラを搭載しても良い。

次に、運転者支援装置２について説明する。
図１に示すように、運転者支援装置２は、運転者に対して警戒状態を報知する監視支援装置２１と、車両に対して制動動作を行わせる制動支援装置２２と、車両に対して緊急停車動作を行わせる停車支援装置２３等から構成されている。

監視支援装置２１は、意識状態、所謂運転者の覚醒状態を認知して回復が必要と判断した場合、運転者に報知することにより運転者の意識の回復を促すように構成されている。
この監視支援装置２１は、ＥＣＵ３から脇見信号又は居眠推定信号を受信した場合、車室内に設けた１又は複数のスピーカ（図示略）から運転者に対して警報を発生する。
図２に示すように、インスツルメントパネルに配置された速度メータ部２１ａには、警報を表示可能な表示部２１ｂが設けられている。監視支援装置２１は、ＥＣＵ３から脇見信号又は居眠推定信号を受信した場合、表示部２１ｂに、例えば「前方注意」の警報を表示する。

制動支援装置２２は、走行中の自車両が先行する他車両に接近したとき、警報を行い、衝突を回避可能な制動限界距離になった場合、緊急制動するように構成されている。
図３に示すように、制動支援装置２２は、自車両が先行する他車両Ｂに対して自車両Ａ１の位置まで接近したとき、スピーカから運転者に対して警報を発生する。
他車両Ｂと自車両Ａ１との離隔距離は、通常であれば運転者が自身の運転操作（手動操作）で衝突を回避することができる時間（例えば、０．８ｓｅｃ）に対応した距離である。
制動支援装置２２は、自車両が先行する他車両Ｂに対して更に自車両Ａ２の位置まで接近したとき、自動的に緊急制動する。他車両Ｂと自車両Ａ２との離隔距離は、最大制動力相当の緊急制動により衝突を回避することができる限界距離である。

また、図３に示すように、制動支援装置２２は、ＥＣＵ３から脇見信号又は居眠推定信号を受信した場合、走行中の自車両が先行する他車両Ｂに対して自車両Ａ１の位置よりも離隔した自車両Ａ３の位置まで接近したとき、スピーカから運転者に対して警報を発生する。ここで、他車両Ｂと自車両Ａ３との離隔距離は、運転者が注意散漫状態であっても運転者が自身の運転操作で衝突を回避することができる時間（例えば、１．２ｓｅｃ）に対応した距離である。

停車支援装置２３は、ＥＣＵ３から居眠推定信号を受信した場合、スピーカから運転者に対して警報を発生し、居眠確定信号を受信後、自車両を自律的に緊急停車させる。
図４に示すように、停車支援装置２３は、自車両Ｘ１の位置で両目閉眼状態に対応した居眠推定信号を受信したとき、スピーカを作動させて警報を発生し、自車両Ｘ２の位置で運転不操作状態等に対応した居眠確定信号を受信している。以下、特に説明がない場合、両目閉眼状態のとき、単に閉眼状態とし、片目のみ閉眼状態のとき、片目閉眼状態とする。
次に、自車両Ｘ３のとき、それまで運転者によるマニュアル運転であっても自動運転を開始する。自動運転を開始した自車両は、路肩等の安全地帯に移動した後、自車両Ｘ４の位置において自律緊急停車される。

また、停車支援装置２３は、ＥＣＵ３から異常信号を受信した場合、自車両を自律的に緊急停車する。図４に示すように、停車支援装置２３は、自車両Ｘ２の位置で運転者の異常信号を受信する。次に、自車両Ｘ３のとき、それまで運転者によるマニュアル運転であっても自動運転を開始する。自動運転を開始した自車両は、路肩等の安全地帯に移動した後、自車両Ｘ４の位置において自律緊急停車される。その後、停車支援装置２３は、例えば、停車保持期間が所定時間経過した後、救急センタ等に緊急通報を行う。以下、これら自律緊急停車制御を異常時シーケンス制御という。

次に、ＥＣＵ３について説明する。
ＥＣＵ３は、異常時の運転者の徴候（以下、異常時徴候）と、異常時の運転者の身体的状態（以下、異常時状態）と、異常時の運転者の動作（以下、異常時動作）とを用いて夫々の判定を行っている。このＥＣＵ３は、ＣＰＵ（Central Processing Unit）と、ＲＯＭと、ＲＡＭと、イン側インタフェイスと、アウト側インタフェイス等によって構成されている。ＲＯＭには、ブレーキ制御や表示制御等種々のプログラムやデータが格納され、ＲＡＭには、ＣＰＵが一連の処理を行う際に使用される処理領域が設けられている。

図１に示すように、ＥＣＵ３は、運転者の頭部姿勢状態を判定する頭部姿勢判定部３１と、運転者の左右両目について開眼度に基づき各々の開閉状態を判定する眼状態判定部３２（開閉眼判定手段）と、車両の運転に対して阻害要因に成り得る運転者状態を判定する運転者状態判定部３３等を備えている。

頭部姿勢判定部３１は、カメラ１１が撮像した撮像画像情報に基づき運転者の頭部姿勢状態を判定している。この頭部姿勢判定部３１は、運転者の頭部姿勢状態が俯き、横倒れ、突っ伏し、後傾のうち何れかであることを検出した場合、頭部姿勢崩れを判定する。
頭部姿勢崩れが判定されたとき、第１カウンタＣ１のカウント値に１が代入される。第１カウンタＣ１の初期値は０である。

頭部姿勢判定部３１は、例えば、ピッチ方向の顔向角度の絶対値が所定閾値以上の場合、俯き判定信号を出力し、ロール方向の顔向角度の絶対値が所定閾値以上の場合、横倒れ（横凭れ）判定信号を出力する。また、頭部姿勢判定部３１は、例えば、ピッチ方向の顔向角度の絶対値が所定閾値以上で且つ現在の頭部位置が基準頭部位置に頭部位置閾値を減算した値以上の場合、突っ伏し判定信号を出力し、ピッチ方向の顔向角度が、所定閾値以上且つ基準頭部位置に頭部位置閾値を加算した値に対して現在の頭部位置よりも小さい場合、後傾判定信号を出力する。俯き、横倒れ、突っ伏し、後傾を判定するための角度や頭部位置に夫々関連する各閾値が、運転者の頭部姿勢異常を判定するための頭部姿勢判定閾値に夫々相当する。

眼状態判定部３２は、運転者の左右両目の状態が閉眼状態か否か、及び左右両目のうち片目のみが閉眼状態か否かについて判定している。
この眼状態判定部３２は、例えば、カメラ１１によって撮像した運転者の上下の瞼を夫々検出し、両瞼の縁間の画素数に基づいて運転者の左右夫々の目の開眼度を検出する。
検出された左右夫々の目の開眼度が、何れも所定の判定閾値以上の場合、開眼状態であると判定され、検出された左右夫々の目の開眼度が、何れも所定の判定閾値未満の場合、閉眼状態であると判定される。

また、眼状態判定部３２は、一方の目の開眼度が、所定の判定閾値以上で且つ他方の目の開眼度が、所定の判定閾値未満の場合、片目閉眼状態であると判定している。
運転者の左右両目について閉眼状態が判定されたとき、第２カウンタＣ２のカウント値に１が代入される。第２カウンタＣ２の初期値は０である。

運転者状態判定部３３は、運転者が進行方向前方以外に対して視線を向けているか否か判定する脇見判定部３３ａと、運転者の居眠りが推定される居眠推定状態及び高い確率で運転者の居眠りが検出された居眠確定状態を判定する居眠判定部３３ｂと、車両の運転が困難である運転者の異常状態を判定する異常判定部３３ｃ（運転者異常状態判定手段）とを備えている。

脇見判定部３３ａについて説明する。
脇見判定部３３ａは、運転者の顔向方向情報、視線向方向情報及び車両情報から運転者が脇見であるか否かを判定すると共に、運転者が脇見であると判定された場合、監視支援装置２１と制動支援装置２２に脇見信号を出力する。
運転者のヨー方向視線向のカウント値がヨー方向閾値の範囲外になったとき、運転者が脇見であることを判定する。ヨー方向閾値は、車速或いは車両走行時の曲率半径に応じて変更される。また、運転者のピッチ方向視線向のカウント値がピッチ方向閾値の範囲外になったとき、運転者が脇見であることを判定する。ピッチ方向閾値は、車速に応じて変更される。

ヨー方向視線向のカウント値及びピッチ方向視線向のカウント値は、長時間の脇見継続カウント又は短時間の脇見累計カウントにより演算される。長時間の脇見継続カウントは、処理周期毎の判定結果が時系列で連続する回数のことである。また、短時間の脇見累計カウントは、処理周期毎の判定結果がそれ以前の所定時間のうち条件が一致している状態でのカウント累計のことである。

ヨー方向及びピッチ方向の視線向方向情報は、その信頼度が予め設定された信頼度閾値を用いて判定されている。各視線向方向情報の信頼度は、運転者を撮像した撮像画像の鮮明度（顔、瞼、黒目等の輪郭の鮮明度）に基づき設定される。
各視線向方向情報の信頼度が低く、各視線向が無効の場合には、ヨー方向及びピッチ方向の顔向方向情報で夫々補間される。ヨー方向及びピッチ方向の顔向方向情報の信頼度が低く、各顔向が無効の場合には、有効な前回の視線向で補間している。

次に、居眠判定部３３ｂについて説明する。
居眠判定部３３ｂは、閉眼継続時間及び車両情報等から運転者が居眠りであるか否かを判定すると共に、運転者が居眠りであると推定された場合、居眠推定信号を監視支援装置２１と制動支援装置２２と停車支援装置２３に出力し、運転者が居眠りであると確定された場合、居眠確定信号を停車支援装置２３に出力する。尚、この居眠判定では、両目が閉眼された閉眼状態を用いて判定している。

居眠判定部３３ｂは、運転者の連続閉眼時間が所定の時間閾値を超えた場合、又は短時間の閉眼時間が一定時間内に所定の時間閾値を超えて繰り返す場合、居眠状態を推定する。
また、居眠判定部３３ｂは、居眠警報後に車両が一定車速以上で走行している状況において、運転者の連続閉眼時間が所定の時間閾値を超えた場合、又は連続閉眼且つ運転不操作状態が時間閾値を超えた場合、居眠状態を確定する。

運転不操作状態は、走行時における運転不適切操作として、検出手段１の検出信号に基づき判定閾値との比較により判定されている。具体的には、ステアリングホイールの不操舵、ステアリングホイールの非把持、アクセル、ブレーキの不操作のうち少なくとも１の操作状態により判定されている。尚、運転不適切操作判定用として、各操作部材に対して極めて小さい判定閾値を設定し、不適切操作を判定しても良い。

次に、異常判定部３３ｃについて説明する。
異常判定部３３ｃは、運転者が閉眼状態且つ頭部姿勢崩れである場合、又は運転者が頭部姿勢崩れ且つ運転不操作状態である場合、運転者による車両の運転操作が困難である異常状態であると判定している。

本発明者は、異常時の運転者の徴候は、閉眼をパラメータとして検出することができ、異常時の運転者の身体的状態は、頭部姿勢崩れをパラメータとして検出することができ、異常時の運転者の動作は、運転不操作をパラメータとして検出することができるという知見を得た。この知見に基づき、本実施形態では、閉眼と頭部姿勢崩れの検出と、頭部姿勢崩れと運転不操作の検出とを判定条件としている。

また、異常判定部３３ｃは、左右両目が閉眼状態であって運転不操作状態が第１所定時間Ｔ１継続した場合、運転者が異常状態であると判定すると共に、片目閉眼状態であって運転者に対して運転を阻害しない特定操作の実行が要求されても第２所定時間Ｔ２内に特定操作の実行が検出されない場合、運転者が異常状態であると判定する。
これにより、車両の運転に支障を与えることなく片目閉眼状態における運転者の異常状態を判定している。

ここで、運転を阻害しない特定操作とは、例えば、ステアリングホイールの遊び相当（約±５°）の舵角操作や、０．１Ｇ相当のブレーキペダルの踏込操作等である。
また、このような特定操作は、例えば、スピーカによる音声指示や、表示部２１ｂの表示、例えば、「ハザードスイッチ１７を押してください」或いは「ハンドルを僅かに右に操作してください」等、によって車両側から運転者に対して要求される。

次に、図５のフローチャートに基づいて、閉眼判定制御処理について説明する。
尚、Ｓｉ（ｉ＝１，２…）は、各処理のためのステップを示す。

まず、図５に示すように、ＥＣＵ３は、カメラ１１等の各種検出手段１からの出力及び第２カウンタＣ２等の各種情報を入力し（Ｓ１）、Ｓ２に移行する。
Ｓ２では、少なくとも運転者の片目が閉眼であるか否かについて判定する。
Ｓ２の判定の結果、少なくとも運転者の片目が閉眼である場合、何らかの理由で運転者が目を閉じた状態であるため、Ｓ３に移行する。Ｓ２の判定の結果、少なくとも運転者の片目が閉眼ではない場合、左右両目共に開眼状態であるため、リターンする。

Ｓ３では、運転者が片目閉眼状態か否かについて判定する。
Ｓ３の判定の結果、運転者が片目閉眼状態の場合、覚醒良好状態と覚醒不良状態の何れの状態における片目閉眼状態なのか識別ができていないため、Ｓ４に移行する。
Ｓ３の判定の結果、運転者が片目閉眼状態ではない場合、左右両目が閉眼状態であるため、Ｓ７に移行する。

Ｓ４では、車両が運転者に対して運転を阻害しない特定操作の実行を要求した後、Ｓ５に移行する。Ｓ４における特定操作の実行要求と同時に、タイマ（図示略）が起動される。
Ｓ５では、特定操作の実行要求後、第２所定時間Ｔ２内に運転者により特定操作が実行されたか否かについて判定する。

Ｓ５の判定の結果、特定操作の実行要求後、第２所定時間Ｔ２内に運転者により特定操作が実行された場合、運転者の意識は覚醒良好状態であるため、タイマをリセットしてリターンする。Ｓ５の判定の結果、特定操作の実行要求後、第２所定時間Ｔ２内に運転者により特定操作が実行されない場合、運転者の意識は覚醒不良状態であるため、タイマをリセットしてＳ６に移行する。Ｓ６では、異常時シーケンス制御を実行した後、リターンする。このＳ６では、第１，第２カウンタＣ１，Ｃ２のカウント値に夫々０を代入する。

Ｓ７では、現在の第２カウンタＣ２のカウント値に１を追加した後、Ｓ８に移行する。
Ｓ８では、第２カウンタＣ２のカウント値が第２判定閾値Ｌ２以上か否かについて判定する。Ｓ８の判定の結果、第２カウンタＣ２のカウント値が第２判定閾値Ｌ２以上の場合、左右両目共に閉眼状態であり、疾患発症や居眠が推定されるため、Ｓ９に移行する。
Ｓ８の判定の結果、第２カウンタＣ２のカウント値が第２判定閾値Ｌ２未満の場合、現状では疾患発症や居眠を推定することができないため、リターンする。
Ｓ９では、警報を発生した後、Ｓ１０に移行する。

Ｓ１０では、第１判定条件が成立したか否かについて判定する。
第１判定条件は、以下の３条件である。
（１）運転者の頭部姿勢が異常状態である
（２）運転者による運転不操作が第１所定時間Ｔ１継続している
（３）運転者の閉眼が一定時間継続している
これらの３条件が全て成立したとき、第１判定条件が成立する。

Ｓ１０の判定の結果、第１判定条件が成立している場合、警報が発生しても運転者が運転動作を開始しないため、Ｓ１１に移行する。Ｓ１０の判定の結果、第１判定条件が成立していない場合、（１）～（３）のうち何れかの条件が不成立であり、異常状態を判定することができないため、リターンする。

Ｓ１１では、警報を停止するためのキャンセル信号が発生したか否かについて判定する。
Ｓ１１の判定の結果、キャンセル信号が発生した場合、運転者がキャンセル信号発生操作を行ったため、第１，第２カウンタＣ１，Ｃ２のカウント値に０を夫々代入した後（Ｓ１２）、リターンする。Ｓ１１の判定の結果、キャンセル信号が発生しない場合、運転者が警報をキャンセル信号発生操作をできないため、Ｓ６に移行する。
本実施形態では、ハザードスイッチ１７がオン操作された場合、キャンセル信号が出力される。キャンセル信号の出力より、警報が停止され、異常状態判定を停止する。

次に、図６のフローチャートに基づいて、頭部姿勢判定制御処理について説明する。この頭部姿勢判定制御処理は、閉眼判定制御処理とは独立して並列的に制御されている。
Ｓｉ（ｉ＝２１，２２…）は、各処理のためのステップを示す。

まず、図６に示すように、ＥＣＵ３は、カメラ１１やハザードスイッチ１７等の検出手段１からの出力を入力し（Ｓ２１）、Ｓ２２に移行する。
Ｓ２２では、運転者の頭部姿勢が崩れているか否か判定する。
Ｓ２２の判定の結果、運転者の頭部姿勢が崩れている場合、異常時状態であるため、Ｓ２３に移行する。Ｓ２２の判定の結果、運転者の頭部姿勢が崩れていない場合、異常時状態ではないため、リターンする。

Ｓ２３では、運転操作が適切か否か判定する。
Ｓ２３の判定の結果、運転操作が適切である場合、運転者が意図的に崩れた姿勢で運転しているため、リターンする。Ｓ２３の判定の結果、運転操作が不適切（運転不操作状態）である場合、Ｓ２４に移行する。運転操作の判定は、ステアリングホイール、アクセル、ブレーキのうち少なくとも１以上で検出する。本実施形態では、ステアリングホイールの操作を用いて判定している。

Ｓ２４では、車両が所定の判定閾値以上の速度で走行しているか否か判定する。
Ｓ２４の判定の結果、車両速度が判定閾値以上の場合、車両は走行しているにも拘らず運転者による運転操作がないため、現在の第１カウンタＣ１のカウント値に１を追加した後（Ｓ２５）、Ｓ２６に移行する。Ｓ２４の判定の結果、車両速度が判定閾値未満の場合、車両が既に停車又は徐行しているため、リターンする。

Ｓ２６では、第１カウンタＣ１のカウント値が第１判定閾値Ｌ１以上か否か判定する。
Ｓ２６の判定の結果、第１カウンタＣ１のカウント値が第１判定閾値Ｌ１以上の場合、運転者の目の状態に拘らず異常状態が推定されているため、Ｓ２７に移行する。
Ｓ２６の判定の結果、第１カウンタＣ１のカウント値が第１判定閾値Ｌ１未満の場合、現状では異常状態が推定できないため、リターンする。

Ｓ２７では、警報を発生させた後、Ｓ２８に移行する。
Ｓ２８では、警報を停止するためのキャンセル信号が発生したか否か判定する。
Ｓ２８の判定の結果、キャンセル信号が発生した場合、運転者がキャンセル信号の発生操作を行ったため、第１，第２カウンタＣ１，Ｃ２のカウント値に夫々０を代入した後（Ｓ２９）、リターンする。Ｓ２８の判定の結果、キャンセル信号が発生しない場合、運転者がハザードスイッチ１７によってキャンセル信号の発生操作をできないため、Ｓ３０に移行する。Ｓ３０では、異常時シーケンス制御を実行した後、リターンする。このＳ３０では、第１，第２カウンタＣ１，Ｃ２のカウント値に夫々０を代入する。

次に、上記運転者状態判定方法及びその装置Ｍの作用、効果について説明する。
本運転者状態判定方法によれば、運転者の左右両目の開閉状態を検出する開閉眼判定工程Ｓ２，Ｓ３と、所定タイミングにおける運転者による車両の操作機器に対する運転操作量の少なくとも１つを取得する運転操作量取得工程Ｓ１と、運転者が異常状態か否かを判定する運転者異常状態判定工程Ｓ５，Ｓ１０，Ｓ１１とを有するため、異常時徴候である閉眼と異常時動作である運転不操作とを運転者の異常状態の判定条件にすることができる。
運転者異常状態判定工程Ｓ１０，Ｓ１１は、運転者の左右両目が閉眼状態であって運転者による運転不操作状態が第１所定時間継続Ｔ１した場合、運転者が異常状態であると判定するため、異常時徴候と異常時動作の２つの異常判定条件によって運転者の異常状態を高精度に判定することができる。運転者異常状態判定工程Ｓ５は、運転者の片目が閉眼状態であって運転者に対して運転を阻害しない特定操作が要求されても第２所定時間Ｔ２内に特定操作が検出されない場合、運転者が異常状態であると判定するため、車両の運転に支障を与えることなく片目閉眼状態における運転者の異常状態を運転者の実際の操作に基づき確実に判定することができる。

運転者異常状態判定工程Ｓ４，Ｓ２７は、運転者の左右両目が閉眼状態である場合及び片目が閉眼状態である場合に報知するため、左右両目が開眼状態ではない状況において、運転者の異常状態を一層確実に判定することができる。

本運転者状態判定装置Ｍによれば、運転者の左右両目の開閉状態を検出する眼状態判定部３２と、所定タイミングにおける運転者による車両の操作機器に対する運転操作量の少なくとも１つを取得する検出手段１と、運転者が異常状態か否かを判定する異常判定部３３ｃとを有するため、異常時徴候である閉眼と異常時動作である運転不操作とを運転者の異常状態の判定条件にすることができる。
異常判定部３３ｃは、運転者の左右両目が閉眼状態であって運転者による運転不操作状態が第１所定時間Ｔ１継続した場合、運転者が異常状態であると判定するため、異常時徴候と異常時動作の２つの異常判定条件によって運転者の異常状態を高精度に判定することができる。異常判定部３３ｃは、運転者の片目が閉眼状態であって運転者に対して運転を阻害しない特定操作が要求されても第２所定時間Ｔ２内に特定操作が検出されない場合、運転者が異常状態であると判定するため、車両の運転に支障を与えることなく片目閉眼状態における運転者の異常状態を運転者の実際の操作に基づき確実に判定することができる。

次に、前記実施形態を部分的に変更した変形例について説明する。
１〕前記実施形態においては、運転者の片目が閉眼状態の際、第２所定時間Ｔ２内に特定操作が検出されない場合、運転者が異常状態であると判定する例を説明したが、上記判定条件の他に、カメラ１１で取得された運転者の頭部姿勢が異常姿勢で且つ運転者の片目が閉眼状態であって、運転者による運転不操作状態が第１所定時間Ｔ１よりも短い第３所定時間Ｔ３継続した場合、運転者が異常状態であると判定する判定条件を追加しても良い。
これにより、異常姿勢をパラメータとして運転者の異常状態を確実且つ早期に判定することができる。

２〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。

１ 検出手段
１１ カメラ
３２ 眼状態判定部
３３ｃ 異常判定部
Ｍ 運転者状態判定装置

Claims (4)

1. 車両の運転者の異常状態を検出する運転者状態判定方法において、
   前記運転者の左右両目の開閉状態を検出する開閉眼判定工程と、
   所定タイミングにおける前記運転者による前記車両の操作機器に対する運転操作量の少なくとも１つを取得する運転操作量取得工程と、
   前記運転者が異常状態か否かを判定する運転者異常状態判定工程とを有し、
   前記運転者異常状態判定工程は、
   前記運転者の左右両目が閉眼状態であって前記運転者による運転不操作状態が第１所定時間継続した場合、前記運転者が異常状態であると判定し、
   前記運転者の片目が閉眼状態であって前記運転者に対して運転を阻害しない特定操作が要求されても第２所定時間内に前記特定操作が検出されない場合、前記運転者が異常状態であると判定する
   ことを特徴とする運転者状態判定方法。
2. 前記運転者異常状態判定工程は、前記運転者の左右両目が閉眼状態である場合及び片目が閉眼状態である場合に報知することを特徴とする請求項１に記載の運転者状態判定方法。
3. 前記運転者の顔向きと頭部位置を取得する頭部姿勢取得工程を有し、
   前記運転者異常状態判定工程は、
   前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転者の片目が閉眼状態であって、前記運転者による運転不操作状態が第１所定時間よりも短い第３所定時間継続した場合、前記運転者が異常状態であると判定することを特徴とする請求項１又は２に記載の運転者状態判定方法。
4. 車両の運転者の異常状態を検出する運転者状態判定装置において、
   前記運転者の左右両目の開閉状態を検出する開閉眼判定手段と、
   所定タイミングにおける前記運転者による前記車両の操作機器に対する運転操作量の少なくとも１つを取得する運転操作量取得手段と、
   前記運転者が異常状態か否かを判定する運転者異常状態判定手段とを有し、
   前記運転者異常状態判定手段は、
   前記運転者の左右両目が閉眼状態であって前記運転者による運転不操作状態が第１所定時間継続した場合、前記運転者が異常状態であると判定し、
   前記運転者の片目が閉眼状態であって前記運転者に対して運転を阻害しない特定操作が要求されても第２所定時間内に前記特定操作が検出されない場合、前記運転者が異常状態であると判定することを特徴とする運転者状態判定装置。