JP7745830B2 - 運転者状態判定方法及びその装置 - Google Patents

Description

本発明は、車両を運転する運転者の異常状態を検出する運転者状態判定方法及びその装置に関する。

従来より、運転者の意識状態、特に運転者の覚醒状態を的確に把握し、この覚醒状態に応じて車両に対する運転操作を支援する運転者支援装置が知られている。
特許文献１の居眠り運転防止装置は、運転者による運転（操縦）挙動及び車両挙動に基づき運転者の眠気レベルを検出する眠気レベル検出手段と、検出された眠気レベルが所定の警報閾値よりも高い場合に警報を出力する警報出力手段と、走行開始から学習時間経過後に至るまでの間に警報閾値を設定する警報閾値設定手段と、眠気レベルに基づき警報閾値を補正する警報閾値補正手段とを有し、警報閾値補正手段は、学習時間よりも長い期間で検出された眠気レベルの平均値に比例した補正判定基準値を算出し、この補正判定基準値が警報閾値よりも小さく且つ補正判定基準値よりも高い眠気レベルの検出された合計時間が学習時間よりも長い判定時間以上である場合、警報閾値を下方に補正している。

また、運転者の体調が急変することにより運転者が運転を継続することができない状態、所謂異常状態になった場合、車両が自動的に路肩方向に移動すると共に自律的に停車する運転者支援装置も知られている。
通常、運転者の体調や眠気レベルは、カメラ等の撮像手段によって取得された運転者の頭部姿勢や顔状態等の頭部関連情報を介して判定されている。頭部関連情報のうち頭部姿勢は、例えば、運転者の顔向きや頭部位置（三次元座標）等によって検出され、顔状態は、例えば、運転者の表情や目の開度状態（瞼状態）等によって検出されている。

特許第６２２６１３５号公報

特許文献１の居眠り運転防止装置は、運転者の顔状態や生体情報を必要としないため、検出装置を省略することができ、装置全体のコスト上昇を抑制することができる。
しかし、特許文献１の居眠り運転防止装置では、運転者の実際の状態を介することなく、つまり、運転者の意識状態等を車両挙動を介して間接的に判定していることから、運転者の異常状態を精度良く判定することができない虞がある。
運転者の異常状態を誤判定した場合、自車両に対しては、警報により運転者への煩わしさが増加することに加え、他車両に対しては、自車両が緊急停車するという予期しない事態を招く虞がある。

そこで、異常状態の誤判定を回避するため、異常時の運転者の徴候である閉眼と、異常時の運転者の身体的状態である頭部姿勢崩れとを夫々検出することにより、これら２つの異常判定条件が共に成立したとき、運転者の異常状態判定を確定することが考えられる。
しかし、判定対象である運転者の目は撮像する対象として、極めて領域が小さい上、撮像環境や撮像タイミングによっては、撮像画像自体が不鮮明になる場合や、運転者の動作により運転者の両目が判定可能な撮像領域内に収まっていない場合等撮像対象である目の検出が物理的に困難な状況も発生し得る。

運転者の閉眼については、車内に設置された撮像手段により撮像された画像情報（画像データ）を用いて判定される。それ故、撮像手段を介して運転者の目自体の検出が物理的に困難な場合、制御処理上、運転者の目の開閉状態を確実に判定することはできない。
即ち、運転者の異常状態を高精度に判定することは容易ではない。

本発明の目的は、異常時の徴候である運転者の閉眼が確認できない状況であっても、運転者の異常状態を高精度に判定可能な運転者状態判定方法及びその装置等を提供することである。

請求項１の運転者状態判定方法は、車両の運転者の異常状態を検出する運転者状態判定方法において、前記運転者の顔向きと頭部位置を取得する頭部姿勢取得工程と、前記運転者の目が閉眼状態か否かを判定する閉眼判定工程と、所定タイミングにおける前記運転者による前記車両の運転操作量の少なくとも１つを取得する運転操作量取得工程と、前記運転者が異常状態か否かを判定する運転者異常状態判定工程とを有し、前記運転者異常状態判定工程は、前記閉眼判定工程で閉眼状態が判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第１所定時間継続した場合、前記運転者が異常状態であると判定し、前記閉眼判定工程で閉眼状態ではないと判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が前記第１所定時間よりも短い第２所定時間継続した場合に前記運転者に報知し、前記報知後において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転操作量取得工程で取得された前記運転操作量が変化しない状況が第３所定時間継続した場合、前記運転者が異常状態であると判定することを特徴としている。

この運転者状態判定方法では、前記運転者の顔向きと頭部位置を取得する頭部姿勢取得工程と、前記運転者の目が閉眼状態か否かを判定する閉眼判定工程と、所定タイミングにおける前記運転者による前記車両の運転操作量の少なくとも１つを取得する運転操作量取得工程と、前記運転者が異常状態か否かを判定する運転者異常状態判定工程とを有するため、異常時の運転者の身体的状態（以下、異常時状態）である頭部姿勢崩れと異常時の運転者の徴候（以下、異常時徴候）である閉眼とを運転者の異常状態の判定条件にすることができる。
前記運転者異常状態判定工程は、前記閉眼判定工程で閉眼状態が判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第１所定時間継続した場合、前記運転者が異常状態であると判定するため、直接的に検出された異常時徴候と異常時状態により運転者の異常状態を判定することができる。
前記運転者異常状態判定工程は、前記閉眼判定工程で閉眼状態ではないと判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が前記第１所定時間よりも短い第２所定時間継続した場合に前記運転者に報知し、前記報知後において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転操作量取得工程で取得された前記運転操作量が変化しない状況が第３所定時間継続した場合、前記運転者が異常状態であると判定するため、異常時徴候である閉眼が確認できない状況であっても、異常時徴候に代わる異常時の運転者の動作（以下、異常時動作）で代替することができ、この異常時動作である運転不操作と異常時状態である頭部姿勢崩れを異常状態の判定条件とすることができる。
しかも、異常時状態と異常時動作で運転者の異常状態を判定する前段階において、報知による状態確認を行うため、異常状態の判定精度を高くすることができる。

そして、前記第２所定時間は前記第１所定時間よりも短いため、閉眼が確認できない状況であることを最短時間で確認することができる。

請求項２の発明は、請求項１の発明において、前記運転者異常状態判定工程は、少なくとも、運転者の顔向角度に基づいて頭部姿勢が異常姿勢であることを判定することを特徴とすることを特徴としている。
この構成によれば、頭部姿勢が異常姿勢であることを容易に判定することができる。

請求項３の発明は、請求項１又は２の発明において、前記運転者異常状態判定工程は、前記閉眼判定工程で開眼状態が判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記車両が走行している状態が第４所定時間継続した場合、前記運転者が異常状態であると判定することを特徴としている。
この構成によれば、運転者が開眼である場合の異常状態を運転者の状態と車両の挙動により判定することができる。

請求項４の運転者状態判定装置は、車両の運転者の異常状態を検出する運転者状態判定装置において、前記運転者の顔向きと頭部位置を取得する頭部姿勢取得手段と、前記運転者の目が閉眼状態か否かを判定する閉眼判定手段と、所定タイミングにおける前記運転者による前記車両の運転操作量の少なくとも１つを取得する運転操作量取得手段と、前記運転者が異常状態か否かを判定する運転者異常状態判定手段とを有し、前記運転者異常状態判定手段は、前記閉眼判定手段で閉眼状態が判定された状況において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第１所定時間継続した場合、前記運転者が異常状態であると判定し、前記閉眼判定手段で閉眼状態ではないと判定された状況において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が前記第１所定時間よりも短い第２所定時間継続した場合に前記運転者に報知し、前記報知後において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転操作量取得手段で取得された前記運転操作量が変化しない状況が第３所定時間継続した場合、前記運転者が異常状態であると判定することを特徴としている。

この運転者状態判定装置では、前記運転者の顔向きと頭部位置を取得する頭部姿勢取得手段と、前記運転者の目が閉眼状態か否かを判定する閉眼判定手段と、所定タイミングにおける前記運転者による前記車両の運転操作量の少なくとも１つを取得する運転操作量取得手段と、前記運転者が異常状態か否かを判定する運転者異常状態判定手段とを有するため、異常時状態である頭部姿勢崩れと異常時徴候である閉眼とを運転者の異常状態の判定条件にすることができる。
前記運転者異常状態判定手段は、前記閉眼判定手段で閉眼状態が判定された状況において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第１所定時間継続した場合、前記運転者が異常状態であると判定するため、直接的に検出された異常時徴候と異常時状態により運転者の異常状態を判定することができる。
前記運転者異常状態判定手段は、前記閉眼判定手段で閉眼状態ではないと判定された状況において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が前記第１所定時間よりも短い第２所定時間継続した場合に前記運転者に報知し、前記報知後において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転操作量取得手段で取得された前記運転操作量が変化しない状況が第３所定時間継続した場合、前記運転者が異常状態であると判定するため、異常時徴候である閉眼が確認できない状況であっても、異常時徴候に代わる異常時動作で代替することができ、この異常時動作である運転不操作と異常時状態である頭部姿勢崩れを異常状態の判定条件とすることができる。しかも、異常時状態と異常時動作で運転者の異常状態を判定する前段階において、報知による状態確認を行うため、異常状態の判定精度を高くすることができる。そして、前記第２所定時間は前記第１所定時間よりも短いため、閉眼が確認できない状況であることを最短時間で確認することができる。

本発明の運転者状態判定方法及びその装置によれば、異常時動作である運転不操作と異常時状態である頭部姿勢崩れを異常状態の判定条件とするため、運転者の異常時徴候である閉眼が確認できない状況であっても、運転者の異常状態を高精度に判定することができる。

実施例１に係る運転者状態判定装置のブロック図である。 監視支援装置に係る説明図である。 制動支援装置に係る説明図である。 停車支援装置に係る説明図である。 閉眼判定制御処理を示すフローチャートである。 頭部姿勢判定制御処理を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて詳細に説明する。
以下の説明は、本発明を車両の運転者状態判定装置に適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。

以下、本発明の実施例１について図１～図６に基づいて説明する。
運転者状態判定装置Ｍは、運転者の意識状態、特に運転者が運転する車両（以下、自車両ともいう）の運転操作が困難な異常状態を判定すると共に、運転者の異常状態が判定された場合、自律的に緊急停車可能な運転支援装置である。
以下、運転者の異常状態とは、運転者が意識的に覚醒しておらず且つ身体的に姿勢が崩れて運転操作が不可能な状態（疾患発症や居眠を含む）として説明する。
また、以下の説明は、運転者状態判定方法の説明を含むものである。

図１に示すように、運転者状態判定装置Ｍは、運転者の操作挙動及び車両の走行挙動等を検出可能な複数の検出手段１と、運転者に対して車両側から自律的に車両の運転支援を行う運転者支援装置２と、検出手段１から入力される入力信号に基づき各種演算を行うと共に運転者支援装置２に各種指令信号を出力するＥＣＵ（Electronic Control Unit）３等を主な構成要素としている。

まず、検出手段１について説明する。
図１に示すように、検出手段１は、運転者を撮像するカメラ１１と、車両の速度を検出する車速センサ１２と、ステアリングホイール（図示略）の操作による操舵角度を検出する舵角センサ１３と、運転者によるステアリングホイールの把持を検出する把持センサ１４と、アクセルペダル（図示略）の踏込量を検出するアクセルセンサ１５と、ブレーキペダル（図示略）の踏込量を検出するブレーキセンサ１６と、ハザードランプ（図示略）を作動させるハザードスイッチ１７等を備えている。各センサ１２～１６が、所定タイミング、所謂判定時直前である現時点の運転操作量を取得する運転操作量取得手段に相当している。

カメラ１１は、例えば、ＣＣＤ（Charge Coupled Device）カメラによって構成され、インスツルメントパネル（図示略）上部中央において運転者対向位置に装着されている。
このカメラ１１は、運転席に着座してシートベルトを着用した運転者の顔面を含む頭部を前方正面から撮像可能に形成されている。撮像された頭部画像は、運転者の顔面部分の画像を切り出して、顔面の指向方向（顔向方向）、運転者の表情の特定、目のアイリス（虹彩）を拡大検出して視線向方向、瞼部分を拡大検出して運転者の目の開度や開閉状態、運転者の頭部（重心）の三次元座標位置等を検出可能に構成されている。
カメラ１１は、少なくとも、必要な撮像画像を取得できれば良く、前方正面カメラと運転席の真上に設置した上方カメラの２つのカメラ、或いは３以上のカメラを搭載しても良い。

次に、運転者支援装置２について説明する。
図１に示すように、運転者支援装置２は、運転者に対して警戒状態を報知する監視支援装置２１と、車両に対して制動動作を行わせる制動支援装置２２と、車両に対して緊急停車動作を行わせる停車支援装置２３等から構成されている。

監視支援装置２１は、意識状態、所謂運転者の覚醒状態を認知して回復が必要と判断した場合、運転者に報知することにより運転者の意識の回復を促すように構成されている。
この監視支援装置２１は、ＥＣＵ３から脇見信号又は居眠推定信号を受信した場合、車室内に設けた１又は複数のスピーカ（図示略）から運転者に対して警報を発生する。
図２に示すように、インスツルメントパネルに配置された速度メータ部２１ａには、警報を表示可能な表示部２１ｂが設けられている。監視支援装置２１は、ＥＣＵ３から脇見信号又は居眠推定信号を受信した場合、表示部２１ｂに、例えば「前方注意」の警報を表示する。

制動支援装置２２は、走行中の自車両が先行する他車両に接近したとき、警報を行い、衝突を回避可能な制動限界距離になった場合、緊急制動するように構成されている。
図３に示すように、制動支援装置２２は、自車両が先行する他車両Ｂに対して自車両Ａ１の位置まで接近したとき、スピーカから運転者に対して警報を発生する。
他車両Ｂと自車両Ａ１との離隔距離は、通常であれば運転者が自身の運転操作（手動操作）で衝突を回避することができる時間（例えば、０．８ｓｅｃ）に対応した距離である。
制動支援装置２２は、自車両が先行する他車両Ｂに対して更に自車両Ａ２の位置まで接近したとき、自動的に緊急制動する。他車両Ｂと自車両Ａ２との離隔距離は、最大制動力相当の緊急制動により衝突を回避することができる限界距離である。

また、図３に示すように、制動支援装置２２は、ＥＣＵ３から脇見信号又は居眠推定信号を受信した場合、走行中の自車両が先行する他車両Ｂに対して自車両Ａ１の位置よりも離隔した自車両Ａ３の位置まで接近したとき、スピーカから運転者に対して警報を発生する。ここで、他車両Ｂと自車両Ａ３との離隔距離は、運転者が注意散漫状態であっても運転者が自身の運転操作で衝突を回避することができる時間（例えば、１．２ｓｅｃ）に対応した距離である。

停車支援装置２３は、ＥＣＵ３から居眠推定信号を受信した場合、スピーカから運転者に対して警報を発生し、居眠確定信号を受信後、自車両を自律的に緊急停車させる。
図４に示すように、停車支援装置２３は、自車両Ｘ１の位置で閉眼状態に対応した居眠推定信号を受信したとき、スピーカを作動させて警報を発生し、自車両Ｘ２の位置で運転不操作状態等に対応した居眠確定信号を受信している。次に、自車両Ｘ３のとき、それまで運転者によるマニュアル運転であっても自動運転を開始する。自動運転を開始した自車両は、路肩等の安全地帯に移動した後、自車両Ｘ４の位置において自律緊急停車される。

また、停車支援装置２３は、ＥＣＵ３から異常信号を受信した場合、自車両を自律的に緊急停車する。図４に示すように、停車支援装置２３は、自車両Ｘ２の位置で運転者の異常信号を受信する。次に、自車両Ｘ３のとき、それまで運転者によるマニュアル運転であっても自動運転を開始する。自動運転を開始した自車両は、路肩等の安全地帯に移動した後、自車両Ｘ４の位置において自律緊急停車される。その後、停車支援装置２３は、例えば、停車保持期間が所定時間経過した後、救急センタ等に緊急通報を行う。以下、これら自律緊急停車制御を異常時シーケンス制御という。

次に、ＥＣＵ３について説明する。
ＥＣＵ３は、運転者の両目が閉眼且つ頭部姿勢崩れである場合、又は運転者が頭部姿勢崩れ且つ運転不操作状態の場合、運転者の異常状態を判定し、異常信号を出力している。
このＥＣＵ３は、ＣＰＵ（Central Processing Unit）と、ＲＯＭと、ＲＡＭと、イン側インタフェイスと、アウト側インタフェイス等によって構成されている。ＲＯＭには、ブレーキ制御や表示制御等種々のプログラムやデータが格納され、ＲＡＭには、ＣＰＵが一連の処理を行う際に使用される処理領域が設けられている。

図１に示すように、ＥＣＵ３は、運転者の頭部姿勢状態を判定する頭部姿勢判定部３１と、運転者の左右両目について開閉状態を判定する眼状態判定部３２（閉眼判定手段）と、車両の運転に対して阻害要因に成り得る運転者状態を判定する運転者状態判定部３３等を備えている。

頭部姿勢判定部３１は、カメラ１１が撮像した撮像画像情報に基づき運転者の頭部姿勢状態を判定している。この頭部姿勢判定部３１は、運転者の頭部姿勢状態が俯き、横倒れ、突っ伏し、後傾のうち何れかであることを検出した場合、頭部姿勢崩れを判定する。
頭部姿勢崩れが判定されたとき、第１カウンタＣ１に１が代入される。第１カウンタＣ１の初期値は０である。

頭部姿勢判定部３１は、例えば、ピッチ方向の顔向角度の絶対値が所定閾値以上の場合、俯き判定信号を出力し、ロール方向の顔向角度の絶対値が所定閾値以上の場合、横倒れ（横凭れ）判定信号を出力する。また、頭部姿勢判定部３１は、例えば、ピッチ方向の顔向角度の絶対値が所定閾値以上で且つ現在の頭部位置が基準頭部位置に頭部位置閾値を減算した値以上の場合、突っ伏し判定信号を出力し、ピッチ方向の顔向角度が、所定閾値以上且つ基準頭部位置に頭部位置閾値を加算した値に対して現在の頭部位置よりも小さい場合、後傾判定信号を出力する。俯き、横倒れ、突っ伏し、後傾を判定するための角度や頭部位置に関連する各閾値が、運転者の頭部姿勢異常を判定するための頭部姿勢判定閾値に夫々相当する。

眼状態判定部３２は、運転者の目の状態が閉眼状態か否かについて判定している。
この眼状態判定部３２は、例えば、カメラ１１によって撮像した運転者の上下の瞼を検出し、両瞼の縁間の画素数に基づいて運転者の開眼度を検出する。検出された開眼度が、所定の判定閾値以上の場合、開眼状態であると判定され、また、検出された開眼度が、所定の判定閾値未満の場合、閉眼状態であると判定される。閉眼状態が判定されたとき、第２カウンタＣ２に１が代入される。第２カウンタＣ２の初期値は０である。
尚、本実施形態において、運転者の左右両目が閉眼判定された場合のみ、閉眼判定される一方、それ以外の場合、閉眼判定されない。

第１カウンタＣ１が１で且つ第２カウンタＣ２が１、所謂運転者の異常状態が判定される場合、第３カウンタＣ３に１が代入される。第３カウンタＣ３の初期値は０である。
また、第１カウンタＣ１が１（頭部姿勢異常）以上で且つ運転者の目の開閉状態が物理的或いは環境条件的に検出することができない場合、第４カウンタＣ４に１が代入される。第４カウンタＣ３の初期値は０である。尚、運転者の目の状態が検出することができる場合には、運転者の頭部姿勢状態は検出可能である。

運転者状態判定部３３は、運転者が進行方向前方以外に対して視線を向けているか否か判定する脇見判定部３３ａと、運転者の居眠りが推定される居眠推定状態及び高い確率で運転者の居眠りが検出された居眠確定状態を判定する居眠判定部３３ｂと、車両の運転が困難である運転者の異常状態を判定する異常判定部３３ｃ（運転者異常状態判定手段）とを備えている。

脇見判定部３３ａについて説明する。
脇見判定部３３ａは、運転者の顔向方向情報、視線向方向情報及び車両情報から運転者が脇見であるか否かを判定すると共に、運転者が脇見であると判定された場合、監視支援装置２１と制動支援装置２２に脇見信号を出力する。
運転者のヨー方向視線向のカウント値がヨー方向閾値の範囲外になったとき、運転者が脇見であることを判定する。ヨー方向閾値は、車速或いは車両走行時の曲率半径に応じて変更される。また、運転者のピッチ方向視線向のカウント値がピッチ方向閾値の範囲外になったとき、運転者が脇見であることを判定する。ピッチ方向閾値は、車速に応じて変更される。

ヨー方向視線向のカウント値及びピッチ方向視線向のカウント値は、長時間の脇見継続カウント又は短時間の脇見累計カウントにより演算される。長時間の脇見継続カウントは、処理周期毎の判定結果が時系列で連続する回数のことである。また、短時間の脇見累計カウントは、処理周期毎の判定結果がそれ以前の所定時間のうち条件が一致している状態でのカウント累計のことである。

ヨー方向及びピッチ方向の視線向方向情報は、その信頼度が予め設定された信頼度閾値を用いて判定されている。各視線向方向情報の信頼度は、運転者を撮像した撮像画像の鮮明度（顔、瞼、黒目等の輪郭の鮮明度）に基づき設定される。
各視線向方向情報の信頼度が低く、各視線向が無効の場合には、ヨー方向及びピッチ方向の顔向方向情報で夫々補間される。ヨー方向及びピッチ方向の顔向方向情報の信頼度が低く、各顔向が無効の場合には、有効な前回の視線向で補間している。

次に、居眠判定部３３ｂについて説明する。
居眠判定部３３ｂは、閉眼継続時間及び車両情報等から運転者が居眠りであるか否かを判定すると共に、運転者が居眠りであると推定された場合、居眠推定信号を監視支援装置２１と制動支援装置２２と停車支援装置２３に出力し、運転者が居眠りであると確定された場合、居眠確定信号を停車支援装置２３に出力する。

居眠判定部３３ｂは、運転者の連続閉眼時間が所定の時間閾値を超えた場合、又は短時間の閉眼時間が一定時間内に所定の時間閾値を超えて繰り返す場合、居眠状態を推定する。
また、居眠判定部３３ｂは、居眠警報後に車両が一定車速以上で走行している状況において、運転者の連続閉眼時間が所定の時間閾値を超えた場合、又は連続閉眼且つ運転不操作状態が時間閾値を超えた場合、居眠状態を確定する。

運転不操作状態は、走行時における運転不適切操作として、検出手段１の検出信号に基づき判定閾値との比較により判定されている。具体的には、ステアリングホイールの不操舵、ステアリングホイールの非把持、アクセル、ブレーキの不操作のうち少なくとも１の操作状態により判定されている。尚、運転不適切操作判定用として、各操作部材に対して極めて小さい判定閾値を設定し、不適切操作を判定しても良い。

次に、異常判定部３３ｃについて説明する。
異常判定部３３ｃは、運転者が閉眼且つ頭部姿勢崩れである場合、又は運転者が頭部姿勢崩れ且つ運転不操作状態である場合、換言すれば、運転者による車両の運転操作が困難である異常状態であることを閉眼、頭部姿勢崩れ、運転不操作状態のうち２つの要件を用いて判定している。

本発明者は、異常時の運転者の徴候は、閉眼をパラメータとして検出することができ、異常時の運転者の身体的状態は、頭部姿勢崩れをパラメータとして検出することができ、異常時の運転者の動作は、運転不操作をパラメータとして検出することができるという知見を得た。この知見に基づき、本実施形態では、閉眼と頭部姿勢崩れの検出を基本判定条件とし、閉眼判定が物理的或いは状況的に難しい場合、頭部姿勢崩れと運転不操作の検出を判定条件としている。

次に、図５のフローチャートに基づいて、閉眼判定制御処理について説明する。
尚、Ｓｉ（ｉ＝１，２…）は、各処理のためのステップを示す。

まず、図５に示すように、ＥＣＵ３は、カメラ１１やハザードスイッチ１７等の各種検出手段１からの出力を入力し（Ｓ１）、Ｓ２に移行する。
Ｓ２では、運転者の両目が閉眼であるか否かについて判定する。
Ｓ２の判定の結果、運転者が閉眼である場合、異常時（疾患発症か居眠）の運転者の徴候である閉眼が検出されたため、Ｓ３に移行する。Ｓ２の判定の結果、運転者が閉眼ではない場合、少なくとも片方の目が開眼であるため、リターンする。

Ｓ３では、第１カウンタＣ１のカウント値が０よりも大きい、つまり、運転者の頭部姿勢が崩れているか否かについて判定する。
Ｓ３の判定の結果、第１カウンタＣ１のカウント値が０よりも大きい場合、第１カウンタＣ１と第２カウンタＣ２が共に現在０ではないため、Ｓ４に移行する。
Ｓ３の判定の結果、第１カウンタＣ１のカウント値が０の場合、運転者が頭部姿勢崩れではないため、Ｓ７に移行する。
Ｓ４では、現在の第３カウンタＣ３のカウント値に１を追加した後、Ｓ５に移行する。

Ｓ５では、第３カウンタＣ３のカウント値が第３判定閾値Ｌ３（第１所定時間）以上か否かについて判定する。Ｓ５の判定の結果、第３カウンタＣ３のカウント値が第３判定閾値Ｌ３以上の場合、運転者の異常状態を判定して、Ｓ６に移行する。
Ｓ５の判定の結果、第３カウンタＣ３のカウント値が第３判定閾値Ｌ３未満の場合、運転者の異常状態を判定することができないため、リターンする。
Ｓ６では、異常時シーケンス制御を実行した後、リターンする。このＳ６では、第１～第３カウンタＣ１～Ｃ３に夫々０を代入する。

Ｓ７では、現在の第２カウンタＣ２のカウント値に１を追加した後、Ｓ８に移行する。
Ｓ８では、第２カウンタＣ２のカウント値が第２判定閾値Ｌ２以上か否かについて判定する。Ｓ８の判定の結果、第２カウンタＣ２のカウント値が第２判定閾値Ｌ２以上の場合、疾患発症や居眠が推定されるため、Ｓ９に移行する。Ｓ８の判定の結果、第２カウンタＣ２のカウント値が第２判定閾値Ｌ２未満の場合、現状では疾患発症や居眠を推定することができないため、リターンする。

Ｓ９では、警報を発生した後、Ｓ１０に移行する。
Ｓ１０では、第１判定条件が成立したか否かについて判定する。
第１判定条件は、以下の３条件である。
（１）運転者の頭部姿勢が異常状態である
（２）運転者による運転不操作が第１不操作判定時間継続している
（３）運転者の閉眼が一定時間継続している

Ｓ１０の判定の結果、第１判定条件が成立している場合、警報が発生しても運転者が運転動作を開始しないため、Ｓ１１に移行する。Ｓ１０の判定の結果、第１判定条件が成立していない場合、警報により運転者が運転動作を開始したため、リターンする。

Ｓ１１では、警報を停止するためのキャンセル信号が発生したか否かについて判定する。
Ｓ１１の判定の結果、キャンセル信号が発生した場合、運転者がキャンセル信号発生操作を行ったため、第２カウンタＣ２のカウント値に０を代入した後（Ｓ１２）、リターンする。Ｓ１１の判定の結果、キャンセル信号が発生しない場合、運転者がキャンセルできないため、Ｓ６に移行する。本実施形態では、ハザードスイッチ１７がオン操作された場合、キャンセル信号が出力される。キャンセル信号の出力より、警報が停止され、異常状態判定を停止している。

次に、図６のフローチャートに基づいて、頭部姿勢判定制御処理について説明する。この頭部姿勢判定制御処理は、閉眼判定制御処理とは独立して並列的に制御されている。
Ｓｉ（ｉ＝２１，２２…）は、各処理のためのステップを示す。

まず、図６に示すように、ＥＣＵ３は、カメラ１１やハザードスイッチ１７等の各種検出手段１からの出力を入力し（Ｓ２１）、Ｓ２２に移行する。
Ｓ２２では、運転者の頭部が第１頭部姿勢判定閾値に基づいて姿勢崩れか否か判定する。
Ｓ２２の判定の結果、運転者の頭部が姿勢崩れの場合、異常時の運転者の身体的状態である頭部姿勢崩れが検出されたため、Ｓ２３に移行する。Ｓ２２の判定の結果、運転者の頭部が姿勢崩れではない場合、リターンする。

Ｓ２３では、第２カウンタＣ２のカウント値が０よりも大きい、つまり、運転者の両目が閉眼であるか否かについて判定する。Ｓ２３の判定の結果、第２カウンタＣ２のカウント値が０よりも大きい場合、第１カウンタＣ１のカウント値と第２カウンタＣ２のカウント値が共に現在０ではないため、Ｓ２４に移行する。Ｓ２３の判定の結果、第２カウンタＣ２のカウント値が０の場合、運転者が頭部姿勢崩れではないため、Ｓ２７に移行する。
Ｓ２４では、現在の第３カウンタＣ３のカウント値に１を追加した後、Ｓ２５に移行する。

Ｓ２５では、第３カウンタＣ３のカウント値が第３判定閾値Ｌ３以上か否かについて判定する。Ｓ２５の判定の結果、第３カウンタＣ３のカウント値が第３判定閾値Ｌ３以上の場合、運転者の異常状態を判定して、Ｓ２６に移行する。Ｓ２５の判定の結果、第３カウンタＣ３のカウント値が第３判定閾値Ｌ３未満の場合、運転者の異常状態を判定することができないため、リターンする。Ｓ２６では、異常時シーケンス制御を実行した後、リターンする。このＳ２６では、第１～第４カウンタＣ１～Ｃ４に夫々０を代入する。

Ｓ２７では、判定された開眼度に基づき開閉状態が検出できたか否か判定する。
Ｓ２７の判定の結果、開閉状態が検出できている場合、運転者は開眼状態であるため、Ｓ２８に移行する。Ｓ２７の判定の結果、開閉状態が検出できていない場合、運転者の開閉状態が不明であるため、Ｓ３４に移行する。

Ｓ２８では、運転者が各種操作部（ステアリングホイール、アクセルペダル、ブレーキペダル等）により運転操作を適切に行っているか否か判定する。
Ｓ２８の判定の結果、運転者が運転操作を適切に行っている場合、頭部姿勢崩れであっても適切に車両を操縦しているため、リターンする。Ｓ２８の判定の結果、運転者が運転操作を適切に行っていない、例えば、各種操作部が一切操作されていない場合、Ｓ２９に移行する。

Ｓ２９では、車両の車速が判定閾値以上か否か判定する。
Ｓ２９の判定の結果、車両の車速が判定閾値以上の場合、運転者は開眼しているにも拘らず姿勢が崩れて運転操作ができていないため、Ｓ３０に移行する。Ｓ２９の判定の結果、車両の車速が判定閾値未満の場合、運転者は回復を待つために停車している可能性があるため、リターンする。Ｓ３０では、現在の第１カウンタＣ１のカウント値に１を追加した後、Ｓ３１に移行する。

Ｓ３１では、第１カウンタＣ１のカウント値が第１判定閾値Ｌ１（第４所定時間）以上か否かについて判定する。Ｓ３１の判定の結果、第１カウンタＣ１のカウント値が第１判定閾値Ｌ１以上の場合、疾患発症が推定されるため、Ｓ３２に移行する。Ｓ３１の判定の結果、第１カウンタＣ１のカウント値が第１判定閾値Ｌ１未満の場合、現状では疾患発症を推定することができないため、リターンする。

Ｓ３２では、警報を停止するためのキャンセル信号が発生したか否かについて判定する。
Ｓ３２の判定の結果、キャンセル信号が発生した場合、運転者がキャンセル信号発生操作を行ったため、第１カウンタＣ１のカウント値に０を代入した後（Ｓ３３）、リターンする。Ｓ３２の判定の結果、キャンセル信号が発生しない場合、運転者がキャンセル信号発生操作をできない状態であるため、Ｓ２６に移行する。

Ｓ３４では、現在の第４カウンタＣ４のカウント値に１を追加した後、Ｓ３５に移行する。Ｓ３５では、第４カウンタＣ４のカウント値が第４判定閾値Ｌ４（第２所定時間）以上か否かについて判定する。この第４判定閾値Ｌ４は、第３判定閾値Ｌ３よりも短い期間が設定される。

Ｓ３５の判定の結果、第４カウンタＣ４のカウント値が第４判定閾値Ｌ４以上の場合、疾患発症や居眠が推定されるため、Ｓ３６に移行する。
Ｓ３５の判定の結果、第４カウンタＣ４のカウント値が第４判定閾値Ｌ４未満の場合、疾患発症や居眠が推定することができないため、リターンする。

Ｓ３６では、警報を発生した後、Ｓ３７に移行する。
Ｓ３７では、第２判定条件が成立したか否かについて判定する。
第２判定条件は、以下の２条件である。
（１）運転者の頭部姿勢が異常状態である
（２）運転者による運転不操作が第２不操作判定時間（第３所定時間）継続している
尚、運転者による運転不操作の一定時間は、第３判定閾値Ｌ３に相当する期間よりも短い期間である。

Ｓ３７の判定の結果、第２判定条件が成立している場合、警報が発生しても運転者が運転動作を開始しないため、Ｓ３８に移行する。Ｓ３７の判定の結果、第２判定条件が成立していない場合、警報により運転者が運転動作を開始したため、リターンする。

Ｓ３８では、警報を停止するためのキャンセル信号が発生したか否かについて判定する。
Ｓ３８の判定の結果、キャンセル信号が発生した場合、運転者がキャンセル信号発生操作を行ったため、第１，第４カウンタＣ１，Ｃ４のカウント値に０を代入した後（Ｓ３９）、リターンする。Ｓ３８の判定の結果、キャンセル信号が発生しない場合、運転者がキャンセル信号発生操作をできないため、Ｓ２６に移行する。

次に、上記運転者状態判定方法及びその装置Ｍの作用、効果について説明する。
本運転者状態判定方法によれば、運転者の顔向きと頭部位置を取得する頭部姿勢取得工程Ｓ１，Ｓ２１と、運転者の目が閉眼状態か否かを判定する閉眼判定工程Ｓ２，Ｓ２３と、現時点における運転者による車両の運転操作量の少なくとも１つを取得する運転操作量取得工程Ｓ１，Ｓ２１と、異常判定部３３ｃにより運転者が異常状態か否かを判定する運転者異常状態判定工程Ｓ５，Ｓ３１，Ｓ３７とを有するため、異常時状態である頭部姿勢崩れと異常時徴候である閉眼とを運転者の異常状態の判定条件にすることができる。
異常判定部３３ｃによる運転者異常状態判定工程では、閉眼判定工程Ｓ２で閉眼状態が判定された状況において、頭部姿勢取得工程Ｓ１で取得された運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第３判定閾値Ｌ３に相当する期間継続した場合、運転者が異常状態であると判定するため、直接的に検出された異常時徴候と異常時状態により運転者の異常状態を判定することができる。
異常判定部３３ｃによる運転者異常状態判定工程では、閉眼判定工程Ｓ２３で閉眼状態ではないと判定された状況において、頭部姿勢取得工程Ｓ２１で取得された運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が第３判定閾値Ｌ３とは異なる第４判定閾値Ｌ４に相当する期間継続した場合に運転者に警報し、警報後において、頭部姿勢取得工程Ｓ２１で取得された運転者の頭部姿勢が異常姿勢で且つ運転操作量取得工程Ｓ２１で取得された運転操作量が変化しない状況が第２不操作判定時間継続した場合、運転者が異常状態であると判定するため、異常時徴候である閉眼が確認できない状況であっても、異常時徴候に代わる異常時動作で代替することができ、この異常時動作である運転不操作と異常時状態である頭部姿勢崩れを異常状態の判定条件とすることができる。
しかも、異常時状態と異常時動作で運転者の異常状態を判定する前段階において、警報による状態確認を行うため、異常状態の判定精度を高くすることができる。

第４判定閾値Ｌ４に相当する期間は第３判定閾値Ｌ３に相当する期間よりも短いため、閉眼が確認できない状況であることを最短時間で確認することができる。

運転者異常状態判定工程Ｓ５，Ｓ３７は、少なくとも、運転者の顔向角度に基づいて頭部姿勢が異常姿勢であることを判定するため、頭部姿勢が異常姿勢であることを容易に判定することができる。

運転者異常状態判定工程Ｓ３１は、閉眼判定工程Ｓ２３，Ｓ２７で開眼状態が判定された状況において、頭部姿勢取得工程Ｓ２１で取得された運転者の頭部姿勢が異常姿勢で且つ車両が走行している状態が第１判定閾値Ｌ１に相当する期間継続した場合、運転者が異常状態であると判定している。これにより、運転者が開眼である場合の異常状態を運転者の状態と車両の挙動により判定することができる。

本運転者状態判定装置Ｍでは、車両の運転者の異常状態を検出する運転者状態判定装置Ｍにおいて、運転者の顔向きと頭部位置を取得するカメラ１１と、運転者の目が閉眼状態か否かを判定する眼状態判定部３２と、現時点における運転者による車両の運転操作量の少なくとも１つを取得するセンサ１２～１６と、運転者が異常状態か否かを判定する異常判定部３３ｃとを有するため、異常時状態である頭部姿勢崩れと異常時徴候である閉眼とを運転者の異常状態の判定条件にすることができる。
異常判定部３３ｃは、眼状態判定部３２で閉眼状態が判定された状況において、センサ１２～１６で取得された運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第３判定閾値Ｌ３に相当する期間継続した場合、運転者が異常状態であると判定するため、直接的に検出された異常時徴候と異常時状態により運転者の異常状態を判定することができる。
異常判定部３３ｃは、眼状態判定部３２で閉眼状態ではないと判定された状況において、カメラ１１で取得された運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が第３判定閾値Ｌ３とは異なる第４判定閾値Ｌ４に相当する期間継続した場合に運転者に警報し、警報後において、カメラ１１で取得された運転者の頭部姿勢が異常姿勢で且つセンサ１２～１６で取得された運転操作量が変化しない状況が第２不操作判定時間継続した場合、運転者が異常状態であると判定するため、異常時徴候である閉眼が確認できない状況であっても、異常時徴候に代わる異常時動作で代替することができ、この異常時動作である運転不操作と異常時状態である頭部姿勢崩れを異常状態の判定条件とすることができる。しかも、異常時状態と異常時動作で運転者の異常状態を判定する前段階において、警報による状態確認を行うため、異常状態の判定精度を高くすることができる。

その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。

１ 検出手段
１１ カメラ
３２ 眼状態判定部
３３ｃ 異常判定部
Ｍ 運転者状態判定装置

Claims (4)

1. 車両の運転者の異常状態を検出する運転者状態判定方法において、
   前記運転者の顔向きと頭部位置を取得する頭部姿勢取得工程と、
   前記運転者の目が閉眼状態か否かを判定する閉眼判定工程と、
   所定タイミングにおける前記運転者による前記車両の運転操作量の少なくとも１つを取得する運転操作量取得工程と、
   前記運転者が異常状態か否かを判定する運転者異常状態判定工程とを有し、
   前記運転者異常状態判定工程は、
   前記閉眼判定工程で閉眼状態が判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第１所定時間継続した場合、前記運転者が異常状態であると判定し、
   前記閉眼判定工程で閉眼状態ではないと判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が前記第１所定時間よりも短い第２所定時間継続した場合に前記運転者に報知し、前記報知後において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転操作量取得工程で取得された前記運転操作量が変化しない状況が第３所定時間継続した場合、前記運転者が異常状態であると判定する
   ことを特徴とする運転者状態判定方法。
2. 前記運転者異常状態判定工程は、少なくとも、運転者の顔向角度に基づいて頭部姿勢が異常姿勢であることを判定することを特徴とすることを特徴とする請求項１に記載の運転者状態判定方法。
3. 前記運転者異常状態判定工程は、
   前記閉眼判定工程で開眼状態が判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記車両が走行している状態が第４所定時間継続した場合、前記運転者が異常状態であると判定することを特徴とする請求項１又は２に記載の運転者状態判定方法。
4. 車両の運転者の異常状態を検出する運転者状態判定装置において、
   前記運転者の顔向きと頭部位置を取得する頭部姿勢取得手段と、
   前記運転者の目が閉眼状態か否かを判定する閉眼判定手段と、
   所定タイミングにおける前記運転者による前記車両の運転操作量の少なくとも１つを取得する運転操作量取得手段と、
   前記運転者が異常状態か否かを判定する運転者異常状態判定手段とを有し、
   前記運転者異常状態判定手段は、
   前記閉眼判定手段で閉眼状態が判定された状況において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第１所定時間継続した場合、前記運転者が異常状態であると判定し、
   前記閉眼判定手段で閉眼状態ではないと判定された状況において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が前記第１所定時間よりも短い第２所定時間継続した場合に前記運転者に報知し、前記報知後において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転操作量取得手段で取得された前記運転操作量が変化しない状況が第３所定時間継続した場合、前記運転者が異常状態であると判定することを特徴とする運転者状態判定装置。