WO2015198541A1

WO2015198541A1 - ドライバの運転不能状態検出装置

Info

Publication number: WO2015198541A1
Application number: PCT/JP2015/002864
Authority: WO
Inventors: 大翔坂野; 大見　拓寛; 豊宗岡; 塩谷　武司
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2014-06-23
Filing date: 2015-06-08
Publication date: 2015-12-30
Anticipated expiration: 2016-12-23
Also published as: JP6372388B2; CN106463065A; JP2016027452A; US20210158064A1; US20200057898A1; CN111710190A; CN114512030B; CN114512030A; CN111311963A; DE112015002944B4; CN111311963B; DE112015002944T5; CN106463065B; US10474914B2; US10936888B2; US20170161576A1; US11820383B2

Abstract

　ドライバの運転不能状態検出装置は、車両（１０）に搭載された撮像装置（２１）により撮像された運転席の画像に基づいて、ドライバの首よりも上の頭部を逐次検出する頭部検出部（６１）と、車両（１０）の走行中に、頭部検出部（６１）により検出された頭部が、画像の所定範囲から外れている場合に、ドライバが運転不能状態であることを検出するフレームアウト状態検出部（７１）と、を備える。ドライバの運転不能状態検出装置は、頭部検出部（６１）と、頭部検出部（６１）により検出された頭部の位置から、頭部の軌跡を取得する軌跡取得部（６２）と、フレームアウト状態検出部（７１）と、を備える。

Description

ドライバの運転不能状態検出装置

関連出願の相互参照

　本出願は、２０１４年６月２３日に出願された日本国特許出願２０１４－１２８３８７号、２０１５年２月１６日に出願された日本国特許出願２０１５－２８００１号に基づくものであり、ここにその記載内容を参照により援用する。

　本開示は、ドライバが運転不能となった状態を検出するドライバの運転不能状態検出装置に関する。

　車両の運転中に、急病等によりドライバが運転不能状態に陥った場合に、事故に至るおそれがある。そのため、このようなドライバの運転不能状態を検出し、事故を防止することが提案されている。

　特許文献１に記載の緊急退避装置では、ドライバの撮像画像からドライバの視線情報、瞬目情報、顔向き情報等を認識するとともに、ドライバの心拍情報、呼吸情報、脳波情報等を計測している。そして、特許文献１に記載の装置では、取得した各種情報を用いて、ドライバの意識の低下度、覚醒度、姿勢等のドライバの状態を認識し、ドライバの状態が低下している場合に、緊急退避支援を行っている。

　特許文献１に記載の装置は、各種情報を取得してドライバの状態を認識しているため、ドライバの運転不能状態を検出するための処理が複雑であることを本願発明者らは見出した。

日本公開特許公報２０１４－１９３０１号

　本開示は、ドライバが運転不能状態となったことを簡易に検出できるドライバの運転不能状態検出装置を提供することを主たる目的とする。

　本開示の第一の態様によれば、ドライバの運転不能状態検出装置は、車両に搭載された撮像装置により撮像された運転席の画像に基づいて、ドライバの首よりも上の頭部を逐次検出する頭部検出部と、前記車両の走行中に、前記頭部検出部により検出された前記頭部が、前記画像の所定範囲から外れている場合に、前記ドライバが運転不能状態であることを検出するフレームアウト状態検出部と、を備える。

　ドライバの運転不能状態検出装置によれば、運転席を撮像した画像に基づき、ドライバの頭部が逐次検出される。ドライバが車両を正常に運転している場合は、ドライバの頭部は運転席の画像の所定範囲に収まることが多い。これに対して、急病を発症してドライバの意識がなくなると、ドライバの頭部が所定範囲から外れることがある。したがって、頭部が所定範囲から外れた場合に、ドライバが運転不能状態であることを検出することにより、ドライバの運転不能状態を簡易に検出できる。

　本開示の第二の態様によれば、ドライバの運転不能状態検出装置は、車両に搭載された撮像装置により撮像された運転席の画像に基づいて、ドライバの首よりも上の頭部を逐次検出する頭部検出部と、前記頭部検出部により検出された前記頭部の位置から、前記頭部の軌跡を取得する軌跡取得部と、前記軌跡取得部により取得された前記軌跡に基づいて、前記ドライバが運転不能状態であることを検出する状態検出部と、を備える。

　ドライバの運転不能状態検出装置によれば、運転席を撮像した画像に基づき、ドライバの頭部が逐次検出されるとともに、検出された頭部の位置から頭部の軌跡が取得される。急病を発症してドライバの運転不能状態になると、ドライバの頭部は運転時の位置から移動し、運転時の位置に戻ってこなくなることが多い。よって、ドライバの頭部の軌跡に基づいて、ドライバの運転不能状態を簡易に検出できる。

　本開示についての上記および他の目的、特徴や利点は、添付図面を参照した下記詳細な説明から、より明確になる。添付図面において
図１は、運転不能状態検出装置の構成を示すブロック図であり、図２は、運転不能状態検出装置を搭載した車室内を示す図であり、図３は、運転不能状態検出装置を搭載した車両の運転席を示す図であり、図４は、制御装置の機能を示すブロック図であり、図５Ａは、通常運転時の姿勢を示す図であり、図５Ｂは、急病を発症し、姿勢崩れ（ＦＡ内）がおきたときの姿勢を示す図であり、図５Ｃは、急病を発症し、姿勢崩れ（ＦＡ外）がおきたときの姿勢を示す図であり、図６は、ものを取るときの姿勢を示す図であり、図７Ａは、通常運転時の姿勢を示す図であり、図７Ｂは、急病を発症したときの姿勢を示す図であり、図８は、脇見をするときの姿勢を示す図であり、図９は、ものを取るときの姿勢を示す図であり、図１０Ａは、通常運転時の顔向きを示す図であり、図１０Ｂは、急病を発症したときの顔向きを示す図であり、図１１は、脇見をするときの顔向きの変化を示す図であり、図１２は、外力の発生に伴う頭部の揺れを示す図であり、図１３は、運転不能状態と判定する頭部の揺れの振幅範囲を示す図であり、図１４Ａは、通常運転時の表情を示す図であり、図１４Ｂは、急病を発症したときの表情を示す図であり、図１５Ａは、通常の状態を示す図であり、図１５Ｂは、白目を向いた状態を示す図であり、図１５Ｃは、完全に白目を向いた状態を示す図であり、図１６Ａは、運転不能状態を検出する処理手順を示すフローチャートであり、図１６Ｂは、図１６Ａの続きであり、運転不能状態を検出する処理手順を示すフローチャートであり、図１７は、姿勢崩れを検出する処理手順を示すサブルーチンであり、図１８は、ドライバに姿勢崩れレベルを報知する態様を示す図であり、図１９は、変形例１に係るフレームアウト判定のフレームの範囲を示す図であり、図２０は、変形例２に係るフレームアウト判定のフレームの範囲を示す図であり、図２１は、変形例３に係るフレームアウト判定のフレームの範囲を示す図であり、図２２は、変形例４に係るフレームアウト判定のフレームの範囲を示す図であり、図２３は、第２実施形態に係るフレームアウト判定のフレームの範囲及び判定時間を示す図である。

　以下、ドライバの運転不能状態検出装置を具現化した各実施形態について、図面を参照しつつ説明する。なお、本実施形態では、ドライバの運転不能状態は、ドライバが急病を発症して意識がなくなり運転操作できない状態と、ドライバが心臓発作等の急病を発症して、意識はあるが体を動かせないために運転操作できない状態とを含む。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。

　（第１実施形態）
　まず、本実施形態に係る検出装置１００（ドライバの運転不能状態検出装置）の構成について、図１～３を参照して説明する。検出装置１００は、制御装置５０、ドライバ状態認識装置２０、車両情報認識装置３０、走行環境認識装置４０、ＨＭＩ（Human Machine Interface）８０、及び記憶装置５２を備えて、ドライバの運転不能状態を検出する。そして、検出装置１００は、ドライバが運転不能状態であることをドライバに確認して応答がなかった場合に、車両を安全に停止させる指令を車両制御装置９０へ送信する。

　ドライバ状態認識装置２０は、複数のドライバカメラ２１、シートベルトセンサ２２、座面センサ２３を備える。ドライバカメラ２１は撮像装置に、シートベルトセンサ２２は量検出部に、座面センサ２３は座圧検出部に、対応する。ドライバカメラ２１は、例えばＣＣＤカメラであり、近赤外ＬＥＤ等の照明装置により照らされた運転席を撮像する。ドライバカメラ２１は、図２及び３に示すように、メーターパネル１４、バックミラー１６の下端の略中央、左右のＡピラー１７に、それぞれドライバに向かって搭載されている。メーターパネル１４の代わりに、ダッシュボード１３の上（破線で示す）やステアリングコラムにドライバカメラ２１が設置されていてもよい。また、バックミラー１６の下端の代わりに、バックミラー１６の左端や右端（破線で示す）に設置されていてもよい。これら４つのドライバカメラ２１はドライバステータスモニタを構成し、運転席のシート１１に座ったドライバの上半身を正面側から１秒に数十画像分撮像する。

　シートベルトセンサ２２は、シートベルト１２の引き出し量を検出するセンサである。具体的には、シートベルトセンサ２２は、シートベルト１２の送り出し及び巻き取りを行うモータの回転角度を検出するエンコーダである。座面センサ２３は、運転席のシート１１の座部１１ａの圧力分布を検出するセンサである。

　車両情報認識装置３０は、車速センサ３１、舵角センサ３２、アクセルセンサ３３、及びブレーキセンサ３４を備える。車速センサ３１は、車両１０の速度を検出するセンサである。舵角センサ３２は、ステアリングホイール１５の操舵角を検出するセンサである。アクセルセンサ３３は、アクセル開度すなわちアクセルペダルの操作量を検出するセンサである。ブレーキセンサ３４は、ブレーキペダルの操作量を検出するセンサである。

　走行環境認識装置４０は、前方・後方カメラ４１、前方・後方センサ４２、カーナビゲーション装置４３、及びＧセンサ４４を備える。前方・後方カメラ４１は、道路の白線を含む車両１０の前方を撮像するカメラや、車両１０の後方及び後側方を撮像するカメラである。前方・後方センサ４２は、超音波センサ、レーザーレーダ、ミリ波レーダ等のセンサであり、車両１０の前方や後方の物体を検出し、車両１０と前方や後方の物体との距離を取得する。前方・後方センサ４２により取得された車両１０と前方車両や後方車両との距離に基づいて、前方車両や後方車両との相対速度が算出できる。

　カーナビゲーション装置４３は、ＧＰＳ受信機により受信されたＧＰＳ信号や、Ｇセンサを含む各種センサにより取得された情報を用いて、車両１０の現在位置を算出し、現在位置から目的地までの誘導経路を算出する。Ｇセンサ４４は、例えばシート１１に設置され、車両１０の前後、左右、上下の三次元の加速度を検出するセンサである。また、Ｇセンサ４４は、カーナビゲーション装置４３が備えるセンサであってもよいし、車両１０が車両運行管理システム（ＡＶＯＳ）を備えている場合には、Ｇセンサ４４は、ＡＶＯＳが備えるセンサであってもよい。すなわち、Ｇセンサ４４は、他の用途で設置されているものがある場合には、共用すればよい。

　制御装置５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏ等を備えるマイクロコンピュータであり、ドライバ状態認識装置２０、車両情報認識装置３０、走行環境認識装置４０、記憶装置５２、ＨＭＩ８０から各種情報を取得する。制御装置５０と各種装置とは、ＣＡＮ等の有線通信や、ＬＡＮ、Bluetooth（登録商標）等の無線通信で接続されている。また、制御装置５０は、ＣＰＵがＲＯＭに記憶されている各種プログラムを実行することにより、画像解析部６０、学習部５１、状態検出部７０の機能を実現し、ドライバの運転不能状態を検出する。各部についての詳しい説明は後で述べる。

　ＨＭＩ８０（姿勢報知部、確認部）は、ディスプレイ８１、スピーカ８２、キャンセルスイッチ８３を備える。ディスプレイ８１は、カーナビゲーション装置４３のディスプレイや、メーターパネル１４内に設けられている車載ディスプレイである。ディスプレイ８１は、液晶パネルや有機ＥＬパネルを備えたタッチディスプレイでもよい。ディスプレイ８１は、画像から検出されたドライバの姿勢に基づいて、ドライバの姿勢の崩れ度合を報知する。詳しくは、ディスプレイ８１は、ドライバの姿勢のステータスを５段階で表示する。最も崩れ度合の高い姿勢崩れレベル５は、ドライバが急病を発症して運転姿勢を維持できなくなった状態、すなわち運転不能状態と判定されるレベルである。ドライバは、ディスプレイ８１に表示された姿勢のステータスを見て自分の運転姿勢を確認できるので、姿勢崩れレベルが５に近づいた場合には、運転不能状態と判定される前に運転姿勢を修正できる。

　スピーカ８２は、カーナビゲーション装置４３やオーディオ装置等と共用される車載スピーカである。スピーカ８２は、ドライバの運転不能状態が検出された場合に、ドライバに運転不能状態か音声で確認する。なお、ディスプレイ８１が、運転不能状態を確認する画面を表示してもよい。また、スピーカ８２が、ドライバの姿勢崩れレベルを音声で報知してもよい。

　キャンセルスイッチ８３は、運転不能状態の検出を中止するスイッチである。キャンセルスイッチ８３が１回操作されると、１トリップの間、運転不能状態の検出が中止される。また、トリップ中にキャンセルスイッチ８３が操作された場合には、キャンセルスイッチ８３が操作されている間、又は操作されてから一定時間（数秒程度）、運転不能状態の検出が中止される。よって、ドライバがものを取る動作を行う際に、予めキャンセルスイッチ８３を操作すれば、ドライバの姿勢が崩れても運転不能状態であると誤検出されるおそれがない。

　次に、制御装置５０が実現する各種機能について、図４を参照して説明する。画像解析部６０は、頭部検出部６１、軌跡取得部６２、痙攣検出部６３、傾き検出部６４、顔向き検出部６５、白目検出部６６を含む。

　頭部検出部６１は、ドライバカメラ２１により撮像された運転席の画像に基づいて、ドライバの首よりも上の頭部を逐次検出する。詳しくは、頭部検出部６１は、ドライバカメラ２１により運転席の画像が撮像される都度、運転席の画像からドライバの頭部の輪郭を表すエッジを抽出し、抽出したエッジで囲まれた領域を頭部として検出する。

　軌跡取得部６２は、頭部検出部６１により逐次検出されたドライバの頭部の位置から、ドライバの頭部の軌跡を取得する。軌跡取得部６２は、例えば、各画像において検出されたドライバの頭部の中心を頭部の位置とし、各画像における頭部の位置を繋げて頭部の軌跡を取得する。

　痙攣検出部６３は、ドライバの痙攣、すなわちドライバの頭部及び首よりも下の胴体部の筋肉の不随意な収縮を検出する。詳しくは、痙攣検出部６３は、各画像においてドライバの頭部及び胴体部の輪郭を表すエッジを抽出し、連続した画像において抽出したエッジが規則的（周期的）に振動している場合に、ドライバが痙攣していることを検出する。

　傾き検出部６４は、運転席の画像に基づいて、ドライバの胴体部に対する頭部の傾きθを検出する。詳しくは、傾き検出部６４は、頭部及び胴体部の輪郭を表すエッジに囲まれた領域を、それぞれ頭部及び胴体部として検出するとともに、頭部及び胴体部の中心軸線を検出する。そして、傾き検出部６４は、胴体部の中心軸線に対する頭部の中心軸線の傾きを頭部の傾きθとする。胴体部の中心軸線は、予め用意されている胴体部の向きのパターンと、検出した胴体部の向きとのマッチングを行って胴体部の向きを決め、向きを決めた胴体部から検出する。また、頭部の中心軸線は、頭部に含まれる顔の目、鼻、口等の特徴点を抽出し、顔の特徴点の三次元的な配置から検出する。頭部が前方に傾いた場合は、顔の特徴点と車両前方との距離が近づき、頭部が仰け反った場合は、顔の特徴点と車両前方との距離が遠ざかる。頭部の中心軸線を検出する際に、車両の前後方向における顔の特徴点の距離を用いてもよい。

　あるいは、傾き検出部６４は、運転席の画像から運転席のシートベルト１２を検出し、シートベルト１２と頭部との位置関係から、胴体部に対する頭部の傾きθを検出する。ドライバの胴体部はシートベルト１２により拘束されているため、シートベルト１２の位置から胴体部の位置を推定できる。

　顔向き検出部６５は、運転席の画像に基づいて、車両１０の前方に対するドライバの顔の向きを検出する。顔向き検出部６５は、車両１０の前面に対向する垂直平面に対する顔面の傾きを、顔向きとして検出する。

　白目検出部６６は、表情検出部６７及び白目度合算出部６８を含み、ドライバが白目をむいた状態を検出する。ここで、白目をむいた状態とは、図１５Ｃに示すように完全に白目をむいた状態に限らず、図１５Ｂに示すように黒目領域が所定量よりも小さくなった状態も含む。すなわち、白目をむいた状態は、黒目が偏ることにより視野が所定範囲よりも狭くなっている状態をいう。

　表情検出部６７は、運転席の画像に基づいて、ドライバの目の輪郭及び黒目領域を検出する。ここで、ドライバの目の輪郭は、瞼と目との境界線である。また、黒目領域は、目の輪郭の内側の領域において、白目よりも明度の低い領域であり、黒色に限らず、青色、茶色、灰色等の色がついた領域である。また、表情検出部６７は、抽出された口の輪郭を表すエッジから、ドライバの口の開きを検出する。

　白目度合算出部６８は、表情検出部６７により検出された目の輪郭及び黒目領域に基づいて、ドライバの目の白目度合を算出する。

　具体的には、白目度合算出部６８は、目の輪郭で囲まれた領域の縦方向の長さＬｗ＋Ｌｂと、黒目領域の縦方向の長さＬｂとの比から、白目度合を算出する（図１５Ａから図１５Ｃ参照）。長さＬｗ＋Ｌｂに対する長さＬｂが小さいほど、白目度合は大きくなる。あるいは、白目度合算出部６８は、目の輪郭の上部から黒目領域の最下部までの距離Ｌｂに基づいて、白目度合を算出する。距離Ｌｂが小さいほど、白目度合は大きくなる。あるいは、白目度合算出部６８は、目の輪郭で囲まれた目全体の領域の面積から黒目領域の面積を除いた白目領域の面積と、黒目領域の面積との比に基づいて、白目度合を算出する。白目領域の面積に対する黒目領域の面積が小さいほど、白目度合は大きくなる。

　あるいは、白目度合算出部６８は、黒目領域の偏平率に基づいて、白目度合を算出する。白目をむいた状態では、黒目領域が上側を向くため、黒目領域の偏平率が見かけ上大きくなり、黒目領域の偏平率が大きいほど、白目度合は大きくなる。あるいは、白目度合算出部６８は、目の輪郭で囲まれた領域の縦方向の中心となる中心線から黒目領域の最下部までの距離Ｌｃに基づいて、白目度合を算出する。

　学習部５１は、ドライバが運転不能状態でない場合において、傾き検出部６４により検出された頭部の傾きθを学習する。また、学習部５１は、ドライバが運転不能状態でない場合において、顔向き検出部６５により検出された顔の向きを学習する。さらに、学習部５１は、ドライバが運転不能状態でない場合において、頭部検出部６１により検出された頭部の揺れの振幅を学習する。すなわち、学習部５１は、ドライバの運転姿勢の癖を学習する。車両１０を運転するドライバが複数いる場合には、ドライバごとに運転姿勢の癖を学習する。

　状態検出部７０は、フレームアウト状態検出部７１、姿勢崩れ状態検出部７２、向き崩れ状態検出部７３、揺れ状態検出部７４、及び白目状態検出部７５を含む。

　フレームアウト状態検出部７１は、車両１０の走行中に、フレームアウトを判定して、フレームアウトしている場合に、ドライバが運転不能状態であることを検出する。詳しくは、フレームアウト状態検出部７１は、頭部検出部６１により検出されたドライバの頭部が、画像の範囲ＦＡから外れている場合に、ドライバが運転不能状態であることを検出する。ここで、範囲ＦＡは、ドライバカメラ２１により撮像された画像における所定の範囲である。通常の運転時には、ドライバの頭部が範囲ＦＡから外れることはない。範囲ＦＡを、撮像された画像の全体としてもよい。

　ドライバが車両１０を正常に運転している場合は、図６に示すように、ドライバがものを取る動作をしても、ドライバの頭部は画像の範囲ＦＡに収まることが多い。これに対して、急病を発症してドライバの意識がなくなると、図５Ａから図５Ｃに示すように、ドライバの頭部が範囲ＦＡから外れることがある。よって、フレームアウト状態検出部７１は、ドライバの頭部が画像の範囲ＦＡから外れている場合に、ドライバが運転不能状態であることを検出する。

　このとき、フレームアウト状態検出部７１は、頭部が範囲ＦＡから外れるまでに、軌跡取得部６２により取得された軌跡を考慮すると、ドライバの運転不能状態を検出する精度を向上させることができる。画像の不明瞭等により範囲ＦＡ内でドライバの頭部を検出できなかった場合と、ドライバの頭部が移動して範囲ＦＡ内で検出できなかった場合とを、頭部の軌跡を用いることにより判別できるため、ドライバの運転不能状態の検出精度が向上する。

　なお、ドライバが一時的に頭部を移動させた場合や、画像の不明瞭等により頭部の不検出となった場合には、軌跡の最終位置付近で、再度頭部を検出できることが多い。よって、頭部検出部６１により頭部が検出されなくなった場合に、頭部検出部６１は、軌跡取得部６２により取得された軌跡の最終位置付近を探索する。このようにすると、ドライバの頭部が不検出になった場合でも、頭部の軌跡を用いて、再度の頭部検出を効率的に行うことができる。

　姿勢崩れ状態検出部７２は、車両１０の走行中に、ドライバの姿勢崩れの判定をして、姿勢崩れしている場合に、ドライバが運転不能状態であることを検出する。詳しくは、姿勢崩れ状態検出部７２は、傾き検出部６４により検出された頭部の傾きθが、閾値Ｔｈ１（相対傾き閾値）よりも大きい場合に、ドライバが運転不能状態であることを検出する。

　通常、ドライバの胴体部は運転席のシート１１やシートベルト１２により拘束されているため、ドライバの意識がなくなっても胴体部は比較的動きにくい。一方、ドライバの頭部は拘束されていないことが多いため、ドライバの意思で頭部の位置を維持する必要がある。そのため、急病を発症してドライバの意識がなくなると、ドライバは頭部の位置を維持できなくなり、図７Ａと図７Ｂに示すように、頭部は胴体部に対していずれかの方向に大きく傾くことが多い。

　これに対して、走行中にドライバが脇見をするときは、一般的にドライバは首を回転させて見るため、図８に示すように、胴体部に対する頭部の傾きは小さくなることが多い。また、ドライバが運転席から離れた位置のものを取るときは、一般的にドライバは意識して胴体部を傾けるため、図９に示すように、胴体部に対する頭部の傾きθは小さくなることが多い。よって、姿勢崩れ状態検出部７２は、頭部の傾きθが閾値Ｔｈ１よりも大きい場合に、ドライバが運転不能状態であることを検出する。このとき、姿勢崩れ状態検出部７２は、更にドライバの顔が車両１０の前方を向いていないことを条件として、ドライバが運転不能状態であることを検出すると、運転不能状態の誤検出を抑制できる。

　向き崩れ状態検出部７３は、車両１０の走行中に、ドライバの顔向きの崩れの判定をして、顔向きが崩れている場合に、ドライバが運転不能状態であることを検出する。詳しくは、向き崩れ状態検出部７３は、顔向き検出部６５により検出された車両１０の前方に対する顔の向きが、時間Ｔ２（向き崩れ判定時間）を超えて閾値Ｔｈ２（顔向き閾値）よりも大きい場合に、ドライバが運転不能状態であることを検出する。

　一般的に、急病を発症すると、ドライバは顔の向きを維持できなくなり、図１０Ａと図１０Ｂに示すように、車両１０の前方に対する顔の向きが崩れたままの状態になる。これに対して、走行中にドライバが脇見をするときは、一般的にドライバは顔の向きを変えてもすぐに戻すことが多い。よって、向き崩れ状態検出部７３は、上記場合にドライバが運転不能状態であることを検出する。

　または、向き崩れ状態検出部７３は、顔向き検出部６５により検出された車両１０の前方に対する顔の向きが、閾値Ｔｈ２よりも大きく、且つドライバがステアリングホイール１５を放している場合に、ドライバが運転不能状態であることを検出する。ドライバがステアリングホイール１５を放しているか否かは、画像から検出してもよいし、ステアリングホイール１５に設置した圧力センサ等により検出してもよい。

　一般的に、急病を発症すると、ドライバは顔の向きを維持できなくなり、図１０Ａと図１０Ｂに示すように、車両１０の前方に対する顔の向きが崩れるとともに、ドライバはステアリングホイール１５を放すことが多い。これに対して、走行中にドライバが脇見をするときは、図１１に示すように、一般的にドライバはステアリングホイール１５を把持したまま顔の向きを変えることが多い。また、ドライバが脇見をするときは、頭部を傾けないで、首を回して顔向きだけ変えることもある。よって、向き崩れ状態検出部７３は、上記場合にドライバが運転不能状態であることを検出する。

　または、向き崩れ状態検出部７３は、顔向き検出部６５により検出された顔の向きが閾値Ｔｈ２よりも大きく、且つアクセル開度が所定開度よりも大きい場合に、ドライバが運転不能状態であることを検出する。

　一般的に、走行中にドライバが脇見をするときは、安全上アクセルを大きく踏み込まないことが多い。したがって、車両１０の前方に対する顔の向きが閾値Ｔｈ２よりも大きく、且つアクセル開度が所定開度よりも大きい場合には、脇見などによる顔向きの崩れではなく、急病による顔向きの崩れである可能性が高い。よって、向き崩れ状態検出部７３は、上記場合にドライバが運転不能状態であることを検出する。

　または、向き崩れ状態検出部７３は、顔向き検出部６５により検出された顔の向きが閾値Ｔｈ２よりも大きく、且つ時間Ｔ３（操作判定時間）よりも長い時間アクセル操作及びブレーキ操作が行われていない場合に、ドライバが運転不能状態であることを検出する。

　一般的に、急病を発症すると、車両１０の前方に対する顔の向きが崩れるとともに、時間Ｔ３よりも長い時間アクセル操作及びブレーキ操作が行われない。これに対して、走行中にドライバが脇見をするときは、一般的にドライバは、顔の向きを変えるとともに時間Ｔ３内にアクセル操作又はブレーキ操作を行うことが多い。よって、向き崩れ状態検出部７３は、上記場合にドライバが運転不能状態であることを検出する。

　揺れ状態検出部７４は、車両１０の走行中において、外力に伴うドライバの頭部の揺れ状態を判定して、頭部が通常と異なる揺れをしている場合に、ドライバが運転不能状態であることを検出する。詳しくは、揺れ状態検出部７４は、車両１０に外力が加わってから時間Ｔ５（揺れ判定時間）経過するまでの間、頭部検出部６１により検出された頭部の揺れの振幅が、振幅Ａｍ１（第１振幅）よりも小さい場合に、又は振幅Ａｍ２（第２振幅）よりも大きい場合に、ドライバが運転不能状態であることを検出する。振幅Ａｍ２は振幅Ａｍ１よりも大きい値である。

　図１２に示すように、車両１０に外力が加わると、所定の時間差の後、ドライバに振動が伝わる。通常、ドライバの意識がある場合、車両１０に外力（詳しくは上下方向の外力）が加わった際に、図１３に示すように、ドライバの頭部は振幅Ａｍ１から振幅Ａｍ２の範囲内の振幅で揺れる。これに対して、ドライバが急病を発症して体が硬直していると、正常時よりも頭部の揺れの振幅が小さくなる。また、ドライバが急病を発症して体が弛緩していると、正常時よりも頭部の揺れの振幅が大きくなる。よって、揺れ状態検出部７４は、上述した場合にドライバの運転不能状態を検出する。

　なお、時間Ｔ５は、車両１０に外力が加わってから、ドライバの動きが外力と無関係な動きとなるまでの時間である。また、振幅Ａｍ１及び振幅Ａｍ２は時間の関数であり、図１３はその１例を示している。揺れ状態の判定では、簡易的に、外力が加わってから時間Ｔ５経過するまでの間における振幅Ａｍ１の最小値、及び振幅Ａｍ２の最大値を閾値としてもよい。

　白目状態検出部７５は、車両１０の走行中に、白目の判定をして、白目検出部６６により白目をむいた状態が検出された場合に、ドライバが運転不能状態であることを検出する。詳しくは、白目状態検出部７５は、白目度合算出部６８により算出された白目度合が、閾値Ｔｈ３（白目閾値）よりも大きい場合に、ドライバが運転不能状態であることを検出する。

　通常、ドライバが運転可能な状態の場合は、ドライバが白目をむくことはない。これに対して、ドライバが急病を発症すると、図１４Ａと図１４Ｂに示すように、ドライバが白目をむくことがある。よって、白目状態検出部７５は、白目をむいた状態が検出された場合に、ドライバが運転不能状態であることを検出する。

　記憶装置５２（記憶部）には、各状態検出部により用いられる各閾値及び各判定値が記憶されている。さらに、記憶装置５２には、学習部５１により学習された頭部の傾きθ、顔の向き及び頭部の揺れの振幅が記憶される。また、記憶装置５２には、ドライバの病歴及び年齢を含む個人情報が登録されている。ドライバが複数いる場合には、各ドライバの個人情報が登録されている。また、記憶装置５２には、運転不能状態と判定しないドライバの姿勢、及び運転不能状態と判定するドライバの姿勢が登録されている。運転不能状態と判定しないドライバの姿勢は、例えば通常の運転姿勢や運転中によくする姿勢である。運転不能状態と判定するドライバの姿勢は、例えば持病があるドライバが発作時にする姿勢である。ドライバは、予め運転席で登録したい姿勢をドライバカメラ２１で撮像して、記憶装置５２に登録する。

　次に、ドライバの運転不能状態を検出する処理手順について、図１６Ａと図１６Ｂのフローチャートを参照して説明する。本処理手順は、制御装置５０が実行する。

　まず、車両１０の車速がＶ以下か否か判定する（Ｓ１０）。Ｖは０ｋｍ／ｈ（停車）であってもよいし、停車とみなせる程度に十分に低い速度（例えば１ｋｍ／ｈ）である。車速がＶ以下（Ｓ１０：ＹＥＳ）の場合は、車速がＶよりも高いと判定されるまで、Ｓ１０の判定を繰り返し実行する。車速がＶよりも高い場合（Ｓ１０：Ｎ０）は、走行中であると判定して、ドライバの運転不能状態の検出処理を開始し、最初にフレームアウトの判定を行う。

　ここで、Ｓ１０の判定では、ドライバが運転操作を行っているか否かも判定して、運転操作を行っている場合には、Ｓ１０の判定を繰り返し実行するようにし、走行中で且つ運転操作を行っていない場合に、ドライバの運転不能状態の検出処理を開始するようにしてもよい。例えば、車両１０の車速がＶ２（例えば５０ｋｍ／ｈ）以上、又は舵角センサ３２により検出された操舵角が所定の角度以上、又は操舵角速度が所定の角速度以上か否か判定する。Ｖ２はドライバがアクセルペダルの操作を行っているとみなせる値、所定の角度、及び所定の角速度は、ドライバがステアリングホイール操作を行っているとみなせる値である。上記３つの条件のすくなくとも１つの条件を満たしている場合には、ドライバが運転操作を行っているとして、ドライバの運転不能状態の検出処理を開始しない。

　フレームアウトの判定では、まず、運転席の画像からドライバの頭部及び胴体部を検出する（Ｓ１１）。このとき、ドライバの頭部に含まれる顔の特徴点を検出して、ドライバの認証を行う。なお、ドライバの認証は、予めスマートフォン等の携帯端末との通信で行っていてもよし、個人情報が登録された車両１０のキーとの通信で行ってもよい。

　次に、頭部位置が検出できたか否か判定する（Ｓ１２）。頭部位置が検出できなかった場合は（Ｓ１２：ＮＯ）、後述するＳ１９の処理で記録した頭部位置から頭部の軌跡情報を取得し、軌跡情報がフレームアウトを示しているか否か判定する（Ｓ１３）。すなわち、頭部位置の不検出が、頭部が撮像範囲外へ出たことによる不検出か、画像の不明瞭等による不検出かを判定する。

　頭部の軌跡情報がフレームアウトを示していない場合は（Ｓ１３：ＮＯ）、一時的な画像の不明瞭等による不検出と判定して、Ｓ１０の処理に戻る。一方、頭部の軌跡情報がフレームアウトを示している場合は（Ｓ１３：ＹＥＳ）、頭部が撮像範囲外へ出たと判定する。この場合、頭部が撮像範囲外に存在することを確認するために補助的に使用する、シートベルトセンサ２２及び座面センサ２３の情報を取得する（Ｓ１４）。

　次に、時間Ｔ０（フレームアウト判定時間）以上継続して、フレームアウトした状態か否か判定する（Ｓ１５）。詳しくは、時間Ｔ０以上継続して、頭部位置が範囲ＦＡから外れており、且つシートベルト１２の引き出し量が、シートベルト１２の装着時に検出された引き出し量よりも第１引き出し量を超えて多く、且つ座部１１ａの圧力分布において高圧部分が座部１１ａの端部に偏っているか否か判定する。そして、上記３つの条件を満たしている場合に、時間Ｔ０を超えてフレームアウトした状態であると判定する。このときさらに、シートベルトセンサ２２により検出された量検出時間あたりの引き出し量が、すなわちシートベルト１２の引き出し速度が、第２引き出し量よりも多いことを条件としてもよい。

　なお、シートベルトセンサ２２及び座面センサ２３の情報は使用しなくてもよい。すなわち、Ｓ１４の処理は実行せず、Ｓ１５の処理では、時間Ｔ０以上継続して、頭部位置が範囲ＦＡから外れているか否か判定するだけでもよい。

　ここで、時間Ｔ０は、記憶装置５２に登録されている個人情報に基づいて設定する。例えば、年齢が高い人は低い人よりも時間Ｔ０を短くする。また、特定の病歴がある人は、特定の病歴がない人よりも時間Ｔ０を短くする。さらに、時間Ｔ０は、ドライバの状態や走行環境に応じて変更する。ドライバが運転不能状態になる兆候を示している状態や、ドライバが運転不能状態である可能性が高い状態や、ドライバが運転不能状態となった場合に衝突の可能性が高い走行環境では、時間Ｔ０を短縮してドライバの運転不能状態を検出されやすくする。

　具体的には、Ｓ１９の処理で記録した頭部位置が所定振幅よりも大きい振幅で振動している場合、すなわち頭部がふらふら揺れている場合には、運転不能状態になる確率が高いので、時間Ｔ０を短縮する。また、頭部の移動速度が大きいほど、ものを取る時の姿勢崩れではなく急病による姿勢崩れである可能性が高い。よって、取得した頭部の軌跡情報において、頭部位置の移動速度が大きいほど時間Ｔ０を短くする。また、急病による姿勢崩れの場合は、頭部が範囲ＦＡの端に近づくほど、頭部の移動速度が大きくなることが多い。よって、頭部が範囲ＦＡの端に近づくほど、頭部の移動速度が大きくなる場合は、ものを取る時の姿勢崩れではなく急病による姿勢崩れである可能性が高い。したがって、記録した頭部位置が範囲ＦＡの端に近づくほど、頭部の移動速度が大きくなる場合には、時間Ｔ０を短くする。また、痙攣が検出された場合には、運転不能状態になる確率が高いので、時間Ｔ０を短縮する。

　また、衝突を回避するために、車速が速いほど早く適切な車両制御を開始する必要があるので、車両１０の車速が高いほど時間Ｔ０を短くする。また、衝突を回避するために、先行車両との車間距離を先行車両との相対速度で除したＴＴＣ（衝突余裕時間）が短いほど、早く適切な車両制御を開始する必要があるので、ＴＴＣが短いほど時間Ｔ０を短くする。また、車両１０においてＡＣＣ（Adaptive Cruise Control）やＬＫＡ（Lane Keep Assist）等の運転支援制御が実行されている場合には、ドライバは長い時間姿勢を崩すことがあるので、時間Ｔ０を延長する。さらに、統計的に出ている心臓発作等の急病が発症しやすい曜日や時間帯では、時間Ｔ０を短縮してもよい。

　時間Ｔ０以上継続してフレームアウトした状態でない場合は（Ｓ１５：ＮＯ）、Ｓ２１の処理に進む。時間Ｔ０以上継続してフレームアウトした状態の場合は（Ｓ１５：ＹＥＳ）、ドライバが運転不能状態であることを検出し、ドライバに運転不能状態か確認する。詳しくは、スピーカ８２からの音声、ディスプレイ８１上での表示、インジケータ（図示なし）の点滅等により運転不能状態の検出を通知し、所定の時間内にドライバから応答があるか否か判定する（Ｓ１６）。

　所定の時間内に、ドライバのタッチディスプレイへの接触、ドライバの音声、ステアリングホイール１５やブレーキ等の車両１０の操作、特定のスイッチの操作等のいずれかを検出した場合には、ドライバから応答ありと判定する（Ｓ１６：ＮＯ）。上記のいずれも検出しなかった場合には、ドライバから応答なしと判定する（Ｓ１６：ＹＥＳ）。

　そして、ドライバから応答ありと判定した場合は、ドライバによる運転が可能であると認識したことを、スピーカ８２からの音声、又はディスプレイ８１上での表示等で通知する（Ｓ１７）。一方、ドライバから応答なしと判定した場合は、適切な制動及び操舵を行い安全に停車するように、車両制御装置９０へ指示を出す。また、周囲の車両に状況を報知するために、車両制御装置９０へヘッドライトの灯火及びクラクションの吹聴の指示を出す（Ｓ１８）。さらに、車両１０の他の搭乗者へも状況を報知する。

　次に、Ｓ１２の処理で頭部位置が検出できたと判定した場合には（Ｓ１２：ＹＥＳ）、頭部及び胴体部の位置を記録する（Ｓ１９）。各画像において記録された頭部の位置から、頭部の軌跡情報が取得できる。

　続いて、頭部位置が予め設定した範囲ＦＡ外に出たか否か判定する（Ｓ２０）。頭部位置が撮像範囲内にあっても範囲ＦＡ外に出た場合には（Ｓ２０：ＹＥＳ）、Ｓ１５の処理に進み、フレームアウトの判定を行う。

　続いて、頭部及び胴体部の位置関係に基づいて、ドライバの姿勢が、記憶装置５２に予め登録されている運転不能状態と判定する姿勢であるか否か判定する（Ｓ２１）。ドライバの姿勢が運転不能状態と判定する姿勢の場合は（Ｓ２１：ＹＥＳ）、ドライバが運転不能状態であることを検出し、Ｓ１６の確認処理に進む。

　ドライバの姿勢が運転不能状態と判定する姿勢でない場合は（Ｓ２１：ＮＯ）、ドライバの姿勢が、記憶装置５２に予め登録されている運転不能状態と判定しない姿勢か否か判定する（Ｓ２２）。ドライバの姿勢が運転不能状態と判定しない姿勢の場合は（Ｓ２２：ＹＥＳ）、Ｓ１０の処理に戻る。ドライバの姿勢が運転不能状態と判定しない姿勢と異なる場合は（Ｓ２２：ＮＯ）、次に姿勢崩れの判定を行う。

　まず、姿勢崩れを検出したか否か判定する（Ｓ２３）。詳しくは、図１７のサブルーチンの処理により、姿勢崩れを検出する。まず、頭部の傾き及び頭部の傾きの方向を算出する（Ｓ２３１）。続いて、胴体部の傾き及び胴体部の傾きの方向を算出する（Ｓ２３２）。続いて、算出した胴体部の傾きと頭部の傾きとのなす角度、すなわち胴体部に対する頭部の傾きθを算出する（Ｓ２３３）。算出した頭部の傾きθは、ドライバの運転不能状態が検出されなかった場合に学習する。そして、算出した頭部の傾きθが閾値Ｔｈ１（相対傾き閾値）よりも大きい場合に、姿勢崩れを検出する（Ｓ２３４）。そして、姿勢崩れを検出していない場合は（Ｓ２３：ＮＯ）、Ｓ２５の顔向き崩れの判定に進む。

　姿勢崩れを検出した場合は（Ｓ２３：ＹＥＳ）、時間Ｔ１以上継続して、頭部の傾きθが閾値Ｔｈ１よりも大きく、且つ顔が車両１０の前方を向いていないか判定する（Ｓ２４）。

　このとき、簡易的に、時間Ｔ１以上継続して、頭部の傾きθが閾値Ｔｈ１よりも大きいことのみ、又は顔が車両１０の前方を向いていないことのみを条件としてもよい。また、このときさらに、時間Ｔ１以上継続して、算出された頭部の傾きの方向及び胴体部の傾きの方向が変動しない、すなわち、頭部の位置及び胴体部の位置が範囲ＵＡ（不動判定範囲）内にあることを条件としてもよい。範囲ＵＡは、頭部及び胴体部が動いていないとみなせる範囲である。また、算出された頭部の傾きθが、学習された頭部の傾きよりも、判定値Ｄ１（傾き判定値）を超えて大きいことを条件としてもよい。また、時間Ｔ３（操作判定時間）よりも長い時間、ステアリングホイール１５が操作されていないことを条件としてもよい。

　ここで時間Ｔ１は、時間Ｔ０と同様に、記憶装置５２に登録されている個人情報に基づいて設定し、車速、ＴＴＣ、運転支援制御の実行の有無に応じて変更する。また、閾値Ｔｈ１は、痙攣が検出された場合に縮小する。さらに、時間Ｔ０と同様に、統計的に出ている心臓発作等の急病が発症しやすい曜日や時間帯では、時間Ｔ１を短縮してもよい。

　時間Ｔ１を超えて、頭部の傾きθが閾値Ｔｈ１よりも大きく、且つ顔が車両１０の前方を向いていない場合は（Ｓ２４：ＹＥＳ）、ドライバが運転不能状態であることを検出し、Ｓ１６の確認処理に進む。また、時間Ｔ１以上継続して、頭部の傾きθが閾値Ｔｈ１よりも大きくない、又は顔が車両の前方を向いている場合は（Ｓ２４：ＮＯ）、次に顔向き崩れの判定を行う。

　まず、顔向きの崩れを検出したか否か判定する（Ｓ２５）。詳しくは、車両の前方に対するドライバの顔の向きを検出する。そして、検出した顔の向きが閾値Ｔｈ２（顔向き閾値）よりも大きい場合に、顔向きの崩れを検出する。顔向きの崩れを検出していない場合は（Ｓ２５：ＮＯ）、Ｓ２８の揺れ状態の判定に進む。なお、検出した顔の向きは、ドライバの運転不能状態が検出されなかった場合に学習する。

　顔向きの崩れを検出した場合は（Ｓ２５：ＹＥＳ）、時間Ｔ２（向き崩れ判定時間）以上継続して、顔向きが閾値Ｔｈ２よりも大きいか否か判定する（Ｓ２６）。

　ここで時間Ｔ２は、時間Ｔ０と同様に、記憶装置５２に登録されている個人情報に基づいて設定し、車速、ＴＴＣ、運転支援制御の実行の有無に応じて変更する。さらに、時間Ｔ０と同様に、統計的に出ている心臓発作等の急病が発症しやすい曜日や時間帯では、時間Ｔ２を短縮してもよい。また、閾値Ｔｈ２は、痙攣が検出された場合に縮小する。

　時間Ｔ２以上継続して顔向きが閾値Ｔｈ２よりも大きい場合は（Ｓ２６：ＹＥＳ）、ドライバが運転不能状態であることを検出し、Ｓ１６の確認処理に進む。

　時間Ｔ２以上継続して顔向きが閾値Ｔｈ２よりも大きくない場合は（Ｓ２６：ＮＯ）、次に、時間Ｔ３以上継続して、ドライバがステアリングホイール１５を解放している、又はアクセル開度が所定開度よりも大きい、又はアクセル操作及びブレーキ操作がないか否か判定する（Ｓ２７）。Ｓ２７の処理における３つの条件のすくなくとも１つの条件を満たしている場合は（Ｓ２７：ＹＥＳ）、ドライバが運転不能状態であることを検出して、Ｓ１６の確認処理に進む。Ｓ２７の処理における３つの条件のいずれも満たしていない場合は（Ｓ２７：ＮＯ）、次に揺れ状態の判定を行う。

　ここで、Ｓ２６の判定ではさらに、Ｓ２７の処理における３つの条件のすくなくとも１つを満たすことを条件としてもよい。また、Ｓ２６及びＳ２７の判定ではさらに、検出された顔の向きが、学習された顔の向きよりも、判定値Ｄ１（傾き判定値）を超えて大きいことを条件としてもよい。また、一般的に、ドライバの手がドライバの首よりも上にあるままの状態で運転不能状態になることはないので、ドライバの手がドライバの首よりも下にあることを条件としてもよい。

　次に、揺れ状態の判定では、外力に対して通常とは異なる頭部のふらつきを検出したか否か判定する（Ｓ２８）。詳しくは、車両１０に外力が加わってから時間Ｔ５（揺れ判定時間）経過するまでの間、頭部の揺れの振幅が、振幅Ａｍ１（第１振幅）よりも小さい、又は振幅Ａｍ２（第２振幅）よりも大きいか否か判定する。

　このときさらに、車両１０に外力が加わってから時間Ｔ５経過するまでの間は、頭部が通常と異なる振幅で振動しており、時間Ｔ５経過した後、頭部の位置が範囲ＵＡ内にあることを条件としてもよい。すなわち、外力に応じて頭部が振動し、且つ外力の影響がなくなった後に頭部の位置が変動しないことを条件としてもよい。また、ドライバが運転不能状態であることが検出されなかった場合に、頭部の揺れの振幅を学習し、検出された頭部の揺れの振幅が、学習された頭部の揺れの振幅よりも判定値Ｄ２（振幅判定値）を超えて大きいことを条件としてもよい。また、時間Ｔ３以上継続して、ステアリングホイール１５が操作されていないことを条件としてもよい。

　外力に対して通常とは異なる頭部のふらつきを検出した場合は（Ｓ２８：ＹＥＳ）、ドライバが運転不能状態であることを検出して、Ｓ１６の確認処理に進む。外力に対して通常とは異なる頭部のふらつきを検出していない場合は（Ｓ２８：ＮＯ）、次に白目状態の判定を行う。

　まず、白目をむいた状態を検出したか否か判定する（Ｓ２９）。詳しくは、算出した白目度合が閾値Ｔｈ３（白目閾値）よりも大きい場合に、白目をむいた状態を検出したと判定する。ここでは、ドライバの両目の白目度合をそれぞれ算出し、両目の白目度合がそれぞれ閾値Ｔｈ３よりも大きいことを条件として、白目をむいた状態を検出したと判定する。ただし、片方の目だけが検出された場合や、簡易的に白目をむいた状態を検出する場合は、片方の目の白目度合だけで白目をむいた状態の検出を判定してもよい。

　白目をむいた状態を検出していないと判定した場合は（Ｓ２９：ＮＯ）、フレームアウト判定、姿勢崩れ判定、顔向き崩れ判定、揺れ状態判定、及び白目状態判定の全ての判定で、ドライバが運転不能状態であることが検出されなかったので、Ｓ１０の処理に戻る。

　白目をむいた状態を検出したと判定した場合は（Ｓ２９：ＹＥＳ）、時間Ｔ４（白目判定時間）以上継続して、白目度合が閾値Ｔｈ３よりも大きいか否か判定する（Ｓ３０）。このときさらに、時間Ｔ３以上継続して、ステアリングホイール１５が操作されていないことを条件としてもよい。

　ここで時間Ｔ４は、時間Ｔ０と同様に、記憶装置５２に登録されている個人情報に基づいて設定し、車速、ＴＴＣに応じて変更する。また、閾値Ｔｈ３は、痙攣が検出された場合に縮小する。さらに、時間Ｔ０と同様に、統計的に出ている心臓発作等の急病が発症しやすい曜日や時間帯では、時間Ｔ４を短縮してもよい。

　時間Ｔ４以上継続して白目度合が閾値Ｔｈ３よりも大きくない場合は（Ｓ３０：ＮＯ）、Ｓ１０の処理に戻る。時間Ｔ４以上継続して白目度合が閾値Ｔｈ３よりも大きい場合は（Ｓ３０：ＹＥＳ）、ドライバの運転不能状態を検出して、Ｓ１６の確認処理に進む。以上で本処理を終了する。

　なお、検出した胴体部に対する頭部の傾きθ、検出した顔の向き、検出した頭部の位置に基づいて、図１８に示すように、ドライバの姿勢崩れ度合をディスプレイ８１に表示する。検出した頭部の傾きθが大きいほど姿勢崩れレベルを高くする。また、検出した顔の向きが大きいほど姿勢崩れレベルを高くする。また、検出した頭部の位置が、運転時の標準位置から離れているほど姿勢崩れレベルを高くする。運転時の標準位置は、車両１０の始動時の頭の位置、あるいは、ドライバが運転不能状態であることが検出されなかったときの頭部の平均位置とする。

　以上説明した本実施形態によれば、以下の効果を奏する。

　ドライバの頭部が範囲ＦＡから外れた場合に、ドライバが運転不能状態であることを検出することにより、ドライバの運転不能状態を簡易に検出できる。さらに、頭部が範囲ＦＡから外れるまでの軌跡を考慮すると、ドライバの運転不能状態を検出する精度を向上させることができる。

　ドライバが運転席から離れた位置のものを取る時は、頭部が範囲ＦＡから一時的に離れても範囲ＦＡに戻ってくることが多い。よって、時間Ｔ０を超えて、ドライバの頭部が範囲ＦＡから外れていることを条件とすることにより、ドライバの運転不能状態の誤検出を抑制できる。

　範囲ＦＡを画像の全体とすれば、画像中にドライバの頭部が存在しない場合に、ドライバが運転不能状態であることが検出されるため、検出処理をより簡易にできる。

　急病によりドライバの姿勢が崩れた場合、シートベルト１２の引き出し量が装着時の引き出し量よりも第１引き出し量を超えて多くなると考えられる。また、ドライバの頭部が不検出になった場合でも、シートベルト１２の引き出し量が装着時の引き出し量よりも第１引き出し量を超えて多いときには、ドライバの頭部は撮像範囲から外れた位置に存在することがわかる。よって、シートベルト１２の引き出し量が、装着時の引き出し量よりも第１引き出し量を超えて多いことを条件とすることにより、ドライバの運転不能状態を高精度に検出できる。

　急病を発症した時には、ものを取る時よりもドライバの姿勢が急激に崩れることが多い。そのため、急病を発症した時には、ものを取る時よりもシートベルト１２が急激に引き出されることが多い。よって、量検出時間あたりのシートベルト１２の引き出し量が、第２引き出し量よりも多いことを条件とすることにより、ドライバの運転不能状態の誤検出を抑制できる。

　急病によりドライバの姿勢が崩れた場合、運転席の座部１１ａの圧力分布における高圧部分が、座部１１ａの端部に偏ると考えられる。また、ドライバの頭部が不検出になった場合でも、運転席の座部１１ａの圧力分布における高圧部分が座部の端部に偏っているときは、ドライバの頭部は撮像範囲から外れた位置に存在することがわかる。よって、座部１１ａの圧力分布における高圧部分が座部１１ａの端部に偏っていることを条件とすることにより、ドライバの運転不能状態を高精度に検出できる。

　所定振幅よりも大きい頭部の振動が検出された場合に、すなわち頭部がふらふら揺れている場合に、時間Ｔ０を短縮することにより、ドライバの運転不能状態の判定に要する時間を短縮できる。ひいては、ドライバの運転不能状態時における車両制御の実行を早く開始できる。

　頭部の移動速度が大きいほど、時間Ｔ０を短くすることにより、ドライバの運転不能状態の判定に要する時間を短縮できる。

　頭部が範囲ＦＡの端に近づくほど、頭部の移動速度が大きくなる場合に、運転不能状態の判定に要する時間を短縮することにより、ドライバの運転不能状態の判定に要する時間を短縮できる。

　胴体部に対する頭部の傾きθが閾値Ｔｈ１よりも大きい場合には、ものを取るときなどの姿勢崩れではなく急病による姿勢崩れである可能性が高い。したがって、胴体部に対する頭部の傾きθが閾値Ｔｈ１よりも大きい場合に、ドライバが運転不能状態であることを検出することにより、ドライバの運転不能状態を高精度に検出できる。

　走行中に、ドライバが胴体部に対して頭部を大きく傾ける動作を意識的にした場合は、安全上ドライバは顔を車両１０の前方に向けたままにすると考えられる。よって、顔が車両１０の前方を向いていないことを条件とすることにより、ドライバの運転不能状態を誤検出することを抑制できる。

　走行中に、ドライバが胴体部に対して頭部を大きく傾ける動作を意識的にした場合は、安全上ドライバは頭部の位置をすぐに元の位置に戻すと考えられる。よって、時間Ｔ１を超えて、胴体部に対して頭部が大きく傾いていることを条件とすることにより、ドライバの運転不能状態を誤検出することを抑制できる。

　時間Ｔ１を超えて、胴体部に対して頭部が大きく傾いたまま、頭部と胴体部の位置が変動しないことを条件とすることにより、ドライバの運転不能状態を誤検出することを抑制できる。

　検出された頭部の傾きθが学習された頭部の傾きよりも、判定値Ｄ１を超えて大きいことを条件とすることにより、ドライバが胴体部に対して頭部を傾ける姿勢の癖を持っている場合でも、ドライバの運転不能状態を誤検出することを抑制できる。

　車両１０の前方に対する顔の向きが、時間Ｔ２を超えて閾値Ｔｈ２よりも大きい場合には、脇見などによる顔向きの崩れではなく、急病による顔向きの崩れである可能性が高い。したがって、上記場合にドライバが運転不能状態であることを検出することにより、ドライバの運転不能状態を高精度に検出できる。

　車両１０の前方に対する顔の向きが閾値Ｔｈ２よりも大きく、且つドライバがステアリングホイール１５を放している場合には、脇見などによる顔向きの崩れではなく、急病による顔向きの崩れである可能性が高い。したがたって、上記場合にドライバが運転不能状態であることを検出することにより、ドライバの運転不能状態を高精度に検出できる。

　車両１０の前方に対する顔の向きが閾値Ｔｈ２よりも大きく、且つアクセル開度が所定開度よりも大きい場合には、脇見などによる顔向きの崩れではなく、急病による顔向きの崩れである可能性が高い。したがって、上記場合にドライバが運転不能状態であることを検出することにより、ドライバの運転不能状態を高精度に検出できる。

　車両１０の前方に対する顔の向きが閾値Ｔｈ２よりも大きく、且つ時間Ｔ３よりも長い時間アクセル及びブレーキの操作が行われない場合には、脇見などによる顔向きの崩れではなく、急病による顔向きの崩れである可能性が高い。したがって、上記場合にドライバが運転不能状態であることを検出することにより、ドライバの運転不能状態を高精度に検出できる。

　一般に、ドライバが運転可能状態であれば、時間Ｔ３内にステアリングホイール操作が行われる。よって、時間Ｔ３よりも長い時間、ステアリングホイール操作されていないことを条件とすることにより、ドライバの運転不能状態を誤検出することを抑制できる。

　一般的に、ドライバが運転可能な状態であれば、時間Ｔ３よりも長い時間、アクセルを大きく踏み込み続けることはない。よって、時間Ｔ３よりも長い時間、アクセル開度が所定開度よりも大きいことを条件とすることにより、ドライバの運転不能状態を誤検出することを抑制できる。

　走行中に、ドライバが車両１０の前方対する顔の向きを変える動作を意識的にした場合は、安全上ドライバはすぐに顔の向きを正面に戻すと考えられる。よって、時間Ｔ２を超えて、車両１０の正面に対する顔の向きが閾値Ｔｈ２よりも大きいことを条件とすることにより、ドライバの運転不能状態を誤検出することを抑制できる。

　一般的に、ドライバが急病を発症した場合、ドライバの手がドライバの首よりも上にあるままの状態で運転不能状態になることはない。よって、ドライバの手がドライバの首よりも下にあることを条件とすることにより、ドライバの運転不能状態を誤検出することを抑制できる。

　車両に外力が加わってから時間Ｔ５経過するまでの間、頭部の揺れの振幅が振幅Ａｍ１よりも小さい又は振幅Ａｍ２よりも大きい場合に、ドライバが運転不能状態であることを検出することにより、ドライバの運転不能状態を簡易に検出できる。

　一般に、ドライバの意識がない場合は、外力に応じて頭部が振動し、外力の影響がなくなると頭部は動かなくなる。これに対して、ドライバが癖で頭部を振動させている場合は、外力の影響に関わらず頭部が振動している。よって、外力に応じて頭部が振動し、且つ外力の影響がなくなった後に頭部の位置が変動しないことを条件とすることにより、ドライバの運転不能状態を誤検出することを抑制できる。

　検出された頭部の揺れの振幅が、学習された頭部の揺れの振幅よりも判定値Ｄ２を超えて大きいことを条件とすることにより、ドライバが頭を揺らす癖を持っている場合でも、ドライバの運転不能状態を誤検出することを抑制できる。

　白目をむいた状態が検出された場合に、ドライバが運転不能状態であることを検出することにより、ドライバの運転不能状態を高精度に検出できる。

　画像に基づき、ドライバの目の輪郭及び黒目領域が検出される。そして、検出された目の輪郭及び黒目領域に基づいて、白目度合が算出され、白目度合が閾値Ｔｈ３よりも大きい場合に、ドライバが運転不能状態であることを検出される。よって、ドライバが白目をむいている状態を高精度に検出し、ひいては、ドライバの運転不能状態を高精度に検出できる。

　ドライバが運転可能な状態の場合は、視線を上に向けて一時的に白目の度合が大きくなることがあっても、白目の度合が大きくなったままの状態になることはない。よって、時間Ｔ４を超えて白目度合が閾値Ｔｈ３よりも大きいことを条件とすることにより、ドライバの運転不能状態を誤検出することを抑制できる。

　両面の白目度合がそれぞれ閾値Ｔｈ３よりも大きいことを条件とすることにより、片目に眼帯を装着していたり、片目が義眼であったりして、白目をむいた状態と誤検出されても、もう一方の目が白目をむいていない場合には、ドライバの運転不能状態は検出されない。よって、ドライバの運転不能状態を誤検出することを抑制できる。

　目の縦方向の長さＬｗ＋Ｌｂと黒目領域の縦方向の長さＬｂとの比は、目の全領域に対する白目の領域の割合と相関があるため、目の縦方向の長さＬｗ＋Ｌｂと黒目領域の縦方向の長さＬｂとの比から、白目度合を算出できる。

　目の輪郭の上部から黒目領域の最下部までの距離Ｌｂが小さいほど、白目度合は大きい。よって、目の輪郭の上部から黒目領域の最下部までの距離Ｌｂから、白目度合を算出できる。

　白目領域の面積と黒目領域の面積との比から、白目度合を算出できる。

　白目をむいた状態では、黒目領域が上側を向くため、黒目領域の扁平率が見かけ上大きくなる。よって、黒目領域の偏平率から白目度合を算出できる。

　目の全体の縦方向の中心線から黒目領域の最下部までの距離Ｌｃが大きいほど、黒目領域は小さく、白目度合が大きくなる。よって、中心線から黒目領域の最下部までの距離Ｌｃから、白目度合を算出できる。

　一般に、ドライバが痙攣を起こした場合には、痙攣を起こしていない場合よりも、運転不能な状態になる確率が高い。よって、痙攣が検出された場合には、閾値Ｔｈ１、Ｔｈ２を縮小することにより、ドライバの運転不能状態を検出されやすくできる。

　車速が高いほど、時間Ｔ０、Ｔ１、Ｔ２、Ｔ４を短くすることにより、車速が高いほどドライバの運転不能状態の判定に要する時間が短くなり、適切な車両制御の実行を早く開始できる。

　ＴＴＣが短いほど時間Ｔ０、Ｔ１、Ｔ２、Ｔ４を短くすることにより、ＴＴＣが短いほど、ライバの運転不能状態の判定に要する時間が短くなり、適切な車両制御の実行を早く開始できる。

　ドライバの病歴や年齢を含む個人情報に基づいて時間Ｔ０、Ｔ１、Ｔ２、Ｔ４を設定することにより、運転不能状態の判定に要する時間を、ドライバ個人の特性に応じた時間にすることができる。

　車両において運転支援制御が実行されている場合には、時間Ｔ０、Ｔ１、Ｔ２を延長することにより、運転不能状態の誤検出を抑制できる。

　ドライバの姿勢の崩れ度合をドライバに報知することにより、ドライバは自分の姿勢を認識できる。そのため、ドライバは、運転姿勢が崩れても、運転不能状態と検出されないように姿勢を修正することができる。これにより、運転不能状態の誤検出を抑制できる。

　ドライバの運転不能状態が検出された場合に、ドライバに運転不能か確認することにより、ドライバの運転不能状態を誤検出した場合に、車両を安全に停止させるための車両制御の実行を回避できる。

　（第１実施形態の変形例１）
　フレームアウト状態検出部７１によるフレームアウト判定において、所定の範囲である範囲ＦＡの形状を、図１９で示すような楕円形状としてもよい。この楕円形状は、車両１０の幅方向が長軸、車両１０の高さ方向が短軸の形状とする。

　運転中における複数のドライバの頭部の動きを見ると、ドライバの頭部は、右折時及び左折時に右方向及び左方向に移動するため、左右方向を長軸とする楕円形状の範囲内を動く。よって、範囲ＦＡの形状を上記楕円形状とすることにより、通常の運転動作でドライバが頭部を移動させても、運転不能状態と誤検出されることを抑制できる。

　（第１実施形態の変形例２）
　検出装置１００は、ドライバを含むユーザの意図、又はドライバに関するドライバ情報に応じて、範囲ＦＡを変形させる変形部を備えていてもよい。変形部は、状態検出部７０が備える機能として実現すればよい。変形は、範囲ＦＡの拡大、縮小、及び形状の変更を含む。変形部は、ユーザによるＨＭＩ８０の入力操作に応じて、範囲ＦＡを変形させる。ＨＭＩ８０が拡大スイッチや縮小スイッチを備えていてもよいし、ディスプレイ８１がタッチディスプレイであってもよい。

　図２０に示すように、ドライバが、標準位置からずれる運転姿勢の癖を持っている場合や、運転不能状態を検出されにくいようにしたい場合、ドライバは、拡大スイッチ等を操作して、範囲ＦＡを範囲ＦＡａに拡大させるとよい。

　また、ドライバが高齢者や持病のある人の場合、ドライバ自身やドライバの家族等は、運転不能状態を検出されやすくするため、縮小スイッチ等を操作して、範囲ＦＡを範囲ＦＡｂに縮小させるとよい。また、ドライバがバスやタクシーの運転手の場合、バスやタクシーの管理者は、運転不能状態を検出されやすくするため、縮小スイッチ等を操作して、範囲ＦＡを範囲ＦＡｂに縮小させるとよい。なお、図２０では、範囲ＦＡ，ＦＡａ，ＦＡｂの形状を楕円形状としているが、方形状としてもよい。

　また、変形部は、ユーザの意図によらず、ドライバ情報に応じて、範囲ＦＡを拡大させたり、縮小させたりしてもよい。ドライバ情報は、ドライバの年齢、病歴及び運転姿勢の癖の少なくとも１つを含む情報であり、記憶装置５２に記憶されている。運転姿勢の癖は、学習部５１により、ドライバの頭部の位置を学習したものでもよいし、ドライバが事前に運転姿勢を撮影して登録したものでもよい。

　変形部は、例えば、ドライバに運転姿勢の癖がある場合には、範囲ＦＡを範囲ＦＡａに拡大し、ドライバが高齢者や病歴のある人の場合には、範囲ＦＡを範囲ＦＡｂに縮小する。また、変形部は、車速、ＴＴＣ、運転支援制御の有無に応じて、範囲ＦＡを拡大又は縮小してもよいし、統計的に出ている心臓発作等の急病が発症しやすい曜日や時間帯では、範囲ＦＡを縮小してもよい。

　なお、変形部は、ユーザの意図及びドライバ情報の少なくとも一方に応じて、範囲ＦＡを変化させるものであり、ユーザの意図及びドライバ情報の両方に応じて、範囲ＦＡを変化させてもよい。また、変形部は、範囲ＦＡの拡大及び縮小のいずれか一方だけを行ってもよい。また、変形部は、ユーザの意図やドライバ情報に応じて、範囲ＦＡの形状を変化させてもよい。

　このように、範囲ＦＡが、ユーザの意図又はドライバ情報に応じて変形されることにより、ユーザの意図又はドライバ情報に応じた運転不能状態の検出を実施できる。例えば、運転不能状態になる可能性が比較的高い場合には、運転不能状態を検出されやすくすることができる。また、ドライバに運転姿勢が標準位置からずれる癖がある場合には、癖に応じて範囲ＦＡを変形することにより、運転不能状態の誤検出を抑制できる。

　（第１実施形態の変形例３）
　検出装置１００は、ドライバを含むユーザの意図、又はドライバに関するドライバ情報に応じて、範囲ＦＡを画像上で移動させる移動部を備える。移動部は、状態検出部７０が備える機能として実現すればよい。移動部は、ユーザによるＨＭＩ８０の入力操作、例えばタッチディスプレイ上でのドラッグ操作に応じて、範囲ＦＡを移動させる。すなわち、ユーザの意図又はドライバ情報に応じて、範囲ＦＡを変形させるのに対して、範囲ＦＡを移動させる点が変形例２と異なる。

　図２１に示すように、ドライバに運転姿勢が標準位置からずれる癖がある場合には、範囲ＦＡを癖に応じた位置に移動させ、範囲ＦＡｃとすることにより、運転不能状態の誤検出を抑制できる。なお、図２１において、範囲ＦＡの形状を方形状としているが、楕円形状でもよい。また、変形例２と変形例３とを組み合わせて、範囲ＦＡを移動させるとともに、範囲ＦＡを変形してもよい。

　（第１実施形態の変形例４）
　ドライバカメラ２１は、ステレオカメラを含むものとする。そして、図２２に示すように、範囲ＦＡを、車両１０の幅方向だけでなく前後方向にも広がりを持つ、三次元的に設定された範囲とする。ステレオカメラは、例えば、バックミラー１６に左右の端部に設置する。範囲ＦＡは、立方形状に限らず、楕円球形状等でもよい。範囲ＦＡを楕円球形状とする場合は、楕円球形状の長軸を車両１０の幅方向にする。また、変形例４に、変形例２又は３を適用してもよい。

　ステレオカメラを用いることにより、ドライバの頭部の位置を三次元で取得することができる。すなわち、車両１０の幅方向における頭部の位置だけでなく、車両１０の前後方向における頭部の位置を取得することができる。よって、範囲ＦＡを三次元的に設定することにより、ドライバが運転不能状態になって左右方向に倒れた場合だけでなく、ドライバが運転不能状態になって前方に倒れた場合でも、フレームアウト判定によりドライバの運転不能状態を検出することができる。

　（第２実施形態）
　以下、第２実施形態に係る検出装置１００について、第１実施形態に係る検出装置１００と異なる点を説明する。第２実施形態に係る検出装置１００では、フレームアウト状態検出部７１によるフレームアウト判定の手法が、第１実施形態に係る検出装置１００と異なる。

　本実施形態では、フレームアウト状態検出部７１は、フレームアウト判定における所定範囲である範囲ＦＡとして、範囲ＦＡ１（第１所定範囲），範囲ＦＡ２（第２所定範囲），範囲ＦＡ３の３つの範囲を設定する。範囲ＦＡ１は、最も小さい範囲である。範囲ＦＡ２は、範囲ＦＡ１よりも大きく、範囲ＦＡ１及び範囲ＦＡ１よりも外側（画像の端側）の範囲を含む。また、範囲ＦＡ３は、範囲ＦＡ２よりも大きく、範囲ＦＡ２及び範囲ＦＡ２よりも外側の範囲を含む。本実施形態では、範囲ＦＡ１，範囲ＦＡ２，範囲ＦＡ３の中心は、共通の中心としている。本実施形態では、フレームアウト判定における所定範囲として、３つの範囲を設定しているが、少なくとも２つの範囲を設定すればよい。

　また、フレームアウト状態検出部７１は、所定範囲ごとに、フレームアウト判定時間を設定する。すなわち、フレームアウト状態検出部７１は、範囲ＦＡ１，範囲ＦＡ２，範囲ＦＡ３のそれぞれについて、フレームアウト判定時間として時間Ｔ０１，Ｔ０２，Ｔ０３を設定する。

　そして、フレームアウト状態検出部７１は、ドライバの頭部が、少なくとも１つの所定範囲から、所定範囲に対応するフレームアウト判定時間を超えて外れていることを条件として、ドライバが運転不能状態であることを検出する。

　すなわち、本実施形態では、（１）ドライバの頭部が範囲ＦＡ１から時間Ｔ０１を超えて外れている、（２）ドライバの頭部が範囲ＦＡ２から時間Ｔ０２を超えて外れている、（３）ドライバの頭部が範囲ＦＡ３から時間Ｔ０３を超えて外れている、という三つの条件がある。フレームアウト状態検出部７１は、上記（１）～（３）の三つの条件のうち、少なくとも一つの条件が成立した場合に、ドライバが運転不能状態であることを検出する。

　よって、図１６Ａと図１６Ｂのフローチャートでは、Ｓ１５の処理において、時間Ｔ０以上継続して、範囲ＦＡから外れた状態か否か判定する代わりに、上記（１）～（３）の三つの条件のうち、少なくとも一つの条件が成立しているか否か判定する。少なくとも一つの条件が成立している場合には、Ｓ１６の処理に進み、三つの条件のどれも成立していない場合には、Ｓ２１の処理に進む。

　一般的に、ドライバが運転席から離れた位置のものを取る時等は、安全上、通常の運転位置から離れるほど、滞在時間を短くする。そこで、フレームアウト状態検出部７１は、フレームアウト判定時間を、広い所定範囲に対応するものほど短く設定する。すなわち、フレームアウト状態検出部７１は、フレームアウト判定時間を、時間Ｔ０１＞時間Ｔ０２＞時間Ｔ０３となるように設定する。

　例えば、時間Ｔ０１を３秒、時間Ｔ０２を１秒とした場合、ドライバの頭部が範囲ＦＡ１を外れてから３秒が経過していなくても、ドライバの頭部が範囲ＦＡ２を外れてから１秒が経過した時点で、ドライバの運転不能状態が検出される。

　なお、時間Ｔ０１，Ｔ０２，Ｔ０３は、時間Ｔ０と同様に、記憶装置５２に登録されている個人情報に基づいて設定し、車速、ＴＴＣ、運転支援制御の実行の有無に応じて変更する。さらに、時間Ｔ０１，Ｔ０２，Ｔ０３は、時間Ｔ０と同様に、統計的に出ている心臓発作等の急病が発症しやすい曜日や時間帯では、短縮してもよい。さらに、時間Ｔ０１，Ｔ０２，Ｔ０３は、時間Ｔ０と同様に、頭部位置の振幅、頭部の移動速度、痙攣の検出に応じて、短縮してもよい。

　また、図２３において、範囲ＦＡ１，範囲ＦＡ２，範囲ＦＡ３の形状を楕円形状としたが、範囲ＦＡ１，範囲ＦＡ２，範囲ＦＡ３の形状を方形状としてもよい。さらに、第１実施形態の変形例２や変形例３を適用して、範囲ＦＡ１，範囲ＦＡ２，範囲ＦＡ３をそれぞれ変形させたり、移動させたりしてもよい。また、第１実施形態の変形例４を適用して、範囲ＦＡ１，範囲ＦＡ２，範囲ＦＡ３を三次元的に設定してもよい。

　以上説明した第２実施形態によれば、広さが異なるとともに中心部が重なる所定範囲が複数設定されており、所定範囲ごとにフレームアウト判定時間が設定されている。すなわち、通常の運転位置からの逸脱度合に応じて、フレームアウト判定時間が設定されている。よって、通常の運転位置からの逸脱度合に応じて、ドライバの運転不能状態を検出できる。

　そして、通常の運転位置からの逸脱度合が大きいほど、フレームアウト判定時間が短く設定されているため、運転不能状態の誤検出を抑制するとともに、ドライバが運転不能状態になった場合には、早期に検出することができる。

　（他の実施形態）
　ドライバカメラ２１は、車室内に搭載された４つのカメラのうちの一部でもよい。ドライバカメラ２１は、最低限１つあればよい。

　フレームアウト状態検出部７１は、軌跡取得部６２により取得された軌跡に基づいて、ドライバが運転不能状態であることを検出してもよい。急病を発症してドライバが運転不能状態になると、ドライバの頭部は、運転時の位置から移動して、運転時の位置に戻ってこなくなることが多いので、頭部の軌跡に基づいてドライバの運転不能状態を検出できる。

　向き崩れ状態検出部７３は更に、ドライバの顔が、閾値Ｔｈ２ｄ（下向き閾値）よりも大きく下側に向いている、又は閾値Ｔｈ２ｕ（上向き閾値）よりも大きく上側に向いている場合にも、ドライバが運転不能状態であることを検出してもよい。一般的に、急病を発症してドライバの意識がなくなると、ドライバの顔が閾値Ｔｈ２ｄよりも大きく下側に向いたり、閾値Ｔｈ２ｕよりも大きく上側に向いたりすることが多い。よって、ドライバの顔の向きが下側に大きい、又は上側に大きい場合に、ドライバが運手不能状態であることを検出できる。

　揺れ状態検出部７４は、車両１０の走行中において、車両１０に外力が加わった際に、頭部検出部６１により検出された頭部が、時間Ｔ６（復帰判定時間）を超えて外力の方向に傾いている場合に、ドライバが運転不能状態であることを検出してもよい。通常、ドライバの意識がある場合、車両１０に外力（詳しくは左右方向及び前後方向の外力）が加わった際に、ドライバの頭部は外力方向に傾いても、時間Ｔ６内に元の場所に戻る。これに対して、ドライバが急病を発症して意識がないと、ドライバの頭部は、外力に対して抵抗が減少し、時間Ｔ６を超えて外力の方向に傾いたままになる。よって、揺れ状態検出部７４は、上述した場合にドライバの運転不能状態を検出できる。

　白目状態検出部７５は更に、表情検出部６７により検出された口の開き（詳しくは縦方向の開き）が、開き判定量よりも大きい場合にも、ドライバが運転不能状態であることを検出してもよい。ドライバが急病を発症して白目をむいた場合には、口が開いた状態になることが多い。よって、ドライバの口の開きが開き判定量よりも大きい場合にも、ドライバが運転不能状態であることを検出してもよい。

　フレームアウト判定、姿勢崩れ判定、顔向き崩れ判定、揺れ状態判定、及び白目状態判定は、全て実行するとドライバの運転不能状態の検出精度が最も高くなるが、すくなくとも１つの判定を行えばよい。また、任意の数の判定を組み合わせて実行してもよい。その場合、フレームアウト判定、姿勢崩れ判定、顔向き崩れ判定、揺れ状態判定、白目状態判定の順に優先して実行するとよい。

　例えば、姿勢崩れ判定と揺れ状態判定の二つを組み合わせる場合は、姿勢崩れ判定でドライバが運転不能状態であると検出されなかった場合に、揺れ状態判定を行うと、ドライバの運転不能状態を高精度に検出できる。

　また、顔向き崩れ判定と揺れ状態判定の二つを組み合わせる場合は、顔向き崩れ判定でドライバが運転不能状態であると検出されなかった場合に、揺れ状態判定を行うと、ドライバの運転不能状態を高精度に検出できる。

　また、揺れ状態判定と白目状態判定の二つを組み合わせる場合は、揺れ状態判定でドライバが運転不能状態であると検出されなかった場合に、白目状態判定を行うと、ドライバの運転不能状態を高精度に検出できる。

　学習部５１は、ドライバが運転不能状態であることを誤検出した場合におけるドライバの姿勢を学習してもよい。すなわち、ドライバが運転不能状態であることを検出したが、ドライバから応答があった場合におけるドライバの姿勢を学習してもよい。そして、学習した姿勢を運転不能状態と判定しない姿勢としてもよい。

　各閾値及び各判定値の統計値を記憶装置５２に記憶しておき、それらを初期値として用いてもよい。各閾値及び各判定値の統計値は、複数の車両のドライバのそれぞれに対応する各閾値及び各判定値を統計したものである。また、車両１０から、ドライバに対応して設定され各閾値及び各判定値を情報センターに送信して、情報センターで統計するようにするとよい。

　ドライバに運転不能状態か確認して、ドライバから応答があった場合は、その後一定の時間、ドライバは運転可能な状態と認識するようにしてもよい。また、ドライバの運転不能状態を検出する処理を、ドライバが設定した時間間隔（例えば、１時間に１回）で行うようにしてもよい。

　車両１０に加わる外力はＧセンサ４４以外、例えば座面センサ２３で検出してもよい。

　第一の態様によれば、ドライバの運転不能状態検出装置は、車両に搭載された撮像装置により撮像された運転席の画像に基づいて、ドライバの首よりも上の頭部を逐次検出する頭部検出部と、前記車両の走行中に、前記頭部検出部により検出された前記頭部が、前記画像の所定範囲から外れている場合に、前記ドライバが運転不能状態であることを検出するフレームアウト状態検出部と、を備える。

　第二の態様によれば、ドライバの運転不能状態検出装置は、車両に搭載された撮像装置により撮像された運転席の画像に基づいて、ドライバの首よりも上の頭部を逐次検出する頭部検出部と、前記頭部検出部により検出された前記頭部の位置から、前記頭部の軌跡を取得する軌跡取得部と、前記軌跡取得部により取得された前記軌跡に基づいて、前記ドライバが運転不能状態であることを検出する状態検出部と、を備える。

　この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のステップ（あるいはセクションと言及される）から構成され、各ステップは、たとえば、Ｓ１０と表現される。さらに、各ステップは、複数のサブステップに分割されることができる、一方、複数のステップが合わさって一つのステップにすることも可能である。

　以上、ドライバの運転不能状態検出装置の実施形態、構成、態様を例示したが、ドライバの運転不能状態検出装置に係わる実施形態、構成、態様は、上述した各実施形態、各構成、各態様に限定されるものではない。例えば、異なる実施形態、構成、態様にそれぞれ記載された技術的部を適宜組み合わせて得られる実施形態、構成、態様についてもドライバの運転不能状態検出装置に係わる実施形態、構成、態様の範囲に含まれる。

Claims

　車両（１０）に搭載された撮像装置（２１）により撮像された運転席の画像に基づいて、ドライバの首よりも上の頭部を逐次検出する頭部検出部（６１）と、
　前記車両（１０）の走行中に、前記頭部検出部（６１）により検出された前記頭部が、前記画像の所定範囲から外れている場合に、前記ドライバが運転不能状態であることを検出するフレームアウト状態検出部（７１）と、を備えるドライバの運転不能状態検出装置。
　前記ドライバを含むユーザの意図、又は前記ドライバに関するドライバ情報に応じて、前記所定範囲を変形させる変形部を備える請求項１に記載のドライバの運転不能状態検出装置。
　前記ドライバを含むユーザの意図、又は前記ドライバに関するドライバ情報に応じて、前記所定範囲を移動させる移動部を備える請求項１又は２に記載のドライバの運転不能状態検出装置。
　前記ドライバ情報は、前記ドライバの年齢、病歴及び運転姿勢の癖の少なくとも１つを含む請求項２又は３に記載のドライバの運転不能状態検出装置。
　前記所定範囲の形状は、前記車両（１０）の幅方向を長軸とする楕円形状である請求項１～４のいずれかに記載のドライバの運転不能状態検出装置。
　前記フレームアウト状態検出部（７１）は、前記頭部が、フレームアウト判定時間（Ｔ０）を超えて前記所定範囲から外れていることを条件として、前記ドライバが運転不能状態であることを検出する請求項１～５のいずれかに記載のドライバの運転不能状態検出装置。
　前記所定範囲として、少なくとも、第１所定範囲と、前記第１所定範囲及び前記第１所定範囲よりも外側の範囲を含む第２所定範囲とが設定されており、
　前記フレームアウト判定時間（Ｔ０）は、前記所定範囲ごとに設定されており、
　前記フレームアウト状態検出部（７１）は、前記頭部が、少なくとも１つの前記所定範囲から、前記所定範囲に対応する前記フレームアウト判定時間（Ｔ０）を超えて外れていることを条件として、前記ドライバが運転不能状態であることを検出する請求項６に記載のドライバの運転不能状態検出装置。
　前記フレームアウト判定時間（Ｔ０）は、前記所定範囲が広いほど短く設定されている請求項７に記載のドライバの運転不能状態検出装置。
　前記撮像装置（２１）はステレオカメラであり、
　前記所定範囲は、三次元的に設定された範囲である請求項１～８のいずれかに記載のドライバの運転不能状態検出装置。
　前記頭部検出部（６１）により検出された前記頭部の位置から、前記頭部の軌跡を取得する軌跡取得部（６２）を備え、
　前記車両（１０）の走行中に、前記フレームアウト状態検出部（７１）は、前記頭部検出部（６１）により検出された前記頭部が、前記画像の所定範囲から外れていることと、前記頭部が前記所定範囲から外れるまでに前記軌跡取得部（６２）により取得された前記軌跡とに基づいて、前記ドライバが運転不能状態であることを検出する請求項１～９のいずれかに記載のドライバの運転不能状態検出装置。
　車両（１０）に搭載された撮像装置（２１）により撮像された運転席の画像に基づいて、ドライバの首よりも上の頭部を逐次検出する頭部検出部（６１）と、
　前記頭部検出部（６１）により検出された前記頭部の位置から、前記頭部の軌跡を取得する軌跡取得部（６２）と、
　前記車両（１０）の走行中に、前記軌跡取得部（６２）により取得された前記軌跡に基づいて、前記ドライバが運転不能状態であることを検出するフレームアウト状態検出部（７１）と、を備えるドライバの運転不能状態検出装置。
　前記所定範囲は、前記画像の全体である請求項１に記載のドライバの運転不能状態検出装置。
　前記頭部検出部（６１）により前記頭部が検出されなくなった場合に、前記頭部検出部（６１）は、前記軌跡取得部（６２）により取得された前記軌跡の最終位置付近を探索する請求項１０又は１１に記載のドライバの運転不能状態検出装置。
　前記運転席のシートベルトの引き出し量を検出する量検出部（２２）を備え、
　前記フレームアウト状態検出部（７１）は、前記量検出部（２２）により検出された前記引き出し量が、前記シートベルトの装着時に検出された前記引き出し量よりも、第１引き出し量を超えて多いことを条件として、前記ドライバが運転不能状態であることを検出する請求項６～８のいずれかに記載のドライバの運転不能状態検出装置。
　前記フレームアウト状態検出部（７１）は、前記量検出部（２２）により検出された量検出時間あたりの前記引き出し量が、第２引き出し量よりも多いことを条件として、前記ドライバが運転不能状態であることを検出する請求項１４に記載のドライバの運転不能状態検出装置。
　前記運転席の座部（１１ａ）の圧力分布を検出する座圧検出部（２３）を備え、
　前記フレームアウト状態検出部（７１）は、前記座圧検出部（２３）により検出された圧力分布における高圧部分が、前記座部（１１ａ）の端部に偏っていることを条件として、前記ドライバが運転不能状態であることを検出する請求項６～８、１４、１５のいずれかに記載のドライバの運転不能状態検出装置。
　前記頭部検出部（６１）により逐次検出された前記頭部の位置が、所定振幅よりも大きい振幅で振動している場合に、前記フレームアウト判定時間（Ｔ０）を短縮する請求項６～８、１４～１６のいずれかに記載のドライバの運転不能状態検出装置。
　前記頭部検出部（６１）により逐次検出された前記頭部の移動速度が大きいほど、前記フレームアウト判定時間（Ｔ０）を短くする請求項６～８、１４～１７のいずれかに記載のドライバの運転不能状態検出装置。
　前記頭部検出部（６１）により逐次検出された前記頭部の位置が前記所定範囲の端に近づくほど、前記頭部の移動速度が大きくなる場合に、前記フレームアウト判定時間（Ｔ０）を短縮する請求項６～８、１４～１８のいずれかに記載のドライバの運転不能状態検出装置。
　前記ドライバの痙攣を検出する痙攣検出部（６３）を備え、
　前記痙攣検出部（６３）により前記痙攣が検出された場合に、前記フレームアウト判定時間（Ｔ０）を短縮する請求項６～８、１４～１９のいずれかに記載のドライバの運転不能状態検出装置。
　前記車両（１０）の車速が高いほど、前記フレームアウト判定時間（Ｔ０）を短くする請求項６～８、１４～２０のいずれかに記載のドライバの運転不能状態検出装置。
　先行車両との車間距離を前記先行車両との相対速度で除した衝突余裕時間が短いほど、前記フレームアウト判定時間（Ｔ０）を短くする請求項６～８、１４～２１のいずれかに記載のドライバの運転不能状態検出装置。
　前記ドライバの病歴及び年齢を含む個人情報が登録された記憶部（５２）を備え、
　前記記憶部（５２）に登録された個人情報に基づいて、前記フレームアウト判定時間（Ｔ０）を設定する請求項６～８、１４～２２のいずれかに記載のドライバの運転不能状態検出装置。
　前記車両（１０）において運転支援制御が実行されている場合には、前記フレームアウト判定時間（Ｔ０）を延長する請求項６～８、１４～２３のいずれかに記載のドライバの運転不能状態検出装置。
　前記運転不能状態は、前記ドライバが急病を発症した状態である請求項１～２４のいずれかに記載のドライバの運転不能状態検出装置。