JP7247499B2 - 車両用監視装置 - Google Patents

Description

本発明は監視装置に関し、特に、車両に搭載されて車両の運転者を監視するための装置に関する。

近年、運転者の覚醒状態を推定して必要に応じて警報を発する技術が種々提案されている（例えば、特許文献１）。特許文献１に開示されている技術は、開眼幅計測手段により計測された開眼幅の時系列トレンドを追跡し、実測値に低域濾過フィルタのフィルタをかけることで開眼閾値を決定することが開示されている。

特開２０１０－０６７１３７号公報

上記のような技術においては、警報を出力すべきと判定された場合、運転者に警報が通知される。警報は運転者の注意を喚起するためのものである。したがって、車両を運転中の運転者の意識を向けさせるために、音や振動を運転者に提示したり、表示部にメッセージを提示したりすることが行われる。

運転者に注意喚起すべきときにこれらの警報が通知されることは有用である。しかしながら、誤判定によって注意喚起の必要がないときに警報が通知されると、車両を運転中の運転者の集中力を乱しかねない。

本発明はこれらの点に鑑みてなされたものであり、運転状態に関する誤判定を抑制する技術を提供することを目的とする。

本発明の第１の態様は、車両用監視装置である。この装置は、車両の運転者を撮像する撮像部と、前記撮像部が撮像した画像を解析して前記運転者の開眼度を含む複数の運転状態を測定する運転状態測定部と、前記車両の走行状態を判定する走行状態判定部と、前記運転状態と前記走行状態とに基づいて、警報装置を作動させるか否かを判定する警報判定部と、を備える。前記警報判定部は、前記運転状態測定部から取得した開眼度の時系列データから算出した統計量が所定の正常判定基準範囲から外れた場合において、前記開眼度を除く他の運転状態が正常であり、かつ前記走行状態も正常と判定される場合、前記運転状態測定部に開眼度の検出処理を再実行させる。

前記警報判定部は、前記運転状態測定部から取得した開眼度の時系列データから算出した統計量が所定の正常判定基準範囲から外れる状態が所定の時間継続した場合において、前記開眼度を除く他の運転状態が正常であり、かつ前記走行状態も正常と判定される場合、前記運転状態測定部に開眼度の検出処理を再実行させてもよい。

前記走行状態判定部は、前記車両に搭載された車載センサに基づいて定常的に観測される複数の観測データである第１種観測データと、前記車両に搭載された操作部が前記運転者によって操作されることを契機として観測される複数の観測データである第２種観測データとを観測するデータ観測部と、前記第１種観測データ毎に定められた正常判定基準範囲内に各第１種観測データが含まれるか否か、及び前記第２種観測データが観測されるか否かに基づいて、前記走行状態が正常か否かを判定する状態判定部と、を備えてもよい。

前記警報判定部は、前記運転状態測定部から取得した開眼度の時系列データから算出した統計量が所定の正常判定基準範囲から外れた場合であっても、前記開眼度を除く他の運転状態が正常であり、かつ前記走行状態も正常と判定される場合には、前記警報装置の作動を禁止してもよい。

前記車両用監視装置は、前記車両の位置を示す位置情報及び進行方向を検出する座標検出部と、日時、位置情報、及び日照方向を対応付けて格納する日照方向データベースを参照して、日照方向を取得する日照方向取得部と、をさらに備えてもよく、前記警報判定部は、前記運転状態測定部から取得した開眼度の時系列データから算出した統計量が所定の正常判定基準範囲から外れた場合において、前記開眼度を除く他の運転状態が正常であり、前記走行状態も正常と判定され、かつ前記車両の進行方向と前記車両の位置における前記日照方向とが所定の関係を満たすことを条件として、前記運転状態測定部に開眼度の検出処理を再実行させてもよい。

本発明によれば、運転状態に関する誤判定を抑制することができる。

実施の形態に係る車両用監視装置の概要を説明するための模式図である。 実施の形態に係る車両用監視装置が測定する運転者の開眼度を説明するための図である。 実施の形態に係る車両用監視装置の機能構成を模式的に示す図である。 実施の形態に係る運転状態測定部の機能構成を模式的に示す図である。 実施の形態に係る開眼度測定部が検出した開眼度の時系列データを模式的に示す図である。 実施の形態に係る走行状態判定部の機能構成を模式的に示す図である。 実施の形態に係る日照方向データベースのデータ構造を模式的に示す図である。 実施の形態に係る車両用監視装置が実行する運転者監視処理の流れを説明するためのフローチャートである。

＜実施の形態の概要＞
図１は、実施の形態に係る車両用監視装置１の概要を説明するための模式図である。図１に示す例では、車両用監視装置１は運転者Ｄが運転する車両Ｖに搭載されている。車両Ｖは、車両用監視装置１の一部として、撮像部２、車載センサ３、ＧＰＳ受信部４、及び警報装置５も備えている。

撮像部２は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子であり、車両Ｖの運転者Ｄを撮像する。車両用監視装置１は、撮像部２が撮像した画像を解析することによって得られた運転者Ｄの目の開き具合を示す開眼度、運転者Ｄの顔向きの角度、運転者Ｄの顔の位置等に基づいて、運転者Ｄによる車両Ｖの運転状態の適否を判定する。

なお、図１において、運転者Ｄの開眼度はＯ、運転者Ｄの視線方向は角度θ、運転者Ｄの顔の位置は２次元座標（Ｘ，Ｙ）で表現されている。詳細は後述するが、運転者Ｄの開眼度、顔向きの角度、顔の位置等の各種情報は、それぞれ車両用監視装置１が備える専用のモジュールによって解析される。

ここで、「運転者Ｄによる車両Ｖの運転状態」とは、運転者Ｄが車両Ｖを正常に走行させることができるか否かを示す運転者Ｄの状態を意味する。例えば、運転者Ｄが心疾患や脳梗塞等が原因で運転不能となりうずくまっているような場合には、運転者Ｄは車両Ｖを正常に走行させることができないので、運転状態は「不適」といえる。また、運転者Ｄの目が閉じている場合にも、不適といえる。

車載センサ３は、車両Ｖの走行状態を測定するための種々の車載センサである。ここで、「車両Ｖの走行状態」とは、車両Ｖが正常に走行しているか否かを示す車両Ｖの運動状態を意味する。車両Ｖの走行状態は、例えば車両Ｖの速度や加速度、ヨーレート、操舵角、各種ペダルの操作、ワイパーの操作、方向指示器の操作、補助ブレーキの操作、シフト操作、車線における車両Ｖの走行位置、先行車両との距離等を勘案して車両用監視装置１が判定する。

ＧＰＳ（Global Positioning System）受信部４は、航法衛星からＧＰＳデータを受信する。警報装置５は、運転者の注意を喚起するための警報を発生する。

運転者Ｄによる車両Ｖの運転状態の判定に用いられるデータのうち、運転者Ｄの開眼度は重要なデータの１つである。開眼度が小さいことは運転者Ｄの目が閉じていること又は閉じかかっていること、すなわち運転者Ｄが覚醒していない可能性を示唆する。このため、運転者Ｄの開眼度は、運転者Ｄの運転状態を判定するための有用な手がかりとなる。

図２（ａ）－（ｂ）は、実施の形態に係る車両用監視装置１が測定する運転者Ｄの開眼度を説明するための図である。具体的には、図２（ａ）は、開眼度が１００％である運転者Ｄの顔を示す模式図である。図２（ｂ）は、開眼度が３０％である運転者Ｄの顔を示す模式図である。

運転者Ｄの開眼度は、運転者Ｄの通常時の目の大きさ（すなわち、運転者Ｄが覚醒しているときに自然な状態で目を開いているときの目の大きさ）に対する、測定時の運転者Ｄの目の大きさの割合として定義される。このため、車両用監視装置１が運転者Ｄの開眼度を算出するためには、比較対象として運転者Ｄの通常時の目の大きさを確定するための初期化処理が必要となる。

車両用監視装置１が備える各種モジュールのうち、運転者Ｄの開眼度の検出を担うモジュールは、開眼度検出の初期化処理が終了すると運転者Ｄの通常時の目の大きさを記憶し、以後は記憶した大きさを基準として開眼度を検出する。このため、運転者Ｄの開眼度の検出を担うモジュールが何らかの要因によって運転者Ｄの通常時における本来の目の大きさとは異なる大きさで初期化処理を終了してしまうと、その後検出される開眼度の精度は低いものとなってしまう。

例えば、運転者Ｄの開眼度の検出を担うモジュールが本来の目の大きさよりも小さい大きさで確定すると、その後検出される開眼度は本来の開眼度よりも大きな値が出力される。反対に、運転者Ｄの開眼度の検出を担うモジュールが本来の目の大きさよりも大きい大きさで確定すると、その後検出される開眼度は本来の開眼度よりも小さな値が出力される。

前者の場合、運転者Ｄの目が閉じかかっている場合であっても車両用監視装置１が検出する開眼度は大きくなる状態が継続することになる。この結果、本来であれば警報装置５が運転者の注意を喚起するための警報を発生させるべき状況であっても警報が発生しないということにもなりかねない。また、後者の場合、運転者Ｄが通常どおり目を開いている場合であっても車両用監視装置１が検出する開眼度は小さくなる状態が継続することになる。この結果、警報装置５が運転者の注意を喚起するための警報を誤判定によって発生させるということにもなりかねない。

そこで、実施の形態に係る車両用監視装置１は、運転者Ｄの開眼度の時系列データから算出した統計量である開眼度の移動平均が所定の正常判定基準範囲から外れた場合において、開眼度を除く他の運転状態が正常であり、かつ車両Ｖの走行状態も正常と判定される場合、開眼度の検出処理を再実行する。これにより、車両用監視装置１は、運転状態に関する誤判定を抑制することができ、結果として、車両用監視装置１は、誤判定に基づく警報の通知も抑制することができる。ひいては、誤判定に基づく警報の通知によって運転者Ｄに不快な思いや不信感を抱かせることが抑制できる。

＜実施の形態に係る車両用監視装置１の機能構成＞
図３は、実施の形態に係る車両用監視装置１の機能構成を模式的に示す図である。車両用監視装置１は、上述した撮像部２、車載センサ３、ＧＰＳ受信部４、及び警報装置５に加え、記憶部６と制御部７とも備える。図３において、矢印は主なデータの流れを示しており、図３に示していないデータの流れがあってもよい。図３において、各機能ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。

記憶部６は、車両用監視装置１を実現するコンピュータのＢＩＯＳ（Basic Input Output System）等を格納するＲＯＭ（Read Only Memory）や車両用監視装置１の作業領域となるＲＡＭ（Random Access Memory）、ＯＳ（Operating System）やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置である。

制御部７は、車両ＶのＥＣＵ（Electronic Control Unit）等のプロセッサであり、記憶部６に記憶されたプログラムを実行することによって運転状態測定部７０、走行状態判定部７１、警報判定部７２、座標検出部７３、及び日照方向取得部７４として機能する。

撮像部２は、車両Ｖの運転者Ｄを撮像する。具体的には、撮像部２は、車両Ｖの運転席を被写体に含む画像を撮像できるように設置されており、車両Ｖに運転者Ｄが乗り込んで車両Ｖを運転するときに運転者Ｄが写るような画像を生成する。

運転状態測定部７０は、撮像部２が撮像した画像を解析して、運転者Ｄの開眼度を含む複数の運転状態を測定する。
図４は、実施の形態に係る運転状態測定部７０の機能構成を模式的に示す図である。図４に示すように、実施の形態に係る運転状態測定部７０は、顔検出部７００、目検出部７０１、顔向き角度検出部７０２、顔位置検出部７０３、開眼度測定部７０４、及び視線検出部７０５を少なくとも含む。

顔検出部７００、目検出部７０１、顔向き角度検出部７０２、顔位置検出部７０３、開眼度測定部７０４、及び視線検出部７０５は、それぞれ既知の画像認識技術又は画像処理技術を用いて実現される。既知の技術であるため詳細な説明は省略するが、顔検出部７００は、撮像部２が撮像した画像中に存在する顔を検出する。目検出部７０１は、顔検出部７００が検出した顔に存在する目を検出する。

顔向き角度検出部７０２は、顔検出部７００が検出した顔の向きを示す角度を検出する。顔位置検出部７０３は、撮像部２が撮像した画像に設定された２次元座標系における顔の位置座標を検出する。なお、顔位置検出部７０３は、撮像部２が設置されている車両Ｖのいずれかを原点とする３次元座標系において、車両Ｖの顔の存在位置を示す３次元座標を検出してもよい。

開眼度測定部７０４は、上述した「運転者Ｄの開眼度の検出を担うモジュール」に相当し、目検出部７０１が検出した目の開眼度を測定する。視線検出部７０５は、運転者Ｄの視線の向きを示す角度を検出する。

図３の説明に戻る。走行状態判定部７１は、車載センサ３の種々の測定データに基づいて、車両Ｖの走行状態を判定する。警報判定部７２は、運転状態測定部７０が測定した運転状態と、走行状態判定部７１が判定した走行状態とに基づいて、警報装置５を作動させるか否かを判定する。

警報判定部７２は、運転状態測定部７０から取得した開眼度の時系列データから算出した統計量である開眼度の移動平均が所定の正常判定基準範囲から外れた場合において、開眼度を除く他の運転状態が正常であり、かつ走行状態も正常と判定される場合、運転状態測定部７０に開眼度の測定を再実行させる。開眼度を除く他の運転状態が正常であり、かつ走行状態も正常と判定される場合は、開眼度の測定にのみ失敗している蓋然性が高い。このような場合は、警報判定部７２は運転状態測定部７０に開眼度の測定を初期化してはじめからやり直させる。これにより、車両用監視装置１は、開眼度検出に由来する誤判定を抑制することができる。

また、警報判定部７２は、運転状態測定部７０から取得した開眼度の時系列データから算出した統計量である開眼度の移動平均が所定の正常判定基準範囲から外れた場合であっても、開眼度を除く他の運転状態が正常であり、かつ走行状態も正常と判定される場合には、警報装置の作動を禁止する。これにより、実施の形態に係る車両用監視装置１は、運転状態に関する誤判定に基づく警報の通知を抑制することができる。

図５（ａ）－（ｃ）は、実施の形態に係る開眼度測定部７０４が検出した開眼度の時系列データを模式的に示す図である。具体的には、図５（ａ）は、開眼度測定部７０４が運転者Ｄの通常時における本来の目の大きさを取得できた場合の開眼度の時間変化を示すグラフである。一方、図５（ｂ）は、開眼度測定部７０４が運転者Ｄの本来の目の大きさよりも大きい大きさで確定した場合の開眼度の時間変化を示すグラフである。また、図５（ｃ）は、開眼度測定部７０４が運転者Ｄの本来の目の大きさよりも小さい大きさで確定した場合の開眼度の時間変化を示すグラフである。

図５（ａ）－（ｃ）において、実線は開眼度測定部７０４が検出した開眼度の変化を示し、破線は開眼度の変化の統計量である移動平均を示している。また、図５（ａ）－（ｃ）に示すグラフ中で開眼度が低い方向に鋭く変化している箇所は、運転者Ｄの瞬きによるものである。

図５（ａ）に示す例では、開眼度測定部７０４が運転者Ｄの通常時における本来の目の大きさを取得できた場合、運転者Ｄの瞬きの影響を含めても、開眼度の変化の移動平均は８０％を下回っていない。そこで、「所定の正常判定基準範囲」は、運転者Ｄの通常時における本来の目の大きさを取得できたときに、開眼度の変化の移動平均が収まる範囲として設定される。所定の正常判定基準範囲の具体的な値は実験により定めればよいが、例えば８０％以上１１０％以下の範囲である。

図５（ｂ）に示す例では、開眼度測定部７０４が運転者Ｄの本来の目の大きさよりも大きい大きさで確定したため、開眼度は６０％前後で推移している。これは、開眼度のみから判断すると、運転者Ｄの目が半分ほど閉じた状態が継続していることになる。

また、図５（ｃ）に示す例では、開眼度測定部７０４が運転者Ｄの本来の目の大きさよりも小さい大きさで確定したため、開眼度が上限値として定められた１２０％でサチュレーションしている。これは、完全な閉眼（開眼度０％）以外の状態（すなわち、開眼度が０％より大きく１２０％未満である状態）において開眼度の信頼性が失われた状態である。実際の開眼度が仮に５０％未満であっても、開眼度測定部７０４が出力する数値としては１２０％となっている可能性があり、この場合、半眼状態を検知できていない。なお、上記の開眼度の上限値は一例であり、１００％を超えていれば他の値であってもよい。

もちろん、運転者Ｄが、例えば眠気により完全に覚醒しておらず目が閉じかけている状態であれば、警報装置５は運転者Ｄの注意を喚起するための警報を発生すべきである。しかしながら、開眼度測定部７０４が開眼度の初期化がうまくいかないことに起因して低い開眼度を算出している場合には、警報装置５は警報を発生すべきではない。また、開眼度がサチュレーションを起こしている状況では、本来であれば警報装置５が警報を発生すべきときに警報が発生されないことになる。

そこで、警報判定部７２は、運転状態測定部７０から取得した開眼度の時系列データから算出した統計量である移動平均が所定の正常判定基準範囲から外れた場合において、開眼度を除く他の運転状態が正常であり、かつ走行状態も正常と判定される場合は、運転状態測定部７０に開眼度の測定を再実行させる。これにより、車両用監視装置１は、開眼度検出に由来する誤判定を抑制することができ、ひいては誤判定に基づく誤警報も抑制することができる。

なお、例えば運転者Ｄが短時間の間に複数回の瞬きをしたり、直射日光にさらされて目を細めたりする等の理由により、瞬間的に運転者Ｄの開眼度の移動平均が正常判定基準範囲から外れてしまうことも起こり得る。このような場合に警報判定部７２が即座に開眼度の測定を運転状態測定部７０に再実行させると、運転者Ｄの通常時における本来の目の大きさを取得できているにもかかわらず開眼度測定の初期化処理がやり直されることになりかねない。

そこで、警報判定部７２は、運転状態測定部７０に開眼度の検出処理を再実行させるための条件として、運転状態測定部７０から取得した開眼度の時系列データから算出した移動平均が所定の正常判定基準範囲から外れる状態が所定の時間継続することを追加してもよい。具体的には、警報判定部７２は、運転状態測定部７０から取得した開眼度の時系列データから算出した統計量が所定の正常判定基準範囲から外れる状態が所定の時間継続した場合において、開眼度を除く他の運転状態が正常であり、かつ走行状態も正常と判定される場合、運転状態測定部７０に開眼度の検出処理を再実行させる。

ここで「所定の時間」は、警報判定部７２が運転状態測定部７０に開眼度検出を再実行させるか否かを判定するために参照する「開眼度再実行判定閾時間」である。所定の時間の具体的な値は、開眼度検出の精度と安全担保のための警報の通知とのバランス等を勘案して実験により定めればよいが、一例としては５秒間である。このように、開眼度の時系列データから算出した統計量が所定の正常判定基準範囲から外れる状態が所定の時間継続することを開眼度の検出処理を再実行させるための条件とすることで、車両用監視装置１は、不必要な開眼度測定の初期化処理を再実行することを抑制できる。

図６は、実施の形態に係る走行状態判定部７１の機能構成を模式的に示す図である。図６に示すように、実施の形態に係る走行状態判定部７１は、データ観測部７１０と状態判定部７１１とを少なくとも含む。

データ観測部７１０は、車両Ｖに搭載された車載センサ３に基づいて定常的に観測される複数の観測データである第１種観測データを観測する。また、データ観測部７１０は、車両Ｖに搭載された操作部が運転者Ｄによって操作されることを契機として観測される複数の観測データである第２種観測データも観測する。

データ観測部７１０が観測する第１種観測データは、例えば、車両Ｖが走行中の車線における車線内の位置の変動量、車両Ｖの車速の変動量、操舵角の変動量、ヨーレートの変動量、及び車間距離の変動量等である。第１種観測データは定常的に観測されるデータであるとも言える。

一般に、運転者Ｄが車両Ｖを正常に運転している場合は、運転者Ｄが居眠り運転や脇見運転等の正常でない運転をしている場合と比較して、上述した第１種観測データはいずれも小さな値となると考えられる。そこで、状態判定部７１１は、第１種観測データ毎に定められた正常判定基準範囲内に各第１種観測データが含まれるか否かを、走行状態が正常か否かを判定するための１つの判定基準とする。

ここで「正常判定基準範囲」は、データ観測部７１０が車両Ｖの走行状態が正常である場合に各第１種観測データが取りうる範囲である。各第１種観測データの正常判定基準範囲は、車両Ｖの大きさやエンジン性能、車種等を考慮して実験により定めればよい。

データ観測部７１０が観測する第２種観測データは、例えば、アクセルペダル、ブレーキペダル、及びクラッチペダル等のペダル操作の有無、方向指示器の操作の有無、シフト操作の有無等である。第２種観測データは間欠的に観測されるデータであるとも言える。

一般に、運転者Ｄが車両Ｖを正常に運転している場合は、運転者Ｄが居眠り運転や脇見運転等の正常でない運転をしている場合と比較して、第２種観測データが観測される確率が高いと考えられる。ペダル操作や方向指示器の操作等は運転者Ｄが意図して行わない限り発生しにくいからである。第２種観測データが観測された場合、少なくとも所定の期間が経過するまでは運転者Ｄは正常であり、車両Ｖは正常に走行していると考えられる。

そこで、状態判定部７１１は、第２種観測データが観測されるか否かも、走行状態が正常か否かを判定するためのもう１つの判定基準とする。より具体的には、第２種観測データが観測されてから所定の期間が経過するまでの間、状態判定部７１１は、車両Ｖの走行状態は正常と判定する。

ここで「所定の期間」は、第２種観測データが観測された場合に、データ観測部７１０が走行状態の判定に利用する期間である。ある第２種観測データが観測された後に所定の期間が経過すると、データ観測部７１０は、その第２種観測データに基づく走行状態の判定を中止する。「所定の期間」の具体的な値は、運転者Ｄの運転パターン等を勘案して実験により定めればよい。

このように、走行状態判定部７１は、車両Ｖが備える車載センサ３の測定データ及び運転者Ｄによる操作に基づいて、車両Ｖの走行状態を精度よく推定することができる。

図３の説明に戻る。運転状態測定部７０は、撮像部２が撮像した画像に基づいて、既知の画像認識技術及び画像処理技術を用いて運転者Ｄの運転状態を測定する。このため、運転状態測定部７０が運転状態の測定に用いる画像の品質が低い場合は、高い場合と比較して、運転状態の測定の精度が低下しうる。

画像の品質が低下する要因は種々考えられるが、特に、運転者Ｄの顔に強い光があたって撮像部２が生成する画像の画素値が飽和してしまったり、運転者Ｄの顔に大きな陰影が出現したりすると、運転状態測定部７０が備える各部の認識精度が低下しやすい。

運転者Ｄの顔に強い光にさらされる典型的な状況の１つとして、運転者Ｄの顔に西日が当たる場合が挙げられる。西日は入射角が浅く車両Ｖに遮られることなく運転者Ｄに到達しやすいからである。日の出直後の朝日も入射角が浅いと考えられるが、西日が差す時間帯は日の出直後の時間帯よりも運転者Ｄが活動する時間と重なりやすいため、西日は撮像部２が生成する画像の品質に与える影響が大きいと考えられる。

そこで、座標検出部７３は、ＧＰＳ受信部４が受信したＧＰＳデータに基づいて、車両Ｖの位置を示す位置情報及び進行方向を検出する。日照方向取得部７４は、日時、位置情報、及び日照方向を対応付けて格納する日照方向データベースを参照して、日照方向を取得する。

図７は、実施の形態に係る日照方向データベースのデータ構造を模式的に示す図である。日照方向データベースは記憶部６に格納され、日照方向取得部７４によって管理される。図７に示すように、日照方向データベースは、日付を単位として日照方向のデータがまとめられている。図７に示す例では、２０１７年６月１９日の日照方向のデータが図示されている。

より具体的には、日照方向データベースは、各日付において、緯度と経度との組み合わせ毎に、太陽の高度及び方位がまとめられている。日照方向取得部７４は、日付、緯度、及び経度を指定して日照方向データベースを参照することにより、例えば３０分毎の太陽の高度及び方位を取得することができる。

警報判定部７２は、運転状態測定部７０から取得した開眼度の時系列データから算出した統計量が所定の正常判定基準範囲から外れた場合において、開眼度を除く他の運転状態が正常であり、走行状態も正常と判定され、かつ車両Ｖの進行方向と車両Ｖの位置における日照方向とが所定の関係を満たすことを条件として、運転状態測定部７０に開眼度の検出処理を再実行させる。

所定の条件の一例として、警報判定部７２は、車両Ｖの進行方向が日照方向に対向する方向であることを条件としてもよい。車両Ｖの進行方向が日照方向に対向する方向である場合には、運転者Ｄの顔に直射日光が当たる蓋然性が高く、運転状態測定部７０による運転者Ｄの運転状態の判定に影響を及ぼす可能性があるからである。これにより、実施の形態に係る車両用監視装置１は、運転状態に関する誤判定を抑制することができ、結果として、車両用監視装置１は、誤判定に基づく警報の通知も抑制することができる。

＜車両用監視装置１が実行する運転者Ｄ監視処理の処理フロー＞
図８は、実施の形態に係る車両用監視装置１が実行する運転者Ｄ監視処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば車両用監視装置１が起動したときに開始する。

撮像部２は、車両Ｖの運転者Ｄを撮像する（Ｓ２）。運転状態測定部７０は、撮像部２が撮像した画像を解析して運転者Ｄの開眼度を含む複数の運転状態を測定する（Ｓ４）。走行状態判定部７１は、車載センサ３の種々の測定データに基づいて、車両Ｖの走行状態を判定する（Ｓ６）。

開眼度の時系列データから算出した統計量が所定の正常判定基準範囲から外れた場合において（Ｓ８のＹｅｓ）、開眼度を除く他の運転状態が全て正常であり（Ｓ１０のＹｅｓ）、かつ走行状態も正常の場合（Ｓ１２のＹｅｓ）、警報判定部７２は、運転状態測定部７０に開眼度の測定を再実行させる（Ｓ１４）。

運転状態測定部７０に開眼度の測定を再実行させた場合、開眼度の時系列データから算出した統計量が所定の正常判定基準範囲内の場合（Ｓ８のＮｏ）、開眼度を除く他の運転状態のうち少なくとも１つが異常の場合（Ｓ１０のＮｏ）、又は走行状態が異常の場合（Ｓ１２のＮｏ）、本フローチャートにおける処理は終了する。

＜実施の形態に係る車両用監視装置１が奏する効果＞
以上説明したように、実施の形態に係る車両用監視装置１によれば、運転状態に関する誤判定を抑制することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

＜変形例＞
上記では、定常的に観測できる第１種観測データの例として、車両Ｖが走行中の車線における車線内の位置の変動量、車両Ｖの車速の変動量、操舵角の変動量、ヨーレートの変動量、及び車間距離の変動量等を説明した。より具体的には、第１種観測データ毎に定められた正常判定基準範囲内に各第１種観測データが含まれるか否かを、走行状態が正常か否かを判定するための１つの判定基準とする場合について説明した。

ここで、車両Ｖの車速の変動量、操舵角の変動量、ヨーレートの変動量、及び車間距離の変動量等を間欠的に観測される第２種観測データとして採用することもできる。この場合、第１種観測データ毎に定められた正常判定基準範囲とは別に、正常反転基準範囲よりも大きな変動を捉えるための間欠事象観測用基準範囲を設ける。例えば、車両Ｖの運転者Ｄが追い越しのために車線を変更したり、車速を上昇させたりするときは、車両Ｖの車速、操舵角、ヨーレート、及び車間距離に大きな変動が観測される。このような場合は、運転者Ｄが車両Ｖを正常に運転していると考えられるため、走行状態が正常か否かを判定するための判定材料として採用することができる。

１・・・車両用監視装置
２・・・撮像部
３・・・車載センサ
４・・・ＧＰＳ受信部
５・・・警報装置
６・・・記憶部
７・・・制御部
７０・・・運転状態測定部
７００・・・顔検出部
７０１・・・目検出部
７０２・・・顔向き角度検出部
７０３・・・顔位置検出部
７０４・・・開眼度測定部
７０５・・・視線検出部
７１・・・走行状態判定部
７１０・・・データ観測部
７１１・・・状態判定部
７２・・・警報判定部
７３・・・座標検出部
７４・・・日照方向取得部
Ｖ・・・車両

Claims (4)

1. 車両の運転者を撮像する撮像部と、
   前記撮像部が撮像した画像を解析して前記運転者の開眼度を含む複数の運転状態を測定する運転状態測定部と、
   前記車両の走行状態を判定する走行状態判定部と、
   前記運転状態と前記走行状態とに基づいて、警報装置を作動させるか否かを判定する警報判定部と、を備え、
   前記走行状態判定部は、
   前記車両に搭載された車載センサに基づいて定常的に観測される前記車両が走行中の車線における車線内の位置の変動量、前記車両の車速の変動量、操舵角の変動量、ヨーレートの変動量、及び車間距離の変動量のうちの少なくとも一つである第１種観測データと、前記車両に搭載された操作部が前記運転者によって操作されることを契機として間欠的に観測される前記車両の車速の変動量、操舵角の変動量、ヨーレートの変動量、及び車間距離の変動量のうちの少なくとも一つである第２種観測データとを観測するデータ観測部と、
   前記第１種観測データ毎に定められた正常判定基準範囲内に各第１種観測データが含まれるか否か、及び前記第２種観測データ毎に定められ前記正常判定基準範囲よりも大きな間欠事象観測用基準範囲内に各第２種観測データ含まれるか否かに基づいて、前記走行状態が正常か否かを判定する状態判定部と、を備え、
   前記警報判定部は、前記運転状態測定部から取得した開眼度の時系列データから算出した統計量が所定の正常判定基準範囲から外れた場合において、前記開眼度を除く他の運転状態が正常であり、かつ前記走行状態も正常と判定される場合、前記運転状態測定部に開眼度の検出処理を再実行させる、
   車両用監視装置。
2. 前記警報判定部は、前記運転状態測定部から取得した開眼度の時系列データから算出した統計量が所定の正常判定基準範囲から外れる状態が所定の時間継続した場合において、前記開眼度を除く他の運転状態が正常であり、かつ前記走行状態も正常と判定される場合、前記運転状態測定部に開眼度の検出処理を再実行させる、
   請求項１に記載の車両用監視装置。
3. 前記警報判定部は、前記運転状態測定部から取得した開眼度の時系列データから算出した統計量が所定の正常判定基準範囲から外れた場合であっても、前記開眼度を除く他の運転状態が正常であり、かつ前記走行状態も正常と判定される場合には、前記警報装置の作動を禁止する、
   請求項１又は２に記載の車両用監視装置。
4. 前記車両の位置を示す位置情報及び進行方向を検出する座標検出部と、
   日時、位置情報、及び日照方向を対応付けて格納する日照方向データベースを参照して、日照方向を取得する日照方向取得部と、をさらに備え、
   前記警報判定部は、前記運転状態測定部から取得した開眼度の時系列データから算出した統計量が所定の正常判定基準範囲から外れた場合において、前記開眼度を除く他の運転状態が正常であり、前記走行状態も正常と判定され、かつ前記車両の進行方向と前記車両の位置における前記日照方向とが所定の関係を満たすことを条件として、前記運転状態測定部に開眼度の検出処理を再実行させる、
   請求項１から３のいずれか１項に記載の車両用監視装置。
   

Images