JP6608570B2 - 運転者状態判定装置及び運転者状態判定方法 - Google Patents

Description

本発明は、車両の運転者が運転に関して不注意状態であるか否かを判定する運転者状態判定装置及びその方法に関する。

近年、画像処理及び各種センサを用いて車両の運転者から生体情報を取得し、当該生体情報に基づいて車両の運転を支援する運転支援装置が提案されている。例えば、特許文献１の技術では生体情報などに基づいて、運転者が脇見をしているか否かを判定し、運転者が脇見をしていると判定した場合に警報を出力する装置が提案されている。

特開２００６−２４４３４３号公報

運転者が脇見をしているか否かの判定は、運転者の顔画像をカメラなどで撮像し、当該顔画像に画像処理を行って運転者の顔の向きを取得することによって行うことが可能である。しかしながら、例えば夕暮れ時や夜間時において、運転者が太陽光や対向車のライトの光を避けながら運転する場合には、運転者の顔の向きが通常時の顔の向きと異なることがある。このような場合、上記装置によれば、運転者は実際には脇見をしていないにも関わらず、運転者が脇見をしていると誤って判断してしまうという問題があった。

そこで、本発明は、上記のような問題点を鑑みてなされたものであり、運転者が不注意状態であると誤って判定してしまうことを抑制可能な技術を提供することを目的とする。

本発明に係る運転者状態判定装置は、車両の運転者の顔画像と、車両に入射される光線の入射の向きとを取得する取得部と、取得部で取得された顔画像に基づいて求められた運転者の顔の向きが、予め定められた角度範囲内にあるか否かに基づいて、運転者が運転に関して不注意状態であるか否かを判定する運転者状態判定を行う制御部とを備え、制御部は、取得部で取得された入射の向きに基づいて角度範囲を補正する。

本発明によれば、取得された顔画像に基づいて求められた運転者の顔の向きが、予め定められた角度範囲内にあるか否かに基づいて、運転者が運転に関して不注意状態であるか否かを判定する運転者状態判定に関して、取得された入射の向きに基づいて角度範囲を補正する。これにより、運転者が不注意状態であると誤って判定してしまうことを抑制することができる。

本発明の目的、特徴、態様及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る運転者状態判定装置の構成を示すブロック図である。 運転者状態判定を説明するための図である。 運転者状態判定を説明するための図である。 角度範囲の補正を説明するための図である。 角度範囲の補正を説明するための図である。 実施の形態２に係る運転者状態判定装置の構成を示すブロック図である。 実施の形態２に係る運転者状態判定装置の動作を示すフローチャートである。 入射角度範囲を説明するための図である。 その他の変形例に係る運転者状態判定装置のハードウェア構成を示すブロック図である。 その他の変形例に係る運転者状態判定装置のハードウェア構成を示すブロック図である。 その他の変形例に係るサーバの構成を示すブロック図である。 その他の変形例に係る通信端末の構成を示すブロック図である。

＜実施の形態１＞
以下、本発明の実施の形態１に係る運転者状態判定装置が、車両に適用されている構成を例にして説明する。以下、運転者状態判定装置が搭載され、着目の対象となる車両を「自車両」と記載することもある。

図１は、本実施の形態１に係る運転者状態判定装置１の構成を示すブロック図である。図１の運転者状態判定装置１は、取得部１１と制御部１２とを備える。

取得部１１は、自車両の運転者の顔画像と、自車両に入射される光線の入射の向きとを取得する。光線は、例えば太陽光及び対向車のライトの光である。光線の入射の向きは、例えば、北などの方角、及び、自車両が進行する向き、を基準にした２次元または３次元の角度によって表される。なお、取得部１１は、例えば、後述する実施の形態２などで説明するように、画像認識装置及び算出装置であってもよいし、これらと無線または有線を介して通信可能に接続されたインターフェースであってもよい。

取得部１１で取得された顔画像に基づいて画像処理を行うことによって、運転者の顔の向きが求められる。なお、運転者の顔の向きを求める動作は、取得部１１で行われてもよいし、制御部１２で行われてもよいし、運転者状態判定装置１外部に設けられた図示しない装置で行われてもよい。

制御部１２は、顔画像に基づいて求められた運転者の顔の向きが、予め定められた角度範囲内にあるか否かに基づいて、運転者が運転に関して不注意状態であるか否かを判定する運転者状態判定を行う。なお、不注意状態は、運転者が集中して運転していない状態である。例えば、不注意状態は、運転者が脇見している状態、及び、運転者が居眠りしている状態の少なくともいずれか１つを含む。

図２及び図３は、運転者状態判定を説明するための図であり、具体的には、運転者５１の上方から運転者５１を見た平面図である。これら図２及び図３には、角度範囲５２と、破線矢印で示される基準向き５３と、取得部１１で取得された顔画像に基づいて求められた運転者５１の顔の向き５４と、が示されている。

角度範囲５２は、基準向き５３を基準にして規定される範囲である。以下の説明では、角度範囲５２は、基準向き５３を対称軸とし、運転者５１から運転者５１の前方に向かう向きに対して規定される、概ね扇形状の範囲であるものとして説明する。

基準向き５３は、角度範囲５２の基準となる基準の向きである。基準向き５３には、例えば、運転開始時の運転者５１の顔の向き５４が設定される。

図２のように、取得部１１で取得された顔画像に基づく顔の向き５４が、角度範囲５２内にある場合には、制御部１２は、運転者５１は不注意状態ではなく、通常に運転している通常状態であると判定する。一方、図３のように、顔の向き５４が角度範囲５２外にある場合には、制御部１２は、運転者５１は不注意状態であると判定する。なお以上では、角度範囲５２、基準向き５３、及び、顔の向き５４は、２次元上に規定されている例について説明したが、これに限ったものではなく、３次元上に規定されてもよい。

さて、本実施の形態１に係る制御部１２は、取得部１１で取得された光線の入射の向きに基づいて角度範囲５２を補正する。

図４及び図５は、角度範囲５２の補正を説明するための図であり、具体的には、図２及び図３と同様の平面図である。なお、図４及び図５には、取得部１１で取得された光線の入射の向きである入射向き５５も図示されている。

図４の補正例では、制御部１２は、図２及び図３の状態から、取得部１１で取得された入射向き５５と同じ向き（図４では左上に進む向き）に基準向き５３を近づけることによって、角度範囲５２を補正する。また、これとは別の補正例である図５の補正例では、制御部１２は、図２及び図３の状態から、角度範囲５２の両端５２ａ，５２ｂのうち取得部１１で取得された入射向き５５となす角度が小さい一端５２ａを他端５２ｂから遠ざけることによって、角度範囲５２を補正する。

＜実施の形態１のまとめ＞
以上のような本実施の形態１に係る運転者状態判定装置によれば、取得された入射向きに基づいて運転者状態判定の角度範囲を補正する。このような構成によれば、例えば夕暮れ時や夜間時において、運転者が太陽光や対向車のライトの光を避けながら運転する場合に、運転者が不注意状態であると誤って判定してしまうことを抑制することができる。

＜実施の形態２＞
図６は、本発明の実施の形態２に係る運転者状態判定装置１、及び、その外部に設けられた外部構成を示すブロック図である。以下、本実施の形態２に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

まず、本実施の形態２に係る運転者状態判定装置１の外部構成について説明する。図６の運転者状態判定装置１は、車両情報管理部３１、画像取得部３２、及び、警報出力部３３と無線または有線を介して通信可能に接続されている。なお、これらの外部構成と、運転者状態判定装置１とは、運転支援装置を構成している。

車両情報管理部３１は、例えばＥＣＵ（Electronic Control Unit）であり、車両情報を管理している。車両情報管理部３１は、車両信号管理部３１ａと、車速情報管理部３１ｂと、サンバイザー情報管理部３１ｃと、位置情報管理部３１ｄとを備える。

車両信号管理部３１ａは、例えば自車両のイグニション信号などの車両信号の情報を管理している。車速情報管理部３１ｂは、自車両の速度情報を管理している。

サンバイザー情報管理部３１ｃは、自車両の運転席前方に設けられ、回動可能な板状のサンバイザーが使用されているか否かを示すサンバイザーの使用情報を管理している。なお、サンバイザーが使用されているか否かの情報は、例えば、専用のセンサを自車両に設けて当該センサによって検出されてもよいし、後述する画像取得部３２で取得された画像、または、図示しないドライブレコーダのカメラで取得された画像を画像認識することによって検出されてもよい。

位置情報管理部３１ｄは、例えばＧＰＳ（Global Positioning System）受信装置の検出結果に基づいて、経度及び緯度などで示される自車両の位置と、自車両の進行方向とを含む情報を、自車用の位置情報として管理している。また、位置情報管理部３１ｄは、例えば月日情報及び時刻情報と、月日及び時刻と太陽の位置とを関連付けたデータとに基づいて、太陽の位置情報（太陽の移動経路上の位置）を管理している。

画像取得部３２は、例えば赤外線カメラであり、運転者の顔とその周辺の画像を生成して取得する。

警報出力部３３は、例えばＬＥＤ（Light Emitting Diode）、表示装置、スピーカなどである。この警報出力部３３は、運転者状態判定装置１の制御によって警報の出力を行なう。警報の出力は、例えば、ＬＥＤの点灯、表示装置の表示、スピーカの音声出力などである。

次に、本実施の形態２に係る運転者状態判定装置１の内部構成について説明する。図６の運転者状態判定装置１は、情報取得部２１と、画像認識部２２と、制御部２６とを備える。なお、図６の情報取得部２１及び画像認識部２２は、図１の取得部１１に対応し、図６の制御部２６は、図１の制御部１２に対応する。

情報取得部２１は、車両信号取得部２１ａと、車速情報取得部２１ｂと、サンバイザー情報取得部２１ｃと、位置情報取得部２１ｄと、入射向き取得部２１ｅとを備える。

車両信号取得部２１ａは、車両信号管理部３１ａで管理されている車両信号の情報を取得する。車速情報取得部２１ｂは、車速情報管理部３１ｂで管理されている車速情報を取得する。サンバイザー情報取得部２１ｃは、サンバイザー情報管理部３１ｃで管理されているサンバイザーの使用情報を取得する。位置情報取得部２１ｄは、位置情報管理部３１ｄで管理されている自車両の位置情報及び太陽の位置情報を取得する。入射向き取得部２１ｅは、位置情報取得部２１ｄで取得された自車両の位置情報及び太陽の位置情報に基づいて、太陽光の入射向きを算出して取得する。なお、入射向き取得部２１ｅは、例えば算出装置である。

画像認識部２２は、画像取得部３２で取得された画像を認識可能な画像認識装置である。画像認識部２２は、顔画像取得部２２ａと、サングラス情報取得部２２ｂとを備える。顔画像取得部２２ａは、画像取得部３２で取得された画像から自車両の運転者の顔画像を取得する。サングラス情報取得部２２ｂは、画像取得部３２で取得された画像に基づいて、自車両の運転者がサングラスを使用しているか否かを判定し、その判定結果を示すサングラスの使用情報を生成して取得する。

制御部２６は、運転者状態判定部２６ａと、角度範囲補正部２６ｂと、出力制御部２６ｃとを備える。

運転者状態判定部２６ａは、顔画像取得部２２ａで取得された運転者の顔画像に基づいて、運転者の顔の向きを求める。そして、運転者状態判定部２６ａは、実施の形態１の制御部１２と同様に、求めた顔の向きが角度範囲内にあるか否かに基づいて、運転者が運転に関して不注意状態であるか否かを判定する運転者状態判定を行う。

角度範囲補正部２６ｂは、実施の形態１の制御部１２と同様に、入射向き取得部２１ｅで取得された入射向きに基づいて、角度範囲を補正する。

出力制御部２６ｃは、運転者状態判定部２６ａにて運転者が不注意状態であると判定された場合に、警報出力部３３に警報を出力させる制御を行う。

以上のように構成された制御部２６は、情報取得部２１で取得された情報、並びに、画像認識部２２で取得された顔画像及び情報に基づいて、運転者状態判定、角度範囲の補正、及び、警報制御を行う。

なお本実施の形態２に係る制御部２６は、顔画像取得部２２ａで取得された顔画像に関して予め定められた条件が満たされたと判定した場合に、角度範囲の補正を行なうように構成されている。

具体的には、制御部２６は、顔画像取得部２２ａで取得された顔画像に基づいて運転者の眼の領域における輝度を求める。そして、制御部２６は、求めた輝度が予め定められた輝度より高い場合に、上記条件が満たされたと判定して、角度範囲の補正を行なう。

また、制御部２６は、顔画像取得部２２ａで取得された顔画像に基づいて運転者の眼の開眼度を求める。そして、制御部２６は、求めた開眼度が予め定められた開眼度より小さい場合に、上記条件が満たされたと判定して、角度範囲の補正を行なう。

また制御部２６は、サンバイザー情報取得部２１ｃで取得されたサンバイザーの使用情報に、サンバイザーが使用されていることが示されているか否かを判定する。つまり制御部２６は、運転者がサンバイザーを使用していることがサンバイザー情報取得部２１ｃで取得されたか否かを判定する。そして、制御部２６は、運転者がサンバイザーを使用していることがサンバイザー情報取得部２１ｃで取得されたと判定した場合には、角度範囲の補正を行なわないように構成されている。

さらに制御部２６は、サングラス情報取得部２２ｂで取得されたサングラスの使用情報に、サングラスが使用されていることが示されているか否かを判定する。つまり制御部２６は、運転者がサングラスを使用していることがサングラス情報取得部２２ｂで取得されたか否かを判定する。そして、制御部２６は、運転者がサングラスを使用していることがサングラス情報取得部２２ｂで取得されたと判定した場合には、角度範囲の補正を行なわないように構成されている。

＜動作＞
図７は、本実施の形態２に係る運転者状態判定装置１の動作を示すフローチャートである。本実施の形態２では、制御部２６が、車両信号取得部２１ａで取得される車両信号の情報に基づいて、自車両のイグニション信号がＯＮになったと判定した場合に、図７の動作が行われるものとする。

まずステップＳ１にて、制御部２６は、車速情報取得部２１ｂで取得された車速情報に基づいて、自車両の速度が予め定められた速度以上であるか否かを判定する。予め定められた速度は例えば１ｋｍ／ｈである。自車両の速度が予め定められた速度以上であると判定された場合には処理がステップＳ２に進み、自車両の速度が予め定められた速度よりも小さいと判定された場合にはステップＳ１を再度行う。

ステップＳ２にて、顔画像取得部２２ａは、自車両の運転者の顔画像を取得する。

ステップＳ３にて、制御部２６は、ステップＳ２で取得された顔画像に基づいて、角度範囲及び基準向きを求める。これにより、例えば図２を用いて説明した角度範囲５２及び基準向き５３が求められる。なお、このステップＳ３は、ステップＳ１にて自車両が移動し始めた場合、つまり自車両が運転され始めた場合に行われるため、運転者が脇見している可能性が低い顔画像に基づいて角度範囲及び基準向きが求められることになる。

ステップＳ４にて、顔画像取得部２２ａは、自車両の運転者の顔画像を取得する。

ステップＳ５にて、制御部２６は、運転者がサンバイザーを使用していることがサンバイザー情報取得部２１ｃで取得されたか否かを判定する。サンバイザーを使用していることが取得されたと判定された場合には処理がステップＳ６に進み、サンバイザーを使用していることが取得されたと判定されなかった場合には処理がステップＳ１０に進む。

ステップＳ６にて、制御部２６は、運転者がサングラスを使用していることがサングラス情報取得部２２ｂで取得されたか否かを判定する。サングラスを使用していることが取得されたと判定された場合には処理がステップＳ７に進み、サングラスを使用していることが取得されたと判定されなかった場合には処理がステップＳ１０に進む。

ステップＳ７にて、制御部２６は、ステップＳ４で取得された顔画像に基づいて運転者の眼の領域における輝度を求める。そして、制御部２６は、求めた輝度が予め定められた輝度より高いか否かを判定する。求めた輝度が予め定められた輝度より高いと判定された場合には処理がステップＳ１０に進み、求めた輝度が予め定められた輝度以下であると判定された場合には処理がステップＳ８に進む。

ステップＳ８にて、制御部２６は、ステップＳ４で取得された顔画像に基づいて運転者の眼の開眼度を求める。そして、制御部２６は、求めた開眼度が予め定められた開眼度より小さいか否かを判定する。求めた開眼度が予め定められた開眼度より小さいと判定された場合には処理がステップＳ１０に進み、求めた開眼度が予め定められた開眼度以上であると判定された場合には処理がステップＳ９に進む。

ステップＳ９にて、制御部２６は、ステップＳ３の角度範囲及び基準向きを、運転者状態判定で用いる角度範囲及び基準向きに設定する。その後、処理がステップＳ１２に進む。

なお図示しないが、ステップＳ４からステップＳ８までの処理と並行して、位置情報取得部２１ｄは、自車両及び太陽の位置情報を取得し、入射向き取得部２１ｅは、位置情報取得部２１ｄで取得された自車両及び太陽の位置情報に基づいて、太陽光の入射向きを算出して取得する。

ステップＳ１０にて、制御部２６は、入射向き取得部２１ｅで取得された入射向きに基づいて、太陽光が顔にあたっているか否かを判定する。例えば、制御部２６は、入射向き取得部２１ｅで取得された入射向きが、予め定められた入射角度範囲内にあるか否かを判定する。図８に、入射角度範囲５６の一例を示す。図８に示すように、入射角度範囲５６は、例えば、運転者５１の前方から運転者５１に向かう向きに対して規定される、概ね扇形状の範囲である。

ステップＳ１１にて、制御部２６は、入射向き取得部２１ｅで取得された入射向きに基づいて、ステップＳ３の角度範囲及び基準向きを補正する。そして、制御部２６は、補正後の角度範囲及び基準向きを、運転者状態判定で用いる角度範囲及び基準向きに設定する。その後、処理がステップＳ１２に進む。

ステップＳ１２にて、制御部２６は、ステップＳ４で取得された顔画像に基づいて、運転者の顔の向きを求める。これにより、例えば図２を用いて説明した顔の向き５４が求められる。

ステップＳ１３にて、制御部２６は、ステップＳ１２求められた運転者の顔の向きが、ステップＳ９またはステップＳ１１で設定された角度範囲内にあるか否かに基づいて、運転者が運転に関して不注意状態であるか否かを判定する運転者状態判定を行う。なお、制御部２６は、運転者が不注意状態であると判定された場合には、警報出力部３３に警報を出力させる制御を行う。

ステップＳ１４にて、制御部２６は、車両信号取得部２１ａで取得される自車両のイグニション信号がＯＦＦになったか否かを判定する。自車両のイグニション信号がＯＦＦになったと判定された場合には図７の動作が終了し、自車両のイグニション信号がＯＦＦになったと判定されなかった場合には処理がステップＳ４に戻る。

＜実施の形態２のまとめ＞
以上のような本実施の形態２に係る運転者状態判定装置１によれば、顔画像に関して予め定められた条件が満たされたと判定した場合に角度範囲の補正を行なう。これにより、運転者の眼の領域における輝度が高い場合、及び、運転者の眼の開眼度が小さい場合などのように、運転者が光線の影響を受けている可能性が高い場合に、角度範囲の補正を行なうことができる。この結果、適切に角度範囲の補正を行うことができ、運転者状態判定の誤り、ひいては誤って警報を出力してしまうことを抑制することができる。

また本実施の形態２に係る運転者状態判定装置１によれば、サンバイザーまたはサングラスが使用されている場合には角度範囲の補正を行なわない。このため、必要以上に角度範囲の補正を行わないようにすることができ、運転者状態判定の誤り、ひいては誤って警報を出力してしまうことを抑制することができる。

＜変形例＞
以下、図６の情報取得部２１及び画像認識部２２を、これらに対応する図１の取得部１１と適宜読み替え、図６の制御部２６を、これに対応する図１の制御部１２と適宜読み替えて、運転者状態判定装置１の変形例について説明する。

＜変形例１＞
取得部１１は、顔画像の輝度に基づいて、自車両の位置における天気を示す天気情報をさらに取得してもよい。または、取得部１１が無線通信装置などの通信装置を含む場合には、取得部１１は、自車両外部のネットワークから天気情報をさらに取得してもよい。そして、制御部１２は、取得部１１で取得された天気情報に基づいて、角度範囲の補正を行なうか否かを判定してもよい。例えば、制御部１２は、天気情報が晴れを示す場合には角度範囲の補正を行なうと判定し、天気情報が曇りまたは雨などを示す場合には角度範囲の補正を行なわないと判定してもよい。このような構成によっても、運転者状態の誤りを抑制することができる。

＜変形例２＞
以上の構成では、取得部１１（サングラス情報取得部２２ｂ）は、画像取得部３２で取得された画像に基づいて、自車両の運転者がサングラスを使用しているか否かを判定した。これと同様に、取得部１１は、画像取得部３２で取得された画像に基づいて、自車両の運転者がツバ付き帽子を使用しているか否かを判定してもよい。そして、制御部１２は、取得部１１で運転者がツバ付き帽子を使用していることが取得された場合には、角度範囲の補正を行なわないように構成されてもよい。

＜変形例３＞
以上の構成では、取得部１１（サングラス情報取得部２２ｂ）は、画像取得部３２で取得された画像に基づいて、自車両の運転者がサングラスを使用しているか否かを判定したが、これに限ったものではない。例えば、サングラスが、運転者によるサングラスの装着及び非装着を検出可能なウェラブル端末であり、かつ、取得部１１が、当該ウェラブル端末と通信可能であてもよい。そして、取得部１１は、当該ウェラブル端末から、運転者におけるサングラスの装着及び非装着の検出結果を取得してもよい。

＜変形例４＞
実施の形態２では、自車両に入射される光線は、太陽光であるものとして説明したが、これに限ったものではない。例えば、実施の形態１で説明したように、自車両に入射される光線は、対向車のライトの光であってもよい。この場合、取得部１１は、自車両前方に設けられた光センサを含んでもよい。または、取得部１１が、自車両外部のネットワークから対向車両の位置情報を取得可能に構成されている場合には、自車両の位置情報及び対向車両の位置情報に基づいて、対向車のライトの光の入射向きを算出して取得してもよい。

＜その他の変形例＞
上述した図１の取得部１１及び制御部１２を、以下「取得部１１等」と記す。取得部１１等は、図９に示す処理回路８１により実現される。すなわち、処理回路８１は、車両の運転者の顔画像と、車両に入射される光線の入射の向きとを取得する取得部１１と、取得部１１で取得された顔画像に基づいて求められた運転者の顔の向きが、予め定められた角度範囲内にあるか否かに基づいて、運転者が運転に関して不注意状態であるか否かを判定する運転者状態判定を行い、かつ、取得部１１で取得された入射の向きに基づいて角度範囲を補正する制御部１２と、を備える。処理回路８１には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）などが該当する。

処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。取得部１１等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。

処理回路８１がプロセッサである場合、取得部１１等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリ８３に格納される。図１０に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、運転者状態判定装置は、処理回路８１により実行されるときに、車両の運転者の顔画像と、車両に入射される光線の入射の向きとを取得するステップと、取得された顔画像に基づいて求められた運転者の顔の向きが、予め定められた角度範囲内にあるか否かに基づいて、運転者が運転に関して不注意状態であるか否かを判定する運転者状態判定に関して、取得された入射の向きに基づいて角度範囲を補正するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、取得部１１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）、そのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、取得部１１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、取得部１１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、取得部１１については専用のハードウェアとしての処理回路８１及びレシーバなどでその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、処理回路８１は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

また、以上で説明した運転者状態判定装置１は、ＰＮＤ（Portable Navigation Device）などのナビゲーション装置と、携帯電話、スマートフォン及びタブレットなどの携帯端末を含む通信端末と、ナビゲーション装置及び通信端末の少なくともいずれか１つにインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築される運転者状態判定システムにも適用することができる。この場合、以上で説明した運転者状態判定装置１の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。

図１１は、本変形例に係るサーバ９１の構成を示すブロック図である。図１１のサーバ９１は、通信部９１ａと制御部９１ｂとを備えており、車両９２のナビゲーション装置９３と無線通信を行うことが可能となっている。

取得部である通信部９１ａは、ナビゲーション装置９３と無線通信を行うことにより、ナビゲーション装置９３で取得された車両９２の運転者の顔画像と、車両９２に入射される光線の入射の向きとを受信する。

制御部９１ｂは、サーバ９１の図示しないプロセッサなどが、サーバ９１の図示しないメモリに記憶されたプログラムを実行することにより、図１の制御部１２と同様の機能を有している。つまり、制御部９１ｂは、通信部９１ａで受信された顔画像に基づく運転者状態判定、及び、通信部９１ａで受信された入射の向きに基づく角度範囲の補正を行なう。そして、通信部９１ａは、制御部９１ｂの判定結果をナビゲーション装置９３に送信する。

このように構成されたサーバ９１によれば、例えば、ナビゲーション装置９３が、表示機能と、サーバ９１との通信機能としか有さなくても、実施の形態１で説明した運転者状態判定装置１と同様の効果を得ることができる。

図１２は、本変形例に係る通信端末９６の構成を示すブロック図である。図１２の通信端末９６は、通信部９１ａと同様の通信部９６ａと、制御部９１ｂと同様の制御部９６ｂとを備えており、車両９７のナビゲーション装置９８と無線通信を行うことが可能となっている。なお、通信端末９６には、例えば車両９７の運転者が携帯する携帯電話、スマートフォン、及びタブレットなどの携帯端末が適用される。このように構成された通信端末９６によれば、例えば、ナビゲーション装置９８が、表示機能と、通信端末９６との通信機能としか有さなくても、実施の形態１で説明した運転者状態判定装置１と同様の効果を得ることができる。

なお、本発明は、その発明の範囲内において、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。

１ 運転者状態判定装置、１１ 取得部、１２ 制御部、５１ 運転者、５２ 角度範囲、５２ａ 一端、５２ｂ 他端、５３ 基準向き、５４ 顔の向き、５５ 入射向き。

Claims (11)

1. 車両の運転者の顔画像と、前記車両に入射される光線の入射の向きとを取得する取得部と、
   前記取得部で取得された前記顔画像に基づいて求められた前記運転者の顔の向きが、予め定められた角度範囲内にあるか否かに基づいて、前記運転者が運転に関して不注意状態であるか否かを判定する運転者状態判定を行う制御部と
   を備え、
   前記制御部は、
   前記取得部で取得された前記入射の向きに基づいて前記角度範囲を補正する、運転者状態判定装置。
2. 請求項１に記載の運転者状態判定装置であって、
   前記制御部は、
   前記取得部で取得された前記顔画像に関して予め定められた条件が満たされたと判定した場合に、前記角度範囲の補正を行なう、運転者状態判定装置。
3. 請求項２に記載の運転者状態判定装置であって、
   前記制御部は、
   前記取得部で取得された顔画像に基づいて前記運転者の眼の領域における輝度を求め、求めた輝度が予め定められた輝度より高い場合に、前記条件が満たされたと判定する、運転者状態判定装置。
4. 請求項２に記載の運転者状態判定装置であって、
   前記制御部は、
   前記取得部で取得された顔画像に基づいて前記運転者の眼の開眼度を求め、求めた開眼度が予め定められた開眼度より小さい場合に、前記条件が満たされたと判定する、運転者状態判定装置。
5. 請求項１に記載の運転者状態判定装置であって、
   前記角度範囲の基準となる基準の向きが規定され、
   前記制御部は、
   前記取得部で取得された入射の向きと同じ向きに前記基準の向きを近づけることによって、前記角度範囲を補正する、運転者状態判定装置。
6. 請求項１に記載の運転者状態判定装置であって、
   前記制御部は、
   前記角度範囲の両端のうち前記取得部で取得された入射の向きとなす角度が小さい一端を他端から遠ざけることによって、前記角度範囲を補正する、運転者状態判定装置。
7. 請求項１に記載の運転者状態判定装置であって、
   前記取得部は、
   前記運転者が前記車両に設けられたサンバイザーを使用しているか否かを取得し、
   前記制御部は、
   前記取得部で前記運転者が前記車両に設けられたサンバイザーを使用していることが取得された場合には、前記角度範囲の補正を行なわない、運転者状態判定装置。
8. 請求項１に記載の運転者状態判定装置であって、
   前記取得部は、
   前記運転者がサングラスを使用しているか否かを取得し、
   前記制御部は、
   前記取得部で前記運転者がサングラスを使用していることが取得された場合には、前記角度範囲の補正を行なわない、運転者状態判定装置。
9. 請求項１に記載の運転者状態判定装置であって、
   前記取得部は、
   前記車両の位置における天気を示す天気情報をさらに取得し、
   前記制御部は、
   前記取得部で取得された天気情報に基づいて、前記角度範囲の補正を行なうか否かを判定する、運転者状態判定装置。
10. 請求項１に記載の運転者状態判定装置であって、
    前記光線は太陽の光であり、
    前記入射の向きは、前記車両の位置と太陽の位置とに基づいて算出される、運転者状態判定装置。
11. 車両の運転者の顔画像と、前記車両に入射される光線の入射の向きとを取得し、
    取得された前記顔画像に基づいて求められた前記運転者の顔の向きが、予め定められた角度範囲内にあるか否かに基づいて、前記運転者が運転に関して不注意状態であるか否かを判定する運転者状態判定に関して、取得された前記入射の向きに基づいて前記角度範囲を補正する、運転者状態判定方法。

Images