JP5077128B2 - 覚醒度判定装置 - Google Patents

Description

本発明は、覚醒度判定装置に関する。

一般的に、覚醒度を推定する技術では、まぶたの動きや開眼時間等が推定の重要な要素となっている。例えば特許文献１に記載の眼の状態検出装置は、予め設定された目の開度の基準値と撮像された顔画像の目の開度とを比較して開眼状態を判定している。また、運転者の眼の回りの濃度情報から、運転者が眩しさを感じて目を細めていると推定された場合には、開度の基準値を変更し、開眼状態を判定している。
特開２０００−１９８３６９号公報

しかしながら、上記特許文献１記載の従来技術では、例えば視界不良時において運転者が注視して無意識に目を細めた場合には、運転者の覚醒度が低いと誤判定してしまうおそれがあり、判定精度の向上が求められている。

本発明は、このような課題を解決するために成されたものであり、覚醒度の誤判定を防止して判定精度の向上を図った覚醒度判定装置を提供することを目的とする。

本発明による覚醒度判定装置は、乗物の運転を行う運転者のまぶた開度を検出し、検出されたまぶた開度と基準開度とを比較して、運転者の覚醒度を判定する覚醒度判定装置において、乗物の周辺環境に関する情報である周辺環境情報を取得する周辺環境情報取得手段と、取得された周辺環境情報に基づいて、基準開度を補正する基準開度補正手段と、を備えることを特徴とする。

このような覚醒度判定装置によれば、乗物の周辺環境に関する情報である周辺環境情報を取得し、取得された周辺環境情報に基づいて、覚醒度判定の基準となるまぶたの基準開度を補正することができる。このように、乗物の周辺環境に応じて基準開度を補正することで、運転者が注視して、覚醒度が高いにも関わらず目を細めている場合に、運転者の覚醒度が低いと誤判定することが防止される。

また、周辺環境情報取得手段は、周辺環境情報として、乗物の周辺の気象情報を取得することが好ましい。これにより、降雨・濃霧といった気象情報に基づいて基準開度を補正することで、運転者が降雨・濃霧により注視して目を細めている場合に、運転者の覚醒度が低いと誤判定することが防止される。

また、基準開度補正手段は、周辺環境情報に基づいて、運転者の視界を判定し、運転者の視界が狭い場合に、視界が広い場合と比較して、基準開度を小さく補正することが好ましい。これにより、視界不良時に運転者が注視して目を細めている場合に、運転者の覚醒度が低いと誤判定することが防止される。

また、周辺環境情報取得手段は、周辺環境情報として乗物の周辺画像を取得する周辺画像取得手段を有し、基準開度補正手段は、取得された周辺画像に基づいて、運転者の視界を判定することが好ましい。これにより、他車両や白線といった乗物の周辺画像に基づいて基準開度を補正することで、運転者が注視して目を細めている場合に、運転者の覚醒度が低いと誤判定することが防止される。

本発明によれば、運転者が注視して、覚醒度が高いにも関わらず目を細めている場合に、運転者の覚醒度が低いと誤判定することを防止して、判定精度の向上が図られた覚醒度判定装置を提供することができる。

以下、図面を参照して本発明に係る覚醒度判定装置の好適な実施形態について説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。図１は、本発明の実施形態に係る覚醒度判定装置を示すブロック構成図である。

図１に示す覚醒度判定装置１は、車両（乗物）に搭載され、運転者のまぶた開度を検出し、検出されたまぶた開度と基準開度とを比較して、運転者の覚醒度を判定するものであり、顔画像撮像カメラ３、顔画像処理ＥＣＵ５、覚醒度判定ＥＣＵ７、及び警報装置１７を備えている。

さらに、覚醒度判定装置１は、ミリ波レーダ１５、周辺画像撮像カメラ９、周辺画像処理ＥＣＵ１１、及びインフラ情報取得部１３を備え、車両の周辺環境に関する情報である周辺環境情報を取得して、取得された周辺環境情報に基づいて、基準開度を補正することができる。そして、これらのミリ波レーダ１５、周辺画像撮像カメラ９、周辺画像処理ＥＣＵ１１、及びインフラ情報取得部１３が、本発明の周辺環境情報取得手段として機能するものであり、周辺画像撮像カメラ９及び周辺画像処理ＥＣＵ１１が、本発明の周辺画像取得手段として機能するものである。

また、顔画像処理ＥＣＵ５、覚醒度判定ＥＣＵ７、及び周辺画像処理ＥＣＵ１１は、演算処理を行うＣＰＵ、記憶部となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成されている。これらの各ＥＣＵ５，７，１１は、例えばＣＡＮ（Ｃｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信回路によって接続され、相互にデータ交換が可能とされている。

顔画像撮像カメラ３は、例えばコラムカバー上に設置され、運転者の顔画像を取得するものである。顔画像撮像カメラ３は、例えば、近赤外線カメラであり、近赤外線投射装置（不図示）から照射した近赤外線が運転者の顔に反射した反射光を受光することによって、運転者の顔を撮像する。また、顔画像撮像カメラ３は、顔画像処理ＥＣＵ５と電気的に接続され、取得した画像信号を顔画像処理ＥＣＵ５に送信する。

顔画像処理ＥＣＵ５は、顔画像撮像カメラ３から入力した画像信号に基づいて、画像処理を行い、運転者の顔画像を認識する。また、顔画像処理ＥＣＵ５は、認識した顔画像に基づいて、運転者のまぶたの開度（以下、「まぶた開度」という。）を検出する。顔画像処理ＥＣＵ５は、検出したまぶた開度に関する情報を覚醒度判定ＥＣＵ７に送信する。

ミリ波レーダ１５は、ミリ波を利用して自車両周辺の対象物（例えば、他車両）を検出するレーダである。ミリ波レーダ１５は、例えば自車両の前面に設けられ、自車両の前方を走行する他車両を検出する。ミリ波レーダ１５は、覚醒度判定ＥＣＵ７と電気的に接続され、他車両の位置情報（方位及び距離に関する情報）及び相対速度に関する情報を覚醒度判定ＥＣＵ７に送信する。

周辺画像撮像カメラ９は、例えば車両の車室前方中央に設置され、フロントガラス越しに自車両前方の周辺画像を取得するものである。周辺画像撮像カメラ９では、例えば、自車両の前方を走行する他車両の画像、自車両が走行する路面の画像を周辺画像として取得する。周辺画像撮像カメラ９は、周辺画像処理ＥＣＵ１１と電気的に接続され、取得した画像信号を周辺画像処理ＥＣＵ１１に送信する。

周辺画像処理ＥＣＵ１１では、記憶部に記憶されているプログラムを実行することで、信号処理部２７、及び周辺環境認識部２９が構成される。

信号処理部２７は、周辺画像撮像カメラ９から入力した画像信号に基づいて、画像処理を行い、周辺画像を認識する。周辺環境認識部２９は、信号処理部２７によって認識された周辺画像に基づいて、周辺環境情報を認識する。具体的には、周辺環境認識部２９では、周辺環境情報として、自車両の前方の他車両、自車両が走行する走行レーンの両端を区画する道路区画線（道路に描かれた白線、黄色線や道路上に配置、または埋め込まれたブロック等があるが、以下、「白線」という。）を認識する。また、周辺環境認識部２９は、周辺環境情報として、気象情報を認識することができ、例えば、豪雨などの雨天状態、濃霧状態、積雪状態を認識することができる。そして、周辺画像処理ＥＣＵ１１は、認識した周辺環境情報を覚醒度判定ＥＣＵ７に送信する。

インフラ情報取得部１３は、気象情報を含む車両周辺の周辺環境情報を取得するものであり、例えば光ビーコンが用いられる。インフラ情報取得部１３には、例えば光ビーコンアンテナといったインフラ情報取得アンテナ１３Ａが接続されている。インフラ情報取得部１３は、インフラ情報取得アンテナ１３Ａによって、例えば交差点の手前の所定位置に設置されている路側通信装置から近赤外線によって気象情報等を受信する。インフラ情報取得部１３は、取得した周辺環境情報を覚醒度判定ＥＣＵ７に送信する。

覚醒度判定ＥＣＵ７では、記憶部に記憶されているプログラムを実行することで、基準開度設定部１９、基準開度補正部２１、覚醒度判定部２３が構成される。

基準開度設定部１９は、顔画像処理ＥＣＵ５において検出されたまぶた開度に基づいて、覚醒度判定の基準となるまぶたの基準開度を設定する。基準開度設定部１９は、運転開始時（例えば、イグニッションＯＮ時）に撮像された運転者の顔画像から検出されたまぶた開度に基づいて、基準開度を設定する。基準開度の設定の方法としては、例えば一定時間のまぶたの動きを検出し、その検出されたまぶたの動きから統計的に最大開度を算出する。

基準開度補正部２１は、インフラ情報取得部１３及び周辺画像撮像カメラ９によって取得された車両周辺の周辺環境情報に基づいて、基準開度を補正する。基準開度補正部２１は、周辺環境情報に基づいて、運転者の視界を推定（判定）し、視界不良環境であるか否かを判定する。基準開度補正部２１では、視界不良環境である場合に、基準開度を小さく補正する。

基準開度補正部２１は、例えばインフラ情報取得部１３によって取得された気象情報（例えば大雨、濃霧、積雪等の情報）に基づいて、運転者の視界を推定し、視界不良環境であると判定された場合（視界が狭い場合）に、通常時（視界が広い場合）と比較して、基準開度を小さく補正する。また、基準開度補正部２１は、例えばミリ波レーダ１５によって検出された他車両が、周辺画像撮像カメラ９によって撮像された画像において認識できない場合、或いは、ナビゲーション情報等により位置が特定されており、本来検出されるべき白線が、周辺画像撮像カメラ９で撮像された画像において認識できない場合に、基準開度を小さく補正する。

覚醒度判定部２３は、画像処理ＥＣＵ５によって検出されたまぶた開度に基づいて、まぶた開度値を算出する。覚醒度判定２３は、まぶた開度値として、基準開度に対する割合を算出する。また、覚醒度判定部２３は、算出されたまぶた開度値に基づいて、運転者の覚醒度を判定する。覚醒度判定部２３は、算出されたまぶた開度値が閾値（例えば３０％）以下である場合には、運転者の覚醒度が低いと判定する。

警報装置１７は、覚醒度判定部２３によって運転者の覚醒度が低いと判定された場合に、運転者に対して警告を行うものである。警報装置１７としては、例えばブサーや振動を用いて警告を行うものが挙げられる。

次に、このように構成された覚醒度判定装置１の動作について説明する。図２は、本発明の実施形態に係る覚醒度判定装置で実行される動作手順を示すフローチャートである。

まず、顔画像撮像カメラ３によって、運転者の顔画像の撮影を行う（Ｓ１）。撮影された顔画像に関する信号は、顔画像処理ＥＣＵ５に送信される。続いて、顔画像処理ＥＣＵ５は、顔画像撮像カメラ３から信号を入力して画像処理を行い、運転者の顔画像を認識する（Ｓ２）。そして、顔画像処理ＥＣＵ５は、顔画像に基づいて、まぶた開度の検出を行う（Ｓ３）。検出されたまぶた開度に関する情報は、覚醒度判定ＥＣＵ７に送信される。

次に、覚醒度判定ＥＣＵ７は、運転開始時（エンジン始動時）であるか否かの判定を行う（Ｓ４）。運転開始時であると判定された場合には、ステップ５に進み、運転開始時ではないと判定された場合には、ステップ６に進む。すなわち、運転開始時のみステップ５に進み、それ以降は、ステップ６に進む。

ステップ５では、覚醒度判定ＥＣＵ７が、顔画像処理ＥＣＵ５からまぶた開度に関する情報を入力して、基準開度の設定を行い、処理を終了する。

一方、ステップ６では、覚醒度判定ＥＣＵ７は、周辺画像撮像カメラ９、インフラ情報取得部１３、及びミリ波レーダ１５によって取得された周辺環境情報を入力する。

続くステップ７では、覚醒度判定ＥＣＵ７は、入力された周辺環境情報に基づいて、視界不良環境であるか否かの判定を行う。例えば、ミリ波レーダ１５によって検出された他車両が、周辺画像から認識されない場合には、視界不良環境と判定する。また、本来検出されるべき白線が、周辺画像から認識されない場合には、視界不良環境と判定する。また、インフラ情報取得部１３によって、取得された気象情報に基づいて、視界不良環境であるか否かを判定してもよい。そして、視界が不良であると判定された場合には、ステップ８に進む。一方、視界が不良であると判定されなかった場合には、ステップ９に進む。

ステップ８では、覚醒度判定ＥＣＵ７は基準開度の補正を行う。ここでは、通常時と比較して、基準開度が小さくなるように補正を行う。雨天や積雪時など視界不良環境では、運転者が無意識に前方を凝視して目を細めるため、基準開度を小さくすることで、周辺環境に応じた基準開度の補正を行う。

次に、ステップ９では、覚醒度判定ＥＣＵ７は、顔画像処理ＥＣＵ５によって検出されたまぶた開度に基づいて、まぶた開度値を算出する。ここでは、まぶた開度と基準開度との比較を行い、基準開度に対するまぶた開度の割合をまぶた開度値として算出する。

続く、ステップ１０では、覚醒度判定ＥＣＵ７は、算出されたまぶた開度値に基づいて、覚醒度判定を行う。ここでは、まぶた開度値が判定閾値以下である場合に、覚醒度が低いと判定する。覚醒度が低いと判定された場合には、覚醒度判定ＥＣＵ７は、警報装置１７に信号を送信し、運転者に警告を行う。

このような覚醒度判定装置１では、取得された周辺環境情報に基づいて、視界不良環境であるか否かを判定し、視界不良環境であると判定された場合には、車両の周辺環境に応じて基準開度を小さく補正することができる。大雨、積雪、濃霧等の視界不良環境において車両を運転する場合、運転者は、無意識のうちに目を凝らす特性がある。このように、視界不良時に基準開度を通常時より小さく補正することで、運転者が眠気と無関係に目を細めている場合に、覚醒度が低いと誤判定することが防止される。

以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるものではない。上記実施形態では、周辺画像撮像カメラ９、インフラ情報取得部１３、及びミリ波レーダ１５を備える構成としているが、周辺環境情報取得手段は、少なくとも１つ備えていればよい。また、周辺環境取得手段は、その他のセンサ等でもよく、例えばレインセンサによって取得された降水情報等を含む周辺環境情報に基づいて、基準開度を補正する構成としてもよい。

また、上記実施形態では、周辺環境情報に基づいて、視界不良環境であるか否かを判定し、視界不良環境であると判定された場合に、基準開度の補正を行っているが、視界不良環境であるか否かにかかわらず、運転者が注視して目を細めていると判定できる場合に、基準開度の補正を行ってもよい。例えば、周辺環境情報として、先行車の位置情報を取得し、運転者が先行車を注視していると判定できる場合に、基準開度を補正する構成としてもよい。

また、上記実施形態では、基準開度の設定タイミングを運転開始時としているが、その他のタイミングにおいて基準開度の設定を行ってもよい。

また、上記実施形態では、乗物を自動車として説明しているが、例えば船舶、飛行機等その他の乗物でもよい。

本発明の実施形態に係る覚醒度判定装置を示すブロック図である。 本発明の実施形態に係る覚醒度判定装置で実行される動作手順を示すフローチャートである。

符号の説明

１…覚醒度判定装置、９…周辺画像撮像カメラ（周辺環境情報取得手段、周辺画像取得手段）、１３…インフラ情報取得部（周辺環境情報取得手段）、１５…ミリ波レーダ（周辺環境情報取得手段）、１１…周辺画像処理ＥＣＵ（周辺環境情報取得手段、周辺画像取得手段）、２１…基準開度補正部（基準開度補正手段）。

Claims (2)

1. 乗物の運転を行う運転者のまぶた開度を検出し、検出されたまぶた開度と基準開度とを比較して、前記運転者の覚醒度を判定する覚醒度判定装置において、
   前記乗物の周辺環境に関する情報である周辺環境情報を取得する周辺環境情報取得手段と、
   取得された前記周辺環境情報に基づいて、前記基準開度を補正する基準開度補正手段と、を備え、
   前記周辺環境情報取得手段は、前記周辺環境情報として、前記乗物の周辺の気象情報を取得し、
   前記基準開度補正手段は、前記周辺環境情報に基づいて、前記運転者の視界を判定し、前記運転者の視界が狭い場合に、前記視界が広い場合と比較して、前記基準開度を小さく補正することを特徴とする覚醒度判定装置。
2. 前記周辺環境情報取得手段は、前記周辺環境情報として前記乗物の周辺画像を取得する周辺画像取得手段を有し、
   前記基準開度補正手段は、取得された周辺画像に基づいて、前記運転者の視界を判定することを特徴とする請求項１記載の覚醒度判定装置。

Images