JP4687150B2 - 直射光検出装置 - Google Patents

Description

本発明は、車両を運転する運転者の運転状態を検出する装置に関し、より具体的には、車両を運転する運転者の眼に直射光が当たっているか否かを判定する直射光検出装置に関する。

近年、各種の画像解析手法を活用して、車両を運転する運転者の運転状態を検出し、運転者による快適な車両走行を支援するシステムが各種提案されている。この運転者の運転状態を検出するに際しては様々な手法があるが、画像解析手法を利用した手法としては、運転者の眼位置や眼周辺の画像を検出して運転状態を判定する手法がある。

このようなシステムの従来の技術として、運転者の眼の位置と形状を検出することで運転者の眼の開閉状態を判定し、これにより運転者の覚醒状態を推定するシステムが特許文献１に開示されている。

この特許文献１に開示されたシステムにおいては、運転者の眼の開閉状態を眼の縦幅に基づいて判定している。また、眼の開度を検出する手法としては、運転者の肌の白い部分から眼の黒眼部分への濃度変化が最大となる部位の点と、眼の黒眼部分から肌の白い部分への濃度変化が最大となる点との間隔を求める手法や、二値化閾値を設定して眼の黒眼部分の縦幅を求める手法などが例示されている。

また、運転者の眼位置を検出することにより運転者が感じる眩しさを自動的に低減するシステムの一例が、特許文献２に開示されている。

この特許文献２に開示されたシステムにおいては、車両内の監視システムを利用して運転手の眼位置を判断し、眩しい太陽や対向車両のヘッドライトからの直射光が直接運転者の眼に当たることを防止するために、車両のフロントガラスにおける一部分の透過率を制御することを行っている。このようなシステムは、エレクトロクロミックガラス、液晶加工ガラス、光の入射方向を検知する検知手段などを利用している。

更に、従来の技術としては特許文献３が挙げられる。この特許文献３に開示されたシステムでは、搭乗者（運転者）の顔を撮影するために設置された１台又は複数台のカメラを備え、当該カメラで撮影された画像から搭乗者の眼位置を検出し、搭乗者の顔に入射する光の明るさを検出すると、フロントガラスを遮光する遮光範囲を可変とする。このとき、搭乗者の眼位置に応じて遮光範囲を設定し、遮光手段を制御する。このシステムによれば、撮影された画像から眼位置が検出されるので、搭乗者に何ら負担を与えることなく動的に防眩を行うことが可能とされている。

また、上述した従来のシステムと関連するシステムの一例は、特許文献４及び特許文献５にも開示されている。
特開２０００−１４２１６４ 特開平９−０３９７２８ 特開２００２−３３１８３５ 特開平９−０４４６８５ 特開平７−３２９５６６

ところで、運転者の眼の開閉状態から覚醒度を推定する場合には、眼の開閉判断の正確さが重要となる。これに対して、運転者は、眩しさを感じた場合に限らず、例えば笑った場合などにおいても眼を細めた表情となるため、特許文献１に開示されたように眼の縦幅により開閉を判断する手法を用いた場合においては、運転者が笑った表情をしたときに眩しさを感じていると誤検出してしまう問題が生じる。

このような問題に対処するために、特許文献４には、眼と眉の間隔など顔部位の相対位置関係を用いて眼の開閉判定を行う手法が提案されており、これにより笑ったときの表情と眩しいと感じたときの表情を認識できるとされている。

しかしながら、特許文献４に開示された手法で画像解析を行うためには、比較的高い画像解析能力を有する演算装置をシステムに搭載する必要があり、製品が高コスト化してしまうといった問題がある。

また、運転者の眼の位置を検出することにより運転者が感じる眩しさを自動的に低減するシステムとしては、運転者の眼に光が当たっているか否かの判定に顔画像を用いる手法(特許文献２、特許文献３)、眼の付近に照度計のようなセンサを設置する手法(特許文献５)、太陽の高度と向きと車両の進行方向とに基づいて直射光が運転者に当たる時間を推定する手法(特許文献３)、などを用いた判定処理が行われており、運転者が本当に眩しいと感じているか否かを確実に判定するには至っていない。

そこで、本発明は、上述した従来の実情に鑑みて提案されるものであり、車両を運転する運転者の眼に直射光が当たっているか否かを確実に判定することが可能な直射光検出装置を提供することを目的とする。

本発明に係る直射光検出装置は、顔画像取得手段により、撮像手段から出力された映像信号に含まれる運転者の顔画像を取得し、当該顔画像に基づいて、眼座標取得手段により、前記運転者の眼位置を示す眼座標を検出すると共に、当該眼座標の追跡を行っており、開閉眼判定手段により、顔画像と前記眼座標とに基づいて前記運転者の眼開度を演算し、当該眼開度から運転者の眼の開閉状態を判定している。そして、この直射光検出装置は、運転者の眼に直射光が当たっているか否かを判定するために、撮像条件取得手段により、撮像手段の撮像条件を取得して、眼付近領域測光手段により、前記眼座標及び前記撮像条件に基づいて、前記顔画像のうちの前記運転者の眼付近領域の光量を測光すると、当該光量と眼開度とに基づく前記運転者の眼に直射光が当たっているか否かの判定を行うことができる。

本発明に係る直射光検出装置によれば、撮像手段の撮像条件を考慮して眼付近領域の光量を測光し、開閉眼の判定で検出された眼開度を用いて直射光が眼に当たっているかを判定でき、運転者が直射光により眩しさを感じているか否かを確実に判断することができる。

以下、本発明の実施の形態について図面を参照して説明する。

［第１実施形態］
本発明は、例えば図１に示すように構成された第１実施形態に係る直射光検出システムの直射光検出装置に適用される。なお、本実施形態において、直射光検出システムは、車両を運転する運転者の運転操作を支援する目的で車両に搭載されることを想定する。

［直射光検出システムの構成］
直射光検出システムは、図１に示すように、運転者の顔画像を撮像する撮像手段としてのビデオカメラ１０と、運転者の顔周辺を照明する照明装置１１と、運転者の顔面に太陽光などの直射光が当たっているか否かを判定する直射光検出装置１２とを有している。

ビデオカメラ１０は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの受光素子、この受光素子を制御するドライバ回路、光学フィルタ及びレンズなどが装着された鏡頭部を有しており、撮像した映像（運転者の顔画像）をビデオ信号として直射光検出装置１２に出力する。

照明装置１１は、例えばＬＥＤ（Light Emitting Diode）やハロゲンランプなどの光源、光源を制御するドライバ回路、光学フィルタ及びレンズ等の光学素子を有しており、近赤外光を運転者の顔面に照射して照明する。

ここで、運転者が車両を運転する際に、直射光を含む外光が運転者の顔面に当たる様子を図２に示す。運転者の顔面に直射光が当たっていない状態、すなわち通常の走行状態においては、図２（ａ）に示すように、運転者が眩しさを感じることはなく、眼の開きが大きい。運転者の顔面に直射光が当たっている状態では、図２（ｂ）に示すように、運転者が眩しさを感じ、眼の開きが通常の走行状態よりも小さくなる。この状態の下で、運転者が車両に搭載されたサンバイザなどの遮光装置を使用すると、図２（ｃ）に示すように、運転者の眼周辺が遮光され、眼の開きが通常の走行状態と同等程度となる。

つぎに、直射光検出装置１２について、図３を参照しながら説明する。第１実施形態に係る直射光検出装置１２は、図３に示すように、顔画像取得部２０と、眼座標出力部２１と、開閉眼判定部２２と、撮像状態取得部２３と、眼付近領域測光部２４と、直射光検出部２５と、直射光信号出力部２６とを有している。

顔画像取得部２０は、ビデオカメラ１０から出力されたビデオ信号が入力され、このビデオ信号に含まれる一連の画像フレームのうちの１枚或いは複数枚の画像フレームを用いて、運転者の顔画像を抽出して取得する。このとき、顔画像取得部２０は、ビデオカメラ１０から入力されたビデオ信号によりデジタル処理を施し、顔画像をデジタル画像としてキャプチャして、ビデオメモリ内に蓄積する。ここで、ビデオカメラ１０の取付位置や画角等から運転者の顔が撮像される画像内位置が決められており、顔画像取得部２０は、当該画像内位置のデジタル画像をキャプチャすることになる。

眼座標出力部２１は、顔画像取得部２０によって取得された顔画像に基づいて、運転者の眼位置を示す眼座標を検出すると共に、時間的に前後する複数の顔画像から得た複数の眼位置を比較して眼座標の追跡を行って、開閉眼判定部２２及び眼付近領域測光部２４に出力する。

開閉眼判定部２２は、顔画像取得部２０により取得された顔画像と、眼座標出力部２１により検出及び追跡されている眼座標とに基づいて、運転者の眼の開閉状態を学習すると共に、運転者の眼開度に基づく開閉状態の判定を行い、眼開度を直射光検出部２５に出力する。

撮像状態取得部２３は、ビデオカメラ１０の撮像条件に関する情報を取得する。この撮像状態取得部２３が取得する情報としては、例えば、運転者の顔画像を撮像するときのシャッタースピードや絞りに関する情報であって、予め図示しないメモリに記憶されている値などが使用可能である。

眼付近領域測光部２４は、顔画像取得部２０により取得された顔画像、眼座標出力部２１により取得された眼座標、及び撮像状態取得部２３により取得された撮像条件に基づいて、運転者の眼付近領域の光量を測光して、直射光検出部２５に出力する。

直射光検出部２５は、開閉眼判定部２２により取得された眼開度と、眼付近領域測光部２３により取得された光量とに基づいて、運転者の眼に直射光が当たっているか否かを判定して、直射光信号出力部２６に出力する。

直射光信号出力部２６は、直射光検出部２５による判定結果を直射光信号として外部に接続された機器に出力する。

なお、眼座標出力部２１は、図４に示すように、顔画像取得部２０によって取得された顔画像に基づいて、運転者の眼位置を示す眼座標を検出する眼位置検出部２１ａと、時間的に前後する一連の顔画像を比較（複数の画像フレーム間で比較）して眼座標の追跡を行う眼位置追跡部２１ｂとを備えて構成されていても良い。すなわち、顔画像取得部２０が行う各機能を、眼位置検出部２１ａと眼位置追跡部２１ｂとが各機能を分担して処理するとしてもよい。

また、開閉眼判定部２２は、図４に示すように、顔画像取得部２０により取得された顔画像と、眼座標出力部２１により検出された眼座標とに基づいて、運転者の眼の開閉状態を学習する開閉眼学習部２２ａと、開閉眼学習部２２ａによる学習結果に基づいて運転者の眼の開閉判定を行って眼開度を取得する開閉眼決定部２２ｂとを備えて構成されていても良い。すなわち、開閉眼判定部２２が行う各機能を、開閉眼学習部２２ａと開閉眼決定部２２ｂとが各機能を分担して処理するとしてもよい。

「眼位置検出処理」
つぎに、眼位置検出部２１ａにおける眼位置検出処理について説明する。

眼位置検出部２１ａは、眼位置検出処理が開始されると、図５に示すように、位置検出がスタートすると、片側候補の検出処理か、或いは両側確定処理かを判断することにより、現在設定されている検出モードを確認する（ステップＳ１０）。

そして、眼位置検出部２１ａは、確認された検出モードに応じて、顔画像の画面全体から片眼となる候補を検出する片眼候補検出処理（ステップＳ１１）、片眼候補の座標によって局所領域から両眼を検出し両眼を確定する両眼確定処理（ステップＳ１２）のいずれかに処理を進める。また、ステップＳ１１或いはステップＳ１２における処理が完了すると、眼位置検出部２１ａは、眼位置検出処理を終了する。

ステップＳ１１において片眼候補検出処理が開始されると、眼位置検出部２１ａは、図６のフローチャートに示すように、片眼の候補を検出するための処理エリアを設定する処理（ステップＳ２０）と、当該処理エリア内に存在する濃度変化点の連続データを検出する処理（ステップＳ２１）と、片眼候補を絞り込む処理（ステップＳ２２）と、次の画像フレームにおいて片眼候補の検出処理を行うか、両眼確定の処理を行うかを判断する処理（ステップＳ２３）とを順次行う。

ここで、ステップＳ２０において設定される処理エリアは、図７に示すように、顔画像の右半分又は左半分の領域として設定される。なお、図７においては、顔画像の右半分の領域に設定された場合の一例を示す。そして、この顔画像の右半分又は左半分の領域の眼付近では、例えば図８に示すように、眼の輪郭を示す横方向に隣接した濃度変化点群である連続データ（グループＡ）や、眉などの眼ではない濃度変化点群である連続データ（グループＢ）が検出されることになる。

また、ステップＳ２１は、眼位置検出部２１ａにより、ステップＳ２０で設定された処理エリア内の縦ライン毎（図９（ａ））に、光量の濃度変化を検出し（図９（ｂ））、当該検出された白(淡)→黒(濃)と変化する濃度変化点が、横方向連続して連なる濃度変化点群を検出することにより、当該濃度変化点群を連続データとして検出する処理を行う（図９（ｃ））。なお、図９（ａ）では、処理エリア内に設定された複数の縦ラインのうちの１本のみを図示しており、この１本の縦ラインについての光量の濃度変化を図９（ｂ）に示す。図９（ｂ）に示す光量の濃度変化において、「眼」であると検出された両端点に注目し、複数の縦ラインについて両端点を並べた状態を図９（ｃ）に示す。なお、図９（ｃ）においては、「眼」であると検出された両端点をそれぞれ「○」「×」で示す。

また、ステップＳ２２における片眼候補を絞り込む処理においては、眼位置検出部２１ａにより、ステップＳＴ２１で検出された連続データが、上瞼のラインであれば、上凸の形状をしているという仮定に基づいて形状認識を行い、上凸の形状と合致した濃度変化点のみを、眼を示す画像として残すように処理する。

ステップＳ２３においては、眼位置検出部２１ａにより、次の画像フレームにおいて再度図６に示す片眼候補の検出処理を行うか、或いは次の画像フレームにおいてステップＳ１２における両眼確定の処理を行うかを判断する。

ステップＳ１２における両眼確定処理を行うと判断されると、同一座標近辺に連続して上凸の形状をし、連続データとして検出される濃度変化点を片眼候補点として、両眼確定処理に遷移する。このステップＳ１２においては、図１０に示すように、片眼候補の座標に両眼を検出するための処理エリアを設定する処理（ステップＳ３０）と、処理エリア内の濃度変化点の連続データを検出する処理（ステップＳ３１）と、両眼候補として検出された連続データと予め用意されたテンプレートとの比較によるパターン認識により両眼を判定する処理（ステップＳ３２）と、次の画像フレームにおいて片眼候補の検出処理に戻るか、引き続き両眼確定の処理を行うか、眼位置追跡の処理を行うかを判断する処理（ステップＳ３３）とを順次行う。

ここで、ステップＳ３０において設定される処理エリアは、図１１に示すように、顔画像において、運転者の両眼を含む領域が設定される。なお、この図１０においては、鼻を検出するための領域も設定されていて、当該領域内に鼻から検出される濃度変化点も示している。

また、ステップＳ３２で採用しているパターン認識処理は、予め複数の眼の画像からテンプレートとなる眼の画像を生成した画像データを用意しておき、当該テンプレートと、ステップＳＴ３１で検出した連続データとの相関を求める相互相関法を用いる手法が使用可能である。又は、このステップＳＴ３２では、予め複数の眼の画像と眼ではない顔部位画像(眼鏡のフレームや眉毛、鼻など)をニューラルネットワークによって学習し、眼か否かを判定するための画像をニューラルネットワークより判定する手法などを利用することができる。

「眼位置追跡処理」
つぎに、眼位置追跡部２１ｂにおける眼位置追跡処理について、図１２に示すフローチャートを参照しながら説明する。

眼位置追跡部２１ｂは、眼位置追跡処理が開始されると、図１３（ａ）に示すように、前回の眼位置検出処理又は両眼確定処理によって検出された眼座標近辺の領域から、基準眼を検出する（ステップＳ４０）。ここで、上述した眼位置検出処理における基準眼の検出位置とは、眼位置検出部２１ａによって検出された「眼（図９（ｃ））」について、図１３（ｃ）に示すように、「上端」「下端」「左端」「右端」を設定して、これらの中心位置を基準眼の位置として検出する処理である。

次に、眼位置追跡部２１ｂは、基準眼が検出できたか否か判定し（ステップＳ４１）、検出できた場合には、図１３（ｂ）に示すように、当該検出した今回の基準眼の座標から、前回の眼位置検出処理又は両眼確定処理により検出された眼の座標までの眼間距離を求めて、反対眼の検出領域を設定し、当該検出領域から反対眼を検出する（ステップＳ４２）。

ステップＳ４１において、眼位置追跡部２１ｂは、基準眼が検出できないと判定された場合には、反対眼を基準眼に変え（ステップＳ４３）、再び基準眼の検出を行う（ステップＳ４４）。次に、眼位置追跡部２１ｂは、反対眼を基準眼として検出できたか否か判定し（ステップＳ４５）、検出できないと判定された場合には、当該画像フレームでの追跡に失敗したとみなして（ステップＳ４６）、眼位置追跡処理を終了する。また、ステップＳ４５において、眼位置追跡部２１ｂは、反対眼を基準眼として検出できたと判定された場合には、処理をステップＳ４２に進める。

ステップＳ４２において反対眼の検出を行った後、眼位置追跡部２１ｂは、反対眼が検出できたか否か判定し（ステップＳ４７）、検出できた場合には、検出した基準眼及び反対眼の座標を確定して（ステップＳ４８）、眼位置追跡処理を終了する。また、ステップＳ４７において、反対眼を検出できないと判定された場合には、眼位置追跡部２１ｂは、前回の眼座標から眼間距離を求めて、基準眼の座標から眼間距離相当分の移動位置を反対眼の座標として確定し（ステップＳ４９）、眼位置検出処理を終了する。

「開閉眼判断処理」
つぎに、開閉眼判定部２２による開閉眼学習処理及び開閉眼判断（決定）処理について、図１４に示すフローチャートを参照しながら説明する。

開閉眼判定部２２は、開閉眼学習処理及び開閉眼判断処理が開始されると、眼位置追跡部２１ｂによる眼位置追跡処理によって得られた眼座標近辺の画像領域から、画像の濃淡値により２値化閾値を決定し、顔画像から眼領域を切り出すことにより、眼の「左端」「右端」「上端」「下端」を取得して、開閉眼判断用パラメータを設定する（ステップＳ５０）。ここで、開閉眼判断用パラメータとして設定される眼の「左端」「右端」「上端」「下端」の各座標は、開眼時と閉眼時とではその相対位置関係が異なるように設定されることになる。

次に、開閉眼判定部２２は、眼の「上端」と「下端」との間の距離(眼の縦幅)を眼の開度として求める（ステップＳ５１）。ここで、ステップＳＴ５０で設定された開閉眼判断用パラメータから、眼の「上端」と「下端」との相対位置関係は、眼の開閉状態が閉眼に近づくに従って、近接した関係となる。

次に、開閉眼判定部２２は、眼の「右端」「左端」「上端」による上瞼の形状に基づいて、「右端」と「左端」とを結ぶ線分に対して「上端」の座標が上方にあるか下方にあるかを判定する。そして、開閉眼判定部２２は、この判定結果に基づいて眼の形状が上凸状であるか、下凸(凹)状であるか、或いは水平であるかを判定する（ステップＳ５２）。

次に、開閉眼判定部２２は、眼の開閉学習が終了しているか否かを判定し（ステップＳ５３）、終了していない場合には眼の開閉学習を行う（ステップＳ５４）。一方、眼の開閉学習が終了している場合には、開閉眼決定部２２ｂにより、眼の形状と眼の学習結果によって得られる眼の縦幅閾値と、検出した現在の眼の縦幅とに基づき、検出した現在の眼の縦幅が眼の縦幅閾値以下の場合を閉眼、縦幅閾値以上の場合を開眼として判断する（ステップＳ５５）。開閉眼判定部２２は、ステップＳ５４或いはステップＳ５５の処理の後に、一連の処理を終了する。

ステップＳ５４における眼の開閉学習処理は、開閉眼学習部２２ａにより、以下のようにして行われる。すなわち、図１４のフローチャートに示す一連の処理で得られた眼の縦幅と、眼の形状とから、眼の形状が上凸であるときの開度値を、図１５に示すような開度値ごとに用意したカウンタ用メモリ配列にてカウントし、各開度値の左右のカウンタ用メモリの合計値が予め設定された設定値（本実施形態においては「２０」とする）以上となった開度値を、開眼開度値として学習する。また、開眼開度値から予め設定された所定の割合（本実施形態においては「３０％」とする）を開眼と閉眼を区別するための閾値として設定する。

「眼付近領域測光処理」
つぎに、眼付近領域測光部２４における処理について説明する。

眼付近領域測光部２４は、眼座標出力部２１における処理によって得られた眼座標（眼の検出位置）に基づいて、以下に示す式（１）により光量ｄの値を算出する。

上記の式（１）においては、図１６（ａ）に示すように、右眼・左眼それぞれの眼の周囲に設定された測光範囲の幅をｗ、測光範囲の高さをｈとする。この測光範囲は、図１６（ｂ）に示すように、通常時と直射光が眼に当たっている時とで全体の画素値が明確に異なるような範囲が設定される。そして、上記式（１）に従って演算を行うことにより、眼付近領域測光部２４は、測光範囲内に存在する画素群を構成する各画素（ｘ，ｙ）の光量に相当する画素値ｐ（ｘ，ｙ）を用いて平均画素値を求め、当該平均画素値に対して、撮像状態取得部２３によって得られた撮像時のシャッタースピードｓの逆数を乗算することによって、現在の画像フレームにおける眼付近領域の光量ｄを算出している。

眼付近領域測光部２４は、上記の式（１）によって得られた光量ｄを、複数の画像フレームについて時系列的に算出し、複数の光量ｄの平均を求めて最終的な光量を得る。

つぎに、直射光検出部２５における処理について、図１７を参照しながら説明する。

直射光検出部２５は、開閉眼決定部２２による開閉眼判定処理による得られた現在の眼の縦幅と、眼付近領域測光部２４による眼付近領域測光処理により得られた右眼・左眼それぞれの眼の周囲の光量を取得して、それぞれの変化を時系列に監視（モニタリング）する。また、直射光検出部２５は、両眼の光量があらかじめ設定した値以上に上昇し、且つ、眼の縦幅(開眼開度値)が予め設定し閾値以下に下降した場合に、運転者の眼に直射光が当たっていると判定する。

このとき、直射光検出部２５は、直射光が眼に当たっていない通常状態時において開眼と閉眼を判定するための眼の縦幅閾値（図１７（ａ））を、図１７（ｂ）に示すように、直射光が眼に入っていると判断されたときの開眼開度値によって下方に補正する。すなわち、直射光が眼に当たっている時の開眼開度値（図１７（ｂ））は、直射光が眼に当たっていない時の開眼開度値（図１７（ａ））よりも低くなっており、当該低くなっている開度値分だけ眼の縦幅閾値を低く設定する。これにより、例えば運転者が笑った状態や居眠りをした状態などのように、直射光による眩しさ以外の要因によって眼を細めた状態を閉眼であると誤判定することを防ぐことができる。

つぎに、直射光信号出力部２６における処理について説明する。

直射光信号出力部２６は、直射光検出部２５による直射光検出処理の結果により、運転者の眼に直射光が当たっていると判定された場合に、直射光検出装置１２に接続された外部機器に直射光信号を出力する。この外部機器としては、運転者の眩しさ低減や疲労低減のために運転者にサンバイザやサングラス等の使用を促すための報知を行う報知手段、運転者の眼の周辺に射し込む光を遮光する自動遮光装置などを挙げることができる。

この報知手段としては、車両に搭載された車両ナビゲーションシステムのナビ画面やメータパネル内に文字やイメージアイコンを表示することによる視覚的な報知手法を採用したものや、スピーカからの音声メッセージ又は報知音などによる音声出力による聴覚的な報知手法を採用したものなどを挙げることができる。また、自動遮光装置の一例としては、未使用時には車両室内の天井面に格納されており、使用時にフロントウィンドウ面にスライドして遮光を行うサンバイザ機構や、フロントウィンドウ面上に設置された液晶シャッターによる遮光機構などを挙げることができる。

［第１実施形態の効果］
以上詳細に説明したように、第１実施形態に係る直射光検出システムによれば、ビデオカメラ１０から出力された映像信号に含まれる運転者の顔画像を取得する顔画像取得部２０と、顔画像に基づいて、運転者の眼位置を示す眼座標を検出すると共に、眼座標の追跡を行う眼座標出力部２１と、顔画像と眼座標とに基づいて、運転者の眼の開閉状態を学習して判定し、運転者の眼開度を取得する開閉眼判定部２２と、ビデオカメラ１０の撮像条件を取得する撮像状態取得部２３と、顔画像、眼座標、及び撮像条件に基づいて、運転者の眼付近領域の光量を測光する眼付近領域測光部２４と、眼開度と光量とに基づいて、運転者の眼に直射光が当たっているか否かを判定する直射光検出部２５と、直射光検出装置１２による判定結果を示す直射光信号を出力する直射光信号出力部２６とを備えることを特徴とする直射光検出装置を実現することができ、運転者の眼の位置を自動的に検出すると共に、眼付近領域の光量と眼開度とに基づいて、運転者が直射光により眩しさを感じているか否かを確実に判断することができる。

すなわち、既存の技術において、運転者の眼の開閉状態の判定結果から覚醒度を推定する手法では、眼の開閉判断の正確さが重要となるものの、眩しいと眼を細め開閉眼判定の精度が落ちるが、眼を細める程度の眩しさでは、サンバイザを使用しない運転者が多い。一方、運転者にとって直射光を浴びた環境における運転心理を考慮すると、運転者の疲労が蓄積したり、ビル影やトンネルに入るなど急な環境照度変化がおこった場合に運転者の適応を考慮すると、サンバイザの使用が望ましく、更には、眼の開閉状態を判断するためにも、閉眼と誤検出し易くなるので、運転者のサンバイザ使用が望ましい。これに対し、上述した第１実施形態に係る直射光検出システムによれば、眼の開閉状態の判定結果に基づく開眼開度値を学習によって求め、且つ眼に当たっている光量を推定して、直射光が眼に当たっているかを検出でき、運転者が直接光で眩しいと感じているかどうかを検出できる。

・直接光の検出結果を報知(信号出力)する。

・あるいは、更に自動遮光制御(オートサンバイザ作動)を行う。

また、眼座標出力部２１は、顔画像全体から眼位置検出部２１ａによって眼の位置を検出し、眼の位置が検出できたときに、眼位置追跡部２１ｂによって、以前の画像フレームにおける眼の位置から現在の画像フレームにおける眼の位置を追跡することができる。したがって、直射光検出装置１２によれば、画像フレームの各々について顔画像全体の処理を行う必要がなく、検出処理の高速化を図ると共に、画像解析に要する演算能力を削減することができる。

更に、開閉眼判定部２２は、顔画像と眼座標とに基づいて眼開度を取得して学習し、眼座標と開眼開度値とに基づいて眼の縦幅閾値を設定し、縦幅閾値に基づいて運転者の眼の開閉判定を行うことにより、自動的に運転者の眼の形状を学習し開閉判断を行うことが可能となり、運転者の個人差をあらかじめ設定する等のキャリブレーション作業を不要とすることができる。また、このとき、開閉眼判定部２２は、直射光検出装置１２によって運転者の眼に直射光が当たっていると判定されたときの眼開度に応じて、縦幅閾値を補正するとしてもよい。これにより、運転者の眼に直射光が当たり運転者が眩しいと感じている期間において、開閉判断のための眼の縦幅の閾値を最適に制御することができる。

更にまた、眼付近領域測光部２４は、運転者の右眼及び左眼それぞれについての眼座標に基づいて設定される領域内の平均画素値に対して、撮像状態取得部２３によって取得されたビデオカメラ１０のシャタースピードの逆数を乗じた値を、予め設定された所定期間の平均値によって光量を算出するとしてもよい。これにより、顔画像の画素値のみでなくビデオカメラ１０のカメラパラメータも光量計算の考慮対象とするため、光量差が大きく生じた場合にも正確に光量を計算することができる。

［第２実施形態］
つぎに、直射光検出装置１２の第２実施形態について説明する。

第２実施形態に係る直射光検出装置１２は、図１８に示すように、第１実施形態に係る直射光検出装置１２と比較して、車両環境検出部５０が追加された点で異なる。したがって、以下の第２実施形態に関する説明においては、上述した第１実施形態と同一又は同等の部位について、図中で同一の符号を付すと共に、詳細な説明を省略する。

車両環境検出部５０は、運転者が運転する車両の現在位置及び進行方向を含む走行状態と日時（現在時刻）とを取得する。なお、車両環境検出部５０が各情報の取得対象とする機器は任意であるが、例えば、車両に搭載された車両ナビゲーションシステムに関わる機器から必要な情報を取得するとすればよい。

また、第２実施形態において、直射光検出部２５は、第１実施形態で説明した処理に加えて、車両環境検出部５０により検出された車両の走行状態と現在時刻とに基づいて、車両が太陽に正対して走行しているか否かを判定する車両方向検出処理を行う。直射光検出部２５による車両方向検出処理は、以下で説明する演算処理を行うことにより実現できる。

すなわち、直射光検出部２５は、車両が現在位置する緯度φ、経度λの地点における現在時刻の太陽方位ψ、高度αを算出するに際して、先ず、以下に示す式（２）により元旦(１月１日)からの通し日数ｄｎに基いて定めたθoを求める。

次に、現在時刻における太陽赤緯δ、均時差Ｅｑを、以下に示す式（３）及び式（４）により求める。

次に、車両が日本国内に位置している場合には、日本標準時間ＪＳＴから、以下に示す式（５）により太陽の時角ｈを求める。

次に、以上で算出した太陽赤緯δ、緯度φ、時角ｈに基づいて、太陽方位ψ、高度αを以下に示す式（６）及び式（７）により求める。

直射光検出部２５は、以上の演算処理により得られた現在時刻における太陽方位ψと太陽の高度αに基づいて、車両の進行方向が太陽と正対しているか否かを判定し、正対していると判定された場合のみに直射光検出処理を行う。これにより、車両と太陽との位置関係から実際に太陽からの直射光が運転者の顔に当たる状況であるか否かを考慮して直射光検出処理を行うことができ、例えば運転者が笑った状態や居眠りをした状態などのように、直射光による眩しさ以外の要因によって眼を細めた状態を、直射光が眼に当たったことによる閉眼であると誤判定する虞を低減することができる。

［第２実施形態の効果］
このように、第２実施形態に係る直射光検出システムによれば、運転者が運転する車両の現在位置及び進行方向を含む走行状態と日時とを取得する車両環境検出部５０を更に備え、直射光検出装置１２は、車両環境検出部５０により取得された情報に基づいて、現在太陽が位置する方向に車両が向かって走行していると判定された場合にのみ、運転者の眼に直射光が当たっているか否かの判定を行うことができる。これにより、画像解析に必要な計算量を減らすことができると共に、直射光検出処理による誤検出を低減することができる。

［第３実施形態］
つぎに、直射光検出装置１２の第３実施形態について説明する。

第３実施形態に係る直射光検出装置１２は、図１９に示すように、第１実施形態に係る直射光検出装置１２と比較して、鼻座標出力部６０、鼻付近領域測光部６１、及び鼻直射光検出部６２が追加された点で異なる。したがって、以下の第３実施形態に関する説明においては、上述した第１実施形態と同一又は同等の部位について、図中で同一の符号を付すと共に、詳細な説明を省略する。

鼻座標出力部６０は、顔画像取得部２０により取得された顔画像と、眼座標出力部２１により取得された眼座標に基づいて、運転者の鼻位置を示す鼻座標を求める。鼻付近領域測光部６１は、顔画像取得部２０により取得された顔画像と、鼻座標出力部６０により取得された鼻座標とに基づいて鼻付近領域を設定し、この鼻付近領域における光量を算出する。鼻直射光検出部６２は、鼻付近領域測光部６１により取得された光量に基づいて、運転者の鼻周辺部に直射光が当たっているか否かを判定する。

また、第３実施形態における直射光信号出力部２６は、眼座標出力部２１により得られた眼座標、直射光検出部２５による直射光検出結果、及び鼻座標出力部６０により得られた鼻座標、鼻直射光検出部６２による鼻直射光検出結果に基づいて、運転者の眼周辺部に直射光が当たっているか否かを判定し、直射光が当たっている場合に直射光信号を出力する。

つぎに、鼻座標出力部６０による鼻座標出力処理について、図２０に示すフローチャートを参照しながら説明する。

鼻座標出力部６０は、鼻座標出力処理が開始されると、眼座標出力部２１により得られた眼座標に基づいて、顔画像取得部２０により取得された顔画像について鼻探索エリアを設定する（ステップＳ６０）。

次に、鼻座標出力部６０は、鼻探索エリア内に複数の縦ラインを設定し、各々の縦ライン毎に２値化処理を行う（ステップＳ６１）。このとき、２値化処理における閾値としては、各々の縦ライン毎に画素値の最大値と最小値とを２：１に内分する画素値を用いる。

次に、鼻座標出力部６０は、２値化処理した結果得られた画像について、鼻の特徴点を島状のラベル（領域）として設定するラベリング処理を行う（ステップＳ６２）。この鼻の特徴点としては、図２０中に示すように、左右の鼻孔が位置する部位、左右の鼻孔外殻の膨らみが開始する部位などがあり、当該各特徴点部分を一つの領域（ラベル）として設定するラベリング処理を行う。

ステップＳ６２におけるラベリング処理の後、鼻座標出力部６０は、ラベルの幅と高さの比が１：１に近いこと、及びラベル内の画素値が低く設定値内であることを基準として、鼻孔となりうるラベルを選択し、並んで存在する２つのラベルの組合せを選択する（ステップＳ６３）。

次に、鼻座標出力部６０は、ステップＳ６３における選択処理に鼻孔として判断しうる候補ラベルがあるか否かを判定し（ステップＳ６４）、候補ラベルの組み合わせが１つだけ存在するときには鼻孔が検出されたと判断して、一対の鼻孔の中間位置の座標を鼻座標として決定する（ステップＳ６５）。また、鼻座標出力部６０により、候補ラベルの組み合わせが存在しないとき、又は２つ以上存在すると判定された場合には、鼻孔が検出されなかったものとする（ステップＳ６６）。そして、鼻座標出力部６０は、ステップＳ６５又はステップＳ６６における処理が完了すると、鼻座標出力処理を終了する。

つぎに、鼻付近領域測光部６１による鼻付近領域測光処理について、図２１を参照しながら説明する。

鼻付近領域測光部６１は、顔画像取得部２０により得られた顔画像と鼻座標出力部６０により得られた鼻座標とに基づいて、以下に示す式（８）により光量ｄの値を算出する。

上記の式（８）においては、図２１（ａ）に示すように、運転者の鼻を含む部位に設定された測光範囲の幅をｗ、高さをｈとる。この測光範囲は、図２１（ｂ）に示すように、上述の図１６（ｂ）の右眼及び左眼と同様に、通常時と直射光が鼻に当たっている時とで全体の画素値が明確に異なるような範囲が設定される。そして、上記式（８）に従って演算を行うことにより、鼻付近領域測光部６１は、測光範囲内に存在する画素群を構成する各画素（ｘ，ｙ）の光量に相当する画素値ｐ（ｘ，ｙ）を用いて平均画素値を求め、当該平均画素値に対して、撮像状態取得部２３によって得られた撮像時のシャッタースピードｓの逆数を乗算することによって、現在の画像フレームにおける鼻付近領域の光量ｄを算出している。

鼻付近領域測光部６１は、上記の式（８）によって得られた光量ｄを、複数の画像フレームについて時系列的に算出し、複数の光量ｄの平均を求めて最終的な光量を得る。

鼻直射光検出部６２は、鼻付近領域測光部６１により得られた鼻の周囲の光量を取得して、光量の変化を時系列に監視（モニタリング）する。また、鼻直射光検出部６２は、鼻の周囲の光量が予め設定した値以上に上昇した場合に、運転者の鼻に直射光が当たっていると判定する。

ここで、第３実施形態に係る直射光検出装置１２により得られた右眼、左眼、及び鼻の付近の光量と眼開度との時系列変化を、図２２に示す。ここで、運転者の眼に直射光が当たっていない通常状態における顔画像の一例を図２３（ａ）に、運転者の片眼のみに直射光が当たっている状態における顔画像の一例を図２３（ｂ）に、運転者の両眼に直射光が当たっている状態における顔画像の一例を図２３（ｃ）に、運転者がサンバイザを使用している状態における顔画像の一例を図２３（ｄ）にそれぞれ示す。

図２２から分かるように、運転者の眼に直射光が当たっていない通常状態（図２３（ａ））から、運転者の片眼のみに直射光が当たっている状態（図２３（ｂ））、運転者の両眼に直射光が当たっている状態（図２３（ｃ））、へと変化するにつれて、右眼、左眼、鼻の光量が共に上昇する一方で、眼開度が下降している。また、車両に搭載された既存の遮光装置であるサンバイザを使用した場合（図２３（ｄ））、右眼、左眼の光量が下降し、眼開度は上昇することがわかる。

また、運転者の片眼のみ光量が上昇した状態においては、眼開度が下降傾向にある一方で、通常状態に比べてさほど眼を細めてはおらず、両眼共に光量が上昇するのに合わせて眼開度が下降していることが分かる。これは、片眼のみに直射光が当たっている状態では、運転者は眩しさをさほど感じておらず、運転への影響が少ないことを示していると考えられる。

つぎに、第３実施形態に係る直射光検出装置１２の車両への搭載例について、図２４を参照しながら説明する。図２４に示す使用例は、図１に示す直射光検出システムに対して、遮光装置７０と、この遮光装置７０の動作を制御する遮光制御装置７１とを追加したものである。したがって、図２４に示す各部のうち、図１に図示した各部と同一又は同等のものについては同一の符号を付すと共に、以下での詳細な説明は省略する。

遮光制御装置７１は、図２４に示すように、直射光検出装置１２から出力される直射光信号に基づいて遮光装置７０の動作を制御し、運転者の眼周辺に当たる直射光を遮光装置７０によって遮光させる機能を有している。

ここで、運転者の眼付近の光量、鼻付近の光量、及び直射光検出装置１２から出力される直射光信号の信号レベルについての時間変化の一例を図２５に示す。図２５に示すように、眼付近及び鼻付近の光量が閾値以上に上昇し、直射光が運転者の眼に当たっていると判断されると、直射光検出装置１２から直射光信号が出力され、これに応じて遮光制御装置７１が制御信号を遮光装置７０に出力する。これにより、遮光装置７０が動作して、運転者の眼の周囲を遮光する。

遮光装置７０としては、通常時に車両の車室内天井（ルーフ）部分に格納され、遮光時に遮光部分が下降する機構や、フロントウィンドウ内に貼り付けられた液晶シャッターにより任意の個所を遮光する機構を備えることによって遮光を実現することが考えられる。

遮光装置７０として、遮光部分が下降するタイプの機構を用いる場合、図２５の下段に示すように、直射光が運転者の眼に当たっていると判断された時点で、遮光部分の降下を開始させ、鼻付近の光量が下降する位置まで遮光部分を降下させるように遮光制御装置７１による制御を行うことが望ましい。これにより、運転者の眼周辺部を確実に遮光することができる。

また、遮光制御装置７１は、鼻付近の光量が閾値以下まで下降したとき遮光部分を少し上昇させた位置に保持するように遮光装置７０を動作させてもよい。これにより、遮光が不要な部位（鼻周辺部）を、遮光装置７０によって遮光させることがなくなり、眼の付近のみを確実に遮光させることができる。

このように、本実施形態において遮光装置７０を制御するに際しての遮光装置７０の状態遷移図を図２６に示す。遮光装置７０の状態としては、遮光の必要がない「遮光なし」、遮光部が下降制御されることにより遮光部分を増加する「遮光増」、遮光部が上昇制御されることにより遮光部分を減少する「遮光減」、最適な遮光状態を示す「最適遮光」、及び遮光不可能な状態を示す「遮光不可」の５状態がある。遮光装置７０の状態遷移は、眼の部分の光量が適正(正)であるか明るい(明)かと、鼻の部分の光量が適正(正)であるか明るい(明)か、及び、眼の開度値が正常(正)であるか減少(減)しているかの３つのパラメータを、図２２に示すような時系列データと予め設定される閾値とにより判断して遮光制御装置７１により遮光装置７０を制御することで行われる。

なお、本実施形態においては、第２実施形態で説明した車両環境検出部５０を更に組み合わせることによって、太陽の方位と高度と車両の進行方向から車両正面方向に太陽がある場合にのみ直射光検出処理を行うとしてもよい。

［第３実施形態の効果］
このように、第３実施形態に係る直射光検出システムによれば、顔画像と眼座標とに基づいて、運転者の鼻位置を示す鼻座標を検出する鼻座標出力部６０（鼻座標取得手段）と、顔画像と鼻座標とに基づいて、運転者の鼻付近領域の光量を測光する鼻付近領域測光部６１（鼻付近領域測光手段）と、鼻付近領域の光量に基づいて、運転者の鼻に直射光が当たっているか否かを判定する鼻直射光検出部６２とを備え、直射光検出装置１２は、眼座標と、鼻座標と、運転者の眼に直射光が当たっているか否かの判定結果と、鼻直射光検出部６２による判定結果とに基づいて、運転者の眼に直射光が当たっているか否かを判定することができる。これにより、遮光制御を行ったときに、眼の周囲を確実に遮光できているかを判断すると共に、遮光制御が必要となくなったタイミングを鼻の周囲の光量から得ることができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

本発明を適用した第１実施形態に係る直射光検出装置を含む直射光検出システムの概略ブロック図である。 本発明の第１実施形態の直射光検出システムにおいて、運転者の顔面に直射光が当たる様子を示す模式図であり、（ａ）は直射光が当たっていない通常状態を示す図であり、（ｂ）は直射光が当たっている状態を示す図であり、（ｃ）はサンバイザを使用した状態を示す図である。 本発明を適用した第１実施形態に係る直射光検出装置の構成例を示す機能ブロック図である。 本発明を適用した第１実施形態に係る直射光検出装置の別の構成例を示す機能ブロック図である。 眼位置検出部による眼位置検出処理の一例を示すフローチャートである。 片眼候補検出処理の一例を示すフローチャートである。 片眼候補検出処理により設定される処理エリアの一例を示す模式図である。 眼座標の候補となる連続データの取得について説明するための図である。 片眼候補検出処理を説明するための模式図であり、（ａ）は処理エリア内に設定される縦ラインを示す図であり、（ｂ）は縦ラインにおいて光量の濃度変化が検出された状態を示す図であり、（ｃ）は顔画像に含まれる「眼」が検出された状態を示す図である。 両眼確定処理の一例を示すフローチャートである。 両眼確定処理により設定される処理エリアの一例を示す模式図である。 眼位置追跡処理の一例を示すフローチャートである。 眼位置追跡処理を説明するための模式図であり、（ａ）は基準眼の検出を説明するための模式図であり、（ｂ）は反対眼の検出を説明するための模式図であり、（ｃ）は基準眼の検出を説明するための模式図である。 開閉眼判定部による処理の一例を示すフローチャートである。 開閉眼判定部による学習処理について説明するための模式図である。 眼座標出力部による処理について説明するための模式図である。 直射光検出部による処理について説明するための模式図であり、（ａ）は直射光が当たっているか否かを開眼開度値によって決定することを説明するための模式図であり、（ｂ）は眼の縦幅の閾値を開眼開度値に応じて補正することを説明するための模式図である。 本発明を適用した第２実施形態に係る直射光検出装置の一構成例を示す機能ブロック図である。 本発明を適用した第３実施形態に係る直射光検出装置の一構成例を示す機能ブロック図である。 本発明を適用した第３実施形態に係る直射光検出装置における鼻座標出力処理の一例を示すフローチャートである。 本発明を適用した第３実施形態に係る直射光検出装置における鼻付近領域測光処理について説明するための模式図であり、（ａ）は鼻座標を検出することを説明するための模式図であり、（ｂ）は測光範囲の具体例を示す模式図である。 本発明を適用した第３実施形態に係る直射光検出装置における光量と眼開度の時系列変化の一例を示すグラフである。 本発明を適用した第３実施形態に係る直射光検出装置において、運転者に直射光が当たる状態を示す模式図であり、（ａ）は運転者の眼に直射光が当たっていない通常状態の一例を示す模式図であり、（ｂ）は運転者の片眼のみに直射光が当たっている状態の一例を示す模式図であり、（ｃ）は運転者の両眼に直射光が当たっている状態の一例を示す模式図であり、（ｄ）は運転者がサンバイザを使用している状態の一例を示す模式図である。 本発明を適用した第３実施形態に係る直射光検出装置を車両に搭載した一例を示す模式図である。 本発明を適用した第３実施形態に係る直射光検出装置において出力される直射光信号の信号レベルの時間変化の一例を示すグラフである。 本発明を適用した第３実施形態に係る直射光検出装置に接続される遮光装置の状態遷移を示す状態遷移図である。

符号の説明

１０ ビデオカメラ
１１ 照明装置
１２ 直射光検出装置
２０ 顔画像取得部
２１ 眼座標出力部
２１ａ 眼位置検出部
２１ｂ 眼位置追跡部
２２ 開閉眼判定部
２２ａ 開閉眼学習部
２２ｂ 開閉眼決定部
２３ 撮像状態取得部
２４ 眼付近領域測光部
２５ 直射光検出部
２６ 直射光信号出力部
５０ 車両環境検出部
６０ 鼻座標出力部
６１ 鼻付近領域測光部
６２ 鼻直射光検出部
７０ 遮光装置
７１ 遮光制御装置

Claims (6)

1. 撮像手段から出力された映像信号に含まれる運転者の顔画像を取得する顔画像取得手段と、
   前記顔画像に基づいて、前記運転者の眼位置を示す眼座標を検出すると共に、当該眼座標の追跡を行う眼座標取得手段と、
   前記顔画像と前記眼座標とに基づいて前記運転者の眼開度を演算し、当該眼開度から運転者の眼の開閉状態を判定する開閉眼判定手段と、
   前記撮像手段の撮像条件を取得する撮像条件取得手段と、
   前記眼座標に基づく画素値及び前記撮像条件に基づいて、前記顔画像のうちの前記運転者の眼付近領域の光量を測光する眼付近領域測光手段と、
   前記眼開度と前記光量とに基づいて、前記運転者の眼に直射光が当たっているか否かを判定する直射光検出手段とを備え、
   前記眼付近領域測光手段は、前記運転者の右眼及び左眼のそれぞれについての前記眼座標に基づいて設定される領域内の平均画素値に、前記撮像条件取得手段によって取得された前記撮像手段のシャタースピードの逆数を乗じた値を演算し、当該演算した値の予め設定された所定期間の平均値を前記光量として算出することを特徴とする直射光検出装置。
2. 前記眼座標取得手段は、
   前記顔画像に基づいて前記眼座標を検出する眼座標検出手段と、
   時間的に前後する複数の前記顔画像のそれぞれに検出された前記眼座標を互いに比較して、前記眼座標の追跡を行う眼座標追跡手段とを備えていること
   を特徴とする請求項１に記載の直射光検出装置。
3. 前記開閉眼判定手段は、
   複数の眼開度及び複数の眼座標からなる眼の形状とに基づいて、眼が開状態である時の眼開度の学習結果である開眼開度値を求める眼開度学習手段と、
   前記眼座標と前記開眼開度値とに基づいて眼の縦幅閾値を設定し、前記縦幅閾値に基づいて前記運転者の眼の開閉判定を行う開閉眼判定手段と
   を備えていることを特徴とする請求項１に記載の直射光検出装置。
4. 前記開閉眼判定手段は、前記直射光検出手段によって前記運転者の眼に直射光が当たっていると判定されたときの開眼開度値に応じて、前記縦幅閾値を補正することを特徴とする請求項３に記載の直射光検出装置。
5. 前記運転者が運転する車両の現在位置及び進行方向を含む走行状態と日時とを取得する車両環境取得手段を更に備え、
   前記直射光検出手段は、前記車両環境取得手段により取得された情報に基づいて、現在太陽が位置する方向に前記車両が向かって走行していると判定した場合に、前記運転者の眼に直射光が当たっているか否かの判定を行うことを特徴とする請求項１に記載の直射光検出装置。
6. 前記顔画像と前記眼座標とに基づいて、前記運転者の鼻位置を示す鼻座標を検出する鼻座標取得手段と、
   前記顔画像と前記鼻座標とに基づいて、前記顔画像のうちの前記運転者の鼻付近領域の光量を測光する鼻付近領域測光手段と、
   前記鼻付近領域の光量に基づいて、前記運転者の鼻に直射光が当たっているか否かを判定する鼻直射光検出手段とを更に備え、
   前記直射光検出手段は、前記眼座標と、前記鼻座標と、前記運転者の眼に直射光が当たっているか否かの判定結果と、前記鼻直射光検出手段による判定結果とに基づいて、前記運転者の眼に直射光が当たっているか否かを判定することを特徴とする請求項１に記載の直射光検出装置。