JP4788319B2 - 開閉眼判定装置及び方法 - Google Patents

Description

本発明は、運転者の目の開閉状態から、運転者の覚醒レベルを判定する開閉眼判定装置及び方法に関する。

従来より、車両運転者の覚醒レベルを判定する手段として、運転者の顔を撮影するとともに、その運転者の目の開閉状態を検出し、その検出結果から覚醒レベルを判定する開閉眼判定装置が提案されている（例えば、特許文献１、特許文献２参照）。このような開閉眼判定装置を設置すれば、覚醒レベルが低下しているときは、運転者に警報等が発せられ、居眠り運転を回避することができる。

また、目の開度を検出し、所定時間毎における開度の度数分布を計測して、度数分布が略平坦となる範囲内に閾値を設定するとともに、度数分布の更新に応じて閾値を更新し、その閾値を用いて目の開閉を判定することにより、判定精度の向上を図った装置も提案されている。（特許文献３参照）
特開平６−３２１５４号公報 特開平１０−４４８２４号公報 特開平９−１４７１２０号公報

ところで、目の開閉を判断する装置においては、目の開閉を判断する指標として、目の縦幅を用いるものが多い。例えば、図１７に示すような横３２０画素、縦２４０画素で撮影された顔画像に対しては、図１８に示すように、目の周囲画像に対して２値化を行い、白→黒と変化する点（○印）と、黒→白と変化する点（×印）を求めることにより、目の縦幅を求めることができる。すなわち、○印のうち最も高い位置にある○印と、その○印の真下にある×印との間の画素数（○印と×印を含む画素数）を求めることにより、目の縦幅を求めることが可能である。

しかしながら、通常、上記特許文献１〜３においては、目の縦幅に相当する画素数は、図１９に示すように、開眼時に１０画素程度で、また閉眼時に５画素程度であり、画素数の変化は５画素程度に過ぎない。そのため、元々、目の小さい（細い）人を撮影した場合や、運転者が少し上を向いてカメラと顔との角度が変化した場合などには、開眼時と閉眼時の画素数の変化が非常に小さくなってしまい、開閉眼の判定ができないという問題がある。

また、特許文献３のように度数分布を求めると、図２０に示すように、開眼と閉眼分布の一部が重なったような形状となり、開閉眼を判定するための閾値を適切に決定することができないという問題がある。

本発明の課題は、車両運転者の開閉眼を確実かつ高精度に判定することのできる開閉眼判定装置、及び開閉眼判定方法を提供することにある。

上記課題を解決するために、本発明の開閉眼判定装置は、運転者の顔画像を取得する顔画像取得手段と、前記取得した顔画像のデータから目の位置を検出するとともに、該目の特徴点を抽出する特徴点抽出手段と、前記抽出された特徴点から開閉眼を判定する開閉眼判定手段とを備え、前記開閉眼判定手段は、前記特徴点として目の開き具合を示すデータを取り込んで、該データに対して算術的な操作を行って開閉眼判定指標値を計算する指標値計算手段と、所定時間ごとに前記開閉眼判定指標値の度数分布を求め、該度数分布から開閉眼判定閾値を求める閾値決定手段と、前記求めた開閉眼判定閾値によって、現在の開閉眼判定指標値が開・閉のいずれかを分別する開閉眼分別手段を有する一方、前記指標値計算手段は、両目の縦幅を一定値で除算したもの同士を乗じて対数をとることにより得られた値を、前記開閉眼判定指標値とすることを特徴としている。
また、本発明の開閉眼判定装置は、運転者の顔画像を取得する顔画像取得手段と、前記取得した顔画像のデータから目の位置を検出するとともに、該目の特徴点を抽出する特徴点抽出手段と、前記抽出された特徴点から開閉眼を判定する開閉眼判定手段とを備え、前記開閉眼判定手段は、前記特徴点として目の開き具合を示すデータを取り込んで、該データに対して算術的な操作を行って開閉眼判定指標値を計算する指標値計算手段と、所定時間ごとに前記開閉眼判定指標値の度数分布を求め、該度数分布から開閉眼判定閾値を求める閾値決定手段と、前記求めた開閉眼判定閾値によって、現在の開閉眼判定指標値が開・閉のいずれかを分別する開閉眼分別手段を有する一方、前記指標値計算手段は、両目の縦幅を一定値で除算したもの同士を乗じ、さらにその乗じたものを巾乗して対数をとることにより得られた値を、前記開閉眼判定指標値とすることを特徴としている。
さらに、本発明の開閉眼判定装置は、運転者の顔画像を取得する顔画像取得手段と、前記取得した顔画像のデータから目の位置を検出するとともに、該目の特徴点を抽出する特徴点抽出手段と、前記抽出された特徴点から開閉眼を判定する開閉眼判定手段とを備え、前記開閉眼判定手段は、前記特徴点として目の開き具合を示すデータを取り込んで、該データに対して算術的な操作を行って開閉眼判定指標値を計算する指標値計算手段と、所定時間ごとに前記開閉眼判定指標値の度数分布を求め、該度数分布から開閉眼判定閾値を求める閾値決定手段と、前記求めた開閉眼判定閾値によって、現在の開閉眼判定指標値が開・閉のいずれかを分別する開閉眼分別手段を有する一方、前記指標値計算手段は、片方の目の縦幅を一定値で除算したものを二乗して対数をとることにより得られた値を、前記開閉眼判定指標値とすることを特徴としている。

また、本発明の開閉眼判定方法は、運転者の顔画像を取得する顔画像取得ステップと、前記取得した顔画像のデータから目の位置を検出するとともに、該目の特徴点を抽出する特徴点抽出ステップと、前記抽出された特徴点から開閉眼を判定する開閉眼判定ステップとを含み、前記開閉眼判定ステップにおいて、前記特徴点として目の開き具合を示すデータを取り込んで、該データに対して目の開き具合を強調させる算術的な操作を行うとともに、その操作結果を用いて開閉眼の判定を行い、前記開閉眼判定ステップにおける算術的な操作として、両目の縦幅を一定値で除算したもの同士を乗じて対数をとる計算を行うことを特徴としている。
また、本発明の開閉眼判定方法は、運転者の顔画像を取得する顔画像取得ステップと、前記取得した顔画像のデータから目の位置を検出するとともに、該目の特徴点を抽出する特徴点抽出ステップと、前記抽出された特徴点から開閉眼を判定する開閉眼判定ステップとを含み、前記開閉眼判定ステップにおいて、前記特徴点として目の開き具合を示すデータを取り込んで、該データに対して目の開き具合を強調させる算術的な操作を行うとともに、その操作結果を用いて開閉眼の判定を行い、前記開閉眼判定ステップにおける算術的な操作として、両目の縦幅を一定値で除算したもの同士を乗じ、さらにその乗じたものを巾乗して対数をとる計算を行うことを特徴としている。
さらに、本発明の開閉眼判定方法は、運転者の顔画像を取得する顔画像取得ステップと、前記取得した顔画像のデータから目の位置を検出するとともに、該目の特徴点を抽出する特徴点抽出ステップと、前記抽出された特徴点から開閉眼を判定する開閉眼判定ステップとを含み、前記開閉眼判定ステップにおいて、前記特徴点として目の開き具合を示すデータを取り込んで、該データに対して目の開き具合を強調させる算術的な操作を行うとともに、その操作結果を用いて開閉眼の判定を行い、前記開閉眼判定ステップにおける算術的な操作として、片方の目の縦幅を一定値で除算したものを二乗して対数をとる計算を行うことを特徴としている。

上記各構成によれば、開閉眼判定指標値として、両目の縦幅を一定値で除算したもの同士を乗じて対数をとることにより得られた値を用いたり、また、両目の縦幅を一定値で除算したもの同士を乗じ、さらにその乗じたものを巾乗して対数をとることにより得られた値を用いたり、さらにまた、片方の目の縦幅を一定値で除算したものを二乗して対数をとることにより得られた値を用いて開閉眼を判定するので、車両運転者の開閉眼を確実かつ高精度に判定することができる。

本発明によれば、車両運転者の開閉眼を確実かつ高精度に判定することが可能となる。

以下、本発明の実施例を図面に従って説明する。

図１は、本発明に係る開閉眼判定装置の概略構成を示している。図に示すように、本開閉眼判定装置１は、運転者２の顔に近赤外線を照射する照明器３と、近赤外線を照射された運転者２の顔を撮像するビデオカメラ４と、撮像結果であるビデオ信号がビデオカメラ４から時系列的に入力され、その入力情報に基づいて開閉眼判定結果を出力する判定装置本体５とを備えている。判定装置本体５から出力される開閉眼判定結果は、覚醒度推定装置６や居眠り検出装置７などに入力される。

図２は、判定装置本体５の内部構成を示している。判定装置本体５は、ビデオカメラ４からのビデオ信号に基づいて顔画像を取得する顔画像取得手段８と、顔画像取得手段８から出力される顔画像を取り込んで、少なくとも目の上端と下端を含む目の特徴点を抽出する特徴点抽出手段９と、特徴点抽出手段９からの目の特徴点データを取り込んで、運転者２の目が開いているかどうかの判定（つまり開閉眼の判定）を行って、その判定結果（開閉眼判定結果）を出力する開閉眼判定手段１０とを備えている。なお、顔画像取得手段８はメモリ（図示省略）を有し、ビデオカメラ４からのビデオ信号をディジタル画像としてキャプチャし、そのディジタル画像を前記メモリ内に一旦蓄積する。

図３は、特徴点抽出手段９の内部構成を示している。特徴点抽出手段９は、顔画像取得手段８からの顔画像を取り込んで顔特徴検出結果を出力する顔特徴検出手段１１と、顔画像取得手段８からの顔画像と顔特徴検出手段１１からの顔特徴検出結果とを取り込んで目の特徴点データを出力する顔特徴追跡手段１２とを備えている。

顔特徴検出手段１１は、図４（ａ）のフローチャートに示すように、検出モードによって、画面全体から片目となる候補を検出する片眼候補の検出処理（ステップＳ１及びステップＳ２）、または片眼候補の座標によって局所領域から両眼を検出し両眼を確定する両眼確定処理（ステップＳ１及びステップＳ３）のいずれかを実行する。

ここで、片眼候補の検出処理は、図４（ｂ）のフローチャートに示すように、片眼の候補を検出するための処理エリアを設定する処理（ステップＳ２１）と、処理エリア内に連続データを検出する処理（ステップＳ２２）と、片眼候補を絞込む処理（ステップＳ２３）と、次フレームにおいて片眼候補の検出処理を行うか、両眼確定の処理を行うかを判断する処理（ステップＳ２４）とを含んでいる。

ステップＳ２１における片眼の候補を検出するための処理エリアは、図５（ａ）に示すように、顔画像の左半分（もしくは右半分）に設定される。ステップＳ２２における処理エリア内に連続データを検出する処理は、図７及び図８に示すように、処理エリア内の縦のラインごとに光量の濃度変化を調べて、白（淡）→黒（濃）と変化する点が横方向連続して連なる点を検出することにより行われる。ステップＳ２３の片眼候補を絞り込む処理においては、検出された連続データが、上瞼のラインであれば、上に凸の形状をしているという仮定に基づいて形状認識を行い、上に凸の形状と合致したもののみを残すように処理する。

上記ステップＳ２１〜Ｓ２３の処理を複数フレームについて繰り返し行い、次フレームにおいて片眼候補の検出処理を行うか、両眼確定の処理を行うかを判断する処理において、図６に示すように、同一座標近辺に連続して上に凸の形状をして連続データとして検出される点を片眼候補点として、両眼確定の処理に遷移する。

次に、両眼確定の処理は、図４（ｃ）のフローチャートに示すように、片眼候補の座標に両眼を検出するための処理エリアを設定する処理（ステップＳ３１）と、処理エリア内に連続データを検出する処理（ステップＳ３２）と、両眼候補の検出とパターン認識により両眼を判定する処理（ステップＳ３３）と、次フレームにおいて片眼候補の検出に戻るか引き続き両眼確定の処理を行うか眼位置追跡の処理を行うかを判断する処理（ステップＳ３４）とを含んでいる。

パターン認識には、あらかじめ複数の眼の画像から辞書となる眼の画像を生成したものとの相関を求める相互相関法、あらかじめ複数の眼の画像と眼ではない顔部位画像（眼鏡のフレームや眉毛、鼻など）をニューラルネットワークによって学習し、眼か否かを判定するための画像を同ニューラルネットワークより判定する方法などが利用できる。

顔特徴追跡手段１２は、図９に示す処理を実行する。すなわち、顔特徴追跡手段１２は、図１０（ａ）に示すように、前回の該処理もしくは両眼確定処理により検出された眼の座標の近辺の領域から、基準眼を検出する（ステップＳ４１及びＳ４２）。基準眼が検出できた場合は、図１０（ｂ）に示すように、基準眼から前回の該処理もしくは両眼確定処理により検出された眼の座標から眼間距離を求めて反対眼の検出領域を設定し、その領域から反対眼を検出する（ステップＳ４３及びＳ４４）。

ステップＳ４２において基準眼が検出できない場合には、反対眼を基準眼に変えて（ステップＳ４６）、再び基準眼の検出を行う（ステップＳ４７及びＳ４８）。それでも基準眼が検出できない場合は、当フレームでの追記に失敗したとみなす（ステップＳ４９）。

ステップＳ４４において反対眼が検出できた場合には、検出した基準眼および反対眼の座標を確定する（ステップＳ４５）。ステップＳ４４において反対眼が検出できない場合には、前回の眼の座標から眼間距離を求めて、基準眼の座標から眼間距離相当分の移動位置を反対眼の座標として確定する（ステップＳ５０）。

目の特徴点座標は、図１８に示したように、目の付近の画像に対して、各列方向に画像の濃淡を調べて、淡（白）→濃（黒）と変化する点（図中○で表記）と、濃（黒）→淡（白）と変化する点（図中×で表記）を検出する。淡（白）→濃（黒）と変化する点の横方向への連続を調べることにより目の左端と右端を確定し、最も高い点を上端とし、濃（黒）→淡（白）と変化する点の最も低い点を下端とする。

開閉眼判定手段１０は、図１１に示すように、特徴点抽出手段９（図２参照）からの目の特徴点座標を取り込んで、開閉眼判定するための開閉眼判定指標値を出力する指標値計算手段１３と、所定時間ごとに開閉眼判定指標値の分布を求め、この分布から開閉眼判定閾値を出力する閾値決定手段１４と、指標値計算手段１３からの開閉眼判定指標値及び閾値決定手段１４からの開閉眼判定閾値を取り込んで、現開閉眼判定指標値が開・閉のいずれかを分別するとともに、その分別結果を開閉眼判定結果として出力する開閉眼分別手段１５とを備えている。

指標値計算手段１３は、目の特徴点座標から、図１２に示すように、右目の上端と下端の点の差を目の縦幅ｈ_rに、左目の上端と下端の点の差を目の縦幅ｈ_lにそれぞれ設定する。また、両目それぞれの縦幅を０.０〜１.０に正規化したものをｄ_r，ｄ_lにそれぞれ設定する。正規化の方法としては、目の縦幅をｈ_r，ｈ_l、横幅をｗ_r，ｗ_lとしたときの縦横比をｄ_r，ｄ_lとする方法や、目の縦幅ｈ_r，ｈ_lを一律の相場値で除算する方法などがある。

そして、以下の（１）式のようにｄ_r，ｄ_lの積を求めて対数を取り、符号を反転した値ｒを各フレームで求める。このｒを開閉眼判定指標値と呼ぶ。
ｒ＝−ｌｏｇ₁₀（ｄ_r＊ｄ_l） ・・・・・・（１）

片目のみしか追跡できていない場合は、開閉眼判定指標値を追跡できている眼の情報、右目ならばｄ_r，左目ならばｄ_lのみを用いて、以下の（２）式または（３）式で求める。
ｒ＝−ｌｏｇ₁₀（ｄ_r＊ｄ_r） ・・・・・・（２）
または、
ｒ＝−ｌｏｇ₁₀（ｄ_l＊ｄ_l） ・・・・・・（３）

閾値決定手段１４は、所定数の各フレームで求めた開閉眼判定指標値ｒを、所定の区間（例えば０.１区間）を横軸に、度数を縦軸にした分布として表し、毎の開閉眼判定指標値分布を求め、閾値を決定する。開閉眼判定指標値分布は一般に分布は図１３のような形状を示す。

図１４に示すように、分布について、小さいほうから最初の極大値（第１の極大値）の存在するｒをｒ_min、大きいほうから最初の極大値（第２の極大値）の存在するｒをｒ_maxとする。ｒ_minとｒｍａｘの中央値を開閉判定閾値ｔとして用いる。度数分布は直近の所定数のｒによって決定されるため開閉判定閾値ｔは常に変化する。

また、図１５に示すように、開眼の頻度に比べて閉眼の頻度が極めて少ない場合には、ｒ_min ＝ｒ_max となる場合がある。この場合は、ｒ_minから相場値をもって開閉判定閾値ｔを決定する。他の決定手法としては、分布の中心から一定割合の度数を占める範囲でｔ＞ｒ_minとなる点にする方法がある。

開閉眼分別手段１５は、図１６に示すように、開閉眼判定閾値ｔよりも現在の開閉眼判定指標値ｒが大きい場合を閉眼、小さい場合を開眼することにより、開閉判定結果を出力する。

本実施例によれば、開閉眼判定手段１０が、算術的な操作を行うための開閉眼判定指標値を計算する指標値計算手段１３と、所定時間ごとに開閉眼判定指標値の度数分布を求め、この度数分布から開閉眼判定閾値を求める閾値決定手段１４と、求めた開閉眼判定閾値によって、現在の開閉眼判定指標値が開・閉のいずれかを分別する開閉眼分別手段１５とを有するので、所定時間での目の開閉眼判定指標値の分布から目の開閉分別のための閾値が決定され、常に最適な閾値を決定することができる。

また、本実施例によれば、指標値計算手段１３が、両目の縦幅を一定値で除算したもの同士を乗じて対数をとることにより得られた値を開閉眼判定指標値としているので、指標値として単に目の縦幅を用いる場合と比較して、目の開と閉における変化幅を大きくすることができる。

また、本実施例によれば、指標値計算手段１３が、片方の目の縦幅を一定値で除算したものを二乗して対数をとることにより得られた値を開閉眼判定指標値としているので、片目のみしか検出できていない場面においても、開閉眼判定指標値を容易に計算することができる。

また、本実施例によれば、閾値決定手段１４が、度数分布上で一方の端に最も近い箇所に現れる第１の極大値と、他方の端に最も近い箇所に現れる第２の極大値との間に開閉眼判定閾値を設定しているので、第１の極大値は開眼の最も多い位置を、第２の極大値は閉眼の最も多い位置をそれぞれ示すことになり、開眼と閉眼を分別する閾値を適切に設定することができる。

また、本実施例によれば、閾値決定手段１４が、度数分布上で一方の端に最も近い箇所に現れる極大値を求め、その極大値から一定指標値離れた位置に開閉眼判定閾値を設定しているので、開眼の状態のみでも閾値を決定することができる。すなわち、一般に極大値が一つしかない場合は、閉眼がほとんどない状態であるため、求められる極大値は開眼の最も多い位置を示すことになり、開眼の状態のみでも閾値を容易に決定することが可能となる。

また、本実施例によれば、閾値決定手段１４が、度数分布全体に対して一定の割合を占める位置に開閉眼判定閾値を設定しているので、開眼を閉眼と誤判定する機会を減らすことができる。すなわち、一般に極大値が一つしかない場合は、閉眼がほとんどない状態であるため、求められる極大値は開眼の最も多い位置を示すことになり、開眼の分布の一定割合を占める部分から離れた所に閾値が決定され、開眼を閉眼と誤判定する機会を減らすことが可能となる。

また、本実施例によれば、特徴点抽出手段９が、顔画像取得手段８から顔画像を取り込んで顔特徴を検出する顔特徴検出手段１１と、顔特徴が検出された場合に、顔画像取得手段８からの顔画像と顔特徴検出手段１１での顔特徴の検出結果を取り込んで顔特徴点を出力するとともに、以後は顔画像と過去の顔特徴点を取り込んで顔特徴点を更新出力する顔特徴追跡手段１２とを有するので、常に顔画像全体から顔特徴を検出する必要がなく、過去の顔特徴点の情報を用いて、現在の顔特徴点を探すことが可能となり、処理の効率化及び高速化を図ることができる。

さらに、本実施例によれば、特徴点抽出手段９が、目の特徴点を出力する際に、両目のうち少なくとも片方の目の上端及び下端の座標を求めて目の縦方向の幅を算出し、その算出結果を、目の開き具合を示すデータとして出力するので、目の開閉判定のための開閉眼判定指標値を容易に計算できる。

以上、本発明の実施例を図面により詳述してきたが、上記実施例は本発明の例示にしか過ぎないものであり、本発明は上記実施例の構成にのみ限定されるものではない。本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

例えば、開閉眼判定指標値ｒを求める場合、上記（１）式の代わりに次のような（４）又は（５）式を用いてもよい。
ｒ＝−ｌｏｇ₁₀（ｄ_l＊ｄ_r）＾ｋ （”＾” は巾乗の記号） ・・・・・・（４）
ｒ＝−ｋ＊ｌｏｇ₁₀（ｄ_l＊ｄ_r） （ｋは任意係数） ・・・・・・（５）

本発明による開閉眼判定装置の概略構成図である。 判定装置本体の内部構成図である。 特徴点抽出手段の内部構成図である。 （ａ）は顔特徴検出手段における眼の検出ロジックを説明するフローチャート、（ｂ）は片眼候補検出のフローチャート、（ｃ）は両眼確定のフローチャートである。 （ａ）は片眼候補検出のための領域設定を説明する図、（ｂ）は両眼確定のための領域設定を説明する図である。 眼の候補となる連続データを説明する図である。 顔画像の縦ラインの光量変化を調べることにより眼の候補を検出する方法を説明する図である。 図７における検出結果の一例を示す図である。 顔特徴追跡手段のロジックを説明するフローチャートである。 （ａ）は基準眼を検出する様子を説明する図、（ｂ）は基準眼から反対眼を検出する様子を説明する図である。 開閉眼判定手段の内部構成図である。 顔の特徴点から目の縦幅と横幅を算出する方法を説明する図である。 開閉眼判定指標値の分布を示す図である。 開閉眼判定閾値の決定方法を説明する図である。 ｒ_min＝ｒ_maxとなる場合の開閉眼判定閾値の決定方法を説明する図である。 開閉眼分別の様子を説明する図である。 顔画像の一例を説明する図である。 目の特徴座標の取得方法を説明する図である。 目の開度の計算方法を説明する図である。 目の開度度数分布の作成と閾値の決定方法を説明する図である。

符号の説明

１ 開閉眼判定装置
２ 運転者
４ ビデオカメラ
５ 判定装置本体
８ 顔画像取得手段
９ 特徴点抽出手段
１０ 開閉眼判定手段
１１ 顔特徴検出手段
１２ 顔特徴追跡手段
１３ 指標値計算手段
１４ 閾値決定手段
１５ 開閉眼分別手段

Claims (10)

1. 運転者の顔画像を取得する顔画像取得手段と、前記取得した顔画像のデータから目の位置を検出するとともに、該目の特徴点を抽出する特徴点抽出手段と、前記抽出された特徴点から開閉眼を判定する開閉眼判定手段とを備え、
   前記開閉眼判定手段は、前記特徴点として目の開き具合を示すデータを取り込んで、該データに対して算術的な操作を行って開閉眼判定指標値を計算する指標値計算手段と、所定時間ごとに前記開閉眼判定指標値の度数分布を求め、該度数分布から開閉眼判定閾値を求める閾値決定手段と、前記求めた開閉眼判定閾値によって、現在の開閉眼判定指標値が開・閉のいずれかを分別する開閉眼分別手段を有する一方、
   前記指標値計算手段は、両目の縦幅を一定値で除算したもの同士を乗じて対数をとることにより得られた値を、前記開閉眼判定指標値とすることを特徴とする開閉眼判定装置。
2. 運転者の顔画像を取得する顔画像取得手段と、前記取得した顔画像のデータから目の位置を検出するとともに、該目の特徴点を抽出する特徴点抽出手段と、前記抽出された特徴点から開閉眼を判定する開閉眼判定手段とを備え、
   前記開閉眼判定手段は、前記特徴点として目の開き具合を示すデータを取り込んで、該データに対して算術的な操作を行って開閉眼判定指標値を計算する指標値計算手段と、所定時間ごとに前記開閉眼判定指標値の度数分布を求め、該度数分布から開閉眼判定閾値を求める閾値決定手段と、前記求めた開閉眼判定閾値によって、現在の開閉眼判定指標値が開・閉のいずれかを分別する開閉眼分別手段を有する一方、
   前記指標値計算手段は、両目の縦幅を一定値で除算したもの同士を乗じ、さらにその乗じたものを巾乗して対数をとることにより得られた値を、前記開閉眼判定指標値とすることを特徴とする開閉眼判定装置。
3. 運転者の顔画像を取得する顔画像取得手段と、前記取得した顔画像のデータから目の位置を検出するとともに、該目の特徴点を抽出する特徴点抽出手段と、前記抽出された特徴点から開閉眼を判定する開閉眼判定手段とを備え、
   前記開閉眼判定手段は、前記特徴点として目の開き具合を示すデータを取り込んで、該データに対して算術的な操作を行って開閉眼判定指標値を計算する指標値計算手段と、所定時間ごとに前記開閉眼判定指標値の度数分布を求め、該度数分布から開閉眼判定閾値を求める閾値決定手段と、前記求めた開閉眼判定閾値によって、現在の開閉眼判定指標値が開・閉のいずれかを分別する開閉眼分別手段を有する一方、
   前記指標値計算手段は、片方の目の縦幅を一定値で除算したものを二乗して対数をとることにより得られた値を、前記開閉眼判定指標値とすることを特徴とする開閉眼判定装置。
4. 前記閾値決定手段は、度数分布上で一方の端に最も近い箇所に現れる第１の極大値と、他方の端に最も近い箇所に現れる第２の極大値との間に前記開閉眼判定閾値を設定することを特徴とする請求項１〜３のいずれか一項に記載の開閉眼判定装置。
5. 前記閾値決定手段は、度数分布上で一方の端に最も近い箇所に現れる極大値を求め、その極大値から一定指標値離れた位置に前記開閉眼判定閾値を設定することを特徴とする請求項１〜３のいずれか一項に記載の開閉眼判定装置。
6. 前記特徴点抽出手段は、前記顔画像取得手段から顔画像を取り込んで顔特徴を検出する顔特徴検出手段と、顔特徴が検出された場合に、前記顔画像取得手段からの顔画像と前記顔特徴検出手段での顔特徴の検出結果を取り込んで顔特徴点を出力するとともに、以後は顔画像と過去の顔特徴点を取り込んで顔特徴点を更新出力する顔特徴追跡手段とを有することを特徴とする請求項１〜３のいずれか一項に記載の開閉眼判定装置。
7. 前記特徴点抽出手段は、目の特徴点を出力する際に、両目のうち少なくとも片方の目の上端及び下端の座標を求めて目の縦方向の幅を算出し、その算出結果を、目の開き具合を示すデータとして出力することを特徴とする請求項１〜３のいずれか一項に記載の開閉眼判定装置。
8. 運転者の顔画像を取得する顔画像取得ステップと、前記取得した顔画像のデータから目の位置を検出するとともに、該目の特徴点を抽出する特徴点抽出ステップと、前記抽出された特徴点から開閉眼を判定する開閉眼判定ステップとを含み、
   前記開閉眼判定ステップにおいて、前記特徴点として目の開き具合を示すデータを取り込んで、該データに対して目の開き具合を強調させる算術的な操作を行うとともに、その操作結果を用いて開閉眼の判定を行い、
   前記開閉眼判定ステップにおける算術的な操作として、両目の縦幅を一定値で除算したもの同士を乗じて対数をとる計算を行うことを特徴とする開閉眼判定方法。
9. 運転者の顔画像を取得する顔画像取得ステップと、前記取得した顔画像のデータから目の位置を検出するとともに、該目の特徴点を抽出する特徴点抽出ステップと、前記抽出された特徴点から開閉眼を判定する開閉眼判定ステップとを含み、
   前記開閉眼判定ステップにおいて、前記特徴点として目の開き具合を示すデータを取り込んで、該データに対して目の開き具合を強調させる算術的な操作を行うとともに、その操作結果を用いて開閉眼の判定を行い、
   前記開閉眼判定ステップにおける算術的な操作として、両目の縦幅を一定値で除算したもの同士を乗じ、さらにその乗じたものを巾乗して対数をとる計算を行うことを特徴とする開閉眼判定方法。
10. 運転者の顔画像を取得する顔画像取得ステップと、前記取得した顔画像のデータから目の位置を検出するとともに、該目の特徴点を抽出する特徴点抽出ステップと、前記抽出された特徴点から開閉眼を判定する開閉眼判定ステップとを含み、
    前記開閉眼判定ステップにおいて、前記特徴点として目の開き具合を示すデータを取り込んで、該データに対して目の開き具合を強調させる算術的な操作を行うとともに、その操作結果を用いて開閉眼の判定を行い、
    前記開閉眼判定ステップにおける算術的な操作として、片方の目の縦幅を一定値で除算したものを二乗して対数をとる計算を行うことを特徴とする開閉眼判定方法。