JP5790762B2

JP5790762B2 - 瞼検出装置

Info

Publication number: JP5790762B2
Application number: JP2013523729A
Authority: JP
Inventors: 清人埴田; 嘉修竹前
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2011-07-11
Filing date: 2011-07-11
Publication date: 2015-10-07
Anticipated expiration: 2031-07-11
Also published as: JPWO2013008305A1; DE112011105441T5; US9202106B2; WO2013008305A1; DE112011105441B4; US20140140577A1

Description

本発明は、顔画像から上下瞼の位置を検出する瞼検出に関する。

従来、開眼状態の検出などを行うために、顔画像から上下瞼の位置を検出する技術が知られている（例えば、特許文献１参照）。特許文献１には、記憶された顔の姿勢に対応する瞼形状と検出された瞼の形状とに基づいて、眼の開閉状態を検出することが記載されている。

特開２００５−０７８３１１号公報

しかしながら、特許文献１に記載の技術は、赤目現象や眼鏡などによる外乱によっては、瞼を正確に検出することができないという問題がある。例えば、赤目の周囲にはエッジが発生するため、このエッジを上下瞼の位置として誤検出する可能性がある。また、顔画像に写り込んだ眼鏡フレームのエッジが強いと、この眼鏡フレームを上下瞼の位置として誤検出する可能性がある。

そこで、本発明は、赤目現象や眼鏡などによる外乱に対しても高い精度で上下瞼の位置を検出することができる瞼検出装置を提供することを課題とする。

本発明に係る瞼検出装置は、顔画像から上下瞼の位置を検出する瞼検出装置であって、顔画像から検出される顔の特徴点を三次元顔モデルに適合させることにより推定される顔向きに基づいて、上下瞼の位置を検出する。

本発明に係る瞼検出装置によれば、顔の特徴点を三次元顔モデルに適合させることにより顔向きを推定することができる。そして、顔向きに応じて上下瞼の存在し得る範囲が制限されることから、このように推定された顔向きに基づいて上下瞼の位置を検出することで、上下瞼の存在し得る範囲のみから上下瞼の位置を検出することができる。これにより、上下瞼の存在し得ない範囲に生じる赤目現象や眼鏡による外乱による影響を排除することができるため、高精度に上下瞼の位置を検出することができる。

また、顔向きから推定される上下瞼の曲線モデルを、顔画像のエッジが強調されたエッジ画像に照合させて上下瞼の位置を検出するものとすることができる。このように、顔向きから推定される上下瞼の曲線モデルをエッジ画像に照合させることで、上下瞼の位置を適切に検出することができる。

また、運転中は、顔向きに応じて上下瞼を検出する上下方向の角度範囲を制限するものとすることができる。運転中は顔向きに関わらず前方を注視しているため、上下瞼の存在する範囲が特定される。そこで、運転中は、顔向きに応じて上下瞼を検出する上下方向の角度範囲を制限することで、上下瞼の存在し得ない範囲に生じる赤目現象や眼鏡による外乱による影響を適切に排除することができる。

この場合、顔向きが上向きである場合は、顔向きが正面向きである場合よりも、上瞼の上限角度を低くすることが好ましい。このように、顔向きが上向きである場合は、視線を下に向けている可能性が高いため、顔向きが正面向きである場合よりも上瞼の上限角度を低くすることで、上下瞼の存在し得ない範囲に生じる赤目現象や眼鏡による外乱の影響を適切に排除することができる。

また、顔向きが下向きである場合は、顔向きが正面向きである場合よりも、上下瞼の下限角度を高くすることが好ましい。このように、顔向きが下向きである場合は、視線を上に向けている可能性が高いため、顔向きが正面向きである場合よりも上下瞼の下限角度を高くすることで、上下瞼の存在し得ない範囲に生じる赤目現象や眼鏡による外乱の影響を適切に排除することができる。

本発明によれば、赤目現象や眼鏡などによる外乱に対しても高い精度で上下瞼の位置を検出することができる。

実施形態に係る瞼検出装置のブロック構成を示した図である。実施形態に係る瞼検出装置の赤目検出処理動作を示すフローチャートである。画像センサが撮像した画像情報の一例を示した図である。顔位置領域の一例を示した図である。３Ｄ顔モデルの一例を示す概要図である。顔向きが正面向きである場合の三次元眼球モデルを示した図である。顔向きが上向きである場合の三次元眼球モデルを示した図である。顔向きが下向きである場合の三次元眼球モデルを示した図である。上下瞼の検出方法を説明するための概要図である。上下瞼の位置の誤検出を説明するための概要図である。

以下、図面を参照して、本発明に係る瞼検出装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。

本実施形態に係る瞼検出装置は、上下瞼の位置から算出される開眼度からドライバの眠気度を推定して車両の運転支援制御を行う運転支援制御装置などに搭載されるものである。なお、上下瞼の位置とは、上瞼の位置及び下瞼の位置をいう。

図１は、実施形態に係る瞼検出装置のブロック構成を示した図である。図１に示すように、実施形態に係る瞼検出装置１は、画像センサ１０と、車速センサ２０と、ＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）３０と、を備えている。

画像センサ１０は、ドライバの顔を撮像するセンサである。画像センサ１０としては、例えば、車両のステアリングコラムに固定されたＣＣＤカメラ等が用いられる。画像センサ１０が撮像した画像（顔画像）は、各画素の位置や色情報などを表す画像情報で構成されている。そして、画像センサ１０は、撮像した画像の画像情報をＥＣＵ３０へ出力する。

車速センサ２０は、車両の車速を計測するセンサである。車速センサ２０は、例えば、車両の各車輪の回転速度を計測することで、車両の車速を計測する。そして、車速センサ２０は、計測した車速をＥＣＵ３０へ出力する。

ＥＣＵ３０は、電子制御を行う自動車デバイスのコンピュータであり、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等のメモリ、及び入出力インターフェイスなどを備えて構成されている。

このＥＣＵ３０は、画像センサ１０及び車速センサ２０に接続されており、車速判定部３１、顔位置・顔特徴点検出部３２、顔姿勢推定部３３、瞼範囲設定部３４及び瞼検出部３５を備えている。

車速判定部３１は、車両が走行しているか否かを判定する機能を有している。車速判定部３１は、例えば、車速センサ２０から出力された車速が０ｋｍ／ｈよりも高い場合は、車両が走行していると判定する。

顔位置・顔特徴点検出部３２は、画像センサ１０が撮像した画像から、ドライバの顔の特徴点を検出する機能を有している。具体的に説明すると、顔位置・顔特徴点検出部３２は、まず、画像センサ１０が撮像した画像全体を探索範囲として、ニューラルネットワーク（ＮｅｕｒａｌＮｅｔｗｏｒｋ）やブースティング（Ｂｏｏｓｔｉｎｇ）等の統計手法により顔位置を発見する。そして、顔位置・顔特徴点検出部３２は、この発見した顔位置を含む顔位置領域を設定し、この設定した顔位置領域から、ニューラルネットワークやブースティング等の統計手法により顔の特徴点を検出する。顔の特徴点としては、例えば、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等が挙げられる。なお、顔の各特徴点の検出は、この手法に限られるものではなく、公知の他の手法を用いてもよい。

顔姿勢推定部３３は、顔位置・顔特徴点検出部３２が検出した顔の特徴点から、ドライバの顔姿勢（顔向き）を推定する機能を有している。具体的に説明すると、顔姿勢推定部３３は、まず、顔位置・顔特徴点検出部３２が検出した顔の特徴点の座標位置に三次元顔モデル（３Ｄ顔モデル）をフィッティングさせる。そして、顔姿勢推定部３３は、このフィッティングさせた３Ｄ顔モデルの姿勢から、ドライバの顔姿勢（顔向き）を推定する。なお、３Ｄ顔モデルには三次元眼球モデルが含まれており、三次元眼球モデルの視線方向や三次元眼球モデルを覆う上下瞼の位置なども表すことが可能となっている。

瞼範囲設定部３４は、顔姿勢推定部３３が推定した顔姿勢に基づいて、上瞼の位置が存在し得る範囲である上瞼存在範囲と、下瞼の位置が存在し得る範囲である下瞼存在範囲と、を設定する機能を有している。運転中のドライバは、顔向きを上下方向の如何なる角度に向けていても、前方を注視していると考えられる。このため、運転中は、顔向きの上下方向の角度に対応して、上瞼存在範囲及び下瞼存在範囲が特定される。また、運転中は、顔を上方や下方に向けると、顔を正面に向けた場合に比べて、瞼の開く角度が狭くなる。そこで、瞼範囲設定部３４は、顔姿勢推定部３３が推定した顔姿勢（顔向き）に応じて、上瞼存在範囲及び下瞼存在範囲を設定する。この上瞼存在範囲及び下瞼存在範囲は、三次元眼球モデルにおける角度範囲で表される。そして、瞼範囲設定部３４は、三次元眼球モデルにおける角度範囲で表された上瞼存在範囲及び下瞼存在範囲を、顔位置・顔特徴点検出部３２が設定した二次元の顔位置領域に投影することで、二次元で表された上瞼存在範囲及び下瞼存在範囲を顔位置領域に設定する。

瞼検出部３５は、瞼範囲設定部３４が設定した上瞼存在範囲及び下瞼存在範囲において、上下瞼の位置を検出する機能を有している。具体的に説明すると、瞼検出部３５は、顔位置・顔特徴点検出部３２が設定した顔位置領域に、例えばソーベルフィルタを適用して、エッジを強調した画像であるエッジ画像を生成する。また、瞼検出部３５は、瞼範囲設定部３４が設定した上瞼存在範囲及び下瞼存在範囲において、顔位置・顔特徴点検出部３２が検出した目尻及び目頭の特徴点を始点及び終点とする複数の曲線をエッジ画像に投影する。そして、瞼検出部３５は、その曲線上のエッジの強度（エッジ画像の画素値）から、上下瞼の位置を検出する。すなわち、瞼検出部３５は、上瞼存在範囲及び下瞼存在範囲に投影される複数の曲線（上下瞼の曲線モデル）をエッジ画像に照合させることで、上下瞼の位置を検出する。なお、上下瞼の位置の検出は、この手法に限られるものではなく、公知の他の手法を用いてもよい。

次に、実施形態に係る瞼検出装置１の動作について説明する。図２は、実施形態に係る瞼検出装置の瞼検出処理動作を示すフローチャートである。図２に示す処理は、ＥＣＵ３０の制御により行われ、例えば、イグニッションオンされたタイミングからイグニッションオフされるまでの間、所定の間隔で繰返し行われる。

図２に示すように、まず、ＥＣＵ３０は、画像センサ１０が撮像したドライバの画像を入力する（ステップＳ１）。ステップＳ１では、画像センサ１０が撮像した図３に示す画像Ｆ１を入力する。図３は、画像センサが撮像した画像の一例である。

次に、ＥＣＵ３０は、車両が走行中であるか否かを判定する（ステップＳ２）。ステップＳ２の処理は、車速判定部３１が行う。車速判定部３１は、車速センサ２０から出力された車速が０ｋｍ／ｈよりも大きい場合は、走行中であると判定し、車速センサ２０から出力された車速が０ｋｍ／ｈである場合は、走行中ではないと判定する。

そして、ＥＣＵ３０は、走行中ではないと判定すると（ステップＳ２：ＮＯ）、瞼検出処理を終了する。

一方、ＥＣＵ３０は、走行中であると判定すると（ステップＳ２：ＹＥＳ）、次に、顔位置・顔特徴点を検出する（ステップＳ３）。ステップＳ３の処理は、顔位置・顔特徴点検出部３２が行う。顔位置・顔特徴点検出部３２は、まず、ステップＳ１で入力した画像Ｆ１の全体を探索範囲として、ニューラルネットワークやブースティング等の統計手法により顔位置を発見する。次に、顔位置・顔特徴点検出部３２は、顔位置領域Ｇ１を設定する。図４は、顔の特徴点検出方法を説明するための概要図であり、顔位置領域Ｇ１を示している。図４に示すように、顔位置領域Ｇ１は、この発見した顔位置を含む領域であり、画像Ｆ１の一領域である。そして、顔位置・顔特徴点検出部３２は、この設定した顔位置領域Ｇ１を探索範囲として、ニューラルネットワークやブースティング等の統計手法により、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等の特徴点を検出する。

次に、ＥＣＵ３０は、ステップＳ３で検出した顔の特徴点から、ドライバの顔姿勢（顔向き）を推定する（ステップＳ４）。ステップＳ４は、顔姿勢推定部３３が行う。顔姿勢推定部３３は、まず、ステップＳ３において顔位置・顔特徴点検出部３２が検出した顔の特徴点の座標位置に３Ｄ顔モデルをフィッティングさせる。

図５は、３Ｄ顔モデルの一例を示す概要図である。図５に示すように、３Ｄ顔モデルでは、顔の上下方向に沿ったＹｍ方向、顔の左右方向に沿ったＸｍ方向、顔の前後方向に沿ったＺｍ方向とし、Ｙｍ軸周りの回転をヨー、Ｘｍ軸周りの回転をピッチ、Ｚｍ軸周りの回転をロールとしている。そして、３Ｄ顔モデルは、頭部回転中心からの距離を特徴点ごとに保持したものとなる。そこで、顔姿勢推定部３３は、この３Ｄ顔モデルを顔の特徴点にフィッティングさせて、最も一致するときの位置及び回転（ヨー、ピッチ、ロール）をその時点での顔姿勢とする。なお、顔姿勢の推定方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。そして、顔姿勢推定部３３は、このフィッティングさせた３Ｄ顔モデルの姿勢から、ドライバの顔姿勢（顔向き）を推定する。

次に、ＥＣＵ３０は、ステップＳ３で推定した顔姿勢（顔向き）に基づいて上瞼存在範囲及び下瞼存在範囲を設定する（ステップＳ５）。ステップＳ５は、瞼範囲設定部３４が行う。瞼範囲設定部３４は、まず、ステップＳ３で顔姿勢推定部３３が推定した顔向きに応じて、三次元眼球モデルにおける角度範囲で表される上瞼存在範囲及び下瞼存在範囲を設定する。

ここで、図６〜図８を参照して、上瞼存在範囲及び下瞼存在範囲の設定例について説明する。図６は、顔向きが正面向きである場合の三次元眼球モデルを示した図である。図７は、顔向きが上向きである場合の三次元眼球モデルを示した図である。図８は、顔向きが下向きである場合の三次元眼球モデルを示した図である。図６〜図８において、Ｏは三次元眼球モデルの眼球中心を示しており、Ｅ_Ｕｐｒは上瞼を示しており、Ｅ_Ｌｗｒは下瞼、φ_Ｕｐｒは上瞼の位置を示しており、φ_Ｌｗｒは下瞼の位置を示している。なお、以下に説明する上瞼存在範囲及び下瞼存在範囲は、一例であり、他の値を採用しても良い。

瞼範囲設定部３４は、まず、ステップＳ３で顔姿勢推定部３３が推定した顔向きが、正面向き、上向き及び下向きの何れであるかを判定する。この判定は、顔向きが真正面を向いているときの上下方向の角度を０°とした場合に、顔向きの上下方向の角度が−１０°以上１０°以下の範囲にある場合を正面向きと判定し、顔向きの上下方向の角度が１０°よりも大きい場合を上向きと判定し、顔向きの上下方向の角度が−１０°よりも小さい場合を下向きと判定する。

そして、瞼範囲設定部３４は、顔向きが正面向きであると判定すると、図６に示すように、上瞼の位置φ_Ｕｐｒが存在し得る上瞼存在範囲を、−４５°以上５５°以下（−４５°≦φ_Ｕｐｒ≦５５°）に設定し、下瞼の位置φ_Ｌｗｒが存在し得る下瞼存在範囲を、−４５°以上−１５°以下（−４５°≦φ_Ｌｗｒ≦−１５°）に設定する。

また、瞼範囲設定部３４は、顔向きが上向きであると判定すると、図７に示すように、上瞼の位置φ_Ｕｐｒが存在し得る上瞼存在範囲を、−４５°以上３０°以下（−４５°≦φ_Ｕｐｒ≦３０°）に設定し、下瞼の位置φ_Ｌｗｒが存在し得る下瞼存在範囲を、−４５°以上−１５°以下（−４５°≦φ_Ｌｗｒ≦−１５°）に設定する。すなわち、顔向きが上向きであると判定した場合は、顔向きが正面向きであると判定した場合よりも、上瞼存在範囲の上限角度を２５°小さくする。

また、瞼範囲設定部３４は、顔向きが下向きであると判定すると、図８に示すように、上瞼の位置φ_Ｕｐｒが存在し得る上瞼存在範囲を、−３０°以上５５°以下（−３０°≦φ_Ｕｐｒ≦５５°）に設定し、下瞼の位置φ_Ｌｗｒが存在し得る下瞼存在範囲を、−３０°以上−１５°以下（−３０°≦φ_Ｌｗｒ≦−１５°）に設定する。すなわち、顔向きが下向きであると判定した場合は、顔向きが正面向きであると判定した場合よりも、上瞼存在範囲及び下瞼存在範囲の下限角度を１５°大きくする。

このようにして、顔向きに対応した上瞼存在範囲及び下瞼存在範囲を設定すると、瞼範囲設定部３４は、次に、三次元眼球モデルにおける角度範囲で表された上瞼存在範囲及び下瞼存在範囲を、ステップＳ３において顔位置・顔特徴点検出部３２が設定した二次元の顔位置領域に投影し、顔位置領域における上瞼存在範囲及び下瞼存在範囲を設定する。

次に、ＥＣＵ３０は、ステップＳ５において瞼範囲設定部３４が設定した上瞼存在範囲及び下瞼存在範囲において、上瞼の位置及び下瞼の位置を検出する（ステップＳ６）。ステップＳ６の処理は、瞼検出部３５が行う。

ここで、図９を参照して、ステップＳ４における上下瞼の検出方法について説明する。図９は、上下瞼の検出方法を説明するための概要図である。図９に示すように、瞼検出部３５は、ステップＳ３において顔位置・顔特徴点検出部３２が設定した顔位置領域Ｇ１に対して、例えばソーベルフィルタを適用して、エッジを強調した画像であるエッジ画像Ｇ３を生成する。次に、瞼検出部３５は、ステップＳ５において瞼範囲設定部３４が設定した上瞼存在範囲及び下瞼存在範囲において、ステップＳ３で検出した目尻及び目頭の特徴点を始点及び終点とする複数の曲線を投影する。曲線として、例えば、ベジェ曲線が用いられる。このとき、瞼検出部３５は、瞼範囲設定部３４が設定した下瞼存在範囲にのみ、下瞼の候補としての曲線を投影し、瞼範囲設定部３４が設定した上瞼存在範囲にのみ、上瞼の候補としての曲線を投影する。すなわち、瞼検出部３５は、瞼範囲設定部３４が設定した下瞼存在範囲外に、下瞼の候補としての曲線を投影せず、瞼範囲設定部３４が設定した上瞼存在範囲外に、上瞼の候補としての曲線を投影しない。例えば、図９に示した曲線ｑ１は、瞼範囲設定部３４が設定した下瞼存在範囲よりも上側に位置するため、下瞼の候補として投影しない。また、図９に示した曲線ｑ２は、瞼範囲設定部３４が設定した上瞼存在範囲及び下瞼存在範囲よりも下側に位置するため、上瞼及び下瞼の候補として投影しない。また、図９に示した曲線ｑ３は、瞼範囲設定部３４が設定した上瞼存在範囲及び下瞼存在範囲よりも上側に位置するため、上瞼及び下瞼の候補として投影しない。

このようにしてエッジ画像Ｇ３に複数の曲線を投影すると、瞼検出部３５は、その曲線上のエッジの強度（エッジ画像の画素値）を算出し、エッジ強度の強い曲線を、上瞼の位置を示す上瞼曲線及び下瞼の位置を示す下瞼曲線として検出する。そして、瞼検出処理を終了する。

ここで、図１０を参照して、瞼範囲設定部３４が上瞼存在範囲及び下瞼存在範囲を設定せずに、瞼検出部３５が上下瞼の位置を検出する場合について説明する。図１０は、上下瞼の位置の誤検出を説明するための概要図である。図１０（ａ）に示すように、夜間に赤目現象が発生すると、赤目付近に不要なエッジが発生するため、この赤目付近に発生した不要なエッジを上下瞼の位置として誤検出する可能性がある。また、図１０（ｂ）及び（ｃ）に示すように、ドライバが眼鏡をかけていると、眼鏡フレームのエッジが強くなるため、この眼鏡フレームを上下瞼の位置として誤検出することがある。

しかしながら、本実施形態では、瞼範囲設定部３４が設定した上瞼存在範囲及び下瞼存在範囲において瞼検出部３５が上下瞼の位置を検出するため、図１０に示すような上下瞼の位置の誤検出を防止することができる。例えば、図９に示す曲線ｑ１は、瞼範囲設定部３４が設定した下瞼存在範囲よりも上側に位置することから下瞼の候補として投影されないため、図１０（ａ）に示すように、赤目付近に発生した不要なエッジを上下瞼の位置として誤検出することがない。また、図９に示す曲線ｑ２は、瞼範囲設定部３４が設定した下瞼存在範囲よりも下側に位置することから下瞼の候補として投影されないため、図１０（ｂ）に示すように、下側の眼鏡フレームを下瞼の位置として誤検出することがない。また、図９に示す曲線ｑ３は、瞼範囲設定部３４が設定した上瞼存在範囲よりも上側に位置することから上瞼の候補として投影されないため、図１０（ｃ）に示すように、上側の眼鏡フレームを上瞼の位置として誤検出することがない。

以上説明したように、本実施形態に係る瞼検出装置１によれば、運転中は、顔向きに応じて上下瞼の位置が存在し得る上瞼存在範囲及び下瞼存在範囲を設定し、この設定した上瞼存在範囲及び下瞼存在範囲において上下瞼の位置を検出するため、上下瞼の存在し得ない範囲に生じる赤目現象や眼鏡による外乱による影響を排除することができる。これにより、高精度に上下瞼の位置を検出することができる。

そして、上瞼存在範囲及び下瞼存在範囲において上下瞼の候補となる曲線をエッジ画像に照合させることで、上下瞼の位置を適切に検出することができる。

また、顔向きが上向きである場合は、顔向きが正面向きである場合よりも上瞼存在範囲における上瞼の上限角度を低くし、顔向きが下向きである場合は、顔向きが正面向きである場合よりも上瞼存在範囲及び下瞼存在範囲における上下瞼の下限角度を高くすることで、上下瞼の存在し得ない範囲に生じる赤目現象や眼鏡による外乱の影響を適切に排除することができる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、上記実施形態では、瞼範囲設定部３４が上瞼存在範囲及び下瞼存在範囲を設定し、瞼検出部３５が上瞼存在範囲及び下瞼存在範囲から上下瞼の位置を検出するものとして説明したが、顔向きに基づいて上下瞼の位置を検出することができれば、如何なる手段により上下瞼の位置を検出するものとしてもよい。例えば、上瞼存在範囲及び下瞼存在範囲を設定することなく、顔向きからエッジ画像における上下瞼の存在し得る範囲を算出し、この範囲において上下瞼の候補となる曲線を投影するものとしてもよい。

また、上記実施形態では、瞼範囲設定部３４が、三次元眼球モデルにおける角度範囲で表される上瞼存在範囲及び下瞼存在範囲を設定した後、二次元の上瞼存在範囲及び下瞼存在範囲を顔位置領域に設定するものとして説明したが、直接、二次元の上瞼存在範囲及び下瞼存在範囲を顔位置領域に設定するものとしてもよい。

顔画像から上下瞼の位置を検出する瞼検出装置として利用可能である。

１…瞼検出装置、１０…画像センサ、２０…車速センサ、３０…ＥＣＵ、３１…車速判定部、３２…顔位置・顔特徴点検出部、３３…顔姿勢推定部、３４…瞼範囲設定部、３５…瞼検出部、Ｆ１…画像、Ｇ１…顔位置領域、Ｇ３…エッジ画像。

Claims

顔画像から上下瞼の位置を検出する瞼検出装置であって、
前記顔画像から検出される顔の特徴点を三次元顔モデルに適合させることにより推定される顔向きから推定される上下瞼の曲線モデルを、前記顔画像のエッジが強調されたエッジ画像に照合させて、上下瞼の位置を検出し、
運転中は、前記顔向きに応じて上下瞼を検出する上下方向の角度範囲を制限する、瞼検出装置。
前記顔向きが上向きである場合は、前記顔向きが正面向きである場合よりも、上瞼の上限角度を低くする、請求項１に記載の瞼検出装置。
前記顔向きが下向きである場合は、前記顔向きが正面向きである場合よりも、上下瞼の下限角度を高くする、請求項１に記載の瞼検出装置。