JP5454737B2 - 瞼検出装置、瞼検出方法及びプログラム - Google Patents

Description

本発明は、瞼検出装置、瞼検出方法及びプログラムに関し、更に詳しくは、眼の画像に写る瞼を検出する瞼検出装置、眼の画像に写る瞼を検出するための瞼検出方法及びプログラムに関する。

近年、交通事故の死者数は減少傾向にあるものの、事故の発生件数は依然として高い水準にある。事故の原因は様々であるが、居眠り運転等、ドライバーが覚醒度が低下した状態で車両の運転を行うことも、事故を誘発する原因の１つである。

そこで、ドライバーの覚醒度の低下を精度良く検出するための技術が種々提案されている。（例えば特許文献１参照）。

特開２００４−１９２５５２号公報

特許文献１に開示された装置は、ドライバーの顔の画像に写る眼の縦の大きさ、上瞼に沿った曲線と当該曲線の両端を結ぶ線との距離、及び当該曲線の曲率半径に基づいて、ドライバーの眼が閉じているか否かを総合的に判定する。しかしながら、画像にいわゆる白飛びが発生した場合には、正確に眼の縦の大きさを計測することが困難になる場合がある。

同様に、画像が不鮮明である場合には、上瞼に沿った曲線を正確に規定することができない。この場合には、上瞼に沿った曲線と当該曲線の両端を結ぶ線との距離と、眼の開度とが相関しなくなる。したがって、ドライバーの眼が閉じているか否かを正確に判定することが困難になる。

また、曲率半径に基づく判定は、ドライバーの眼の開度を直接計測するわけではない。このため、ドライバーの眼の形状によっては、正確に眼の開度を算出することができないことがある。

本発明は、上述の事情の下になされたもので、ドライバーの眼の画像に基づいて、ドライバーの眼が閉じているか否かを精度よく判定することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る瞼検出装置は、
ドライバーの眼の画像を構成する画素から、エッジ値が所定の条件を満たす前記画素を抽出する抽出手段と、
前記ドライバーの瞼に対応した形状のウインドを用いて、前記画像を走査しつつ、前記ウインドと重なる前記画素の評価値を算出する算出手段と、
前記評価値が最大となる位置にある前記ウインドを、前記ウインドの評価値が大きくなるように変形する変形手段と、
前記瞼の基準位置を、変形した前記ウインドに応じて設定する設定手段と、
を備える。

本発明の第２の観点に係る瞼検出方法は、
ドライバーの眼の画像を構成する画素から、エッジ値が所定の条件を満たす前記画素を抽出する工程と、
前記ドライバーの瞼に対応した形状のウインドを用いて、前記画像を走査しつつ、前記ウインドと重なる前記画素の評価値を算出する工程と、
前記評価値が最大となる位置にある前記ウインドを、前記ウインドの評価値が大きくなるように変形する工程と、
前記瞼の基準位置を、変形した前記ウインドに応じて設定する工程と、
を含む。

本発明の第３の観点に係るプログラムは、
コンピュータに、
ドライバーの眼の画像を構成する画素から、エッジ値が所定の条件を満たす前記画素を抽出する手順と、
前記ドライバーの瞼に対応した形状のウインドを用いて、前記画像を走査しつつ、前記ウインドと重なる前記画素の評価値を算出する手順と、
前記評価値が最大となる位置にある前記ウインドを、前記ウインドの評価値が大きくなるように変形する手順と、
前記瞼の基準位置を、変形した前記ウインドに応じて設定する手順と、
を実行させる。

本発明によれば、画像に写る瞼のエッジにマッチングしたときのウインドが変形される。そして、変形されたウインドに応じて瞼のエッジの基準位置が設定される。このため、画像に写る瞼の形状とウインドとの形状が相違していたとしても、精度良く瞼の基準位置を設定することができる。これにより、ドライバーの眼が閉じているか否かを精度良く判定することが可能となる。

第１の実施形態に係る瞼検出装置のブロック図である。 撮影装置によって撮影された画像を示す図である。 ＣＰＵによって実行される一連の処理を示すフローチャートである。 顔領域と探索領域を示す図である。 水平エッジ検出オペレータを示す図である 垂直エッジ検出オペレータを示す図である。 上瞼及び下瞼のエッジを構成する画素を示す図である。 画素群と、上瞼探索ウインドを示す図である。 評価値が最大となったときの画素群と、上瞼探索ウインドとの位置関係を示す図である。 下瞼探索領域を示す図である。 画素群と、下瞼探索ウインドを示す図である。 評価値が最大となったときの画素群と、下瞼探索ウインドとの位置関係を示す図である。 画素探索ウインドを示す図である。 下瞼探索領域を変形させる手順を説明するための図である。 下瞼探索領域の重心を示す図である。 下瞼及び上瞼の基準位置を示す図である。 変形前の下瞼探索ウインドの重心を示す図である。 第２の実施形態に係る瞼検出装置のブロック図である。

《第１の実施形態》
以下、本発明の第１の実施形態を、図面を参照しつつ説明する。図１は本実施形態に係る瞼検出装置１０の概略的な構成を示すブロック図である。瞼検出装置１０は、ドライバーの顔が写った画像から瞼の位置を検出し、検出結果に基づいてドライバーの眼の開度を算出する装置である。図１に示されるように、瞼検出装置１０は、演算装置２０と、撮影装置３０を有している。

撮影装置３０は、被写体を撮影することにより取得した画像を電気信号に変換して出力する装置である。図２は、撮影装置３０によって撮影された画像ＩＭが示されている。画像ＩＭを参照するとわかるように、この撮影装置３０は、車両の運転席に着座するドライバー５０の顔が、視野のほぼ中心に位置するように、取り付け角や画角が調整された状態で、例えば車両のステアリングコラムやハンドルに取り付けられている。そして、撮影装置３０は、ドライバー５０の顔を所定の周期で撮影し、撮影して得た画像に関する情報を演算装置２０へ出力する。

ここで、説明の便宜上、画像ＩＭの左下のコーナーを原点とするＸＹ座標系を定義し、以下、適宜ＸＹ座標系を用いた説明を行う。

図１に戻り、演算装置２０は、ＣＰＵ（Central Processing Unit）２１、主記憶部２２、補助記憶部２３、表示部２４、入力部２５、及びインターフェイス部２６を有するコンピュータである。

ＣＰＵ２１は、補助記憶部２３に記憶されたプログラムを読み出して実行する。ＣＰＵ２１の具体的な動作については後述する。

主記憶部２２は、ＲＡＭ（Random Access Memory）等の揮発性メモリを有している。主記憶部２２は、ＣＰＵ２１の作業領域として用いられる。

補助記憶部２３は、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを有している。補助記憶部２３は、ＣＰＵ２１が実行するプログラム、及び各種パラメータなどを記憶している。また、撮影装置３０から出力される画像に関する情報、及びＣＰＵ２１による処理結果などを含む情報を順次記憶する。

表示部２４は、ＬＣＤ（Liquid Crystal Display）などの表示ユニットを有している。表示部２４は、ＣＰＵ２１の処理結果等を表示する。

入力部２５は、入力キーや、タッチパネル等のポインティングデバイスを有している。オペレータの指示は、入力部２５を介して入力され、システムバス２７を経由してＣＰＵ２１へ通知される。

インターフェイス部２６は、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮影装置３０は、インターフェイス部２６を介してシステムバス２７に接続される。

図３のフローチャートは、ＣＰＵ２１によって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図３を参照しつつ、瞼検出装置１０の動作について説明する。図３のフローチャートに示される一連の処理は、例えば車両のイグニッションスイッチがオンになると実行される。また、ここでは撮影装置３０によって、図２に示される画像ＩＭが撮影されたものとする。

まず、最初のステップＳ２０１では、ＣＰＵ２１は、撮影装置３０から出力された画像ＩＭから、ドライバーの顔を構成する眼や鼻等が写り込む顔領域Ａ１を検出する。

この顔領域Ａ１の検出は、まず、画像ＩＭに対してソーベルフィルタを用いた画像処理を実行し、画像ＩＭに含まれるエッジを抽出する。次に、抽出したエッジの中から、ドライバーの顔の輪郭Ｆを示すエッジを検出する。そして、ドライバーの顔の輪郭Ｆに囲まれた領域に含まれるエッジから、ドライバーの眉と口を表すエッジを検出して、ドライバーの眉と口との位置をおおよそ特定する。眉と口の位置が特定されると、ＣＰＵ２１は、例えば図４に示されるように、Ｘ軸方向の大きさが顔の輪郭とほぼ一致し、ドライバー５０の眉及び口を含む最も小さな矩形の領域を、顔領域Ａ１として検出する。

次のステップＳ２０２では、ＣＰＵ２１は、瞼の検出処理を施す探索領域Ａ２を規定する。顔を構成する眉、目、鼻、及び口の位置は、多少の個人差はあるものの顔の輪郭や、眉或いは眼等の部位を基準に概ね特定することができる。したがって、上端に眉が位置し、下端に口が位置するように規定された顔領域Ａ１においては、眼が位置する領域をある程度正確に特定することができる。そこで、ＣＰＵ２１は、顔領域Ａ１に含まれる眉毛の画像の下方に、長手方向をＸ軸方向とする長方形の探索領域Ａ２を規定する。

次のステップＳ２０３では、ＣＰＵ２１は、探索領域Ａ２に対してエッジの検出処理を実行する。エッジの検出に際しては、ＣＰＵ２１は、図５Ａに示される水平エッジ検出オペレータと、図５Ｂに示される垂直エッジ検出オペレータとを用いる。

例えば、ＣＰＵ２１は、まず水平エッジ検出オペレータを用いて、各画素のエッジ値を算出する。このエッジ値は、エッジ値の算出対象となる画素の上側（＋Ｙ側）の画素の輝度が高く、下側（−Ｙ側）の画素の輝度が低い場合に＋になる。そして、エッジ値の算出対象となる画素の上側（＋Ｙ側）の画素の輝度が低く、下側（−Ｙ側）の画素の輝度が高い場合に−になる。そこで、ＣＰＵ２１は、エッジ値が第１の閾値以上（所定の条件）の画素と、エッジ値が第２の閾値以下（所定の条件）の画素を抽出する。

次に、ＣＰＵ２１は、垂直エッジ検出オペレータを用いて、各画素のエッジ値を算出する。このエッジ値は、エッジ値の算出対象となる画素の左側（−Ｘ側）の画素の輝度が高く、右側（＋Ｘ側）の画素の輝度が低い場合に＋になる。そして、エッジ値の算出対象となる画素の左側（−Ｘ側）の画素の輝度が低く、右側（＋Ｘ側）の画素の輝度が高い場合に−になる。そこで、ＣＰＵ２１は、エッジ値が第１の閾値以上（所定の条件）の画素と、エッジ値が第２の閾値以下（所定の条件）の画素を抽出する。

これにより、例えば図６に示されるように、眼５１，５２の上瞼及び下瞼のエッジを構成する画素Ｄが抽出される。以下、右眼５１の上瞼のエッジを画素群Ｇ１とし、下瞼のエッジを画素群Ｇ２とする。また、左眼５２の上瞼のエッジを画素群Ｇ３とし、下瞼のエッジを画素群Ｇ４とする。

次のステップＳ２０４では、ＣＰＵ２１は、上瞼探索ウインドを用いた走査を行うことで、上瞼の位置を検出する。図７は、画素群Ｇ１，Ｇ２と、画素群Ｇ１によって示される上瞼を検出するための上瞼探索ウインドＷ１を示す図である。図７に示されるように、上瞼探索ウインドＷ１は、長手方向をＸ軸方向とする長方形の水平エッジウインドＰ１と、水平エッジウインドＰ１の両端に規定された垂直エッジウインドＰ２，Ｐ３とから構成されている。

ＣＰＵ２１は、上瞼探索ウインドＷ１を、探索領域Ａ２内で例えば１画素に相当する距離ずつ移動させる。そして、同時に水平エッジウインドＰ１と重なる画素Ｄのエッジ値の総和と、垂直エッジウインドＰ２と重なる画素Ｄのエッジ値の総和から垂直エッジウインドＰ３と重なる画素のエッジ値の総和を減算した値との合計を評価値として順次算出する。そして、ＣＰＵ２１は、評価値が最大になったときの上瞼探索ウインドＷ１の位置を右眼５１の上瞼の位置として検出する。

図８は、評価値が最大となったときの画素群Ｇ１と、上瞼探索ウインドＷ１との位置関係を示す図である。図８に示されるように、評価値が最大となったときには、上瞼探索ウインドＷ１は、画素群Ｇ１と重なった状態となる。ＣＰＵ２１は、右眼５１の上瞼の位置を検出すると、同様の手順で左眼５２の上瞼の位置を検出する。

次のステップＳ２０５では、ＣＰＵ２１は、検出した右眼５１及び左眼５２の上瞼の基準位置を設定する。具体的には、ＣＰＵ２１は、図８に示されるように、画素群Ｇ３と重なった上瞼探索ウインドＷ１の重心と一致するＸＹ座標系における位置を、右眼５１の上瞼の基準位置Ｃ１とする。同様に、ＣＰＵ２１は、画素群Ｇ３と重なった上瞼探索ウインドＷ１の重心と一致するＸＹ座標系における位置を、左眼５２の上瞼の基準位置Ｃ１とする。

次のステップＳ２０６では、ＣＰＵ２１は、下瞼探索領域を設定する。下瞼は、上瞼の下方に位置している。そこで、ＣＰＵ２１は、図９に示されるように、上瞼のエッジを構成する画素群Ｇ１が上方に位置する矩形の下瞼探索領域Ａ３を設定する。同様に、画素群Ｇ３が上方に位置する矩形の下瞼探索領域Ａ４を設定する。

なお、上述したステップＳ２０１〜ステップＳ２０６までの処理は、例えば特開２００８−２２５８３８号公報に開示されている。

次のステップＳ２０７では、ＣＰＵ２１は、下瞼探索ウインドを用いた走査を行うことで、下瞼の位置を検出する。図１０は、画素群Ｇ１，Ｇ２と、下瞼探索ウインドＷ２とを示す図である。図１０に示されるように、下瞼探索ウインドＷ２は、長手方向をＸ軸方向とするウインドである。この下瞼探索ウインドＷ２は、Ｙ軸方向の大きさが、画素ＤのＹ軸方向の大きさと等しい。また、Ｘ軸方向の大きさが、上瞼探索ウインドＷ１のＸ軸方向の大きさと等しい。ここでは、画素ＤのＸ軸方向の大きさ及びＹ軸方向の大きさと、下瞼探索ウインドＷ２のＹ軸方向の大きさそれぞれをｄとする。

ＣＰＵ２１は、下瞼探索ウインドＷ２を、下瞼探索領域Ａ３内で例えば１画素に相当する距離ずつ移動させる。同時に下瞼探索ウインドＷ２と重なる画素Ｄのエッジ値の総和を評価値として順次算出する。そして、ＣＰＵ２１は、評価値が最小になったときの下瞼探索ウインドＷ２の位置を右眼５１の下瞼の位置として検出する。

図１１は、評価値が最小となったときの画素群Ｇ２と、下瞼探索ウインドＷ２との位置関係を示す図である。図１１に示されるように、画素群Ｇ２が、Ｙ軸方向の位置が等しい複数の画素からなるグループＧ２_Ｎから構成されている場合には、下瞼探索ウインドＷ２は、いずれかのグループＧ２_Ｎと重なった状態となる。本実施形態では、下瞼探索ウインドＷ２は、グループＧ２_５を構成する画素Ｄと重なる。また、ＣＰＵ２１は、上述の下瞼探索ウインドＷ２を用いた処理を、下瞼探索領域Ａ４においても実行する。

次のステップＳ２０８では、ＣＰＵ２１は、画素群Ｇ２を構成する画素の分布に基づいて、下瞼探索ウインドＷ２を変形する。具体的には、ＣＰＵ２１は、図１２に示されるように、下瞼探索ウインドＷ２と重なったグループＧ２_５の両端に、Ｙ軸方向の大きさが３ｄで、Ｘ軸方向の大きさがｄの画素探索ウインドＷ３，Ｗ４を設定する。そして、ＣＰＵ２１は、画素探索ウインドＷ３を−Ｘ方向へ移動させて、当該画素探索ウインドＷ３と重なった画素Ｄを抽出する。これにより、グループＧ２_４を構成する画素が抽出される。同様に、ＣＰＵ２１は、画素探索ウインドＷ４を＋Ｘ方向へ移動させて、当該画素探索ウインドＷ４と重なった画素Ｄを抽出する。これにより、グループＧ２_６を構成する画素Ｄが抽出される。

次に、ＣＰＵ２１は、図１３に示されるように、既に当該画素探索ウインドＷ４と重なっているグループＧ２_５を構成する画素Ｄと、画素探索ウインドＷ３，Ｗ４を用いて抽出したグループＧ２_４，Ｇ２_６を構成する画素Ｄとに、下瞼探索ウインドＷ２が重なるように、当該下瞼探索ウインドＷ２を変形する。これにより、下瞼探索ウインドＷ２は、図１３に示されるように、３つの長方形のフレームによって構成されることになる。

次に、ＣＰＵ２１は、グループＧ２_４の−Ｘ側端に、画素探索ウインドＷ３を設定し、グループＧ２_６の＋Ｘ側端に、画素探索ウインドＷ４を設定する。そして、各画素探索ウインドＷ３、Ｗ４を−Ｘ方向及び＋Ｘ方向へ移動させて、当該画素探索ウインドＷ３，Ｗ４と重なったグループＧ２_３，Ｇ２_７を構成する画素Ｄを抽出する。

次に、ＣＰＵ２１は、抽出した画素に、下瞼探索ウインドＷ２が重なるように、当該下瞼探索ウインドＷ２を変形する。ＣＰＵ２１は、以降同様の処理を繰り返し実行する。これにより、図１４に示されるように、下瞼のエッジを示す画素群Ｇ２に、下瞼探索ウインドＷ２が完全に重なるように、下瞼探索ウインドＷ２が変形される。また、ＣＰＵ２１は、上述の処理を、画素群Ｇ４と重なる下瞼探索ウインドＷ２に対しても実行する。

次のステップＳ２０９では、ＣＰＵ２１は、下瞼の基準位置を設定する。具体的には、ＣＰＵ２１は、まずステップＳ２０８で変形した下瞼探索ウインドＷ２の重心を算出する。具体的には、ＣＰＵ２１は、変形した下瞼探索ウインドＷ２と重なる画素の平均座標によって特定される位置を重心として算出する。例えば、下瞼探索ウインドＷ２と重なる画素それぞれの座標が、（ｘ１，ｙ１），（ｘ２，Ｙ２），…（ｘｎ，ｙｎ）である場合には、ＣＰＵ２１は、Ｘ座標が（ｘ１＋ｘ２…＋ｘｎ）／ｎで、Ｙ座標が（ｙ１＋ｙ２…＋ｙｎ）／ｎである座標によって特定される位置を重心として算出する。

図１４には、矢印ａに示される位置に、変形前の下瞼探索ウインドＷ２の重心が示され、矢印ｂに示される位置に、変形後の下瞼探索ウインドＷ２の重心が示されている。図１４に示されるように、下瞼探索ウインドＷ２の重心は、当該下瞼探索ウインドＷ２が変形することで、矢印ａに示される位置から、矢印ｂに示される位置へ移動する。ＣＰＵ２１は、変形後の下瞼探索ウインドＷ２の重心を算出すると、算出した重心のＸＹ座標系における位置を、下瞼の基準位置Ｃ２と設定する。また、ＣＰＵ２１は、上述の処理を、画素群Ｇ４と重なる下瞼探索ウインドＷ２に対しても実行する。

次のステップＳ２１０では、ＣＰＵ２１は、図１５に示されるように、右眼５１及び左眼５２それぞれの上瞼の基準位置Ｃ１と、下瞼の基準位置Ｃ２との距離を計測する。そして、この距離と所定の閾値との比較結果を開度として出力する。これにより、開度を指標として、ドライバー５０の覚醒度の判定を行うことが可能となる。

以上説明したように、本第１の実施形態では、下瞼の検出の際に、まず下瞼探索ウインドＷ２による走査を行う。そして、下瞼探索ウインドＷ２と重なる画素Ｄのエッジ値の総和（評価値）が最大となる位置にある下瞼探索ウインドＷ２を変形させて、下瞼探索ウインドＷ２を、下瞼のエッジを構成する画素にフィッティングする。これにより、図１４を参照するとわかるように、破線で示される下瞼探索ウインドＷ２は、実線で示されるように変形し、下瞼のエッジを構成する画素と重なる。次に、変形した下瞼探索ウインドＷ２の重心の位置を、下瞼の基準位置に設定する。

すなわち、本実施形態では、下瞼のエッジを構成する画素にフィッティングされた下瞼探索ウインドＷ２の重心が基準位置に設定される。このため、下瞼探索ウインドＷ２の形状と、下瞼のエッジの形状とが異なっていても、精度よく下瞼の基準位置を設定することができる。したがって、ドライバー５０の眼の開度を精度よく検出することができ、ひいては、ドライバー５０の覚醒度を精度良く判定することが可能となる。

撮影装置３０としてのカメラがドライバー５０の顔より下に設置されている場合には、画像に写る下瞼の形状が、ドライバーの顔の方向によって変化する。特に、涙袋のふくらみが大きい場合等には、実際には下に凸に湾曲する下瞼のエッジが、上に凸に湾曲するように現れる場合がある。このような場合には、下瞼探索ウインドＷ２の形状と、下瞼のエッジの形状とが著しく相違し、精度良く下瞼の位置を検出することが困難になる。

具体的には、下瞼探索ウインドＷ２の形状と、下瞼のエッジの形状とが著しく相違する場合には、図１６に示されるように、下瞼探索ウインドＷ２が、下瞼のエッジを構成する画素群Ｇ２の端に位置する画素に一致したときに、エッジ値が最も大きくなってしまうことがある。この場合に、変形前の下瞼探索ウインドＷ２の重心を下瞼の基準点とすると、基準点が下瞼のエッジから大きくすれた位置に設定されてしまい、眼の開度を精度良く検出することができなくなる。一方、本実施形態では、下瞼を構成する画素にフィッティングされた下瞼探索ウインドＷ２の重心が下瞼の基準点に設定される。したがって、精度よく下瞼の基準位置を設定することができる。これにより、ドライバー５０の眼の開度を精度よく検出することができ、ひいては、ドライバー５０の覚醒度を精度良く判定することが可能となる。

なお、上記実施形態では、上瞼探索ウインドＷ１の重心を、変形した下瞼探索ウインドＷ２と重なる画素の平均座標に基づいて算出した。これに限らず、画素の輝度や、エッジスコア等に応じて重み付けされた画素に基づいて、重心を算出してもよい。具体的には、重心のＸ座標Ｘ_Ｇを次式（１）で算出し、Ｙ座標Ｙ_Ｇを次式（２）で算出してもよい。なお、ｅｓ_ｉは、位置（ｘ_ｉ，ｙ_ｉ）にある画素のエッジ値である。

また、上記実施形態では、当該下瞼探索ウインドＷ２の重心を、下瞼探索ウインドＷ２の基準位置とした。これに限らず、下瞼探索ウインドＷ２の基準位置は、下瞼探索ウインドＷ２の中心であってもよい。この中心は、Ｘ座標が、下瞼探索ウインドＷ２の両端のＸ座標ｘｅ１，ｘｅ２を用いて（ｘｅ１＋ｘｅ２）／２で表され、かつ、下瞼探索ウインドＷ２上にある点が考えられる。
《第２の実施形態》
次に、本発明の第２の実施形態を、図面を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。

本実施形態に係る瞼検出装置１０Ａは、演算装置２０が、ハードウエアで構成されている点で、第１の実施形態に係る瞼検出装置１０と相違している。図１７に示されるように、瞼検出装置１０は、記憶部２０ａ、画素抽出部２０ｂ、上瞼位置検出部２０ｃ、上瞼基準位置設定部２０ｄ、下瞼位置検出部２０ｅ、下瞼探索ウインド変形部２０ｆ、下瞼基準位置設定部２０ｇ、及び開度算出部２０ｈを有している。

記憶部２０ａは、撮影装置３０から出力される画像に関する情報、及び上記各部２０ｂ〜２０ｆの処理結果などを含む情報を順次記憶する。

画素抽出部２０ｂは、画像ＩＭに対してソーベルフィルタを用いた画像処理を実行し、画像ＩＭに含まれるエッジを抽出する。次に、抽出したエッジの中から、ドライバーの顔の輪郭Ｆを示すエッジを検出する。次に、ドライバーの顔の輪郭Ｆに囲まれた領域に含まれるエッジから、ドライバーの眉と口を表すエッジを検出して、ドライバーの眉と口との位置をおおよそ特定する。眉と口の位置が特定されると、画素抽出部２０ｂは、例えば図４に示されるように、Ｘ軸方向の大きさが顔の輪郭とほぼ一致し、ドライバー５０の眉及び口を含む最も小さな矩形の領域を、顔領域Ａ１として検出する。

顔を構成する眉、目、鼻、及び口の位置は、多少の個人差はあるものの顔の輪郭や、眉や眼等のいずれかの部位等を基準に概ね特定することができる。したがって、上端に眉が位置し、下端に口が位置するように規定された顔領域Ａ１においては、眼が位置する領域をある程度正確に特定することができる。そこで、画素抽出部２０ｂは、顔領域Ａ１に含まれる眉毛の画像の下方に長手方向をＸ軸方向とする長方形の探索領域Ａ２を規定する。

次に、画素抽出部２０ｂは、探索領域Ａ２に対してエッジの検出処理を実行する。エッジの検出に際しては、図５Ａに示される水平エッジ検出オペレータと、図５Ｂに示される垂直エッジ検出オペレータとを用いる。このエッジの検出処理によって、例えば図６に示されるように、眼５１，５２の上瞼及び下瞼のエッジを構成する画素Ｄが抽出される。以下、右眼５１の上瞼のエッジを画素群Ｇ１とし、下瞼のエッジを画素群Ｇ２とする。また、左眼５２の上瞼のエッジを画素群Ｇ３とし、下瞼のエッジを画素群Ｇ４とする。

上瞼位置検出部２０ｃは、上瞼探索ウインドＷ１を用いた走査を行うことで、上瞼の位置を検出する。具体的には、上瞼位置検出部２０ｃは、上瞼探索ウインドＷ１を、探索領域Ａ２内で例えば１画素に相当する距離ずつ移動させる。同時に水平エッジウインドＰ１と重なる画素Ｄのエッジ値の総和と、垂直エッジウインドＰ２と重なる画素Ｄのエッジ値の総和から垂直エッジウインドＰ３と重なる画素のエッジ値の総和を減算した値との合計を評価値として順次算出する。そして、上瞼位置検出部２０ｃは、評価値が最大になったときの上瞼探索ウインドＷ１の位置を右眼５１の上瞼の位置として検出する。また、同様の手順で左眼５２の上瞼の位置を検出する。

上瞼基準位置設定部２０ｄは、検出した右眼５１及び左眼５２の上瞼の基準位置を設定する。具体的には、図８に示されるように、画素群Ｇ３と重なった上瞼探索ウインドＷ１の重心と一致するＸＹ座標系における位置を、右眼５１の上瞼のエッジの基準位置Ｃ１とする。同様に、上瞼基準位置設定部２０ｄは、画素群Ｇ３と重なった上瞼探索ウインドＷ１の重心と一致するＸＹ座標系における位置を、左眼５２の上瞼の基準位置Ｃ１と設定する。

下瞼位置検出部２０ｅは、まず、下瞼探索領域を設定する。下瞼は、上瞼の下方に位置している。そこで、下瞼位置検出部２０ｅは、図９に示されるように、上瞼のエッジを構成する画素群Ｇ１が上方に位置する矩形の下瞼探索領域Ａ３を設定する。同様に、画素群Ｇ３が上方に位置する矩形の下瞼探索領域Ａ４を設定する。

次に、下瞼位置検出部２０ｅは、下瞼探索ウインドを用いた走査を行うことで、下瞼の位置を検出する。図１０に示されるように、下瞼探索ウインドＷ２は、長手方向をＸ軸方向とするウインドである。この下瞼探索ウインドＷ２は、Ｙ軸方向の大きさが、画素ＤのＹ軸方向の大きさと等しい。また、Ｘ軸方向の大きさが、上瞼探索ウインドＷ１のＸ軸方向の大きさと等しい。

下瞼位置検出部２０ｅは、下瞼探索ウインドＷ２を、下瞼探索領域Ａ３内で例えば１画素に相当する距離ずつ移動させる。同時に下瞼探索ウインドＷ２と重なる画素Ｄのエッジ値の総和を評価値として算出する。そして、下瞼位置検出部２０ｅは、評価値が最小になったときの下瞼探索ウインドＷ２の位置を右眼５１の下瞼の位置として検出する。同様に、下瞼位置検出部２０ｅは、上述の下瞼探索ウインドＷ２を用いた処理を、下瞼探索領域Ａ４においても実行する。

下瞼探索ウインド変形部２０ｆは、画素群Ｇ２を構成する画素の分布に基づいて、下瞼探索ウインドＷ２を変形する。具体的には、下瞼探索ウインド変形部２０ｆは、図１２に示されるように、下瞼探索ウインドＷ２と重なったグループＧ２_５の両端に、Ｙ軸方向の大きさが３ｄで、Ｘ軸方向の大きさがｄの画素探索ウインドＷ３，Ｗ４を設定する。そして、画素探索ウインドＷ３を−Ｘ方向へ移動させて、当該画素探索ウインドＷ３と重なった画素Ｄを抽出する。これにより、グループＧ２_４を構成する画素が抽出される。同様に、下瞼探索ウインド変形部２０ｆは、画素探索ウインドＷ４を＋Ｘ方向へ移動させて、当該画素探索ウインドＷ４と重なった画素Ｄを抽出する。これにより、グループＧ２_６を構成する画素Ｄが抽出される。

次に、下瞼探索ウインド変形部２０ｆは、図１３に示されるように、既に当該画素探索ウインドＷ４と重なっているグループＧ２_５を構成する画素Ｄと、画素探索ウインドＷ３，Ｗ４を用いて抽出したグループＧ２_４，Ｇ２_６を構成する画素Ｄとに、下瞼探索ウインドＷ２が重なるように、当該下瞼探索ウインドＷ２を変形する。これにより、下瞼探索ウインドＷ２は、図１３に示されるように、３つの長方形のフレームによって構成されることになる。

次に、下瞼探索ウインド変形部２０ｆは、グループＧ２_４の−Ｘ側端に、画素探索ウインドＷ３を設定し、グループＧ２_６の＋Ｘ側端に、画素探索ウインドＷ４を設定する。そして、各画素探索ウインドＷ３、Ｗ４を−Ｘ方向及び＋Ｘ方向へ移動させて、当該画素探索ウインドＷ３，Ｗ４と重なったグループＧ２_３，Ｇ２_７を構成する画素Ｄを抽出する。

次に、下瞼探索ウインド変形部２０ｆは、抽出した画素に、下瞼探索ウインドＷ２が重なるように、当該下瞼探索ウインドＷ２を変形する。下瞼探索ウインド変形部２０ｆは、以降同様の処理を繰り返し実行する。これにより、図１４に示されるように、下瞼のエッジを示す画素群Ｇ２に、下瞼探索ウインドＷ２が完全に重なるように、下瞼探索ウインドＷ２が変形される。また、下瞼探索ウインド変形部２０ｆは、上述の処理を、画素群Ｇ４と重なる下瞼探索ウインドＷ２に対しても実行する。

下瞼基準位置設定部２０ｇは、下瞼の基準位置を設定する。具体的には、下瞼基準位置設定部２０ｇは、下瞼探索ウインド変形部２０ｆによって変形された下瞼探索ウインドＷ２の重心を算出する。そして、算出した重心のＸＹ座標系における位置を、下瞼の基準位置Ｃ２に設定する。下瞼基準位置設定部２０ｇは、上述の処理を、画素群Ｇ４と重なる下瞼探索ウインドＷ２に対しても実行する。

開度算出部２０ｈは、図１５に示されるように、右眼５１及び左眼５２それぞれの上瞼の基準位置Ｃ１と、下瞼の基準位置Ｃ２との距離を計測する。そして、この距離と所定の閾値との比較結果を開度として出力する。これにより、開度を指標として、ドライバー５０の覚醒度の判定を行うことが可能となる。

以上説明したように、本第２の実施形態では、下瞼の検出の際に、まず下瞼探索ウインドＷ２による走査を行う。そして、下瞼探索ウインドＷ２と重なる画素Ｄのエッジ値の総和（評価値）が最大となる位置にある下瞼探索ウインドＷ２を変形させて、下瞼探索ウインドＷ２を、下瞼のエッジを構成する画素にフィッティングする。次に、変形した下瞼探索ウインドＷ２の重心の位置を、下瞼の基準位置に設定する。

すなわち、本実施形態では、下瞼のエッジを構成する画素にフィッティングされた下瞼探索ウインドＷ２の重心が基準位置と設定される。このため、下瞼探索ウインドＷ２の形状と、下瞼のエッジの形状とが異なっていても、精度よく下瞼の基準位置を設定することができる。したがって、ドライバー５０の眼の開度を精度よく検出することができ、ひいては、ドライバー５０の覚醒度を精度良く判定することが可能となる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。

例えば、上記実施形態では、下瞼のエッジを探索するための下瞼探索ウインドＷ２を変形させて、変形後の下瞼探索ウインドＷ２の重心を下瞼の基準位置にする場合について説明した。これに限らず、上瞼のエッジを構成する画素に上瞼探索ウインドＷ１が重なるように、当該上瞼探索ウインドＷ１を変形させて、変形後の上瞼探索ウインドＷ１の重心を、上瞼の基準位置に設定してもよい。

上記実施形態では、下瞼探索ウインドＷ２の重心を瞼の基準位置に設定した。これに限らず、例えば、両端が瞼の目頭及び目尻とそれぞれ一致する曲線を、下瞼探索ウインドＷ２と重なる画素に対してフィッティングし、フィッティングした曲線の頂点を基準位置に設定してもよい。なお、画像上の目頭及び目尻は、例えば特開２００８−２２６１２５号公報に開示されるように、テンプレートを用いた公知の技術を用いて特定することができる。

また、目頭等を特定するための処理は、変形後の下瞼探索ウインドＷ２の近傍の領域でのみ行えばよい。具体的には、変形された前記下瞼探索ウインドＷ２の両端を基準位置に設定し、これらの基準位置近傍の領域で、上述の目頭等を特定するための処理を実行すればよい。これにより、テンプレートを用いた探索処理を迅速に行うことができる。

上記実施形態では、下瞼探索ウインドＷ２が、長方形である場合について説明した。これに限らず、下瞼探索ウインドＷ２は、下に凸或いは上に凸となるように湾曲していてもよい。

上記実施形態では、上瞼の基準位置Ｃ１と下瞼の基準位置Ｃ２との距離を計測し、この距離と閾値との比較結果を開度として出力することとした。これに限らず、基準位置Ｃ１から、変形した下瞼探索ウインドＷ２にＹ軸に平行な垂線をおろし、この垂線の長さと閾値との比較結果を開度として出力してもよい。

上記実施形態に係る演算装置２０の機能は、専用のハードウエアによっても、通常のコンピュータシステムによっても実現することができる。

上記第１の実施形態において演算装置２０の補助記憶部２３に記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。

また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。

また、プログラムは、通信ネットワークを介して転送しながら起動実行することとしてもよい。

また、プログラムは、全部又は一部をサーバ装置上で実行させ、その処理に関する情報を通信ネットワークを介して送受信しながら、上述の画像処理を実行することとしてもよい。

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等しても良い。

なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。

本発明の瞼検出装置、瞼検出方法及びプログラムは、瞼の基準位置を検出するのに適している。

１０，１０Ａ 瞼検出装置
２０ 演算装置
２０ａ 記憶部
２０ｂ 画素抽出部
２０ｃ 上瞼位置検出部
２０ｄ 上瞼基準位置設定部
２０ｅ 下瞼位置検出部
２０ｆ 下瞼探索ウインド変形部
２０ｇ 下瞼基準位置設定部
２０ｈ 開度算出部
２１ ＣＰＵ
２２ 主記憶部
２３ 補助記憶部
２４ 表示部
２５ 入力部
２６ インターフェイス部
２７ システムバス
３０ 撮影装置
５０ ドライバー
５１ 右眼
５２ 左眼
Ａ１ 顔領域
Ａ２ 探索領域
Ａ３，Ａ４ 下瞼探索領域
Ｃ１，Ｃ２ 基準位置
Ｄ 画素
Ｆ 輪郭
Ｇ１〜Ｇ４ 画素群
ＩＭ 画像
Ｐ１ 水平エッジウインド
Ｐ２，Ｐ３ 垂直エッジウインド
Ｗ１ 上瞼探索ウインド
Ｗ２ 下瞼探索ウインド
Ｗ３，Ｗ４ 画素探索ウインド

Claims (12)

1. ドライバーの眼の画像を構成する画素から、エッジ値が所定の条件を満たす前記画素を抽出する抽出手段と、
   前記ドライバーの瞼に対応した形状のウインドを用いて、前記画像を走査しつつ、前記ウインドと重なる前記画素の評価値を算出する算出手段と、
   前記評価値が最大となる位置にある前記ウインドを、前記ウインドの評価値が大きくなるように変形する変形手段と、
   前記瞼の基準位置を、変形した前記ウインドに応じて設定する設定手段と、
   を備える瞼検出装置。
2. 前記変形手段は、
   前記ウインドと重なる画素群の端近傍に位置する前記画素を検出し、検出した前記画素に重なるように、前記ウインドを変形する請求項１に記載の瞼検出装置。
3. 前記変形手段は、
   前記ウインドと重なる画素群が配列される第１方向へ、前記第１方向と直交する第２方向の評価値の大きさが、前記画素の前記第２方向の評価値の大きさよりも大きくなる画素探索ウインドを走査して、前記画素探索ウインドと重なる前記画素を抽出し、
   前記ウインドを、抽出した前記画素に重なるように変形させる請求項１又は２に記載の瞼検出装置。
4. 前記画素探索ウインドは、前記ウインドと重なる前記画素から、前記第２方向へ１画素分ずれたところに位置する前記画素と重なる請求項３に記載の瞼検出装置。
5. 前記評価値は、前記ウインドと重なる前記画素のエッジ値の総和の絶対値である請求項１乃至４のいずれか一項に記載の瞼検出装置。
6. 前記基準位置は、前記ウインドの重心である請求項１乃至５のいずれか一項に記載の瞼検出装置。
7. 変形した前記ウインドと重なる画素にフィッティングされた曲線を算出する曲線算出手段を備え、
   前記設定手段は、前記曲線の頂点を前記基準位置に設定する請求項１乃至６のいずれか一項に記載の瞼検出装置。
8. 前記設定手段は、変形された前記ウインドの端を、前記基準位置に設定する請求項１乃至６のいずれか一項に記載の瞼検出装置。
9. 前記抽出手段は、前記エッジ値が閾値以上の画素、又は前記エッジ値が閾値以下の画素を抽出する請求項１乃至８のいずれか一項に記載の瞼検出装置。
10. 前記画像を撮影する撮影手段を備える請求項１乃至９のいずれか一項に記載の瞼検出装置。
11. ドライバーの眼の画像を構成する画素から、エッジ値が所定の条件を満たす前記画素を抽出する工程と、
    前記ドライバーの瞼に対応した形状のウインドを用いて、前記画像を走査しつつ、前記ウインドと重なる前記画素の評価値を算出する工程と、
    前記評価値が最大となる位置にある前記ウインドを、前記ウインドの評価値が大きくなるように変形する工程と、
    前記瞼の基準位置を、変形した前記ウインドに応じて設定する工程と、
    を含む瞼検出方法。
12. コンピュータに、
    ドライバーの眼の画像を構成する画素から、エッジ値が所定の条件を満たす前記画素を抽出する手順と、
    前記ドライバーの瞼に対応した形状のウインドを用いて、前記画像を走査しつつ、前記ウインドと重なる前記画素の評価値を算出する手順と、
    前記評価値が最大となる位置にある前記ウインドを、前記ウインドの評価値が大きくなるように変形する手順と、
    前記瞼の基準位置を、変形した前記ウインドに応じて設定する手順と、
    を実行させるためのプログラム。

Images