JP5035139B2 - 眼画像処理装置 - Google Patents

Description

本発明は、車両の運転者の顔画像を取得し、取得された顔画像に基づいて画像処理を行う眼画像処理装置に関するものである。

従来、車両の運転者の顔画像を取得し、取得された顔画像に基づいて画像処理を行い運転者の目を検出する技術が知られている（例えば、特許文献１参照）。この特許文献１に記載の技術では、取得された対象者の眼画像からエッジ抽出によって瞼を検出し、開閉眼の判定を行っている。
特開２００７−２５７３３２号公報 特開２００４−３４１９５４号公報

しかしながら上記従来技術では、対象者が眼鏡を着用している場合に、眼鏡フレームに起因するエッジを瞼に起因するエッジとして誤検出してしまうおそれがあり、まぶた曲線の検出精度の向上が求められている。

本発明は、このような課題を解決するために成されたものであり、誤検出を防止して、まぶた曲線の検出精度の向上が図られた眼画像処理装置を提供することを目的とする。

本発明による眼画像処理装置は、眼画像を取得する眼画像取得手段と、眼画像に基づいて目頭及び目尻の位置を検出する位置検出手段と、眼画像に基づいて横方向エッジを抽出するエッジ抽出手段と、エッジ抽出手段によって抽出された横方向エッジと位置検出手段によって検出された目頭及び目尻との連続性を評価する連続性評価手段と、連続性評価手段による評価結果に基づいて眼の輪郭を検出する眼検出手段と、を備えることを特徴としている。

このような眼画像処理装置によれば、眼画像に基づいて抽出された横方向エッジと、眼画像に基づいて検出された目頭／目尻との連続性を評価する連続性評価手段を備えるため、顔の横方向に延在する横方向エッジと、目頭／目尻との連続性を評価することができ、目頭／目尻との連続性を有していない横方向エッジの尤度を低く設定し、目頭／目尻との連続性を有する横方向エッジの尤度を高く設定することができる。これにより、尤度の低い横方向エッジを候補から除外して、尤度の高い横方向エッジを選択することで、精度の高いまぶた曲線（眼の輪郭線）を検出することができる。すなわち、目頭／目尻と眼鏡フレームとの間の横方向エッジは、目頭／目尻との連続性が低いため、候補から除外され、眼鏡フレームを誤検出する可能性が低減される。

ここで、眼の輪郭の候補であり目頭及び目尻を結ぶ仮想まぶた曲線を設定する仮想まぶた曲線設定手段と、仮想まぶた曲線に対応する横方向エッジの複数の抽出点（画素点）の画素値を取得する画素値取得手段と、を備え、当該連続性評価手段は、画素値の大きさに基づいて、仮想まぶた曲線に対応する横方向エッジと目頭及び目尻との連続性を評価することが好ましい。これにより、目頭／目尻との連続性が低い横方向エッジを有する仮想まぶた曲線を候補から除外して、目頭／目尻との連続性が高い横方向エッジを有する仮想まぶた曲線を選択することで、より精度の高いまぶた曲線を検出することができる。

また、抽出点の画素値と所定の判定基準値とを比較して、仮想まぶた曲線が眼の輪郭として尤もらしいかを表現する尤度を設定する尤度設定手段を備え、連続性評価手段は、尤度設定手段によって設定された尤度に基づいて、仮想まぶた曲線に対応する横方向エッジと目頭及び目尻との連続性を評価することが好ましい。

また、眼検出手段は、エッジ抽出手段によって複数の横方向エッジが抽出された場合に、連続性評価手段によって、連続性がより高く評価された横方向エッジを眼の輪郭として検出することが好ましい。

本発明によれば、横方向エッジと目頭／目尻との連続性を評価することができるため、目頭／目尻との連続性が低い横方向エッジが候補から除外され、誤検出を防止してまぶた曲線の検出精度を向上させることができる。

以下、本発明の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において同一または相当要素には同一の符号を付し、重複する説明は省略する。図１は、本発明の実施形態に係る顔画像処理装置を示す構成図である。

図１に示す顔画像処理装置（眼画像処理装置）１０は、車両（以下、「自車両」という）に搭載され運転者Ｄの眼画像を含む顔画像を取得するものである。この顔画像処理装置１０は、運転者Ｄの顔画像を撮像する顔画像撮像カメラ１２、この顔画像撮像カメラ１２からの画像信号に基づいて画像処理を行う顔画像処理電子制御ユニット（以下、「顔画像処理ＥＣＵ」という）１４を備えている。

顔画像撮像カメラ（眼画像撮像手段）１２は、例えばコラムカバー１６の上面に設置され、運転者Ｄの眼画像を含む顔画像を取得する。そして、顔画像撮像カメラ１２によって取得された運転者Ｄの顔画像に関する画像信号は、顔画像処理ＥＣＵ１４に送信される。

顔画像処理ＥＣＵ１４は、演算処理を行うＣＰＵ、記憶部となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成され、入力された画像信号について画像処理を行い運転者Ｄの顔画像を検出する。検出された顔画像は、例えば、運転者Ｄの開眼度判定（覚醒度判定）に利用される。

ここで、本発明の顔画像処理装置１０は、顔の横方向に形成された横方向エッジと、目頭／目尻との連続性を評価し、その連続性の評価が低い横方向エッジを、まぶた曲線（眼の輪郭線）の候補から除外する機能を有している。

顔画像処理ＥＣＵ１４のＣＰＵでは、記憶部に記憶されているプログラムを実行することで、横ソーベルフィルタ画像作成部（エッジ抽出手段）、目頭目尻検出部（位置検出手段）、仮想まぶた曲線設定部、連続性評価部（画素値取得手段、尤度設定手段）、眼検出部が構成される。

顔画像処理ＥＣＵ１４の記憶部には、ＣＰＵを作動させるためのプログラムのほかに、複数の３次元顔モデルが記憶されている。また、記憶部は、撮像された画像データ、顔特徴点に関するデータ、その他連続性評価に関するデータなどを記憶する記憶手段として機能する。

また、顔画像処理ＥＣＵ１４は、運転者Ｄの顔向き角度を検出する。例えば、検出された顔の横幅Ｘ、顔中心位置Ｙとの相対位置関係から顔向き角度を算出する。なお、顔向き角度の算出は、既存の技術であり、そのほかの手法を用いて、顔向き角度を検出しても良い。「顔向き角度」としては、運転者Ｄが車両正面を向いている状態を基準とし、この基準に対する角度が挙げられる。

横ソーベルフィルタ画像作成部は、入力された画像信号（顔画像）に基づいて画像処理を行い、運転者の顔画像の横ソーベルフィルタ画像を作成する。具体的には、横ソーベルフィルタ画像作成部は、運転者の顔画像に基づく濃淡画像にソーベルフィルタ処理を行う。ここでは、濃淡画像の画素値に対し、３×３のフィルタ値を掛け、縦方向と横方向のエッジを強調した画像を作成する。例えば３×３のフィルタの値は、上段左側“１”、上段中央“２”、上段右側“１”、中段左側“０”、中段中央“０”、中段右側“０”、下段左側“−１”、下段中央“−２”、下段右側“−１”である。そして、作成された横ソーベルフィルタ画像に基づいて、横方向エッジ（水平エッジ）が検出される。また、眼周辺の横方向エッジは、眼の輪郭線（上まぶた曲線、下まぶた曲線）候補となる。

目頭目尻検出部は、入力された画像信号に基づいて画像処理を行い、既存技術であるテンプレートマッチング手法を用いて、運転者Ｄの目頭／目尻の位置を検出する。ここでは、記憶部に記憶された３次元顔モデルと比較することにより、目頭／目尻の位置を検出する。

図２は、運転者の顔画像の一例を示すものであり、複数の仮想まぶた曲線を示す概略図である。仮想まぶた曲線設定部は、運転者Ｄの眼画像（横ソーベルフィルタ画像）に基づいて、図２に示すように、眼の輪郭線の候補となる仮想まぶた曲線Ｌ_１〜Ｌ_４を作成する。ここでは、例えばベジェ曲線等を利用して、探索範囲内において、目頭／目尻を結ぶ複数の仮想まぶた曲線Ｌ_１〜Ｌ_４を作成する。なお、探索範囲は、過去のデータ等に基づいて、眼近傍に設定される。

図３は、ベジェ曲線を用いた仮想まぶた曲線の作成方法を説明するための概略図である。コンピュータ上で曲線を表現する場合には、少ないパラメータ（制御点）で曲線を表現できるベジェ曲線が有効である。このベジェ曲線とは、Ｎ個の制御点から得られるＮ−１次曲線であり、ここでのアルゴリズムでは、始点（例えば目頭点）Ｑ_Ａと終点（例えば目尻点）Ｑ_Ｃ、これらの始点Ｑ_Ａ及び終点Ｑ_Ｃの中間に存在する中点Ｑ_Ｂの制御点を有する２次曲線となる。

例えば、図３（Ａ）に示すように、制御点として、始点Ｑ_Ａ、中点Ｑ_Ｂ、終点Ｑ_Ｃが与えられた場合、まず、制御点を順に結んで得られる線分Ｑ_ＡＱ_Ｂ、線分Ｑ_ＢＱ_Ｃをそれぞれ、ｔ：１−ｔの比率で分割し、点Ｑ_Ｄ、Ｑ_Ｅを求める。さらに、これらの点Ｑ_Ｄ，Ｑ_Ｅを結ぶ線分Ｑ_ＤＱ_Ｅをｔ：１−ｔの比率に分割する内分点Ｑ_Ｆを算出し、この内分点Ｑ_Ｆをベジェ曲線上の点とする。

そして、上記した手順を内分比ｔ（０≦ｔ≦１）の範囲において繰り返すことで、始点Ｑ_Ａ、中点Ｑ_Ｂ、終点Ｑ_Ｃを制御点とする２次曲線を作成することができる。また、このベジェ曲線の作成方法では内分する回数の増加に合わせて、滑らかな曲線を作成することができ、内分する回数に応じてＣＰＵの演算負荷を調節することができる。ベジェ曲線Ｐ（ｔ）は、Ｐ（ｔ）＝（１−ｔ）^２Ｑ_Ａ＋２ｔ（１−ｔ）Ｑ_Ｂ＋ｔ^２Ｑ_Ｃ…（１）によって表現される。

連続性評価部は、抽出された横方向エッジと、目頭／目尻との連続性を評価するものであり、仮想まぶた曲線Ｌ_１〜Ｌ_４上の抽出点（画素点）の横ソーベルフィルタ画像の画素値の大きさに基づいて、抽出点における横方向エッジと目頭／目尻との連続性を評価するものである。具体的には、横ソーベルフィルタ画像において、値の大きな画素値を有する抽出点が目頭／目尻に連続している場合には、横方向エッジと目頭／目尻との連続性が高いと評価する。

図４は、運転者の顔画像の一例を示すものであり、仮想まぶた曲線上の複数の抽出点を示す概略図である。連続性評価部では、仮想まぶた曲線Ｌ_３上に複数の抽出点を設定する。例えば、ベジェ曲線の内分点Ｑ_Ｆ（図３参照）を抽出点として設定することで、等間隔に設定することができる。連続性評価部では、仮想まぶた曲線Ｌ_３上の抽出点における横ソーベルフィルタ画像の画素値と所定の判定基準値（閾値）とを比較して、抽出点Ｑ_１〜Ｑ_８と目頭Ｑ_Ａ／目尻Ｑ_Ｂとの連続性を評価する。連続性評価部は、抽出点Ｑ_１〜Ｑ_８の画素値と閾値とを比較して、仮想まぶた曲線Ｌ_１〜Ｌ_４が眼の輪郭として尤もらしいかを判定し、その尤もらしさの度合いを尤度として設定する。

連続性評価部では、抽出点に横方向エッジが存在しない場合（横方向エッジのエッジ強度が弱い場合）に、尤度を大きく下げるように、閾値が設定されている。そのため、抽出点に横方向エッジがない場合に、積極的に尤度を下げることで、局所的な強いエッジによって仮想まぶた曲線の尤度が上昇することが防止される。

図４に示す仮想まぶた曲線Ｌ_３では、抽出点Ｑ_３〜Ｑ_６は、メガネフレーム１８に起因する横方向エッジにより、エッジ強度が強くなり、高い尤度が設定される。抽出点Ｑ_１，Ｑ_２，Ｑ_７，Ｑ_８は、縦方向において、目頭／目尻とメガネフレーム１８との間に存在する抽出点Ｑ_１，Ｑ_２，Ｑ_７，Ｑ_８であり、横方向エッジが検出されず、低い尤度が設定される。そして、連続性評価部では、仮想まぶた曲線Ｌ_３上の複数の抽出点の尤度を合算して、仮想まぶた曲線Ｌ_３の尤度（以下、「曲線尤度」ともいう。）を算出する。すなわち、実際のまぶたに沿って形成された仮想まぶた曲線Ｌ_１の抽出点では、まぶたに起因する横方向エッジが検出されるため、仮想まぶた曲線Ｌ_１の曲線尤度は、仮想まぶた曲線Ｌ_２〜Ｌ_４と比較して高く設定される。

眼検出部は、複数の仮想まぶた曲線Ｌ_１〜Ｌ_４のうち、曲線尤度の低い仮想まぶた曲線を眼の輪郭線の候補から除外し、曲線尤度の高い仮想まぶた曲線を眼の輪郭線として検出する。すなわち、仮想まぶた曲線Ｌ_１〜Ｌ_４のうち最も曲線尤度の高いＬ_１が眼の輪郭線として検出される。

次に、このように構成された顔画像処理装置１０の作用について説明する。図５は、本発明の実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。まず、顔画像処理ＥＣＵ１４では、顔画像撮像カメラ１２から画像信号を入力し、横ソーベルフィルタ画像を作成する（Ｓ１）。

次に、顔画像処理ＥＣＵ１４は、入力された画像信号に基づいて、目頭／目尻のテンプレートマッチング等を行い、運転者の目尻、目頭を検出する（Ｓ２）。続いて、顔画像処理ＥＣＵ１４は、まぶた探索領域を設定する（Ｓ３）と共に、尤度の初期化を行い、「尤度＝０」と設定する（Ｓ４）。

次に、顔画像処理ＥＣＵ１４は、ベジェ曲線を利用して、仮想まぶた曲線Ｌ_１〜Ｌ_４を作成し、仮想まぶた曲線Ｌ_１〜Ｌ_４上に複数の抽出点Ｑ_１〜Ｑ_８を設定する（Ｓ５）。続いて、顔画像処理ＥＣＵ１４は、仮想まぶた曲線Ｌ上の抽出点Ｑにおいて、横ソーベルフィルタ画像値（横方向エッジのエッジ強度）を取得する（Ｓ６）。

次に、顔画像処理ＥＣＵ１４は、画素値＞閾値であるか否かを判定する（Ｓ７）。画素値＞閾値である場合には、ステップ８に進み「尤度＝｜画素値｜」と設定し、画素値＞閾値ではない場合には、ステップ９に進み「尤度＝−｜画素値｜」と設定する。

続くステップ１０では、設定された全ての抽出点Ｑ_１〜Ｑ_８について尤度の設定が終了したか否かを判定する。全ての抽出点Ｑ_１〜Ｑ_８について尤度の設定が終了していない場合には、ステップ６〜ステップ１０の処理を繰り返し、全ての抽出点Ｑ_１〜Ｑ_８について尤度の設定が終了した後に、ステップ１１に進む。ステップ１１では、顔画像処理ＥＣＵ１４は、仮想まぶた曲線Ｌ上の各抽出点Ｑ_１〜Ｑ_８の尤度を合算して、曲線尤度を算出する。算出された曲線尤度は、記憶部に記憶される。

続くステップ１２では、顔画像処理ＥＣＵ１４は、探索範囲において、全ての仮想まぶた曲線Ｌ_１〜Ｌ_４の曲線尤度の算出が終了したか否かを判定する。探索範囲において曲線尤度の設定が終了していない場合には、ステップ４〜ステップ１２の処理を繰り返し、作成された分の仮想まぶた曲線Ｌ_１〜Ｌ_４の曲線尤度の設定が終了した後に、ステップ１３に進む。

ステップ１３では、顔画像処理ＥＣＵ１４は、作成された複数の仮想まぶた曲線Ｌ_１〜Ｌ_４の曲線尤度に基づいて、曲線尤度の低い仮想まぶた曲線Ｌ_１〜Ｌ_４を眼の輪郭線の候補から除外し、最も曲線尤度の高い仮想まぶた曲線Ｌ_１を眼の輪郭線として検出して処理を終了する。すなわち、最も曲線尤度の高い仮想まぶた曲線は、目頭／目尻との連続性が高い抽出点に起因する曲線であると判定することができる。

このような顔画像処理装置１０によれば、眼画像に基づいて抽出された横方向エッジと、眼画像に基づいて検出された目頭Ｑ_Ａ／目尻Ｑ_Ｃとの連続性を評価する連続性評価部を備えているため、顔の横方向に延在する横方向エッジと、目頭／目尻との連続性を評価することができる。

ここで、眼の輪郭線の候補であり目頭Ｑ_Ａ及び目尻Ｑ_Ｃを結ぶ仮想まぶた曲線Ｌ_１〜Ｌ_４を設定し、設定された仮想まぶた曲線Ｌ_１〜Ｌ_４に対応する横方向エッジとして複数の抽出点（画素点）Ｑ_１〜Ｑ_８の画素値を取得することで、画素値の大きさに基づいて、仮想まぶた曲線に対応する横方向エッジと目頭Ｑ_Ａ及び目尻Ｑ_Ｃとの連続性を評価することができる。これにより、目頭Ｑ_Ａ／目尻Ｑ_Ｃとの連続性が低い横方向エッジを有する仮想まぶた曲線Ｌ_２〜Ｌ_４を候補から除外して、目頭Ｑ_Ａ／目尻Ｑ_Ｃとの連続性が高い横方向エッジを有する仮想まぶた曲線Ｌ_１を選択することで、より精度の高い眼の輪郭線を検出することができる。

また、抽出点Ｑ_１〜Ｑ_８の画素値と所定の閾値（判定基準値）とを比較して、仮想まぶた曲線Ｌ_１〜Ｌ_４が眼の輪郭として尤もらしいかを表現する尤度を設定するため、連続性評価手段は、設定された尤度に基づいて、仮想まぶた曲線Ｌ_１〜Ｌ_４に対応する横方向エッジと目頭Ｑ_Ａ及び目尻Ｑ_Ｃとの連続性を評価することができる。その結果、横方向エッジのエッジ強度が低い抽出点の尤度が低く設定され、眼の輪郭線の検出精度が向上される。

以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるもではない。上記実施形態では、ベジェ曲線を利用して仮想まぶた曲線を設定しているが、その他の方法を用いて、仮想まぶた曲線を設定してもよい。

また、上記実施形態では、仮想まぶた曲線上の抽出点について、目頭／目尻との連続性を評価しているが、仮想まぶた曲線を設定せずに、任意の抽出点について目頭／目尻との連続性を評価して、その評価が少ない抽出点を眼の輪郭線を構成する候補点から除外するようにしてもよい。

本発明の実施形態に係る顔画像処理装置を示す構成図である。 運転者の顔画像の一例を示すものであり、複数の仮想まぶた曲線を示す概略図である。 ベジェ曲線を用いた仮想まぶた曲線の作成方法を説明するための概略図である。 運転者の顔画像の一例を示すものであり、仮想まぶた曲線上の複数の抽出点を示す概略図である。 本発明の実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。

符号の説明

１０…顔画像処理装置、１２…顔画像撮像カメラ、１４…顔画像処理ＥＣＵ、１６…コラムカバー、１８…メガネフレーム、Ｌ_１〜Ｌ_４…仮想まぶた曲線、Ｑ_Ａ…目頭、Ｑ_Ｃ…目尻、Ｑ_１〜Ｑ_８…抽出点。

Claims (4)

1. 眼画像を取得する眼画像取得手段と、
   前記眼画像に基づいて目頭及び目尻の位置を検出する位置検出手段と、
   前記眼画像に基づいて横方向エッジを抽出するエッジ抽出手段と、
   前記エッジ抽出手段によって抽出された前記横方向エッジと前記位置検出手段によって検出された前記目頭及び目尻との連続性を評価する連続性評価手段と、
   前記連続性評価手段による評価結果に基づいて眼の輪郭を検出する眼検出手段と、を備え、
   前記連続性を有していない前記横方向エッジの尤度を、前記連続性を有する前記横方向エッジの尤度よりも低く設定し、前記尤度が低い前記横方向エッジを前記眼の輪郭の候補から除外することを特徴とする眼画像処理装置。
2. 眼の輪郭の候補であり前記目頭及び目尻を結ぶ仮想まぶた曲線を設定する仮想まぶた曲線設定手段と、
   前記仮想まぶた曲線に対応する前記横方向エッジの複数の抽出点の画素値を取得する画素値取得手段と、を備え、
   前記連続性評価手段は、前記画素値の大きさに基づいて、前記仮想まぶた曲線に対応する前記横方向エッジと前記目頭及び目尻との連続性を評価することを特徴とする請求項１記載の眼画像処理装置。
3. 前記抽出点の画素値と所定の判定基準値とを比較して、前記仮想まぶた曲線が前記眼の輪郭として尤もらしいかを表現する尤度を設定する尤度設定手段を備え、
   前記連続性評価手段は、前記尤度設定手段によって設定された前記尤度に基づいて、前記仮想まぶた曲線に対応する前記横方向エッジと前記目頭及び目尻との連続性を評価することを特徴とする請求項２記載の眼画像処理装置。
4. 前記眼検出手段は、前記エッジ抽出手段によって複数の横方向エッジが抽出された場合に、前記連続性評価手段によって、前記連続性がより高く評価された前記横方向エッジを前記眼の輪郭として検出することを特徴とする請求項１〜３の何れか一項に記載の眼画像処理装置。

Images