JP5737400B2 - 赤目検出装置 - Google Patents

Description

本発明は、赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する赤目検出装置に関する。

従来から、車両の衝突を事前に回避するために、車両のステアリングコラムに固定したカメラでドライバの顔を撮像し、この撮像した画像からドライバの黒目位置を検出することによりドライバの視線を検出することが行われている。

ところで、車外光量の低い夜間などは、赤目現象が生じる。このため、車外光量の小さい夜間にドライバの視線を検出するためには、画像情報からドライバの赤目を検出する必要がある。

そこで、従来は、赤目テンプレートを用いたテンプレートマッチングにより赤目の検出を行っていた（例えば、特許文献１参照）。

特開２００７−２８１８４７号公報

しかしながら、画像に写る赤目の形状は開眼度によって変化する。このため、単一の赤目テンプレートを用いてテンプレートマッチングを行うと、開眼度によっては赤目を適切に検出することができない。一方、あらゆる開眼度に対応して多数のる赤目テンプレートを用いてテンプレートマッチングを行うと、処理速度が著しく低下するため、現実的ではない。

そこで、本発明は、赤目の形状が開眼度によって変化しても赤目を正確に検出することができる赤目検出装置を提供することを課題とする。

本発明に係る赤目検出装置は、赤目テンプレートを用いたテンプレートマッチングにより顔を撮像した画像から赤目を検出する赤目検出装置であって、開眼度に対応する赤目テンプレートを生成する赤目テンプレート生成手段を有する。

本発明に係る赤目検出装置によれば、開眼度に応じた赤目テンプレートを生成するため、赤目の形状が開眼度によって変化しても赤目を正確に検出することができる。

この場合、赤目テンプレート生成手段は、生成した赤目テンプレートで、次回のテンプレートマッチングに用いる赤目テンプレートを更新するものとすることができる。これにより、次回のテンプレートマッチングでは開眼度に対応した赤目テンプレートを用いることができるため、赤目検出の確度を向上することができる。

また、画像から開眼度を算出する開眼度算出手段を更に有するものとすることができる。このように、画像から直接的に開眼度を求めることで、開眼度の信頼性を向上することができる。

この場合、開眼度算出手段は、閉眼状態を０％及び開眼状態を１００％とした相対開眼度に基づいて開眼度を算出するものとすることができる。顔画像における上瞼から下瞼までの距離は、カメラからの距離や個人差によって異なる。そこで、このように開眼度を相対開眼度で表すことで、カメラからの距離や個人差によって画像における上瞼から下瞼までの距離が異なったとしても、開眼度を正規化することができるため、適切に赤目テンプレートを生成することができる。

また、眠気度に応じて開眼度を推定する眠気度推定手段を更に有するものとすることができる。通常、眠気度によって開眼度が変わってくるため、眠気度から間接的に開眼度を求めることができる。そして、眠気度に応じて開眼度を推定することで、眠気度によって開眼度が変化しても、赤目を正確に検出することができる。

また、車外光量を検出する車外光量検出手段と、顔画像から開眼度を算出する開眼度検出手段と、顔画像から黒目を検出する黒目検出手段と、を更に有し、赤目テンプレート生成手段は、車外光量が検出した車外光量が高い時間帯に、開眼度と黒目の大きさとの相関関係を学習し、車外光量が検出した車外光量が低い時間帯に、相関関係を参照して開眼度に対応する大きさの赤目テンプレートを生成するものとすることができる。赤目よりも黒目の方が検出し易く、車外光量が高い時間帯は赤目現象が生じないため、このような時間帯に開眼度と黒目の大きさとの相関関係を学習することで、適切に当該相関関係を学習することができる。そして、車外光量が低い時間帯に、当該相関関係を参照して、開眼度に対応する大きさの赤目テンプレートを生成するため、より高い確度で開眼度に対応した赤目テンプレートを生成することができる。

本発明によれば、赤目の形状が開眼度によって変化しても赤目を正確に検出することができる。

第１の実施形態に係る赤目検出装置のブロック構成を示した図である。 第１の実施形態に係る赤目検出装置の赤目検出処理動作を示すフローチャートである。 画像センサが撮像した画像情報の一例を示した図である。 顔位置領域の一例を示した図である。 赤目の検出方法を説明するための概要図である。 上下瞼の検出方法を説明するための概要図である。 相対開眼度の算出方法を説明するための概要図である。 相対開眼度と赤目テンプレート形状との関係を示した概要図である。 第２の実施形態に係る赤目検出装置のブロック構成を示した図である。 第２の実施形態に係る赤目検出装置の赤目検出処理動作を示すフローチャートである。 瞬き特徴量の算出方法を説明するための概要図である。 眠気度の推定方法を説明するための概要図である。 眠気度と赤目テンプレート形状との関係を示した概要図である。 第３の実施形態に係る赤目検出装置のブロック構成を示した図である。 第３の実施形態に係る赤目検出装置の赤目検出処理動作を示すフローチャートである。 黒目のサイズの算出方法を説明するための概要図である。 開眼度と黒目のサイズとの相関関係を示したグラフである。 開眼度の推定方法を説明するための概要図である。

以下、図面を参照して、本発明に係る赤目検出装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。

本実施形態に係る赤目検出装置は、ドライバの視線を検出して運転支援制御を行う運転支援制御装置などに搭載されるものである。

［第１の実施形態］
図１は、第１の実施形態に係る赤目検出装置のブロック構成を示した図である。図１に示すように、第１の実施形態に係る赤目検出装置１は、画像センサ１０と、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２０と、を備えている。

画像センサ１０は、ドライバの顔を撮像するセンサである。画像センサ１０としては、例えば、車両のステアリングコラムに固定されたＣＣＤカメラ等が用いられる。画像センサ１０が撮像した画像（顔画像）は、各画素の位置や色情報などを表す画像情報で構成されている。そして、画像センサ１０は、撮像した画像の画像情報をＥＣＵ２０へ出力する。

ＥＣＵ２０は、電子制御を行う自動車デバイスのコンピュータであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリ、及び入出力インターフェイスなどを備えて構成されている。

このＥＣＵ２０は、画像センサ１０に接続されており、顔位置・顔特徴点検出部２１、赤目検出部２２、開眼度算出部２３、相対開眼度算出部２４及び赤目テンプレート更新部２５を備えている。

顔位置・顔特徴点検出部２１は、画像センサ１０が撮像した画像から、ドライバの顔の特徴点を検出する機能を有している。具体的に説明すると、顔位置・顔特徴点検出部２１は、まず、画像センサ１０が撮像した画像全体を探索範囲として、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やブースティング（Ｂｏｏｓｔｉｎｇ）等の統計手法により顔位置を発見する。そして、顔位置・顔特徴点検出部２１は、この発見した顔位置を含む顔位置領域を設定し、この設定した顔位置領域から、ニューラルネットワークやブースティング等の統計手法により顔の特徴点を検出する。顔の特徴点としては、例えば、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等が挙げられる。なお、顔の各特徴点の検出は、この手法に限られるものではなく、公知の他の手法を用いてもよい。

赤目検出部２２は、赤目テンプレートを用いたテンプレートマッチングにより赤目検出を行う機能を有している。具体的に説明すると、赤目検出部２２は、まず、顔位置・顔特徴点検出部２１が検出した目尻及び目頭の特徴点に基づいて、顔位置・顔特徴点検出部２１が設定した顔位置領域から、赤目探索領域を設定する。そして、赤目検出部２２は、赤目テンプレートを用いたテンプレートマッチングにより、赤目探索領域から赤目を検出する。

開眼度算出部２３は、ドライバの眼が開いている度合いを示す開眼度を算出する機能を有している。具体的に説明すると、開眼度算出部２３は、顔位置・顔特徴点検出部２１が設定した顔位置領域にフィルタをかけてエッジを強調した画像を生成する。そして、開眼度算出部２３は、生成されたエッジ画像上に目尻及び目頭を結ぶ複数の曲線を投影し、その曲線上のエッジ強度から上瞼及び下瞼の位置を検出する。そして、開眼度算出部２３は、上瞼の位置と下瞼の位置との差分を用いて開眼度［ｐｉｘ］を算出する。この開眼度は、画素のピクセル（ｐｉｘｅｌ）単位で表される。

相対開眼度算出部２４は、開眼度算出部２３が算出したピクセル単位の開眼度から、閉眼状態を０％及び開眼状態を１００％とした割合の相対開眼度［％］を算出する機能を有している。

赤目テンプレート更新部２５は、相対開眼度算出部２４で算出された相対開眼度に基づいて赤目テンプレートを更新する機能を有している。具体的に説明すると、赤目テンプレート更新部２５は、相対開眼度算出部２４で算出された相対開眼度に対応する赤目テンプレートを生成する。そして、赤目テンプレート更新部２５は、この生成した赤目テンプレートで、次回のテンプレートマッチングに用いる赤目テンプレートを更新する。

次に、第１の実施形態に係る赤目検出装置１の動作について説明する。図２は、第１の実施形態に係る赤目検出装置の赤目検出処理動作を示すフローチャートである。図２に示す処理は、ＥＣＵ２０の制御により行われ、例えば、イグニッションオンされたタイミングからイグニッションオフされるまでの間、所定の間隔で繰返し行われる。なお、図２に示す一連の処理の単位をフレームという。このため、今回のフレームとは、今回行う図２に示す一連の処理を意味し、前回のフレームとは、前回行った図２に示す一連の処理を意味する。

図２に示すように、まず、ＥＣＵ２０は、画像センサ１０が撮像したドライバの画像を入力する（ステップＳ１１）。ステップＳ１１では、画像センサ１０が撮像した図３に示す画像Ｆ１を入力する。図３は、画像センサが撮像した画像の一例である。

次に、ＥＣＵ２０は、顔位置・顔特徴点を検出する（ステップＳ１２）。ステップＳ１２の処理は、顔位置・顔特徴点検出部２１が行う。顔位置・顔特徴点検出部２１は、まず、ステップＳ１１で入力した画像Ｆ１の全体を探索範囲として、ニューラルネットワークやブースティング等の統計手法により顔位置を発見する。次に、顔位置・顔特徴点検出部２１は、顔位置領域Ｇ１を設定する。図４は、顔の特徴点検出方法を説明するための概要図であり、顔位置領域Ｇ１を示している。図４に示すように、顔位置領域Ｇ１は、この発見した顔位置を含む領域であり、画像Ｆ１の一領域である。そして、顔位置・顔特徴点検出部２１は、この設定した顔位置領域Ｇ１を探索範囲として、ニューラルネットワークやブースティング等の統計手法により、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等の特徴点を検出する。

次に、ＥＣＵ２０は、今回のフローが初回であるか否かを判定する（ステップＳ１３）。そして、ＥＣＵ２０は、今回のフローが初回であると判定すると（ステップＳ１３：ＹＥＳ）、ステップＳ１４に進み、今回のフローが初回ではないと判定すると（ステップＳ１３：ＮＯ）、ステップＳ１５に進む。

ステップＳ１３において今回のフローが初回であると判定したＥＣＵ２０は、次に、事前に用意されている赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する（ステップＳ１４）。事前に用意されている赤目テンプレートとは、開眼度が１００％であるときの赤目を示したテンプレートである。ステップＳ１４の処理は、赤目検出部２２が行う。赤目検出部２２は、まず、ステップＳ１２において設定した顔位置領域Ｇ１（図４参照）から、赤目探索領域を設定する。図５は、赤目の検出方法を説明するための概要図である。図５に示すように、赤目探索領域Ｇ２は、例えば、目尻よりも外側に配置されて上下方向に延びる線分と、目頭よりも内側に配置されて上下方向に延びる線分と、目尻と目頭とを結ぶ線分よりも上側に配置されて左右方向に延びる線分と、目尻と目頭とを結ぶ線分よりも下側に配置されて左右方向に延びる線分と、により画成される矩形領域となる。そして、赤目検出部２２は、事前に用意されている赤目テンプレートを用いて赤目探索領域Ｇ２をテンプレートマッチングすることにより、赤目候補Ｃを検出する。なお、赤目検出部２２は、テンプレートマッチングにより所定の閾値を超えた画素パターンを赤目候補Ｃとして検出する。

ここで、図５に示す赤目探索領域Ｇ２を見てみる。すると、赤目探索領域Ｇ２には、ドライバの目や瞼に反射したＬＥＤ光Ｌが映り込んでいる。このＬＥＤ光Ｌの画素パターンは、赤目Ｒの画素パターンと近似している。このため、赤目検出部２２は、本当の赤目Ｒを赤目候補Ｃとして検出するとともに、このＬＥＤ光Ｌも赤目候補Ｃとして検出する。その結果、ステップＳ１４では、２つの赤目候補Ｃが検出される。そこで、赤目検出部２２は、赤目テンプレートとのマッチング度が最も高い画素パターンの赤目候補Ｃを赤目Ｒと判定する。

一方、上述したステップＳ１３において今回のフローが初回であると判定したＥＣＵ２０は、次に、前回のフレームで更新された赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する（ステップＳ１５）。前回のフレーム（処理）で更新された赤目テンプレートとは、前回のフレームにおけるステップＳ１８（詳細は後述する）で更新された赤目テンプレートである。ステップＳ１５の処理は、ステップＳ１４と同様に赤目検出部２２が行う。なお、ステップＳ１５の処理は、基本的にステップＳ１４の処理と同様であり、用いる赤目テンプレートのみが異なる。このため、ステップＳ１５の詳細な説明は省略する。

次に、ＥＣＵ２０は、開眼度を算出する（ステップＳ１６）。ステップＳ１６の処理は、開眼度算出部２３が行う。開眼度算出部２３は、まず、ステップＳ１２で検出した目頭及び目尻の特徴点から上下瞼を検出する。

ここで、図６を参照して、上下瞼の検出方法について説明する。図６は、上下瞼の検出方法を説明するための概要図である。図６に示すように、開眼度算出部２３は、ステップＳ１２で設定した顔位置領域Ｇ１に対して、例えばソーベルフィルタを適用して、エッジを強調した画像であるエッジ画像Ｇ３を生成する。次に、開眼度算出部２３は、ステップＳ１２で検出した目尻及び目頭の特徴点を始点及び終点とする複数の曲線を投影し、その曲線上のエッジの強度（エッジ画像の画素値）を算出する。曲線として、例えば、ベジェ曲線が用いられる。そして、開眼度算出部２３は、算出されたエッジ強度の中からエッジ強度が強い曲線を選択し、上瞼曲線，下瞼曲線とする。このとき、開眼度算出部２３は、ステップＳ１４又はＳ１５で検出した赤目Ｒよりも下側の曲線は上瞼の候補から除外し、ステップＳ１４又はＳ１５で検出した赤目Ｒよりも上側の曲線は下瞼の候補から除外する。

そして、開眼度算出部２３は、上瞼曲線の中点のＹ座標及び下瞼曲線の中点のＹ座標を算出し、上下瞼のＹ座標の差分に基づいて開眼度［ｐｉｘ］を算出する。開眼度は、画素のピクセル（ｐｉｘｅｌ）単位の値となる。なお、開眼度の算出方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。

次に、ＥＣＵ２０は、ステップＳ１６で算出した開眼度［ｐｉｘ］から、閉眼状態を０％及び開眼状態を１００％とした割合の相対開眼度［％］を算出する（ステップＳ１７）。ステップＳ１７の処理は、相対開眼度算出部２４が行う。

ここで、図７を参照して、相対開眼度の算出方法について説明する。図７は、相対開眼度の算出方法を説明するための概要図であり、時間経過に伴う開眼度の波形Ｋ１を示した時間−開眼度グラフを示している。図７に示すように、相対開眼度算出部２４は、予め所定の開眼度を開眼閾値Ａ１及び閉眼閾値Ａ２として設定しておき、ステップＳ１６で算出された開眼度［ｐｉｘ］を開眼度−時間グラフにプロットしていく。次に、相対開眼度算出部２４は、予め設定した開眼閾値Ａ１よりも高い開眼度の平均値を開眼閾値Ａ１として更新し、また、予め設定した閉眼閾値Ａ２よりも低い開眼度の平均値を閉眼閾値Ａ２として更新する。そして、相対開眼度算出部２４は、開眼度算出部２３が算出した開眼度から、更新した開眼閾値Ａ１を１００％及び更新した閉眼閾値Ａ２を０％とした割合の相対開眼度［％］を算出する。

次に、ＥＣＵ２０は、ステップＳ１８で算出した相対開眼度に応じて赤目テンプレートを更新する（ステップＳ１８）。ステップＳ１８の処理は、赤目テンプレート更新部２５が行う。

ここで、図８を参照して、赤目テンプレートの更新処理について説明する。図８は、相対開眼度と赤目テンプレート形状との関係を示した概要図である。図８に示すように、画像に写る赤目の形状は、相対開眼度に比例する。すなわち、相対開眼度が１００％であれば、画像に写る赤目は１００％の形状であり、相対開眼度が７５％であれば、画像に写る赤目は７５％の形状であり、相対開眼度が５０％であれば、画像に写る赤目は５０％の形状であり、相対開眼度が０％であれば、画像には赤目が写らない。そこで、赤目テンプレート更新部２５は、ステップＳ１７で算出した相対開眼度に対応した形状の赤目テンプレートを生成し、この生成した赤目テンプレートで、次回のフレームのテンプレートマッチングに用いる赤目テンプレートを更新する。

具体的に説明すると、赤目テンプレート更新部２５は、前回のフレームにおけるステップＳ１７で算出した相対開眼度と、今回のフレームにおけるステップＳ１７で算出した相対開眼度とを比較し、前回のフレームと今回のフレームとで相対開眼度が変化したか否かを判定する。そして、赤目テンプレート更新部２５は、前回のフレームと今回のフレームとで相対開眼度が変化していないと判定すると、赤目テンプレートを更新することなくステップＳ１８の処理を終了する。一方、赤目テンプレート更新部２５は、前回のフレームと今回のフレームとで相対開眼度が変化していると判定すると、今回のフレームにおけるステップＳ１７で算出した相対開眼度に対応した形状の赤目テンプレートを生成し、この生成した赤目テンプレートで、次回のフレームのテンプレートマッチングに用いる赤目テンプレートを更新する。

なお、ステップＳ１８において、赤目テンプレート更新部２５は、赤目テンプレートを生成する代わりに、登録された赤目テンプレートを選択するものとしてもよい。具体的に説明すると、予め所定の相対開眼度に対応した形状の赤目テンプレートを複数種類登録しておく。その後処理が開始されると、赤目テンプレート更新部２５は、ステップＳ１８において、登録した複数の赤目テンプレートの中から、今回のフレームにおけるステップＳ１７で算出した相対開眼度に対応した形状の赤目テンプレートを選択する。そして、赤目テンプレート更新部２５は、この選択した赤目テンプレートで、次回のフレームのテンプレートマッチングに用いる赤目テンプレートを更新する。

以上説明したように、第１の実施形態に係る赤目検出装置１によれば、相対開眼度に応じた赤目テンプレートを生成するため、赤目の形状が開眼度によって変化しても赤目を正確に検出することができる。

また、次回のテンプレートマッチングでは、相対開眼度に対応した赤目テンプレートを用いることができるため赤目検出の確度を向上することができる。

また、開眼度を相対開眼度で表すことで、画像センサ１０からドライバの顔までの距離や個人差によって顔画像における上瞼から下瞼までの距離が異なったとしても、開眼度を正規化することができるため、適切に赤目テンプレートを生成することができる。

また、画像から直接的に開眼度を求めることで、開眼度の信頼性を向上することができる。

［第２の実施形態］
次に、第２の実施形態に係る赤目検出装置２について説明する。第２の実施形態は、第１の実施形態と基本的には同様であるが、眠気度に基づいて開眼度を推定する点で第１の実施形態と相違する。このため、以下では、第１の実施形態と相違する部分のみを説明し、第１の実施形態と同様の部分の説明を省略する。

図９は、第２の実施形態に係る赤目検出装置のブロック構成を示した図である。図９に示すように、第２の実施形態に係る赤目検出装置２は、画像センサ１０と、ＥＣＵ３０と、を備えている。

ＥＣＵ３０は、電子制御を行う自動車デバイスのコンピュータであり、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、及び入出力インターフェイスなどを備えて構成されている。

このＥＣＵ３０は、画像センサ１０に接続されており、顔位置・顔特徴点検出部３１、赤目検出部３２、開眼度算出部３３、眠気推定部３４及び赤目テンプレート更新部３５を備えている。

顔位置・顔特徴点検出部３１、赤目検出部３２及び開眼度算出部３３は、それぞれ、第１の実施形態における顔位置・顔特徴点検出部２１、赤目検出部２２及び開眼度算出部２３と同様である。

眠気推定部３４は、開眼度算出部２３が算出した開眼度から瞬き特徴量を算出し、この算出した瞬き特徴量に基づいて運転者の眠気の度合い（眠気度）を推定する機能を有している。瞬き特徴量としては、所定時間における目を閉じている時間などが用いられる。眠気推定部３４は、例えば、事前に学習した眠気度と瞬き特徴量との関係を用いて、運転者の眠気度を推定する。

赤目テンプレート更新部３５は、眠気推定部３４が推定した眠気度に基づいて赤目テンプレートを更新する機能を有している。具体的に説明すると、予め、所定の相対開眼度に対応した形状の赤目テンプレートを複数種類登録しておく。赤目テンプレート更新部３５は、この登録した複数の赤目テンプレートの中から、眠気推定部３４が推定した眠気度に対応する赤目テンプレートを選択する。そして、赤目テンプレート更新部３５は、この選択した赤目テンプレートで、次回のテンプレートマッチングに用いる赤目テンプレートを更新する。すなわち、赤目テンプレート更新部３５は、眠気推定部３４が推定した眠気度から間接的に開眼度を推定する。そして、赤目テンプレート更新部３５は、この推定した開眼度に対応する赤目テンプレートを、登録された複数の赤目テンプレートから選択することで生成し、この生成した赤目テンプレートで、次回のテンプレートマッチングに用いる赤目テンプレートを更新する。

次に、第２の実施形態に係る赤目検出装置２の動作について説明する。図１０は、第２の実施形態に係る赤目検出装置の赤目検出処理動作を示すフローチャートである。図１０に示す処理は、ＥＣＵ３０の制御により行われ、例えば、イグニッションオンされたタイミングからイグニッションオフされるまでの間、所定の間隔で繰返し行われる。なお、図１０に示す一連の処理の単位をフレームという。このため、今回のフレームとは、今回行う図１０に示す一連の処理を意味し、前回のフレームとは、前回行った図１０に示す一連の処理を意味する。

図１０に示すように、まず、ＥＣＵ３０は、画像センサ１０が撮像したドライバの画像を入力する（ステップＳ２１）。ステップＳ２１の処理は、第１の実施形態におけるステップＳ１１の処理と同様である。

次に、ＥＣＵ３０は、顔位置・顔特徴点を検出する（ステップＳ２２）。ステップＳ２２の処理は、第１の実施形態におけるステップＳ１２の処理と同様である。

次に、ＥＣＵ３０は、今回のフローが初回であるか否かを判定する（ステップＳ２３）。そして、ＥＣＵ３０は、今回のフローが初回であると判定すると（ステップＳ２３：ＹＥＳ）、ステップＳ２４に進み、今回のフローが初回ではないと判定すると（ステップＳ２３：ＮＯ）、ステップＳ２５に進む。

ステップＳ２３において今回のフローが初回であると判定したＥＣＵ３０は、次に、事前に用意されている赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する（ステップＳ２４）。ステップＳ２４の処理は、第１の実施形態におけるステップＳ１４の処理と同様である。

一方、ステップＳ２３において今回のフローが初回であると判定したＥＣＵ３０は、次に、前回のフレームで更新された赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する（ステップＳ２５）。前回のフレームで更新された赤目テンプレートとは、前回のフレームにおけるステップＳ２８（詳細は後述する）で更新された赤目テンプレートである。ステップＳ２５の処理は、ステップＳ２４と同様に赤目検出部２２が行う。なお、ステップＳ２５の処理は、基本的にステップＳ２４の処理と同様であり、用いる赤目テンプレートのみが異なる。このため、ステップＳ２５の詳細な説明は省略する。

次に、ＥＣＵ３０は、開眼度を算出する（ステップＳ２６）。ステップＳ２６の処理は、第１の実施形態におけるステップＳ１６の処理と同様である。

次に、ＥＣＵ３０は、運転者の眠気度を推定する（ステップＳ２７）。ステップＳ２７の処理は、眠気推定部３４が行う。眠気推定部３４は、まず、ステップＳ２６で算出した開眼度に基づいて、眠気と相関関係のある特徴量である瞬き特徴量を算出する。瞬き特徴量は、所定の期間（例えば１０秒）における眼の状態のうち、閉眼状態となっていた閉眼期間を取得し、所定の期間に対する閉眼期間の割合を算出した物理量とする。そして、眠気推定部３４は、この算出した瞬き特徴量に基づいて運転者の眠気度を推定する。

ここで、図１１を参照して瞬き特徴量の算出方法について説明する。図１１は、瞬き特徴量の算出方法を説明するための概要図であり、時間経過に伴う開眼度の波形Ｋ２を示した時間−開眼度グラフを示している。図１１において、期間Ｔ１及びＴ２は、開眼度が閉眼閾値Ａ２以下となった期間、すなわち閉眼期間である。また、図１１において、期間Ｔ３は、ステップＳ２６において開眼度を検出できなかった区間である。この場合、眠気推定部３４は、期間Ｔ３を除く所定期間を設定し、設定された所定期間に対して閉眼期間が占める割合を瞬き特徴量として算出する。すなわち、眠気推定部３４は、ステップＳ２６において開眼度が未検出とされた期間の情報を除外して瞬き特徴量を算出する。なお、ステップＳ２７では、眠気と相関関係のある物理量であれば瞬き特徴量以外の特徴量を算出してもよい。

ここで、図１２を参照して、運転者の眠気度の推定方法について説明する。図１２は、眠気度の推定方法を説明するための概要図であり、瞬き特徴量と確率密度との関係を示している。図１２では、２段階評価で表した各眠気度の統計分布（瞬き特徴量に対する確率密度）を示しており、眠気度が低い場合の統計分布をＳＡ、眠気度が高い場合の統計分布をＳＢとしている。統計分布ＳＡ，ＳＢは、例えば、オフライン処理で行われる事前学習で取得される。ここで、算出した瞬き特徴量をＲ１とすると、眠気推定部３４は、瞬き特徴量がＲ１である場合の統計分布ＳＡ及び統計分布ＳＢの確率密度を算出し、この算出した確率密度の大小関係によって眠気度を推定する。なお、眠気度の算出方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。なお、眠気度は、例えば０〜５の６段階評価で表すことができる。この場合、例えば、眠気度０は完全に覚醒した状態、眠気度１は眠くない状態、眠気度２は殆ど眠くない状態、眠気度３はやや眠い状態、眠気度４はかなり眠い状態、眠気度５は殆ど寝ているに近い状態となる。

次に、ＥＣＵ３０は、ステップＳ２７で推定した眠気度に応じて赤目テンプレートを更新する（ステップＳ２８）。ステップＳ２８の処理は、赤目テンプレート更新部３５が行う。

ここで、図１３を参照して、赤目テンプレートの更新処理について説明する。図１３は、眠気度と赤目テンプレート形状との関係を示した概要図である。通常、人は、眠気度によって開眼度が変化し、眠気度が高いほど開眼度が小さくなる。すなわち、眠気度が低ければ、開眼度が大きくなるためドライバの顔画像に写っている赤目の形状が大きくなり、眠気度が高ければ、開眼度が小さくなるためドライバの顔画像に写っている赤目の形状が小さくなる。そこで、図１３に示すように、赤目テンプレート更新部３５には、眠気度に対応した複数の赤目テンプレートが登録されている。この登録されている各赤目テンプレートは、それぞれ眠気度に対応した形状であって、眠気度に対応する開眼度に対応した赤目の形状となっている。そして、赤目テンプレート更新部３５は、この登録された複数の赤目テンプレートの中から、ステップＳ２７で推定した眠気度に対応した開眼度の赤目テンプレートを選択し、この選択した赤目テンプレートで、次回のフレームのテンプレートマッチングに用いる赤目テンプレートを更新する。すなわち、赤目テンプレート更新部３５は、眠気度に応じて開眼度を推定し、この推定した開眼度に基づいて赤目テンプレートを更新する。

具体的に説明すると、赤目テンプレート更新部３５は、前回のフレームにおけるステップＳ２７で推定した眠気度と、今回のフレームにおけるステップＳ２７で推定した眠気度とを比較し、前回のフレームと今回のフレームとで眠気度が変化したか否かを判定する。そして、赤目テンプレート更新部３５は、前回のフレームと今回のフレームとで眠気度が変化していないと判定すると、赤目テンプレートを更新することなくステップＳ２８の処理を終了する。一方、赤目テンプレート更新部３５は、前回のフレームと今回のフレームとで眠気度が変化していると判定すると、今回のフレームにおけるステップＳ２７で推定した眠気度に対応した形状の赤目テンプレートを選択し、この選択した赤目テンプレートで、次回のフレームのテンプレートマッチングに用いる赤目テンプレートを更新する。

なお、ステップＳ２８において、赤目テンプレート更新部３５は、登録情報から赤目テンプレートを選択する代わりに、赤目テンプレートを一から生成するものとしてもよい。具体的に説明すると、赤目テンプレート更新部３５は、ステップＳ２７で推定した眠気度から赤目の形状を推定し、この推定した形状の赤目テンプレートを生成する。そして、赤目テンプレート更新部３５は、この生成した赤目テンプレートで、次回のフレームのテンプレートマッチングに用いる赤目テンプレートを更新する。

また、処理開始直後の一定期間に、眠気度と赤目パターンとの相関関係を学習しておき、ステップＳ２８では、赤目テンプレート更新部３５が、この学習した眠気度と赤目パターンの相関関係に基づいて、赤目テンプレートを生成することとしてもよい。

以上説明したように、第２の実施形態に係る赤目検出装置２によれば、眠気度から間接的に開眼度を求めることができる。更に、眠気度によって開眼度が変化しても、赤目を正確に検出することができる。

［第３の実施形態］
次に、第３の実施形態に係る赤目検出装置３について説明する。第３の実施形態は、第１の実施形態と基本的には同様であるが、開眼度と赤目のサイズとの相関関係を学習し、この学習した相関関係に基づいて赤目テンプレートを更新する点で第１の実施形態と相違する。このため、以下では、第１の実施形態と相違する部分のみを説明し、第１の実施形態と同様の部分の説明を省略する。

図１４は、第３の実施形態に係る赤目検出装置のブロック構成を示した図である。図１４に示すように、第３の実施形態に係る赤目検出装置３は、画像センサ１０と、照度センサ４０と、ＥＣＵ５０と、を備えている。

照度センサ４０は、車外光量を計測するセンサである。車外光量とは、車両の外側の光量である。このため、昼間は車外光量が高くなり、夜間は車外光量が低くなる。照度センサ４０としては、例えば、車両の窓付近に固定された光電変換素子等が用いられる。そして、照度センサ４０は、計測した車外光量をＥＣＵ５０へ出力する。

ＥＣＵ５０は、電子制御を行う自動車デバイスのコンピュータであり、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、及び入出力インターフェイスなどを備えて構成されている。

このＥＣＵ５０は、画像センサ１０及び照度センサ４０に接続されており、昼夜判定部５１、顔位置・顔特徴点検出部５２、赤目検出部５３、開眼度算出部５４、黒目サイズ学習部５５及び赤目テンプレート更新部５６を備えている。

赤目検出部５３及び開眼度算出部５４は、それぞれ、第１の実施形態における赤目検出部２２及び開眼度算出部２３と同様である。

昼夜判定部５１は、車外光量の高い昼間か車外光量の低い夜間かを判定する機能を有している。昼夜判定部５１は、例えば、照度センサ４０から出力された車外光量や、画像センサ１０から出力された画像の合計輝度などに基づいて、昼夜を判定する。

顔位置・顔特徴点検出部５２は、基本的に第１の実施形態における顔位置・顔特徴点検出部２１と同様であるが、更に黒目を検出するとともに、検出した黒目のサイズを算出する機能を有している。なお、黒目の検出は、例えば、黒目テンプレートを用いたテンプレートマッチングなどにより行うことができる。

黒目サイズ学習部５５は、顔位置・顔特徴点検出部５２が検出した黒目のサイズと開眼度算出部５４が算出した開眼度との相関関係を学習する機能を有している。

赤目テンプレート更新部５６は、開眼度を推定するとともに、推定した開眼度と黒目サイズ学習部５５が学習した開眼度と黒目のサイズとの相関関係とに基づいて赤目テンプレートを更新する機能を有している。

次に、第３の実施形態に係る赤目検出装置３の動作について説明する。図１５は、第３の実施形態に係る赤目検出装置の赤目検出処理動作を示すフローチャートである。図１５に示す処理は、ＥＣＵ５０の制御により行われ、例えば、イグニッションオンされたタイミングからイグニッションオフされるまでの間、所定の間隔で繰返し行われる。なお、図１５に示す一連の処理の単位をフレームという。このため、今回のフレームとは、今回行う図１５に示す一連の処理を意味し、前回のフレームとは、前回行った図１５に示す一連の処理を意味する。

図１５に示すように、まず、ＥＣＵ５０は、画像センサ１０が撮像したドライバの画像を入力する（ステップＳ３１）。ステップＳ３１の処理は、第１の実施形態におけるステップＳ１１の処理と同様である。

次に、ＥＣＵ５０は、顔位置・顔特徴点を検出する（ステップＳ３２）。ステップＳ３２の処理は、第１の実施形態におけるステップＳ１２の処理と同様である。

次に、ＥＣＵ５０は、夜間であるか否かを判定する（ステップＳ３３）。ステップＳ３３の処理は、昼夜判定部５１が行う。昼夜判定部５１は、照度センサ４０から出力された車外光量や、画像センサ１０から出力された画像などに基づいて、昼夜を判定する。照度センサ４０から出力された車外光量に基づいて昼夜を判定する場合、昼夜判定部５１は、まず、照度センサ４０から出力された車外光量を取得する。そして、昼夜判定部５１は、この車外光量が所定の閾値よりも高い場合は昼間であると判定し、この車外光量が所定の閾値以下である場合は夜間であると判定する。一方、画像センサ１０から出力された画像に基づいて昼夜を判定する場合、昼夜判定部５１は、まず、画像センサ１０から出力された画像を取得する。そして、昼夜判定部５１は、この画像を構成する各画素の合計輝度を算出し、合計輝度が所定の閾値よりも高い場合は昼間であると判定し、合計輝度が所定の閾値以下である場合は夜間であると判定する。

そして、ＥＣＵ５０は、昼間であると判定すると（ステップＳ３３：ＮＯ）、ステップＳ３４に進み、夜間であると判定すると（ステップＳ３３：ＹＥＳ）、ステップＳ３７に進む。

ステップＳ３３において昼間であると判定したＥＣＵ５０は、次に、開眼度を算出する（ステップＳ３４）。ステップＳ３４の処理は、第１の実施形態におけるステップＳ１６の処理と同様である。

次に、ＥＣＵ５０は、黒目を検出する（ステップＳ３５）。ステップＳ３５の処理は、顔位置・顔特徴点検出部５２が行う。顔位置・顔特徴点検出部５２は、まず、ステップＳ３２において設定した顔位置領域Ｇ１（図４参照）から、黒目探索領域を設定する。黒目探索領域は、赤目探索領域Ｇ２（５参照）と同様である。また、顔位置・顔特徴点検出部５２は、黒目テンプレートを用いたテンプレートマッチングなどにより、黒目探索領域から黒目を検出する。なお、黒目の検出方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。そして、顔位置・顔特徴点検出部５２は、瞼に隠れていない部分の黒目のサイズを算出する。

ここで、図１６を参照して、黒目のサイズの算出方法について説明する。図１６は、黒目のサイズの算出方法を説明するための概要図である。図１６に示すように、ステップＳ３４で算出される開眼度は、上瞼曲線の中点のＹ座標と下瞼曲線の中点のＹ座標との差分により算出されるため、必ずしも、このように算出される開眼度と瞼に隠れていない部分の黒目のサイズとが一致するとは限らない。そこで、顔位置・顔特徴点検出部５２は、黒目を検出すると、この検出した黒目における最上端のＹ座標と最下端のＹ座標とを検出し、この検出した両Ｙ座標の差分を算出する。そして、顔位置・顔特徴点検出部５２は、この算出結果を瞼に隠れていない部分の黒目のサイズとする。

次に、ＥＣＵ５０は、開眼度と黒目のサイズとの相関関係を学習する（ステップＳ３６）。ステップＳ３６の処理は、黒目サイズ学習部５５が行う。図１７は、開眼度と黒目のサイズとの相関関係を示した開眼度−黒目サイズグラフである。黒目サイズ学習部５５は、図１７に示す開眼度−黒目サイズグラフを有している。そして、黒目サイズ学習部５５は、ステップＳ３４で算出した開眼度に対するステップＳ３５で検出した黒目のサイズを、図１７に示す開眼度−黒目サイズグラフにプロットしていくことで、開眼度に対する黒目のサイズを学習する。そして、黒目サイズ学習部５５は、開眼度に対する黒目のサイズの平均値と標準偏差σとを算出する。

一方、上述したステップＳ３３において夜間であると判定したＥＣＵ５０は、次に、赤目テンプレートを更新する（ステップＳ３７）。ステップＳ３７の処理は、赤目テンプレート更新部５６が行う。図１８は、開眼度の推定方法を説明するための概要図である。図１８に示すように、赤目テンプレート更新部５６は、まず、過去のフレームで検出した開眼度の値を記録しておき、カルマンフィルタやパーティクルフィルタなどのフィルタを用いて今回のフレームにおける開眼度を推測する。なお、開眼度の推測方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。次に、赤目テンプレート更新部５６は、ステップＳ３６で学習した開眼度−黒目のサイズグラフを参照して、推測した開眼度における黒目のサイズを算出する。このとき、赤目テンプレート更新部５６は、開眼度−黒目のサイズグラフの平均値を用いて、１つの黒目のサイズを算出してもよく、開眼度−黒目のサイズグラフの標準偏差σを用いて複数の黒目のサイズを算出してもよい。次に、赤目テンプレート更新部５６は、この算出した黒目のサイズの赤目テンプレートを生成する。なお、黒目のサイズを複数個算出した場合は、赤目テンプレートも複数個生成する。そして、赤目テンプレート更新部２５は、この生成した赤目テンプレートで、今回のテンプレートマッチングに用いる赤目テンプレートを更新する。

次に、ＥＣＵ５０は、ステップＳ３７で更新した赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する（ステップＳ３８）。ステップＳ３８は、赤目テンプレート更新部５６が行う。なお、ステップＳ３８の処理は、基本的に第１の実施形態におけるステップＳ１４の処理と同様であり、用いる赤目テンプレートのみが異なる。このため、ステップＳ３８の詳細な説明は省略する。

以上説明したように、第３の実施形態に係る赤目検出装置３によれば、車外光量が高い昼間に、開眼度に対する黒目のサイズの相関関係を学習しておき、車外光量が低い夜間に、この相関関係を参照して、開眼度に対応するサイズの赤目テンプレートを生成するため、より高い確度で開眼度に対応した赤目テンプレートを生成することができる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、第１〜第３の実施形態は別物として説明したが、一部又は全部を適宜組み合わせてもよい。例えば、第１の実施形態は、第２の実施形態よりも精度が高く、第２の実施形態は、第１の実施形態処理も処理負荷が低いため、眠気度が低いときは第１の実施形態の処理を行い、眠気度が高くなると第２の実施形態の処理を行うものとしてもよい。また、第３の実施形態で行った開眼度の推測処理を、第１又は第２の実施形態で行ってもよい。

赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する赤目検出装置として利用可能である。

１〜３…赤目検出装置、１０…画像センサ（車外光量検出手段）、２０…ＥＣＵ、２１…顔位置・顔特徴点検出部、２２…赤目検出部（赤目検出手段）、２３…開眼度算出部（開眼度算出手段）、２４…相対開眼度算出部、２５…赤目テンプレート更新部（赤目テンプレート生成手段）、３０…ＥＣＵ、３１…顔位置・顔特徴点検出部、３２…赤目検出部（赤目検出手段）、３３…開眼度算出部（開眼度算出手段）、３４…眠気推定部（眠気度推定手段）、３５…赤目テンプレート更新部（赤目テンプレート生成手段）、４０…照度センサ（車外光量検出手段）、５０…ＥＣＵ、５１…昼夜判定部（車外光量検出手段）、５２…顔位置・顔特徴点検出部（黒目検出手段）、５３…赤目検出部（赤目検出手段）、５４…開眼度算出部（開眼度算出手段）、５５…黒目サイズ学習部、５６…赤目テンプレート更新部（赤目テンプレート生成手段）、Ｌ…ＬＥＤ光、Ｒ…赤目、Ｃ…赤目候補、Ｆ１…画像、Ｇ１…顔位置領域、Ｇ２…赤目探索領域、Ｇ３…エッジ画像、Ａ１…開眼閾値、Ａ２…閉眼閾値、ＳＡ…眠気度が低い場合の統計分布統計分布、ＳＢ…眠気度が高い場合の統計分布統計分布。

Claims (4)

1. 顔画像を撮像する顔画像センサと、
   前記顔画像センサにより撮像された前記顔画像から閉眼状態を０％及び開眼状態を１００％とした相対開眼度を算出する開眼度算出部と、
   前記開眼度算出部により算出された前記相対開眼度に対応する形状の赤目テンプレートを生成する赤目テンプレート生成部と、
   前記テンプレート生成部により生成された前記赤目テンプレートを用いたテンプレートマッチングにより前記顔画像から赤目を検出する赤目検出部と、
   を有する、赤目検出装置。
2. 前記赤目テンプレート生成部は、前回と今回とで前記開眼度算出部が算出した前記相対開眼度が変化していると判定すると、生成した赤目テンプレートで、次回のテンプレートマッチングに用いる赤目テンプレートを更新する、
   請求項１に記載の赤目検出装置。
3. 顔画像を撮像する顔画像センサと、
   前記顔画像センサにより撮像された前記顔画像から開眼度を算出する開眼度算出部と、
   前記開眼度算出部により算出された前記開眼度から眠気度を推定する眠気推定部と、
   前記眠気推定部により推定された前記眠気度に対応する形状の赤目テンプレートを生成する赤目テンプレート生成部と、
   前記テンプレート生成部により生成された前記赤目テンプレートを用いたテンプレートマッチングにより前記顔画像から赤目を検出する赤目検出部と、
   を有する、赤目検出装置。
4. 顔画像を撮像する顔画像センサと、
   車外光量を検出する車外光量検出部と、
   前記顔画像センサにより撮像された前記顔画像から開眼度を算出する開眼度算出部と、
   前記顔画像センサにより撮像された前記顔画像から黒目を検出する黒目検出部と、
   前記開眼度算出部により算出された前記開眼度に対応する赤目テンプレートを生成する赤目テンプレート生成部と、
   を有し、
   赤目テンプレート生成部は、前記車外光量検出部が検出した車外光量が高い時間帯に、前記開眼度と前記黒目の大きさとの相関関係を学習し、前記車外光量検出部が検出した前記車外光量が低い時間帯に、前記相関関係を参照して前記開眼度に対応する大きさの赤目テンプレートを生成する、
   赤目検出装置。