JP5737399B2

JP5737399B2 - 赤目判定装置

Info

Publication number: JP5737399B2
Application number: JP2013523726A
Authority: JP
Inventors: 清人埴田; 嘉修竹前
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2011-07-11
Filing date: 2011-07-11
Publication date: 2015-06-17
Anticipated expiration: 2031-07-11
Also published as: DE112011105445T5; US20140133705A1; JPWO2013008302A1; US9298995B2; DE112011105445B4; WO2013008302A1

Description

本発明は、車両の搭乗者を撮像した画像情報から検出される赤目候補から赤目を判定する赤目判定装置に関する。

従来から、車両の衝突を事前に回避するために、車両のステアリングコラムに固定したカメラでドライバの顔を撮像し、この撮像した画像からドライバの黒目位置を検出することによりドライバの視線を検出することが行われている。

ところで、車外光量の低い夜間などは、赤目現象が生じる。このため、車外光量の小さい夜間にドライバの視線を検出するためには、画像情報からドライバの赤目を検出する必要がある。

しかしながら、一般に、黒目の検出に比べて赤目の検出は難しい。そこで、特許文献１では、赤目領域が存在する可能性の高い領域から順次画像を走査することで、ドライバの赤目を検出している。

特開２００８−１２９６６４号公報

しかしながら、実際には、ドライバの顔を撮像した画像には、赤目候補となり得る画素パターンが２以上存在する場合がある。

例えば、車外光量の低い夜間は、ドライバの顔が暗いため、照明用のＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）を発光させて、ドライバの顔を撮像する。すると、このＬＥＤ光がドライバの目や瞼などに反射して画像情報に写り込む。このとき、このＬＥＤ光の画素パターンと赤目の画素パターンとが類似しているため、このＬＥＤ光と本当の赤目の２つの画素領域が赤目候補として検出される。その結果、何れの赤目候補が本当の赤目であるのかを判断することができず、赤目を誤検出する可能性が生じる。

そこで、本発明は、赤目候補が複数存在しても高い確度で赤目を判定することができる赤目判定装置を提供することを課題とする。

本発明に係る赤目判定装置は、車両の搭乗者を撮像した画像情報から検出される赤目候補から赤目を判定する赤目判定装置であって、車両の運転中に取得した画像情報から黒目位置の存在確率密度の分布を学習する黒目位置存在確率密度分布学習手段と、画像情報から赤目候補を検出する赤目候補検出手段と、赤目候補検出手段が２以上の赤目候補を検出した場合に、黒目位置存在確率密度分布学習手段が学習した存在確率密度の分布において黒目位置の存在確率密度が高い方の位置にある赤目候補を赤目として判定する赤目判定手段と、を有する。

本発明に係る赤目判定装置によれば、黒目位置存在確率密度分布学習手段により、車両の運転中に取得した画像情報から黒目位置の存在確率密度の分布を学習しておくことで、黒目が存在する可能性の高い位置を把握することができる。そして、赤目候補検出手段により画像情報から複数の赤目候補が検出されると、赤目判定手段により、存在確率密度の分布において黒目位置が存在する確率密度の高い方の位置にある赤目候補を赤目として判定するため、高い確度で赤目の判定を行うことができる。なお、黒目位置の存在確率密度の分布の学習とは、黒目位置の存在確率密度の分布に、黒目位置を記録していくことを意味する。

この場合、搭乗者の顔向きの変化を検出する顔向き変化検出手段と、赤目候補検出手段が検出した各赤目候補の挙動を検出する赤目候補挙動検出手段と、を更に備え、赤目判定手段は、変化検出手段が検出した顔向きの変化と赤目候補挙動検出手段が検出した各赤目候補の挙動との関係に基づいて赤目の判定を行うことが好ましい。通常、人は、見たい方向に顔を向けるため、黒目や赤目の位置は顔向きの変化に追従して移動する。一方、画像に映り込む反射光などの位置は、顔向きの変化に追従することなく、殆ど変化しない。そこで、変化検出手段により検出される顔向きの変化と赤目候補挙動検出手段により検出される各赤目候補の挙動との関係に基づいて赤目の判定を行うことで、複数の赤目候補から赤目を高い確度で判定することができる。

また、車外光量を算出する車外光量算出手段を更に備え、黒目位置存在確率密度分布学習手段は、車外光量が高い時間帯に存在確率密度の分布を学習し、赤目判定手段は、車外光量が低い時間帯に存在確率密度の分布を用いて赤目を判定することが好ましい。車外光量が高い時間帯は赤目現象が生じないため、このような時間帯に黒目位置の存在確率密度の分布を学習することで、存在確率密度の分布の信頼性を向上することができる。そして、車外光量が低い時間帯は、車外光量が高い時間帯に学習した黒目位置の存在確率密度の分布を用いて赤目を判定するため、より高い確度で赤目を判定することができる。

本発明によれば、赤目候補が複数存在しても高い確度で赤目を判定することができる。

実施形態に係る赤目判定装置のブロック構成を示した図である。３Ｄ顔モデルの一例を示す概要図である。黒目位置存在確率密度分布を示した図である。実施形態に係る赤目判定装置の赤目判定処理動作を示すフローチャートである。画像センサが撮像した画像情報の一例である。昼間における顔の特徴点検出処理を説明するための概要図である。夜間における顔の特徴点検出処理を説明するための概要図である。赤目探索領域の一例を示した該略図である。ドライバが正面を向いたときの顔位置領域を示した図である。ドライバが左を向いたときの顔位置領域を示した図である。ドライバが右を向いたときの顔位置領域を示した図である。

以下、図面を参照して、本発明に係る赤目判定装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。

本実施形態に係る赤目判定装置は、ドライバの視線を検出して運転支援制御を行う運転支援制御装置などに搭載されるものである。

図１は、実施形態に係る赤目判定装置のブロック構成を示した図である。図１に示すように、実施形態に係る赤目判定装置１は、画像センサ１０と、照度センサ２０と、ＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）３０と、を備えている。

画像センサ１０は、ドライバの顔を撮像するセンサである。画像センサ１０としては、例えば、車両のステアリングコラムに固定されたＣＣＤカメラ等が用いられる。画像センサ１０が撮像した画像（顔画像）は、各画素の位置や色情報などを表す画像情報で構成されている。そして、画像センサ１０は、撮像した画像の画像情報をＥＣＵ３０へ出力する。

照度センサ２０は、車外光量を計測するセンサである。車外光量とは、車両の外側の光量である。このため、昼間は車外光量が高くなり、夜間は車外光量が低くなる。照度センサ２０としては、例えば、車両の窓付近に固定された光電変換素子等が用いられる。そして、照度センサ２０は、計測した車外光量をＥＣＵ３０へ出力する。

ＥＣＵ３０は、電子制御を行う自動車デバイスのコンピュータであり、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等のメモリ、及び入出力インターフェイスなどを備えて構成されている。

このＥＣＵ３０は、画像センサ１０及び照度センサ２０に接続されており、昼夜判定部３１、顔特徴点検出部３２、顔姿勢推定部３３、黒目位置存在確率密度分布学習部３４、赤目候補検出部３５及び赤目判定部３６を備えている。

昼夜判定部３１は、車外光量の高い昼間か車外光量の低い夜間かを判定する機能を有している。昼夜判定部３１は、例えば、照度センサ２０から出力された車外光量や、画像センサ１０から出力された画像の合計輝度などに基づいて、昼夜を判定する。

顔特徴点検出部３２は、画像センサ１０が撮像した画像から、ドライバの顔の特徴点を検出する機能を有している。具体的に説明すると、顔特徴点検出部３２は、まず、画像センサ１０が撮像した画像全体を探索範囲として、ニューラルネットワーク（ＮｅｕｒａｌＮｅｔｗｏｒｋ）やブースティング（Ｂｏｏｓｔｉｎｇ）等の統計手法により顔位置を発見する。そして、顔特徴点検出部３２は、この発見した顔位置を含む顔位置領域を設定し、この設定した顔位置領域から、ニューラルネットワークやブースティング等の統計手法により顔の特徴点を検出する。顔の特徴点としては、例えば、右目尻、右目頭、左目尻、左目頭、右上瞼、右下瞼、左上瞼、左下瞼、右黒目、左黒目、鼻腔中心、左右口端等が挙げられる。なお、顔の各特徴点の検出は、如何なる手法を用いてもよい。

顔姿勢推定部３３は、顔特徴点検出部３２が検出した顔の特徴点から、ドライバの顔姿勢（顔向き）を推定する機能を有している。具体的に説明すると、顔姿勢推定部３３は、まず、顔特徴点検出部３２が検出した顔の特徴点の座標位置に三次元顔モデル（３Ｄ顔モデル）をフィッティングさせる。図２は、３Ｄ顔モデルの一例を示す概要図である。図２に示すように、３Ｄ顔モデルでは、顔の上下方向に沿ったＹｍ方向、顔の左右方向に沿ったＸｍ方向、顔の前後方向に沿ったＺｍ方向とし、Ｙｍ軸周りの回転をヨー、Ｘｍ軸周りの回転をピッチ、Ｚｍ軸周りの回転をロールとしている。そして、３Ｄ顔モデルは、頭部回転中心からの距離を特徴点ごとに保持したものとなる。そこで、顔姿勢推定部３３は、この３Ｄ顔モデルを顔の特徴点にフィッティングさせて、最も一致するときの位置及び回転（ヨー、ピッチ、ロール）をその時点での顔姿勢とする。なお、顔姿勢の推定方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。そして、顔姿勢推定部３３は、このフィッティングさせた３Ｄ顔モデルの姿勢から、ドライバの顔姿勢（顔向き）を推定する。

黒目位置存在確率密度分布学習部３４は、顔特徴点検出部３２が検出した黒目位置を黒目位置存在確率密度分布に記録する機能を有している。図３は、黒目位置存在確率密度分布を示した図である。図３に示すように、黒目位置存在確率密度分布は、後述する赤目探索領域において、黒目の位置が存在する確率密度を表したものである。具体的に説明すると、黒目位置存在確率密度分布学習部３４は、顔特徴点検出部３２が黒目を検出する度に、この検出した黒目の位置を黒目位置として黒目位置存在確率密度分布に記録する。これにより、黒目位置存在確率密度分布学習部３４は、赤目探索領域において黒目が存在する確率の高い位置を学習していく。なお、黒目位置存在確率密度分布は、図示しない補助記憶装置などに記憶されている。

また、黒目位置存在確率密度分布学習部３４は、黒目位置存在確率密度分布に黒目位置を記録した後に、黒目位置存在確率密度分布の平滑化処理を行う機能を有している。具体的に説明すると、顔特徴点検出部３２が検出した黒目位置には、ノイズが乗っている可能性がある。そこで、黒目位置存在確率密度分布学習部３４は、黒目位置存在確率密度分布に黒目位置を記録した後に、黒目位置存在確率密度分布の平滑化処理を行うことで、このようなノイズの影響を低減する。

赤目候補検出部３５は、画像情報から赤目の候補となり得る１又は複数の赤目候補を検出する機能を有している。具体的に説明すると、赤目候補検出部３５は、まず、顔特徴点検出部３２が検出した目尻、目頭及び上下瞼の特徴点に基づいて、顔特徴点検出部３２が設定した顔位置領域から、赤目探索領域を設定する。赤目探索領域は、赤目を探索する領域である。赤目探索領域は、例えば、目尻よりも外側に配置されて上下方向に延びる線分と、目頭よりも内側に配置されて上下方向に延びる線分と、上瞼よりも上側に配置されて左右方向に延びる線分と、下瞼よりも下側に配置されて左右方向に延びる線分と、により画成される矩形領域となる。そして、赤目候補検出部３５は、テンプレートマッチングなどにより、赤目探索領域から赤目候補を検出し、この検出した赤目候補の中心位置を赤目候補位置として検出する。なお、赤目候補の検出方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。

赤目判定部３６は、赤目候補検出部３５が検出した赤目候補の赤目判定を行う機能を有している。赤目候補検出部３５では、本当の赤目の他に、ドライバの目や瞼などに反射したＬＥＤ光なども赤目候補として検出される。このため、赤目候補検出部３５では、２以上の赤目候補が検出されることがある。そこで、赤目判定部３６は、赤目候補検出部３５が２以上の赤目候補を検出した場合に、何れの赤目候補が本当の赤目であるのかを判定する。

具体的に説明すると、赤目判定部３６は、ドライバの顔向きの変化と赤目候補の挙動との関係に基づいて、赤目候補検出部３５が検出した赤目候補の赤目判定を行う。具体的に説明すると、赤目判定部３６は、顔姿勢推定部３３が推定したドライバの顔向き角度を所定期間分トレースすることで、ドライバの顔向き角度の変化を検出する。このため、赤目判定部３６は、顔向き変化検出手段としても機能する。なお、顔向き角度の変化の検出方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。また、赤目判定部３６は、赤目候補検出部３５が検出した各赤目候補位置をそれぞれ所定期間分トレースすることで、各赤目候補の挙動を検出する。赤目候補の挙動とは、赤目候補の中心位置の変化を意味する。このため、赤目判定部３６は、赤目候補挙動検出手段としても機能する。なお、赤目候補の挙動の検出方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。そして、赤目判定部３６は、赤目候補検出部３５が２以上の赤目候補を検出した場合に、顔向き角度の変化と各赤目候補の挙動との関係に基づいて、各赤目候補の赤目判定を行う。つまり、赤目判定部３６は、顔向き角度の変化に対して赤目候補の挙動が異なる赤目候補、すなわち、顔向き角度の変化に対して赤目候補の位置変化が閾値以下の赤目候補を、赤目候補から除外する。

更に、赤目判定部３６は、黒目位置存在確率密度分布に基づいて、赤目候補検出部３５が検出した赤目候補の赤目判定を行う。具体的に説明すると、赤目判定部３６は、赤目候補検出部３５が２以上の赤目候補を検出した場合に、黒目位置存在確率密度分布において黒目位置の存在確率密度が高い方の位置に存在する赤目候補を赤目として判定する。

次に、本実施形態に係る赤目判定装置１の動作について説明する。図４は、実施形態に係る赤目判定装置の赤目判定処理動作を示すフローチャートである。図４に示す処理は、ＥＣＵ３０の制御により行われ、例えば、イグニッションオンされたタイミングからイグニッションオフされるまでの間、所定の間隔で繰返し行われる。

図４に示すように、まず、ＥＣＵ３０は、画像センサ１０が撮像したドライバの画像を入力する（ステップＳ１）。ステップＳ１では、画像センサ１０が撮像した図５に示す画像Ｆ１を入力する。図５は、画像センサが撮像した画像の一例である。

次に、ＥＣＵ３０は、夜間であるか否かを判定する（ステップＳ２）。ステップＳ２では、例えば、昼夜判定部３１が、照度センサ２０から出力された車外光量や、画像センサ１０から出力された画像などに基づいて、昼夜を判定する。照度センサ２０から出力された車外光量に基づいて昼夜を判定する場合、昼夜判定部３１は、まず、照度センサ２０から出力された車外光量を取得する。そして、昼夜判定部３１は、この車外光量が所定の閾値よりも高い場合は昼間であると判定し、この車外光量が所定の閾値以下である場合は夜間であると判定する。一方、画像センサ１０から出力された画像に基づいて昼夜を判定する場合、昼夜判定部３１は、まず、画像センサ１０から出力された画像を取得する。そして、昼夜判定部３１は、この画像を構成する各画素の合計輝度を算出し、合計輝度が所定の閾値よりも高い場合は昼間であると判定し、合計輝度が所定の閾値以下である場合は夜間であると判定する。

そして、ＥＣＵ３０は、昼間であると判定すると（ステップＳ２：ＮＯ）、ステップＳ３に進み、夜間であると判定すると（ステップＳ２：ＹＥＳ）、ステップＳ５に進む。

ステップＳ２において昼間であると判定したＥＣＵ３０は、次に、顔特徴点を検出する（ステップＳ３）。ステップＳ３では、まず、顔特徴点検出部３２が、ステップＳ１で入力した画像Ｆ１の全体を探索範囲として、ニューラルネットワークやブースティング等の統計手法により顔位置を発見する。そして、図６に示すように、顔特徴点検出部３２が、この発見した顔位置を含む顔位置領域Ｇ１を設定し、この設定した顔位置領域Ｇ１を探索範囲として、ニューラルネットワークやブースティング等の統計手法により、右目尻、右目頭、左目尻、左目頭、右上瞼、右下瞼、左上瞼、左下瞼、右黒目、左黒目、鼻腔中心、左右口端等の特徴点を検出する。そして、顔特徴点検出部３２は、この検出した右黒目及び左黒目の中心位置を右目及び左目の黒目位置として検出する。図６は、昼間における顔の特徴点検出処理を説明するための概要図であり、顔位置領域Ｇ１を示している。

次に、ＥＣＵ３０は、黒目位置存在確率密度分布の学習を行う（ステップＳ４）。ステップＳ４では、黒目位置存在確率密度分布学習部３４が、ステップＳ３で検出した黒目位置を、図３に示す黒目位置存在確率密度分布に記録し、黒目位置が存在する確率密度の分布を学習する。この場合、黒目位置存在確率密度分布に記録されるデータを新鮮なものとするために、一定期間内に検出された黒目位置のみを黒目位置存在確率密度分布に記録して、一定期間よりも前に検出された黒目位置の記録を黒目位置存在確率密度分布から消去することもできる。更にステップＳ４では、黒目位置存在確率密度分布学習部３４が、黒目位置存在確率密度分布に黒目位置を記録した後に、黒目位置存在確率密度分布の平滑化処理を行う。

一方、上述したステップＳ２において夜間であると判定したＥＣＵ３０は、次に、顔特徴点を検出する（ステップＳ５）。ステップＳ５では、まず、顔特徴点検出部３２が、ステップＳ１で入力した画像Ｆ１の全体を探索範囲として、ニューラルネットワークやブースティング等の統計手法により顔位置を発見する。そして、図７に示すように、顔特徴点検出部３２が、この発見した顔位置を含む顔位置領域Ｇ１を設定し、この設定した顔位置領域Ｇ１を探索範囲として、ニューラルネットワークやブースティング等の統計手法により、右目尻、右目頭、左目尻、左目頭、右上瞼、右下瞼、左上瞼、左下瞼、鼻腔中心、左右口端等の特徴点を検出する。図７は、夜間における顔の特徴点検出処理を説明するための概要図であり、顔位置領域Ｇ１を示している。

このとき、ドライバの目には赤目現象が発生し、ドライバの瞳孔が赤目Ｒになっている。このため、ステップＳ５では、昼間のステップＳ３とは異なり、右黒目及び左黒目の特徴点を検出することができない。

また、車外光量の低い夜間は、ドライバの顔を撮像するために、画像センサ１０に搭載されたＬＥＤを発光する。このため、画像センサ１０で撮像した画像には、ドライバの目や瞼に反射したＬＥＤ光Ｌが映り込んでいる。

次に、ＥＣＵ３０は、ステップＳ５で検出した顔の特徴点から、ドライバの顔姿勢（顔向き）を推定する（ステップＳ６）。ステップＳ６では、まず、顔姿勢推定部３３が、ステップＳ５で検出した顔の特徴点の座標位置に、図２に示す３Ｄ顔モデルをフィッティングさせる。そして、顔姿勢推定部３３が、このフィッティングさせた３Ｄ顔モデルの姿勢から、ドライバの顔姿勢（顔向き）を推定する。

次に、ＥＣＵ３０は、１又は複数の赤目候補を探索する（ステップＳ７）。ステップＳ７では、まず、赤目候補検出部３５が、ステップＳ５において設定した顔位置領域Ｇ１（図７参照）から、赤目探索領域を設定する。図８は、赤目探索領域の一例を示した該略図である。図８に示すように、赤目探索領域Ｇ２は、例えば、目尻よりも外側に配置されて上下方向に延びる線分と、目頭よりも内側に配置されて上下方向に延びる線分と、上瞼よりも上側に配置されて左右方向に延びる線分と、下瞼よりも下側に配置されて左右方向に延びる線分と、により画成される矩形領域となる。そして、赤目候補検出部３５が、テンプレートマッチングなどにより、赤目探索領域Ｇ２から赤目候補Ｃを検出し、この検出した赤目候補Ｃの中心位置を赤目候補位置として検出する。

ここで、図８に示す赤目探索領域Ｇ２を見てみる。すると、赤目探索領域Ｇ２には、ドライバの目や瞼に反射したＬＥＤ光Ｌが映り込んでいる。このＬＥＤ光Ｌの画素パターンは、赤目Ｒの画素パターンと近似している。このため、赤目候補検出部３５は、本当の赤目Ｒを赤目候補Ｃとして検出するとともに、このＬＥＤ光Ｌも赤目候補Ｃとして検出する。その結果、ステップＳ７では、２つの赤目候補Ｃが検出される。

次に、ＥＣＵ３０は、ステップＳ７で検出された赤目候補の赤目判定を行う（ステップＳ８）。

ステップＳ８では、まず、ステップＳ７で２以上の赤目候補Ｃを検出した場合に、赤目判定部３６が、ステップＳ６で推定したドライバの顔向き角度を所定期間分トレースすることにより、ドライバの顔向き角度の変化を検出する。また、赤目判定部３６が、ステップＳ７で検出した各赤目候補Ｃの赤目候補位置をそれぞれ所定期間分トレースすることにより、各赤目候補Ｃの挙動を検出する。そして、赤目判定部３６が、顔向き角度の変化に対して赤目候補Ｃの挙動が異なる赤目候補、すなわち、顔向き角度の変化に対して赤目候補位置の位置変化が閾値以下となる赤目候補を、赤目候補から除外する。

図９は、ドライバが正面を向いたときの顔位置領域を示した図である。図１０は、ドライバが左を向いたときの顔位置領域を示した図である。図１１は、ドライバが右を向いたときの顔位置領域を示した図である。図９に示すように、ドライバが正面を向いている場合は、赤目Ｒが目の中央に位置し、ＬＥＤ光Ｌが目の右下に位置している。ここで、ドライバが左側を見ようとすると、図１０に示すように、ドライバの顔向きが左向きに変化するとともに、赤目Ｒも目の左側に移動する。しかしながら、ＬＥＤ光Ｌは、ＬＥＤとドライバの顔と画像センサ１０との位置関係によって画像に映り込む位置が特定されるため、目の右下に留まったままとなる。一方、ドライバが右側を見ようとすると、図１１に示すように、ドライバの顔向きが右向きに変化するとともに、赤目Ｒも目の右側に移動する。しかしながら、ＬＥＤ光Ｌは、ＬＥＤとドライバの顔と画像センサ１０との位置関係によって画像に映り込む位置が特定されるため、目の右下に留まったままとなる。このように、赤目Ｒの位置は、顔向きの変化に伴い移動するが、ＬＥＤ光Ｌは顔向きの変化に関係なく所定の位置に留まる。そこで、ステップＳ８では、顔向き角度の変化に対して赤目候補Ｃの挙動が異なる赤目候補Ｃ、すなわち、顔向き角度の変化に対して赤目候補位置の位置変化が閾値以下となる赤目候補Ｃは、赤目Ｒでは無いと判断して、赤目候補Ｃから除外する。

次に、ステップＳ８では、赤目候補Ｃが２以上ある場合に、まず、赤目判定部３６が、黒目位置存在確率密度分布を参照して、各赤目候補Ｃの赤目候補位置における黒目位置の存在確率密度を求める。そして、赤目判定部３６が、黒目位置の存在確率密度が高い方の位置にある赤目候補Ｃを、赤目Ｒであると判定する。

以上説明したように、本実施形態に係る赤目判定装置１によれば、車両の運転中に取得した画像情報から黒目位置存在確率密度分布を学習しておくことで、黒目の存在可能性の高い位置を把握することができる。そして、画像情報から複数の赤目候補が検出されると、黒目位置存在確率密度分布において黒目位置の存在確率密度が高い方の位置にある赤目候補を赤目として判定するため、高い確度で赤目の判定を行うことができる。

また、車外光量の高い昼間に黒目位置の存在確率密度の分布を学習することで、黒目位置存在確率密度分布の信頼性を向上することができる。そして、車外光量が低い夜間は、昼間に学習した黒目位置存在確率密度分布を参照して赤目を判定するため、より高い確度で赤目を判定することができる。

また、赤目判定部３６により、顔向き角度の変化に対して赤目候補位置の位置変化が閾値以下となる赤目候補を赤目候補から除外することで、ＬＥＤ光などを赤目候補から適切に除外することができる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、上記実施形態において、赤目判定部３６は、黒目位置存在確率密度分布に基づいて赤目を判定する手法と、顔向きの変化と赤目候補の挙動との関係に基づいて赤目を判定する手法と、の双方を行うものとして説明したが、何れか一方のみの手法を行うものとしてもよい。

車両の搭乗者を撮像した画像情報から検出される赤目候補から赤目を判定する赤目判定装置として利用可能である。

１…赤目判定装置、１０…画像センサ、２０…照度センサ、３１…昼夜判定部（車外光量算出手段）、３２…顔特徴点検出部、３３…顔姿勢推定部、３４…黒目位置存在確率密度分布学習部（黒目位置存在確率密度分布学習手段）、３５…赤目候補検出部（赤目候補検出手段）、３６…赤目判定部（赤目判定手段、顔向き変化検出手段、赤目候補挙動検出手段）、Ｒ…赤目、Ｃ…赤目候補、Ｌ…ＬＥＤ光、Ｆ１…画像、Ｇ１…顔位置領域、Ｇ２…赤目探索領域。

Claims

車両の搭乗者を撮像した画像情報から検出される赤目候補から赤目を判定する赤目判定装置であって、
前記車両の運転中に取得した前記画像情報から黒目位置の存在確率密度の分布を学習する黒目位置存在確率密度分布学習手段と、
前記画像情報から赤目候補を検出する赤目候補検出手段と、
前記赤目候補検出手段が２以上の赤目候補を検出した場合に、前記黒目位置存在確率密度分布学習手段が学習した前記存在確率密度の分布において黒目位置の存在確率密度が高い方の位置にある赤目候補を赤目として判定する赤目判定手段と、
を有する、赤目判定装置。
前記搭乗者の顔向きの変化を検出する顔向き変化検出手段と、
前記赤目候補検出手段が検出した各赤目候補の挙動を検出する赤目候補挙動検出手段と、
を更に備え、
前記赤目判定手段は、前記顔向き変化検出手段が検出した顔向きの変化と前記赤目候補挙動検出手段が検出した各赤目候補の挙動との関係に基づいて赤目の判定を行う、請求項１に記載の赤目判定装置。
車外光量を算出する車外光量算出手段を更に備え、
前記黒目位置存在確率密度分布学習手段は、車外光量が高い時間帯に前記存在確率密度の分布を学習し、
前記赤目判定手段は、車外光量が低い時間帯に前記存在確率密度の分布を用いて赤目を判定する、請求項１に記載の赤目判定装置。