JP5661043B2 - 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法 - Google Patents

Description

本発明は、眼鏡への外光映り込み判定装置、視線検出装置及び外光映り込み判定方法に関する。

視線検出又は表情検出などでは、瞳孔検出が行われる。この瞳孔検出が眼鏡着用時に行なわれると、瞳孔が検出されないことがある。これは、眼鏡のレンズに外光が映り込む映り込み現象に起因する。眼鏡レンズへの外光映り込みの程度は、レンズの材質、コーティング、顔の姿勢、外光の強度、波長などによって異なる。したがって、映り込み自体以外の間接的な情報から映り込み状態を高精度に推定することは、困難である。

このような課題に対して、従来、眼鏡レンズへの外光映り込み検出手法（第１の外光映り込み検出方法）が提案されている（例えば、特許文献１参照）。第１の外光映り込み検出方法では、目領域のエッジの移動方向に基づいて、眼鏡レンズへの外光映り込みが検出される。第１の外光映り込み検出方法では、車が前進している時に生じる運転者の眼鏡への映り込みを検出することが前提とされているので、エッジが画像の下から上へ移動するときに映り込みが検出される。

また、第２の外光映り込み検出方式として、目領域の高輝度領域を検出する方式が提案されている（例えば、特許文献２参照）。この方法では、顔を照射する投光器を切り替えながら撮影し、得られた複数の画像において移動する高輝度領域を眼鏡レンズへの映り込みとして検出している。

特開２００９−１６９７４０号公報 特開２００２−３５２２２９号公報

しかしながら、上記した第１の外光映り込み検出方法では、類似する複数のエッジが映り込んだ場合には１つのエッジを他のエッジと間違えることなく追跡することが困難であるので、映り込みの検出精度が低下してしまうか、又は、そもそも検出自体が困難となる。

また、上記した第１の外光映り込み検出方法では、車が前進している時に生じる、運転者が掛けている眼鏡への映り込みを検出することが前提とされているので、車が旋回している状況又は運転者が顔を左右に振る状況等では、検出精度が低下してしまう。これは、エッジの移動方向を一意に決定することができないためである。

また、上記した第２の映り込み検出方式では、目領域における高輝度領域を検出しているため、低輝度の映り込みを検出することが困難である。

本発明は、かかる点に鑑みてなされたものであり、エッジを用いずに、且つ、眼鏡における映り込み発生箇所の輝度が低い場合であっても、映り込みを判定することができる外光映り込み判定装置、視線検出装置及び外光映り込み判定方法を提供することを目的とする。

本発明の一態様の映り込み判定装置は、眼鏡への外光映り込みを判定する映り込み判定装置であって、前記眼鏡を掛けているユーザの目領域画像を取得する画像取得手段と、前記目領域画像の輝度分布を表す輝度ヒストグラムを算出する輝度ヒストグラム算出手段と、撮像タイミングの異なる２つの前記目領域画像から算出された２つの前記輝度ヒストグラム間で差を取ることにより、差分ヒストグラムを算出する差分ヒストグラム算出手段と、前記差分ヒストグラムと輝度に応じた重みとに基づいて、前記外光映り込みに関する評価値を算出する評価値算出手段と、前記算出された評価値に基づいて、前記外光映り込みを判定する判定手段と、を具備する。

本発明の一態様の映り込み判定方法は、眼鏡への外光映り込みを判定する映り込み判定方法であって、前記眼鏡を掛けているユーザの目領域画像を取得し、前記目領域画像の輝度分布を表す輝度ヒストグラムを算出し、撮像タイミングの異なる２つの前記目領域画像から算出された２つの前記輝度ヒストグラム間で差を取ることにより、差分ヒストグラムを算出し、前記差分ヒストグラムと輝度に応じた重みとに基づいて、前記外光映り込みに関する評価値を算出し、前記算出された評価値に基づいて、前記外光映り込みを判定する。

本発明の一態様の視線検出装置は、眼鏡を掛けているユーザの目領域画像を取得する画像取得手段と、前記目領域画像の輝度分布を表す輝度ヒストグラムを算出する輝度ヒストグラム算出手段と、撮像タイミングの異なる２つの前記目領域画像から算出された２つの前記輝度ヒストグラム間で差を取ることにより、差分ヒストグラムを算出する差分ヒストグラム算出手段と、前記差分ヒストグラムと輝度に応じた重みとに基づいて、前記眼鏡への外光映り込みに関する評価値を算出する評価値算出手段と、前記算出された評価値を正規化することにより得られる正規化評価値を、所定の信頼度最高値から減算することにより、前記外光映り込みに起因する瞳孔検出への影響を考慮した瞳孔検出結果に関する信頼度を算出する信頼度算出手段と、前記ユーザの視線検出処理を実行し、視線検出結果と共に前記信頼度算出手段において算出された前記信頼度を出力する視線検出処理手段と、を具備する

本発明によれば、エッジを用いずに、且つ、眼鏡における映り込み発生箇所の輝度が低い場合であっても、映り込みを判定することができる外光映り込み判定装置、視線検出装置及び外光映り込み判定方法を提供することができる。

本発明の実施の形態１に係る映り込み判定装置の構成を示すブロック図 目領域検出部の構成を示すブロック図 映り込み判定装置の動作説明に供するフロー図 ターゲット画像である顔画像を示す図 輝度ヒストグラム算出部の処理説明に供する図 差分算出部の処理説明に供する図 重みのバリエーションの説明に供する図 本発明の実施の形態２に係る映り込み判定装置の構成を示すブロック図

以下、本発明の実施の形態について図面を参照して詳細に説明する。

［実施の形態１］
［映り込み判定装置１００の構成］
図１は、本発明の実施の形態１に係る映り込み判定装置１００の構成を示すブロック図である。

映り込み判定装置１００は、外光が眼鏡に映り込むことにより生じる映り込み現象の程度が所定のレベルを超えているか否かを判定する。映り込み判定装置１００は、例えば、自動車の車室内に設けられ、視線検出装置と接続されて使用される。この視線検出装置は、映り込み判定装置１００によって映り込みが弱いと判定される場合にのみ、ドライバーの視線方向の検出処理を実行する。以下では、特に、映り込み判定装置１００が視線検出装置に適用された場合について説明する。

図１において、映り込み判定装置１００は、目領域画像取得部１０１と、輝度ヒストグラム算出部１０２と、輝度ヒストグラム記憶部１０３と、差分算出部１０４と、評価値算出部１０５と、評価値記憶部１０６と、映り込み判定部１０７とを有する。

目領域画像取得部１０１は、目領域画像を取得し、輝度ヒストグラム算出部１０２へ出力する。

具体的には、目領域画像取得部１０１は、画像入力部１１１と、目領域検出部１１２とを有する。

画像入力部１１１は、撮像ターゲット（つまり、ここでは、人物）を撮像する。このターゲット画像データは、目領域検出部１１２へ出力される。

画像入力部１１１は、例えば、車のハンドルの上、又は、ダッシュボード上など、運転席の正面に設置される。これにより、画像入力部１１１によって運転中の運転者の顔が撮影される。

目領域検出部１１２は、画像入力部１１１から受け取るターゲット画像から、目領域画像を検出する。

具体的には、目領域検出部１１２は、図２に示すように、顔検出部１２１と、顔部品検出部１２２と、目領域決定部１２３とを有する。

顔検出部１２１は、画像入力部１１１から受け取るターゲット画像から顔画像を検出し、顔画像データを顔部品検出部１２２へ出力する。

顔部品検出部１２２は、顔検出部１２１から受け取る顔画像から顔部品群（つまり、目尻、目頭など）を検出し、各顔部品の位置座標を目領域決定部１２３へ出力する。

目領域決定部１２３は、顔部品検出部１２２から受け取る、各顔部品の位置座標に基づいて、目領域画像の位置、大きさを決定する。この目領域画像の位置、および大きさは、目領域画像検出結果として、画像入力部１１１から出力されたターゲット画像と共に輝度ヒストグラム算出部１０２へ出力される。なお、目領域画像の位置及び大きさは、右目及び左目のそれぞれについて算出される。

図１に戻り、輝度ヒストグラム算出部１０２は、目領域画像取得部１０１から受け取るターゲット画像データから目領域の輝度ヒストグラムを算出し、算出された輝度ヒストグラムを輝度ヒストグラム記憶部１０３と差分算出部１０４とに出力する。

輝度ヒストグラム記憶部１０３は、輝度ヒストグラム算出部１０２から受け取る輝度ヒストグラムを、当該輝度ヒストグラムの算出に用いられたターゲット画像の撮像時刻と対応付けて記憶する。

差分算出部１０４は、輝度ヒストグラム算出部１０２から受け取る輝度ヒストグラムと、輝度ヒストグラム記憶部１０３に保存された過去の輝度ヒストグラムとの差分を算出し、「差分ヒストグラム」として、評価値算出部１０５に出力する。

具体的には、輝度ヒストグラム算出部１０２から過去に出力された輝度ヒストグラムの履歴が輝度ヒストグラム記憶部１０３に記憶されているので、差分算出部１０４は、輝度ヒストグラム算出部１０２から今回受け取った輝度ヒストグラムと、輝度ヒストグラム記憶部１０３に記憶されている輝度ヒストグラムの履歴とに基づいて、差分ヒストグラムを算出する。より詳細には、差分ヒストグラムは、各ビンについて今回の輝度ヒストグラムと過去の輝度ヒストグラムとの間で差を取ることにより算出される。この差分ヒストグラムは、評価値算出部１０５に出力される。例えば、差分ヒストグラムは、或るフレームの輝度ヒストグラムと、そのフレームより１０フレーム前のフレームの輝度ヒストグラムとの間で差が取られることにより、算出される。この１０フレーム前は例示であり、これに限定されるものではない。

評価値算出部１０５は、差分算出部１０４から受け取る差分ヒストグラムと重みとから評価値を算出する。具体的には、評価値算出部１０５は、差分ヒストグラムと重みとの積をビン毎に算出し、算出結果の総和を算出することにより、評価値を算出する。上記した重みは、輝度に応じた値をとる。

より詳細には、評価値算出部１０５は、例えば、輝度と重みとの相関関係テーブルを有しており、差分ヒストグラムの各ビンの値と、各ビンの輝度と相関関係テーブルにおいて対応付けられている重み値とを乗算する。そして、評価値算出部１０５は、各ビンに関して得られた乗算結果を全ビンについて加算することにより、評価値を得る。

算出された評価値は、評価値記憶部１０６と映り込み判定部１０７とに出力される。

評価値記憶部１０６は、評価値算出部１０５から受け取る評価値を、当該評価値の算出に用いられたターゲット画像の撮像時刻と対応付けて記憶する。

映り込み判定部１０７は、評価値算出部１０５にて算出された評価値に基づいて、外光映り込みを判定する。この判定は、評価値算出部１０５から今回受け取った評価値と、評価値記憶部１０６に記憶されている評価値の履歴とに基づいて行われる。

具体的には、映り込み判定部１０７は、評価値算出部１０５にて算出された評価値が連続して所定回数だけ所定の閾値以上の値となる場合（つまり、所定時間以上の間で常に評価値が所定の閾値以上となる場合）には、後段の視線検出の精度に影響を及ぼす映り込みが発生していると判定する。映り込み判定部１０７で映り込みが発生していると判定される場合には、後段の視線検出を行う機能部では、視線検出処理が行われない。

［映り込み判定装置１００の動作］
以上の構成を有する映り込み判定装置１００の動作について説明する。図３は、映り込み判定装置１００の動作説明に供するフロー図である。図３のフロー図には、上記した視線検出装置における処理フローも含まれている。

図３に示す処理フローは、撮影作業の開始と共にスタートする。撮影作業は、ユーザの操作によって開始されても良いし、外的な何らかの信号をトリガとして開始されても良い。

ステップＳ２０１で画像入力部１１１は、撮像ターゲット（つまり、ここでは、人物）を撮像する。これにより、ターゲット画像が取得される。

画像入力部１１１としては、例えば、ＣＭＯＳイメージセンサとレンズを備えたデジタルカメラが想定される。従って、画像入力部１１１で撮像されたＰＰＭ（Portable Pix Map file format）形式の画像等が、画像入力部１１１に含まれる、図示されていない画像記憶部（例えば、ＰＣのメモリ空間）に一時記憶された後、ＰＰＭ形式のまま目領域検出部１１２へ出力される。

ステップＳ２０２で顔検出部１２１は、画像入力部１１１から受け取るターゲット画像から顔画像を検出する。図４は、ターゲット画像である顔画像を示す図である。なお、撮像した顔画像では、例えば、画像横方向をＸ軸、画像縦方向をＹ軸とし、１画素が１座標点である。

顔領域検出処理では、例えば、入力画像から、特徴となる画像の候補（つまり、特徴画像候補）を抽出し、抽出された特徴画像候補と、あらかじめ用意した顔領域を表す特徴画像とを比較することにより、類似度の高い特徴画像候補を検出する。類似度は、例えば、あらかじめ取得した平均顔のガボール特徴量と、入力画像をスキャンすることにより抽出されるガボール特徴量とを照合し、両者の差分の絶対値の逆数として求められる。

この場合、顔検出部１２１は、あらかじめ用意したテンプレートと比べて、図４の画像４００の中で最も相関の高い領域を、顔画像４０１として特定する。なお、顔領域検出処理は、画像中から肌色領域を検出すること（つまり、肌色領域検出）によって行われても良いし、楕円部分を検出すること（つまり、楕円検出）により行われても良いし、統計的パターン識別手法を用いることにより行われても良い。その他、上記顔検出を行うことができる技術であれば、どのような方法が採用されても良い。

ステップＳ２０３で顔部品検出部１２２は、顔検出部１２１から受け取る顔画像から顔部品群（つまり、口角、目尻、目頭など）を検出し、各顔部品の位置座標を目領域決定部１２３へ出力する。顔部品群の探索領域は、ステップＳ２０２で特定された顔領域４０１である。図４には、それぞれ顔部品群４０２が示されている。

顔部品群検出処理では、例えば、分離度フィルタを用いて、口角、目尻、目頭などの顔部品の端点又は鼻の穴などの２次元座標が検出される。また、あらかじめ複数の顔画像と顔画像に対応する顔部品の位置との対応関係を学習器に学習させておき、顔部品検出部１２２は、顔画像４０１が入力された際に、その対応関係に関して最も尤度が高い場所を顔部品として検出しても良い。又は、顔部品検出部１２２は、標準的な顔部品のテンプレートを用いて、顔画像４０１内から顔部品を探索しても良い。

ステップＳ２０４で目領域決定部１２３は、顔検出部１２１から受け取る顔画像と、顔部品検出部１２２から受け取る顔部品群から、目の領域を決定する。

目領域決定処理では、例えば、左右それぞれの目において、目尻、目頭を含む矩形領域４０３を目領域として決定し、矩形の左上端点座標と、右下端点座標を、目領域情報として取得する。

ステップＳ２０５で輝度ヒストグラム算出部１０２は、顔検出部１２１から受け取る顔画像と目領域決定部１２３から受け取る目領域情報から、目領域４０３内の輝度ヒストグラムを算出する（図５参照）。図５Ａには、目領域４０３が示され、図５Ｂには、目領域４０３の輝度ヒストグラムが示されている。

ここで算出された輝度ヒストグラムは、１６個のビンを有している。すなわち、顔画像の階調が２５６階調である場合には、１つのビンに１６階調が対応付けられている。従って、輝度ヒストグラム算出部１０２は、目領域４０３内で、各ビンに属する輝度を持つ画素の個数を計上する。なお、ここで挙げたビンの数及び１つのビンに対応付けられる階調の数は例示であり、この数に限定されるものではない。

ステップＳ２０６で輝度ヒストグラム記憶部１０３は、輝度ヒストグラム算出部１０２から受け取る輝度ヒストグラムを、算出に使用した顔画像の撮影時刻と対応づけて、過去ヒストグラムとして保存する。なお、後述の映り込み判定に必要な時間以上過去の情報は、上書き又は消去されても良い。

ステップＳ２０７で差分算出部１０４は、輝度ヒストグラム算出部１０２から受けとる輝度ヒストグラムと、輝度ヒストグラム記憶部１０３から受け取る過去ヒストグラムとから、図６Ａに示すように２つの輝度ヒストグラム間の差分を算出することにより、差分ヒストグラムを算出する。具体的には、第１の輝度ヒストグラムと第２の輝度ヒストグラムとの間で任意のビンで差を算出し、算出結果の絶対値が、差分ヒストグラムにおけるその任意のビンの値となる。すなわち、図６Ｂに示される輝度ヒストグラムが第１の輝度ヒストグラムであり、図６Ｃに示される輝度ヒストグラムが第２の輝度ヒストグラムである場合、差分ヒストグラムは図６Ｄのようになる。

ステップＳ２０８で評価値算出部１０５は、差分ヒストグラムと重みとの積をビン毎に算出し、算出結果の総和を算出することにより、評価値を算出する。

ここでは、任意のビンに対して用いられる重みには、その任意のビンの平均輝度が用いられる。すなわち、図５に示したビンに対応する矩形の中心輝度が、そのビンに対して用いられる重みとなる。なお、使用される重みのバリエーションについて、後に詳しく説明する。

従って、この場合には、評価値の算出は、次の式（１）で行われる。
ここで、式（１）において、Ｖは評価値を意味し、Ｂは各ビンの平均輝度を意味し、Ｓは差分ヒストグラムにおける各ビンの値を意味する。

ここで、上記の通り、評価値は、差分ヒストグラムと重みとの積をビン毎に算出し、算出結果の総和を算出することにより、算出される。この評価値の算出には差分ヒストグラムが用いられるので、評価値には、輝度ヒストグラムの変動レベルが反映される。また、この評価値の算出には各ビンに応じた重みが用いられ、その重みには各ビンの平均輝度が用いられている。すなわち、ここでは、重みは、輝度に比例する（重みのバリエーション１）。従って、評価値は、高輝度なビンの変動に関して敏感である一方、低輝度なビンの変動に関しては高輝度なビンに比べると鈍感であるものの、その変動が反映された値となっている。

さらに、視線検出の精度は、輝度ヒストグラムの変動レベルに影響を受けやすい。すなわち、輝度ヒストグラムの変動が大きい程、視線検出の精度は低下する傾向にある。従って、上記のように輝度ヒストグラムの変動レベルが反映された評価値を用いることにより、視線検出の精度に影響を与える映り込みが発生しているか否かを精度良く判定することができる。また、映り込みが発生している画像領域の輝度は、映り込みが発生していない画像領域の輝度よりも高くなりやすい傾向にあるが、その輝度の絶対値は必ずしも高くないという特徴がある。従って、上記のように低輝度なビンの変動も反映された評価値を用いることにより、低輝度の映り込みが発生している場合であっても、視線検出の精度に影響を与える映り込みが発生しているか否かを精度良く判定することができる。

ステップＳ２０９で評価値記憶部１０６は、評価値算出部１０５から受け取る評価値を、算出に使用した顔画像の撮影時刻と対応づけて、過去の評価値として保存する。このとき、後述の映り込み判定に必要な時間以上過去の評価値は、上書き又は消去されても良い。

ステップＳ２１０で映り込み判定部１０７は、評価値算出部１０５にて算出された評価値に基づいて、外光映り込みを判定する。映り込み判定部１０７は、評価値算出部１０５にて算出された評価値に基づいて、後段の視線検出の精度に影響を及ぼす映り込みが発生しているか否かを判定する。この判定は、評価値算出部１０５から今回受け取った評価値と、評価値記憶部１０６に記憶されている評価値の履歴とに基づいて行われる。

具体的には、映り込み判定部１０７は、評価値算出部１０５にて算出された評価値が連続して所定回数だけ所定の閾値以上の値となる場合（つまり、所定時間以上の間で常に評価値が所定の閾値以上となる場合）には、後段の視線検出の精度に影響を及ぼす映り込みが発生していると判定する。

ステップＳ２１１で視線検出部（図示せず）は、映り込み判定部１０７によって映り込みが発生していないと判定された場合には、視線を検出する。

視線検出は、例えば、顔部品群４０２の座標から算出される顔の正面方向の向きを表す顔向きベクトルと、目尻、目頭、瞳孔中心の座標から算出される顔の正面方向に対する視線方向ベクトルから算出される。

顔向きベクトルは、例えば、以下の手順で算出される。まず、あらかじめ取得した運転者の顔部品群の三次元座標を回転および並進させることにより変換する。そして、変換した三次元座標を、瞳孔検出に使用されたターゲット画像に投影する。そして、ステップＳ２０３で検出した顔部品群と最も一致する回転・並進パラメータを算出する。このとき、あらかじめ運転者の顔部品群の三次元座標を取得した際に、運転者の顔が向いている方向を表すベクトルと、決定された回転パラメータによって回転したベクトルとの組みが、顔向きベクトルである。

また、視線方向ベクトルは、例えば、以下の手順で算出される。まず、あらかじめ、所定の方向を顔が向いている場合に、顔向きと同じ方向を見ている際の運転者の顔部品群と瞳孔中心の三次元座標とを記憶する。瞳孔中心の検出は、例えば、目領域内において所定の輝度以下の画素の重心をとることで行なわれる。次に、検出した瞳孔の三次元座標から、視線方向と反対側に所定の距離だけ移動した位置を眼球中心位置として算出する。このとき、上記所定の距離は、一般的な成人眼球の半径である１２ｍｍ程度が適当であるが、上記値に限らず、任意の値を用いても良い。次に、顔向きベクトル算出時に取得した顔の回転・並進パラメータを用いて、検出時の眼球中心の三次元座標を求める。次に、眼球中心を中心とし、半径が上記所定の距離である球上に瞳孔があると想定し、検出された瞳孔中心が上記球上のどこにあるか探索する。最後に、眼球中心と探索された球上の点を結ぶベクトルを視線方向として算出する。

ステップＳ２１２では、終了判定が行なわれる。終了判定は、人手による終了命令の入力によって行われても良いし、外的な何らかの信号をトリガに映り込み判定装置１００により行われても良い。

ステップＳ２１２で終了すると判定された場合に、図３の処理が終了する。

〈重みのバリエーション〉
重みのバリエーションとしては、上記したバリエーション１の他に、次のようなバリエーションが考えられる。図７は、重みのバリエーションの説明に供する図である。図７Ａには、バリエーション１の輝度と重みの相関関係が示されている。図７Ｂには、バリエーション２の輝度と重みの相関関係が示されている。図７Ｃには、バリエーション３の輝度と重みの相関関係が示されている。図７Ｄには、バリエーション４の輝度と重みの相関関係が示されている。

（バリエーション２）
バリエーション２の重み曲線は、低輝度領域で重み値がゼロであり、低輝度領域を除く高輝度領域で重み値が輝度に比例して増加する。このバリエーション２の重みは、目領域全体がかなり明るく、低輝度な映りこみが明らかに発生しない場合に適している。この重みを用いることにより、評価値が低輝度部分（まつげなど）の影響を受けないようにすることができる。

（バリエーション３）
バリエーション３の重み曲線は、Ｓ字曲線となる。このバリエーション３の重みは、目領域全体がなり明るいにもかかわらず、低輝度での差分が大きいため誤判断が頻発する場合に適している。この重みを用いることにより、輝度が高い場合の重みをより大きく、輝度が低い場合をより小さくすることができるので、誤判断を軽減することができる。

（バリエーション４）
バリエーション４の重み曲線は、低輝度領域で重み値が一定であり、中輝度領域で重み値が輝度に比例して増加し、高輝度領域で重み値が一定となる。この重みを用いることにより、目領域全体が暗く低輝度な映り込みが発生しやすい場合に、低輝度の重みが一定以下にならないようにすることができる。これと同時に、高輝度な部分は映り込みである可能性が高いので、一定以上輝度が高い場合には重みを最大にして評価値が高くなりやすくすることができる。

なお、以上のバリエーション１〜４は、それぞれ単独で固定的に用いられても良いし、映り込み判定装置１００の動作する環境に応じて切り替えられても良い。

以上のように本実施の形態によれば、映り込み判定装置１００において、輝度ヒストグラム算出部１０２が、目領域画像の輝度分布を表す輝度ヒストグラムを算出し、差分算出部１０４が、撮像タイミングの異なる２つの目領域画像から算出された２つの前記輝度ヒストグラム間で差を取ることにより、差分ヒストグラムを算出し、評価値算出部１０５が、差分ヒストグラムと輝度に応じた重みとに基づいて、外光映り込みに関する評価値を算出し、映り込み判定部１０７が、算出された評価値に基づいて、外光映り込みを判定する。

こうすることで、低輝度なビンの変動を含む輝度ヒストグラム全体の変動のレベルが反映された評価値に基づいて外光映り込みを判定することができるので、エッジを用いずに、且つ、眼鏡における映り込み発生箇所の輝度が低い場合であっても、視線検出の精度に影響を及ぼす映り込みを判定することができる。

［実施の形態２］
実施の形態２は、実施の形態１に係る映り込み判定装置１００と同様に評価値を算出し、算出された評価値に基づいて、瞳孔検出結果等の信頼度を算出する映り込み判定装置に関する。実施の形態１では、評価値が連続して所定の値を超えた場合には瞳孔検出を行わないとして説明した。しかしながら、瞳孔検出が不安定な場合でも、検出結果の信頼性が低いという情報と共に、瞳孔検出結果が欲しい場合もある。そこで、実施の形態２は、瞳孔検出結果と共に、瞳孔検出結果等の信頼度情報を提供するものである。

図８は、本発明の実施の形態２に係る映り込み判定装置８００の構成を示す。図８において、実施の形態１の映り込み判定装置１００の構成要素と同じ機能である構成要素には、同一の符号を付し、その構成要素に関する説明は省略する。

図８において、映り込み判定装置８００は、信頼度算出部８０１を有する。

信頼度算出部８０１は、評価値算出部１０５から入力された評価値に対して正規化を行い、これにより得られた正規化評価値を信頼度の最高値から減算することによって、瞳孔検出の信頼度を算出する。この算出された瞳孔検出信頼度は、視線検出装置における視線検出を行う視線検出部（図示せず）に出力される。そして、その視線検出部（図示せず）は、視線検出結果と共に、瞳孔検出信頼度を出力する。

ここで、瞳孔検出信頼度は、映り込みの程度が高い場合には、瞳孔検出が難しくなるため悪くなり、映り込みの程度が低い場合には、瞳孔検出が容易になるため良くなる。具体的には、例えば、式（１）で示した評価値Ｖを正規化した値をＶ_ｎとしたとき、信頼度Ｃは式（２）によって表される。
ただし、Ｖ_ｎは、０から１の間の値を取る値である。Ｖ_ｎは、例えば、Ｖの理論上の最大値、または、経験上の最大値によってＶを除算した値である。なお、Ｖの経験上の最大値によってＶを除算した値が１以上の場合には、Ｖ_ｎは１とする。

なお、本実施の形態における瞳孔検出信頼度とは、眼鏡の外光映り込みに起因する瞳孔検出への影響を考慮した瞳孔検出結果に関する信頼度である。すなわち、照度不足による瞳孔検出の不安定化など、他の原因に起因する瞳孔検出への影響を考慮した瞳孔検出結果に関する信頼度は、本実施の形態における瞳孔検出信頼度には含まれない。上記した他の原因に起因する瞳孔検出への影響を考慮する場合には、それぞれの原因又は現象ごとに信頼度を算出し、それらの総和又は総乗によって最終的な瞳孔検出結果の信頼度を算出してもよい。

以上のように本実施の形態によれば、映り込み判定装置８００を含む視線検出装置において、信頼度算出部８０１が、評価値算出部１０５において算出された評価値に対して正規化を行い、これにより得られた正規化評価値を信頼度の最高値から減算することによって、瞳孔検出の信頼度を算出する。そして、視線検出部（図示せず）は、ユーザの視線検出を実行し、その視線検出結果と共に瞳孔検出信頼度を出力する。

こうすることで、瞳孔検出結果がどの程度信用できるかを考慮して視線方向検出を行うことができる。

［他の実施の形態］
上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。

また、上記各実施の形態に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

２０１０年６月１７日出願の特願２０１０−１３８３５４の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明の外光映り込み判定装置、視線検出装置及び外光映り込み判定方法は、エッジを用いずに、且つ、眼鏡における映り込み発生箇所の輝度が低い場合であっても、映り込みを判定することができるものとして有用である。

１００，８００ 映り込み判定装置
１０１ 目領域画像取得部
１０２ 輝度ヒストグラム算出部
１０３ 輝度ヒストグラム記憶部
１０４ 差分算出部
１０５ 評価値算出部
１０６ 評価値記憶部
１０７ 映り込み判定部
１１１ 画像入力部
１１２ 目領域検出部
１２１ 顔検出部
１２２ 顔部品検出部
１２３ 目領域決定部
８０１ 信頼度算出部

Claims (6)

1. 眼鏡への外光映り込みを判定する映り込み判定装置であって、
   前記眼鏡を掛けているユーザの目領域画像を取得する画像取得手段と、
   前記目領域画像の輝度分布を表す輝度ヒストグラムを算出する輝度ヒストグラム算出手段と、
   撮像タイミングの異なる２つの前記目領域画像から算出された２つの前記輝度ヒストグラム間で差を取ることにより、差分ヒストグラムを算出する差分ヒストグラム算出手段と、
   前記差分ヒストグラムと輝度に応じた重みとに基づいて、前記外光映り込みに関する評価値を算出する評価値算出手段と、
   前記算出された評価値に基づいて、前記外光映り込みを判定する判定手段と、
   を具備する映り込み判定装置。
2. 前記評価値算出手段は、前記差分ヒストグラムの各ビンの値と前記各ビンの輝度に応じた重みとを乗算し、乗算結果を全てのビンで加算することにより、前記評価値を算出する、
   請求項１に記載の映り込み判定装置。
3. 前記判定手段は、前記評価値算出手段にて算出された評価値が連続して所定回数だけ所定の閾値以上の値となる場合に、前記外光映り込みが発生していると判定する、
   請求項１に記載の映り込み判定装置。
4. 請求項３に記載の映り込み判定装置と、
   前記判定手段で前記外光映り込みが発生していると判定されない場合に、前記ユーザの視線検出処理を実行する視線検出処理手段と、
   を具備する視線検出装置。
5. 眼鏡を掛けているユーザの目領域画像を取得する画像取得手段と、
   前記目領域画像の輝度分布を表す輝度ヒストグラムを算出する輝度ヒストグラム算出手段と、
   撮像タイミングの異なる２つの前記目領域画像から算出された２つの前記輝度ヒストグラム間で差を取ることにより、差分ヒストグラムを算出する差分ヒストグラム算出手段と、
   前記差分ヒストグラムと輝度に応じた重みとに基づいて、前記眼鏡への外光映り込みに関する評価値を算出する評価値算出手段と、
   前記算出された評価値を正規化することにより得られる正規化評価値を、所定の信頼度最高値から減算することにより、前記外光映り込みに起因する瞳孔検出への影響を考慮した瞳孔検出結果に関する信頼度を算出する信頼度算出手段と、
   前記ユーザの視線検出処理を実行し、視線検出結果と共に前記信頼度算出手段において算出された前記信頼度を出力する視線検出処理手段と、
   を具備する視線検出装置。
6. 眼鏡への外光映り込みを判定する映り込み判定方法であって、
   前記眼鏡を掛けているユーザの目領域画像を取得し、
   前記目領域画像の輝度分布を表す輝度ヒストグラムを算出し、
   撮像タイミングの異なる２つの前記目領域画像から算出された２つの前記輝度ヒストグラム間で差を取ることにより、差分ヒストグラムを算出し、
   前記差分ヒストグラムと輝度に応じた重みとに基づいて、前記外光映り込みに関する評価値を算出し、
   前記算出された評価値に基づいて、前記外光映り込みを判定する、
   映り込み判定方法。