JP6234762B2 - 眼部検出装置、方法、およびプログラム - Google Patents

Description

本発明は、車両等の操作者の眼部検出装置、方法およびプログラムに関する。

近年、撮像された静止画像または動画像から、顔を認識する顔認識技術の開発が進められている。車両においては、操作者の瞬目の動作を検出することによって、脇見運転や居眠り運転を検知し、操作者に警告を発する装置が案出されている。

例えば、特許文献１に記載の装置は、運転者の左目領域（ウィンドウ）を含む画像を逐次的に撮像し、最新の画像と１つ前の画像との比較から画像間の輝度の差分が所定値を超える領域を決定し、輝度が増加する領域と輝度が減少する領域の面積の差を算出する。この時系列データは所定の瞬目パターンと比較されることによって運転者の瞬目動作が抽出され、居眠り防止のための処置が実行される。すなわち、この装置は、片目の領域を基準として瞬目動作を検出するものである。したがって、顔が移動した場合には、目の位置および形状が変化し、検出の基準となる領域も同様に変化する。このため、検出の基準となる領域を正確に捉えることが困難となり、瞬目動作の誤検出が頻発する。

また、特許文献２に記載された瞼検出装置は、撮像画像間の差分が所定値を超える領域（差分領域）の面積が最大となるものを抽出し、この差分領域中から瞼を検出し、さらに瞼の変化から瞬目動作を検出している。この装置は、画像から運転者の顔に接する矩形の領域を抽出し、この領域の複数の画像間の差分領域を捉えることにより、瞬目動作を検出している。すなわち、瞬目の検出のために比較される領域は顔の輪郭を基準として定められている。

ここで、運転者がバックミラーを確認する場合には、撮像画像中における顔の角度が車両進行方向に対するヨーイング方向などに変化してしまう。このため、瞬目の検出対象となる矩形の領域の形状および大きさが変化し、目以外の領域である鼻や眉毛、顔端などにも差分領域が発生する。面積変化が最大となる差分領域が目以外である場合には、目以外の領域、たとえば顔端、眉毛等が目であると誤検出されてしまう。すなわち、特許文献２に記載の装置においては、顔の輪郭を基準として瞼検出のための領域が設定されていたため、顔の輪郭が大きく変化した場合には誤検出が生じ易かった。

このように、従来の装置においては、運転者の顔に動きを伴う場合に、誤検出が発生していた。

特開平１０−２０９８２７号公報（特許第３０１２２２６号） 特開２００７−２８８２２号公報（特許第４８９５８４７号）

上述したように、特許文献１の装置においては、片目のみの領域に基づき瞬目を検出していたため、顔全体の動きに伴い、検出のための領域が変化し、瞬目の誤検出が生じ易かった。また、特許文献２の装置は、顔の輪郭を基準として、瞬目の検出のための領域を設定していたため、同様に顔全体の動きに伴い、誤検出が生じ易い。

本発明は上述の課題に鑑みてなされたものであって、本発明の目的は、顔が移動した場合であっても運転者の瞬目動作を正しく検出可能な眼部検出装置、方法、およびプログラムを提供することにある。

本発明に係る眼部検出装置は、一定の時間毎に撮像された顔の画像を入力する手段と、前記画像から鼻を含む特徴点に基づいて目探索領域を抽出する手段と、第１の時間における前記特徴点と第２の時間における前記特徴点の位置の比較に基づいて、第１の時間における前記目探索領域と第２の時間における前記目探索領域とを対応付ける手段と、前記対応付けられた第１および第２の時間における前記目探索領域に基づいて、前記第１および第２の時間における目探索領域から眼部領域を決定する手段とを有する。

目探索領域を対応付ける手段は、第１の時間における前記目探索領域と第２の時間における目探索領域との対応付けに基づいて前記第１および第２の時間における目探索領域の間の位置ズレ量を決定する。

前記目探索領域を対応付ける手段は、第１の時間における目探索領域をテンプレートとして第２の時間における目探索領域にテンプレート・マッチングを実行する。

前記目探索領域を抽出する手段は、第１および第２の時間における目探索領域内の少なくとも１つの画素の輝度の差に基づいて第１の時間または第２の時間における前記目探索領域の輝度を補正する。

眼部領域を決定する手段は、第１の時間における前記目探索領域と第２の時間における前記目探索領域の、前記対応付けられた画素ごとに輝度の差分値を算出する差分画像作成手段を備える。

前記眼部領域を決定する手段は、前記対応付けられた目探索領域において、相対位置が所定条件を満たす1対の領域を眼部領域として決定する。

前記眼部領域を決定する手段は、前記差分値を３値化する３値化処理手段をさらに備える。

前記眼部領域を決定する手段は、前記目探索領域内の差分が生じた領域の総数に基づいて眼部領域を検出する否かを決定する。

前記眼部領域を決定する手段は、前記目探索領域内の差分が生じた各領域の総面積に基づいて眼部領域を検出するか否かを決定する。

本発明によれば、目探索領域は鼻を含む特徴点に基づいて定められ、第１の時間における特徴点と第２の時間における特徴点の位置の比較に基づいて、第１の時間における目探索領域と第２の時間における目探索領域とが対応付けられる。対応付けられた第１および第２の時間における目探索領域に基づいて、第１および第２の時間における目探索領域から眼部領域を決定する。顔の向きが変化した場合であっても、鼻の形状変化は比較的に少ない。また、鼻は顔中心付近にあるため、顔が回転した場合であっても、鼻と眼部との相対位置の変化が小さい。

鼻を基準として目探索領域を定めることにより、顔部品の形状が変化した場合であっても眼部位置を正確に検出することが可能となる。

また、第１の時間における目探索領域と第２の時間における目探索領域との対応付けに基づいて第１および第２の時間における目探索領域の間の位置ズレ量を決定することにより、眼部領域を正確に抽出できる。

また、本発明によれば、第１の時間における目探索領域をテンプレートとして第２の時間における目探索領域にテンプレート・マッチングを実行するので、正確な位置ズレ補正が可能となる。

本発明によれば、目探索領域を抽出する手段は、第１および第２の時間における目探索領域内の少なくとも１つの画素の輝度の差に基づいて第１の時間または第２の時間における目探索領域の輝度を補正するので、フレーム間の輝度の差を補正する処理が高速に実行され得る。

本発明によれば、目探索領域の平均輝度を算出し、平均輝度に基づいて目探索領域の画像の輝度を補正するため、第１の時間と第２の時間において周囲の照明が変化した場合であっても、眼部領域の好適な決定が可能となる。

また、本発明によれば、対応付けられた目探索領域において、相対位置が所定条件を満たす1対の領域を眼部領域として決定する。人間の目は水平方向の距離が所定の範囲にあり、垂直方向の高さが略一致するため、水平方向および垂直方向の位置を比較することで、正確に眼部領域を決定することが可能となる。

また、本発明は、第１の時間における目探索領域と第２の時間における目探索領域の対応付けられた画素ごとに輝度の差分値を算出し、前記差分値を３値化する３値化処理手段を備える。対応付けられた画素ごとの差分値を３値化することで、目探索領域の内、輝度変化の少ない領域、明から暗へと変化した領域、暗から明へと変化した領域を正確に識別できる。したがって、瞼が閉じられた場合と瞼が開かれた場合を正確に検出できる。

本発明は、目探索領域内の差分が生じた領域の総数に基づいて眼部領域を検出するか否かを決定する。また、目探索領域内の差分が生じた各領域の総面積に基づいて目領域を検出するか否かを決定する。これにより、運転者がメガネ等を使用する場合であっても、ノイズの多い画像を除外できるので、好適に眼部領域を決定することが可能となる。

本発明の実施形態に係る眼部検出装置の車両搭載図である。 本発明の実施形態に係る眼部検出装置の概略ブロック図である。 本発明の実施形態に係る眼部検出装置の機能ブロック図である。 本発明の実施形態に係る撮像部４による撮像画像の例である。 図４から抽出された目探索領域７１の例である。 本発明の実施形態に係る撮像部４による撮像画像の輝度によるばらつきの例である。図６（ａ）は車両２がトンネルの出口を通過した直後の目探索領域７１を示し、図６（ｂ）は車両２がトンネルの入り口からトンネルに入った直後の目探索領域７１を示す。 本発明の実施形態に係る差分画像の例である。 本発明の実施形態に係る差分画像の濃度ヒストグラムの例である。 本発明の実施形態に係る３値化画像の例である。 本発明の実施形態に係る３値化画像内における差分領域を面積の大きい順でナンバリングした例である。 本発明の実施形態に係る３値化画像のノイズの例である。図１１（ａ）は運転者がメガネをかけている場合の目探索領域７１を示し、図１１（ｂ）は図１１（ａ）の３値化画像を示す。 本発明の実施形態に係る３値化画像の２つの領域を比較する例である。 本発明の実施形態に係る眼部検出方法の概略処理を表すフローチャートである。 本発明の実施形態に係るフレーム撮像の詳細フローチャートである。 本発明の実施形態に係る位置ズレ補正処理の詳細フローチャートである。 本発明の実施形態に係る差分画像作成処理の詳細フローチャートである。 本発明の実施形態に係る差分画像を３値化する詳細フローチャートである。 本発明の実施形態に係る眼部領域決定の前処理の詳細フローチャートである。 本発明の実施形態に係るシーンの有効／無効判定処理の詳細フローチャートである。 本発明の実施形態に係る眼部検出処理の詳細フローチャートである。

以下、図面を参照しながら本発明の実施形態に係る眼部検出装置を説明する。

図１は、本発明の実施形態に係る眼部検出装置１００の車両搭載図である。眼部検出装置１００は、一実施例としては、車両２に搭載され、撮像部４およびデータ処理部６とを備える。撮像部４は車両２の運転席８の、特にハンドル１０付近に、車両２を操作する運転者の顔を正面から撮像可能に設置される。図１の場合、運転席８は車両右側に設定されているので、撮像部４は車両の前部右側の席の前に設置されている。運転席８が左側である場合、撮像部４は車両の前部左側の席の前に設置される。撮像部４は、所定の時間ごとに顔を撮像し、撮像画像をデータ処理部６へと送信するものである。データ処理部６は、撮像画像から運転者の眼部を検出し、所定の時間ごとの眼部の比較から運転者の瞬目動作を判定するものである。

図２は、本発明の実施形態に係る眼部検出装置１００の概略ブロック図である。撮像部４はカメラ４２と制御部４４とからなる。カメラ４２は通常の可視光線用ＣＣＤカメラまたはＣＭＯＳカメラであってもよく、また、近赤外線用ＣＣＤカメラであってもよい。近赤外線用ＣＣＤカメラは可視光線用ＣＣＤカメラと比較して、人間の個別の肌の色に左右されない。また、可視光線用ＣＣＤカメラよりも近赤外線用ＣＣＤカメラの方がシャッター速度を速くすることが可能である。

制御部４４は、カメラ４２の制御を行う。制御部４４は、所定の時間ごとに、またはデータ処理部６からの信号に応答してカメラ４２のシャッターを開閉する制御を行う。撮像された画像信号はフレームとしてＲＡＭ６６のフレーム・メモリ６６２に記録される。すなわち、ある時点において撮像された画像をフレームという。

データ処理部６は、撮像された画像に基づいて、運転席８に着座する運転者の眼部領域を検出し、複数の前記画像から、運転者の瞬目動作を判定するものである。データ処理部６は、演算部（ＣＰＵ）６０、信号格納部６２、ＲＯＭ６４、ＲＡＭ６６、インターフェース（Ｉ／Ｆ）６８、出力部６１、およびバス６５を備える。また、データ処理部６はＡ／Ｄ変換部６３をさらに備える。それぞれはバス６５を介して信号を送受信可能に接続される。

演算部６０はＣＰＵから構成され、プログラムにしたがって、撮像部４からのデジタル変換された画像データを処理し解析するとともに、眼部領域の検出と瞬目動作の判定等の処理を行う機能を有している。信号格納部６２はＲＡＭ等から構成され、画像データを保存するとともに、画像データの処理結果、解析結果、および判定結果を格納可能である。

出力部６１は、例えば、スピーカ、ディスプレイ、およびランプを含む。出力部６１は、データ処理部６における瞬目動作の判定結果に基づき、スピーカから運転席８に着座する運転者に対して注意や警告のための音声を発する。または、出力部６１はディスプレイまたはランプから注意や警告のためのメッセージまたは光を出力しても良い。また、出力部６１は、判定結果に基づいて、例えば、自動ブレーキシステムに対して、自動ブレーキを作動させるための信号を送出することも可能である。

出力部６１に含まれるスピーカとしては車両２に装備されるスピーカを利用することも可能である。また、出力部６１に含まれるディスプレイとしては車両２に装備されるカーナビゲーションシステムのディスプレイを利用することも可能である。

Ａ／Ｄ変換部６３は、撮像部４で撮像された画像信号をデジタルの画像データへ変換する機能を有している。画像データは、インターフェース（Ｉ／Ｆ）６８へ出力される。Ｉ／Ｆ６８は制御部４４とデータおよびコマンドの送受信を行うとともに、画像データを受信する。ＲＯＭ６４は読み取り専用メモリであって、眼部検出装置１００を起動させるためのブートプログラムを格納している。また、実行される処理、解析、および判定のためのプログラムを格納するプログラム・メモリ６４２を備える。なお、プログラムは、ＲＯＭ６４ではなく信号格納部６２に格納されても良く、また、ＣＤ、ＤＶＤなどの記録媒体に格納されても良い。この場合はバス６５に図示しない記録媒体読取部が接続されている。ＲＡＭ６６は、ＣＰＵ６０のキャッシュメモリとして使用されるとともに、ＣＰＵ６０による画像データに対するプログラム実行時のワークエリアとして使用される。ワークエリアには、カメラ４２によって撮像され、変換された画像データをフレーム毎に格納するフレーム・メモリ６６２と、テンプレートを格納するテンプレート・メモリ６６４とを備える。

図３は、本発明の実施形態に係る眼部検出装置１００の機能ブロック図である。眼部検出装置１００は、撮像部４とデータ処理部６からなり、データ処理部６は目探索領域抽出部１２、位置ズレ補正部１４、差分画像作成部１６、３値化処理部１８、前処理部２０、シーン判定部２２、眼部検出部２４、瞬目動作判定部２６、および警告音出力部２８を含む。

撮像部４は所定の時間ごとに、運転者の顔を含む領域を撮像する。撮像部の撮像間隔は、一般的なＮＴＳＣ方式、ＰＡＬ方式等の動画のフレームレートであっても良い。なお、装置の処理能力等を考慮し、実験などにより好適に眼部を検出可能なフレーム間隔を決定することも可能である。

撮像画像はデジタル化され、目探索領域抽出部１２へと入力される。目探索領域抽出部１２は、目探索領域を撮像画像から抽出する。目探索領域は両目および鼻を含む特徴点に基づく領域であって、これらの特徴点に外接する矩形領域である。例えば、図４に示されるように、撮像画像７０において両目の端部、鼻の頂点が特徴点として抽出され、図５に示されるようにこれらの特徴点に外接する矩形領域が目探索領域７１として抽出される。撮像画像７０は、左下を（０，０）、右上を（Ｍ−１，Ｎ−１）とする水平方向Ｍ画素、垂直方向Ｎ画素のＭ×Ｎ画像であり、目探索領域７１は、左下を（０，０）、右上を（ｍ−１，ｎ−１）とする水平方向ｍ画素、垂直方向ｎ画素のｍ×ｎ画像である。目探索領域７１は撮像画像７０の一部であるから、Ｍ＞ｍ、Ｎ＞ｎである。本実施形態においては、上述の外接する矩形領域よりも四方に数ドット程度さらに拡大された領域を目探索領域として決定する。

上述したように、特徴点には、両目および鼻が含まれる。両目は、運転者の瞬目動作などにより形状が大きく変化し易い。一方、両目が完全に閉じられているような場合であっても、鼻の形状はほぼ変化しない。このため、鼻を特徴点として利用することにより、両目の形状の変化に係らず、正確に目探索領域を抽出することができるフレーム同士を対応付け可能となる。また、鼻以外に、両目の端部、眉毛の端部等を特徴点として利用することにより、さらに正確に目探索領域を抽出することができる。すなわち、両目の端部、眉毛の端部の位置は、目の開閉によらず略一定であり、特徴点として適している。

上述の外接矩形の算出は、予め用意された画像認識用の関数を用いて行われ得る。例えば、ある種のコンパイル型のコンピュータープログラム言語には、画像認識に関連する機能を集めたライブラリが提供されている。外接矩形の算出は、このようなライブラリ内の関数を参照することで容易に計算可能である。

目探索領域抽出部１２は、画像ごとの輝度値のばらつきを平滑化するため、平均輝度値による輝度値の補正を実行する。画像ごとの輝度値のばらつきは、照明の変化によって生ずる。本実施例は車両２に搭載されているため、車両２の移動に伴い証明が変化する。例えば、車両２のトンネル通過前後などがある。輝度によるばらつきの一例を図６に示す。図６（ａ）は車両２がトンネルの出口を通過した直後の目探索領域７１、図６（ｂ）は車両２がトンネルの入り口からトンネルに入った直後の目探索領域７１をそれぞれ表している。これらの図からも、画像の輝度値は大きく変化することが確認できる。

目探索領域抽出部１２は、以下の計算式に基づいて各フレームにおける目探索領域７１の平均輝度値を決定する。まず、フレーム番号をｐで表し、ｐ番目のフレームにおける目探索領域７１ごとの輝度値をＱ’_ｐ（ａ，ｂ）で表す。ただし、ａおよびｂは、各画像の左下を（０，０）、右上を（ｍ−１，ｎ−１）とする水平方向ｍ画素、垂直方向ｎ画素のｍ×ｎ画像における画素位置（座標）を示すものである。

ｐ番目のフレームにおける目探索領域７１の平均輝度値

は以下のように算出される。

目探索領域抽出部１２は、目探索領域７１の各画素の輝度値Ｑ’_ｐ（ａ，ｂ）を平均輝度に基づいて補正する。補正後の画像の画素ごとの輝度値Ｑ_ｐ（ａ，ｂ）は以下のように示される。

他の一例として、ある特定の画素における輝度値の差に基づいて目探索領域７１全体の輝度値を補正することも可能である。目探索領域７１では、単なる肌部が大部分を占める。したがって、各フレームにおいて肌である画素の輝度値を比較することにより、フレームごとの輝度値のばらつきを補正可能である。例えば、目探索領域７１は特徴点の外接する矩形領域よりも数ドット程度広いので、目探索領域７１の縁部の画素は肌である。したがって、目探索領域７１の縁部の画素における差を用いて目探索領域７１の輝度値を補正することが可能である。この手法は平均輝度を算出しないため、輝度値の補正処理が高速となる。この例では、目探索領域７１の縁部の画素の座標を（ａ_０，ｂ_０）とすると、補正後の画像の画素ごとの輝度値Ｑ_ｐ（ａ，ｂ）は以下のように示される。

目探索領域抽出部１２が連続する２つのフレームにおける目探索領域７１の輝度を補正すると、２つの目探索領域７１は位置ズレ補正部１４に入力される。

位置ズレ補正部１４は、２つの画像の位置ズレを補正する。すなわち、ｐ−１番目のフレーム（第１の時間における画像）において抽出される目探索領域７１を使用してｐ番目のフレーム（第２の時間における画像）において抽出される目探索領域７１との位置ズレを補正する。

位置ズレ補正部１４は、特徴点同士の比較に基づく位置ズレ補正と、目探索領域同士の比較、すなわちテンプレート・マッチングによる位置ズレ補正とを実行可能である。どちらか一方の処理のみの実行も可能である。

上述の通り、鼻に基づく特徴点の形状は略一定である。また、鼻は人間の顔において左右方向（水平方向）のほぼ中央に位置する。このため、２つのフレーム間において鼻の特徴点が水平方向に大きくずれている場合、顔の向きが大きく変化したことが予測される。このような場合には、片目しか撮像されなかったり、若しくは両目の一方の大きさや位置が著しく異なって撮像されてしまうことがある。このような場合には、眼部を正しく検出することが困難となる。このため、位置ズレ補正部１４は、特徴点同士の位置ズレ量を算出し、位置ズレ量がしきい値Ｔｈ０よりも大きい場合には、位置ズレ補正を行わない。

このように特徴点の位置の移動が大きい場合には以降の眼部検出処理は行われない。位置ズレ補正部１４は、眼部の誤検出を発生させ得る画像を検出対象から予め除外する。なお、位置ズレ量がしきい値Ｔｈ０を超えるフレームが連続する場合、運転者が脇見運転等を行っている可能性がある。このような場合、眼部検出装置１００は運転者に警告を発することも可能である。

特徴点の位置ズレ量がしきい値Ｔｈ０以下である場合、位置ズレ補正部１４は、テンプレートを利用して正確な位置ズレ量を決定し、位置ズレの補正を行う。位置ズレ補正部１４は、ｐ−１番目のフレームの目探索領域７１をテンプレートとして利用し、ｐ番目のフレームの目探索領域７１とテンプレート・マッチングを行うことにより、正確な位置ズレ量を決定する。テンプレート・マッチングとは、ｐ番目のフレームにおいて、ｐ−１番目の目探索領域７１との相関が高い領域を探索する方法である。まず、ｐ−１番目の目探索領域７１全体は、ｐ番目の目探索領域７１全体と比較され、次に、水平方向または垂直方向に１画素だけずらした領域と比較される。ｐ−１番目の目探索領域７１は、ｐ番目の目探索領域７１と水平方向にｍ画素、垂直方向にｎ画素だけずらすまで比較される。このようにして、位置ズレ補正部１４は、ｐ番目のフレームの目探索領域７１を水平方向及び垂直方向にそれぞれ何画素ずつ平行移動するとｐ−１番目のフレームの目探索領域７１に最も相関度が高くなるかを判定する。このようにして得られた２つの目探索領域の平行移動距離が位置ズレ量である。

テンプレート・マッチング手法の一例として、同画素位置における画素ごとの輝度値の２乗の総和を算出するＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）手法がある。ＳＳＤ手法では２つの画像の類似度は以下のように算出される。

ＳＳＤ手法によるテンプレート・マッチングの場合、算出値が小さければ小さいほど、その算出値は目探索領域同士の類似度が最も高いことを示している。算出値が最も小さい２つの目探索領域の位置ズレ量が算出される。

また、テンプレート・マッチングの他の一例として、画素ごとの輝度値の差分の絶対値の総和を算出するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）手法がある。ＳＡＤ手法では２つの目探索領域の類似度は以下のように算出される。

ＳＡＤ手法によるテンプレート・マッチングの場合も、算出値が小さければ小さいほど、その算出値は画像同士の類似度が最も高いことを示している。算出値が最も小さい２つの目探索領域の位置ズレ量が算出される。

同様に、他の一例として、ＮＣＣ手法とも呼ばれる、正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）法がある。ＮＣＣ手法では２つの画像の一致度は以下のように算出される。

ＮＣＣ手法の算出結果であるＳ_ＮＣＣは相関値であるため、−１以上１以下の値を取り得る。Ｓ_ＮＣＣ＝１の値は２つの目探索領域が完全に一致することを示し、Ｓ_ＮＣＣ＝−１の値は２つの目探索領域の輝度値が完全に反転していることを示す。Ｓ_ＮＣＣが最も大きい２つの目探索領域の位置ズレ量が算出される。

また、ＮＣＣ手法には、ＺＮＣＣ手法と呼ばれる、輝度の補正をテンプレート・マッチングの計算の中で同時に行う方法もある。この手法の場合、プログラムのステップ数が減少するため、通常のＮＣＣ手法に対して処理が高速となる。ＺＮＣＣ手法では２つの目探索領域の一致度は以下のように算出される。

ＺＮＣＣ手法の場合もＮＣＣ手法と同様、Ｓ_ＺＮＣＣ＝１の算出結果は２つの目探索領域が完全に一致することを示し、Ｓ_ＺＮＣＣ＝−１の算出結果は２つの目探索領域の輝度値が完全に反転していることを示す。この手法の場合も、Ｓ_ＺＮＣＣが最も大きい２つの目探索領域の位置ズレ量が算出される。

また、他の一例として、ＰＯＣ手法とも呼ばれる、位相限定相関（Ｐｈａｓｅ−Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）手法がある。ＰＯＣ法は、画像をフーリエ変換して得られる情報の内、位相情報のみを用いて画像の類似度を算出する。この手法は、以下の手順によってＰＯＣ関数を算出し類似度を決定する。まず、各フレームの目探索領域７１のフーリエ変換係数を算出する。

ただし、Ｗ_α、Ｗ_βは以下の通りである。

ここで、ｊは虚数単位である。上記Ｆ_Ｑｐ（ｒ，ｓ）は複素数なので、各フレームの目探索領域７１の位相成分ＰＨ_Ｑｐ（ｒ，ｓ）は、

である。ＰＯＣ関数は上記位相成分の差の逆フーリエ変換に相当する。これらから、位相限定相関ＰＯＣ（ａ，ｂ）は、以下のように算出される。

位相限定相関関数によるテンプレート・マッチングの場合、ｐ−１番目の目探索領域７１とｐ番目の目探索領域７１との間の一致度が高いと、ＰＯＣ関数値は非常に鋭いピークを有する。この手法によれば、位置ズレ量を別途決定する必要はなく、ピークの座標がｐ−１番目の目探索領域７１とｐ番目の目探索領域７１の水平方向および垂直方向の位置ずれ量を示す。

上述の通り、位相限定相関法は、フーリエ変換したデータの位相情報に基づいてテンプレート・マッチングを行うので、２つの画像の輝度の差に左右されない。したがって、この方法でテンプレート・マッチングを行う場合、ＺＮＣＣ法と同様、先に輝度の補正をする必要がない。なお、上記位相限定相関の計算式は、平行移動の場合の計算式である。本実施形態においては、カメラ位置は固定されており、車両２の操作者の顔もほぼ動かないため、上記計算式の使用によって高速にテンプレート・マッチング処理を実行することが可能である。

上記テンプレート・マッチング手法はプログラム化され、このうちの少なくとも１つはＲＯＭ６４のプログラム・メモリ６４２に格納されている。位置ズレ補正部１４は、最適のタイミングでプログラム・メモリ６４２からテンプレート・マッチングのプログラムを読み出し、演算部６０にテンプレート・マッチングの処理を実行させる。

なお、上記テンプレート・マッチング手法の説明は、モノクロ画像におけるマッチング手法を例として説明しているが、カラー画像であっても同様に実現可能であることは言うまでもない。カラー画像をテンプレート・マッチングする場合、モノクロ画像に変換した後にマッチング処理を実行可能である。また、色の三原色であるＲ（赤（Ｒｅｄ））、Ｇ（緑（Ｇｒｅｅｎ））、Ｂ（青（Ｂｌｕｅ））のいずれか１つのみを利用してマッチング処理を実行することも可能である。この場合、人間の目はＧ（緑（Ｇｒｅｅｎ））を最も明るく感知する。Ｒ（赤（Ｒｅｄ））は最も人間の肌の色の影響を受けにくい。このような特性を考慮していずれの色を使用するかを決めると良い。また、Ｒ、Ｇ、Ｂの全てを利用してマッチング処理を実行可能である。この場合、三色の区別なく、画素ごとにＲＧＢを同じ順序で代入して一致度の算出を実行すればよい。

ｐ−１番目のフレームの目探索領域７１およびｐ番目のフレームの目探索領域７１の位置ズレ補正が完了すると、位置ズレ補正後の２つの目探索領域７１は差分画像作成部１６に入力される。

差分画像作成部１６は、ｐ−１番目のフレームの目探索領域７１と次フレームの目探索領域７１との間の画素ごとの差分画像Ｄ_ｐ（ａ，ｂ）を算出する。差分画像の例を図７に示す。

また、差分画像作成部１６が、差分画像Ｄ_ｐ（ａ，ｂ）の算出前に目探索領域７１の輝度による補正を実行することも可能である。例えば、目探索領域抽出部１２が目探索領域７１の縁部を用いた輝度補正を実行し差分画像作成部１６が平均輝度を用いた補正を実行することで、目探索領域７１の輝度値のばらつきは精度よく平滑化される。この場合、平均輝度は各画素のＱ’_ｐ（ａ，ｂ）の値から算出されてもよく、目探索領域抽出部１２によって補正されたＱ_ｐ（ａ，ｂ）の値から算出されても良い。目探索領域抽出部１２によって補正された各画素の輝度値は、Ｑ’_ｐ（ａ，ｂ）から、縁部（ａ_０，ｂ_０）における前のフレームとの輝度差の値を均一に減算したものなので、差分画像作成部１６がどちらの平均輝度を用いて補正行った場合でも、補正後の各画素の輝度値は同じ値となる。

ｐ−１番目のフレームの目探索領域７１と次フレームの目探索領域７１との間の差分画像は３値化処理部１８に入力される。３値化処理部１８は差分画像を３階調のデジタル画像である３値化画像に変換する。

３値化処理部１８は、差分画像濃度ヒストグラムを作成する。ヒストグラムは、頻度をグラフ化したものであり、縦軸を頻出数、横軸を階調数とする、データの分布状況を認識するために使用されるグラフである。ヒストグラムの例を図８に示す。図８において、差分画像の輝度の階調を８０に示し、３値化画像の輝度の階調を８２に示す。そして、柱状のグラフ８４は目探索領域７１内の度数分布を示している。

３値化処理部１８は、濃度ヒストグラムに基づいて、３値化のために第１のしきい値ｕ１、および第２のしきい値ｕ２を決定する。ここでは、便宜上、ｕ１＜ｕ２とする。

しきい値の決定手法の一例として、モード法がある。モード法とは、濃度ヒストグラムにおいて、画像の対象物と対象物以外の物、および背景のそれぞれに対応する二つ以上のピークが存在する場合，ピークの間の谷の位置をしきい値として設定する方法である。この場合の濃度ヒストグラムは多峰性分布になる。両目、顔の肌部、それ以外（例えばまつ毛、眉毛等）に区分け可能である。したがって、モード法を用いたしきい値の決定が可能である。

また、他の一例として、誤り率を最小にするようなｕ１およびｕ２を決定する、所謂、最小誤差法を利用しても良い。ここで、誤り率とは、第１および第２のしきい値ｕ１、ｕ２で３値化した場合に、対象および対象以外の別の物を背景と誤る確率を示している。また、本実施形態においては、３値化によって分離したい眼部の領域を限定できるため、所謂、ｐ−タイル法を利用することも可能である。

また、他の一例として、濃度ヒストグラムのピークに対し、ピークの両端に所定の幅を設定して階調を３分割する方法もある。所定の幅は、実験値などから経験的に決定することもでき、また、実験値に対しロジスティック回帰分析モデルを作成し分類することも可能である。

このようにして決定された第１および第２のしきい値ｕ１、ｕ２を用いて、３値化処理部１８は、差分画像Ｄ_ｐ（ａ，ｂ）から３値化画像Ｄ^３ _ｐ（ａ，ｂ）を作成する。３値化画像の例を図９に示す。この図において、Ｄ^３ _ｐ（ａ，ｂ）＝０の領域は黒く、Ｄ^３ _ｐ（ａ，ｂ）＝２の領域は白く、そしてＤ^３ _ｐ（ａ，ｂ）＝１の領域はグレーで示される。

３値化画像の黒い領域（Ｄ^３ _ｐ（ａ，ｂ）＝０）は、前フレームと比較して暗く変化した領域を示す。同様に、白い領域（Ｄ^３ _ｐ（ａ，ｂ）＝２）は明るく変化した領域を、グレーの領域（Ｄ^３ _ｐ（ａ，ｂ）＝１）は変化が少ない領域を、それぞれ示す。例えば、目が閉じられると、眼部の画像は明るく変化し、３値化画像においてＤ^３ _ｐ（ａ，ｂ）＝２として表される。目が開かれると、眼部の画像は暗く変化し、３値化画像においてＤ^３ _ｐ（ａ，ｂ）＝０として表される。目の開閉動作は、２値化画像においても白い領域と黒い領域として検出可能であるが、このように３値化することでより精度よく検出できる。このようにして生成された３値化画像は前処理部２０に入力される。

前処理部２０は、暗く変化した３値化画像のＤ^３ _ｐ（ａ，ｂ）＝０の画素であって、かつ隣接し合う画素をクラスタリングし、クラスタリングされた画素の領域を抽出する。また、前処理部２０は、抽出した領域を面積（画素数）の大きな順にＲ１〜Ｒｃと並び替える。なお、明るく変化した３値化画像Ｄ^３ _ｐ（ａ，ｂ）＝２の画素についても、同様に領域として抽出可能である。図１０においては、暗く変化した３値化画像について４つの領域Ｒ１〜Ｒ４が抽出されており、面積の大きな２つの領域Ｒ１、Ｒ２が眼部を示していることが確認できる。ここで、領域Ｒ３、領域Ｒ４の画素数は所定のしきい値よりも小さいのでノイズとして除外される。

なお、ノイズの例として、運転者がメガネ等を使用する場合が挙げられる。運転者が顔の向きを変えると（例えば、顔の車両進行方向に対するヨーイングなど）、メガネ・フレームなどの輝度が著しく変化する。運転者がメガネをかけている場合における３値化画像のノイズの例を図１１に示す。メガネ・フレームの３値化画像である図１１（ｂ）において、面積の小さな領域が複数表れている。これらの領域は、眼部以外の領域であるとしてノイズとして除去される。

すなわち、本実施形態によれば、前処理部２０が領域の大きさに基づいてノイズを判断することにより、以降の処理の対象から除外できる。したがって、このような場合であっても、眼部領域の正確な検出が可能となる。

Ｄ^３ _ｐ（ａ，ｂ）＝０である領域Ｒ１、Ｒ２、…、Ｒｃの総数、面積の総和、および位置および面積の情報がフレーム毎にシーン判定部２２に入力される。眼部領域は通常２か所であり、領域総数があまりにも多い場合、何らかのノイズが含まれていると考えられる。このため、シーン判定部２２は、領域総数が多いフレームを以降の眼部検出処理から除外する。同様に、眼部領域の概略面積も推測可能である。したがって、シーン判定部２２は、Ｄ^３ _ｐ（ａ，ｂ）＝０である領域の面積が予め定められた値よりも大きい場合、何らかの外乱により画像にノイズ等が混入している可能性が高いため、領域全面積が大きい３値化画像を以降の眼部検出処理から除外する。

このように、本実施形態では、ノイズ等が混入している可能性のある差分画像を除外することにより、眼部をより正確に検出することが可能となる。

シーン判定部２２によって除外されなかった３値化画像は眼部検出部２４に入力される。人間の目は通常２つであり、垂直方向の相対位置が略一致する。また、通常の撮像状態において、目の水平方向の距離は所定範囲にある。このため、眼部検出部２４は領域面積の大きい順に２つの領域を抽出し、２つの領域の相対位置から眼部か否かを判定する。２つの領域の相対位置が予め定められた条件に合致しない場合には、次に大きな２つの領域が眼部であるか否かを判定する。２つの領域の垂直方向および水平方向の相対位置が所定範囲内にある場合、当該２つの領域は眼部であると判定される。

抽出された２つの領域の位置を算出するためには、一例として、各領域に含まれる各画素の位置について、ヒストグラムを利用することができる。眼部検出部２４は、水平方向及び垂直方向に対し、各領域の最も出現頻度が高い座標値をその領域の中心と決定し、水平方向および垂直方向の位置を比較することができる。

抽出された２つの領域の垂直方向の位置の比較の別の一例として、眼部検出部２４は、領域の重心を各領域の中心と決定し、水平方向および垂直方向の位置を比較する方法もある。

２つの領域の一例を図１２に示す。図１２において、領域Ｒ１の重心７２と領域Ｒ２の重心７３のそれぞれの垂直方向位置は略同じであり、また、領域Ｒ１，Ｒ２の水平方向の距離は所定範囲にある。さらに、これらの領域Ｒ１、Ｒ２の面積も略等しい。したがって、眼部検出部２４は図１２に示される領域Ｒ１およびＲ２の組み合わせを眼部として判定し得る。このようにして判定された眼部領域は顔認識に利用することも可能である。

眼部であると判定された３値化画像は瞬目動作判定部２６に入力される。複数フレームの３値化画像を用いて、瞬目動作判定部２６は瞬目動作を判定する。瞬目動作判定部２６は、眼部であると判定された領域の輝度の時間変化を観察することにより、瞬目動作を判定することが可能である。瞬目動作とは、短い時間に、瞼が閉じられ次いで開かれる動作である。３値化画像において、瞼が閉じられると、白い眼部領域の面積が徐々に大きくなり、瞼が開かれると、黒い眼部領域の面積が徐々に大きくなる。このようにして判定された瞬目動作に基づき、例えば居眠り運転の判定を行ってもよい。一般に、人間の覚醒水準と瞬目動作には相関があると言われている。したがって、瞬目動作を検出することで居眠り運転の可能性を検出できる。居眠り運転の可能性がある場合には、瞬目動作判定部２６は出力部２８に向けて信号を送出する。出力部２８は、瞬目動作判定部２６からの信号を受信すると、出力部７０へ警告を出力するように指示する。

続いて、本発明の実施形態に係る眼部検出方法を説明する。図１３は、眼部検出方法の概略処理を表すフローチャートである。まず、車両のイグニッションがオンになるなど、眼部検出装置１００に電力が供給されると（ステップＳ１でＹＥＳ）、演算部６０は眼部検出装置１００全体にフレーム番号ｐとしてｐ＝１をセットする（ステップＳ２）。撮像部４が画像７０を撮像し、Ａ／Ｄ変換部６３がこの画像をデジタル化する。デジタル化された画像は目探索領域抽出部１２へ入力される。目探索領域抽出部１２は目探索領域７１の抽出と輝度補正を実行する（ステップＳ３）。

位置ズレ補正部１４は、ｐ−１番目のフレームの目探索領域７１とｐ番目のフレームの目探索領域７１との特徴点の比較を実行し、さらに、ｐ−１番目のフレームの目探索領域７１をテンプレートに使用してｐ番目のフレームとテンプレート・マッチングを実行して、位置ズレ量が所定のしきい値以下である場合に位置の補正を行う（ステップＳ４）。位置ズレ補正部１４は、位置ズレ量が所定のしきい値よりも大きい場合、当該フレームを以降の処理の対象から除外する。

位置ズレ補正部１４によって除外されていないフレームは、差分画像作成部１６に入力される（ステップＳ５でＮＯ）。差分画像作成部１６は、ｐ−１番目のフレームの目探索領域７１とp番目のフレームの目探索領域７１の、画素ごとの差分を算出して差分画像を作成する（ステップＳ６）。３値化処理部１８は、差分画像を３値化画像へと変換する（ステップＳ８）。

前処理部２０は、フレームにおいて、３値化画像の領域を面積の大きな順にナンバリングを行い（ステップＳ１０）、シーン判定部２２は、各領域の面積、総数が所定値を超えるフレームを除外する（ステップＳ１２）。

シーン判定部２２によって除外されていないフレームは、眼部検出部２４に入力される（ステップＳ１３でＮＯ）。眼部検出部２４は眼部領域を決定する。眼部領域であると決定されたフレームは信号格納部６２に格納される（ステップＳ１４）。

瞬目動作判定部２６は、連続するフレームを使用して瞬目動作を検出し、運転者の覚醒状態を判定する。瞬目動作判定部２６が居眠り運転の可能性があると判定した場合、警告音出力部２８は出力部７０へ警告の出力を指示する。

眼部検出装置１００は、電源がオフになっていない限り、ステップＳ３〜Ｓ２２の処理を繰返し実行する。目探索領域抽出部１２はｐ＋１番目のフレームの目探索領域７１の抽出と輝度補正を実行する。位置ズレ補正部１４は、ｐ番目のフレームの目探索領域７１とｐ＋１番目の目探索領域７１の特徴点を比較し、ｐ番目のフレームの目探索領域７１とｐ＋１番目のフレームの目探索領域７１とのテンプレート・マッチングを実行する。また、位置ズレ補正部１４がフレームを除外した場合、シーン判定部２２がフレームを除外した場合、および瞬目動作判定部２６が居眠り運転の可能性がないと判定した場合も、眼部検出装置１００は、ステップＳ３〜Ｓ２２の処理を繰返し実行する。

以下、ステップＳ３〜Ｓ１４の処理を詳述する。それぞれの処理は、各機能処理部が独立に実行可能であり、それぞれ、電源が供給される間、協調して実行される。

図１４に、フレーム撮像（ステップＳ３）の詳細なフローチャートを示す。ステップＳ１において、電力が供給されると、眼部検出装置１００は画像の撮像タイミングになるまで待機状態となる（ステップＳ３０２でＮＯ）。画像の撮像タイミングになると（ステップＳ３０２でＹＥＳ）、撮像部４の制御部４４はカメラ４２に画像を撮像する信号を送出する。カメラ４２は、顔の画像を撮像し（ステップＳ３０４）、Ａ／Ｄ変換部６３は、撮像された画像をデジタル化する。デジタル化された顔の画像７０は、Ｉ／Ｆ６８を介してＲＡＭ６６のフレーム・メモリ６６２に一時的に記憶される。

次フレームの撮像時間が経過すると（ステップＳ３０２でＹＥＳ）、制御部４４はカメラ４２に画像を撮像する信号を再び送出する。

目探索領域抽出部１２は、フレーム・メモリ６６２に新しい画像が記憶されると、記憶された画像から目探索領域の特徴点を抽出し（ステップＳ３０６）、目探索領域を抽出する（ステップＳ３０８）。

次に、目探索領域抽出部１２は、目探索領域抽出部１２は、フレーム・メモリ６６２に記憶されるフレームの画素ごとの輝度値Ｑ’_ｐ（ａ，ｂ）を算出する（ステップＳ３１０）。

目探索領域抽出部１２は、ｐ−１番目のフレームの目探索領域７１の縁部（ａ_０，ｂ_０）の輝度値Ｑ’_ｐ−１（ａ_０，ｂ_０）とｐ番目のフレームの目探索領域７１の縁部（ａ_０，ｂ_０）の輝度値Ｑ’_ｐ（ａ_０，ｂ_０）の差を算出し（ステップＳ３１２）、ｐ番目のフレームの目探索領域７１の輝度値を上記の輝度値の差に基づいて補正し（ステップＳ３１４）、補正された各画素の輝度値Ｑ_ｐ（ａ，ｂ）を生成する（ステップＳ３１６）。さらに、補正後の輝度値Ｑ_ｐ（ａ，ｂ）を信号格納部６２に格納する（ステップＳ３１８）。

また、信号格納部６２に画像を格納する際、信号格納部６２は、撮像時間および目探索領域７１の補正後の輝度Ｑ_ｐ（ａ，ｂ）をフレーム毎に格納する。続いて、目探索領域抽出部１２は、図１３のフローチャートに処理を戻し、位置ズレ補正処理（ステップＳ４）が実行される。

図１５は、位置ズレ補正処理（ステップＳ４）の詳細を表すフローチャートである。

位置ズレ補正部１４は、信号格納部６２にｐ−１番目のフレームの目探索領域７１が格納されていない場合（ステップＳ４０４でＮＯ）、ｐ−１番目のフレームの目探索領域７１が格納されるまで待機する。ｐ−１番目のフレームの目探索領域７１が格納されると（ステップＳ４０４でＹＥＳ）、位置ズレ補正部１４は格納されたｐ−１番目のフレームの目探索領域７１を読み出し（ステップＳ４０６）、テンプレートに決定する（ステップＳ４０８）。

次いで位置ズレ補正部１４は、信号格納部６２にｐ番目のフレームの目探索領域７１が格納されていない場合（ステップＳ４１０でＮＯ）、待機状態に戻る。ｐ番目のフレームの目探索領域７１が取り出されると（ステップＳ４１０でＹＥＳ）、位置ズレ補正部１４はｐ番目のフレームの画像Ｑ_ｐ（ａ，ｂ）を読み出す（ステップＳ４１２）。

位置ズレ補正部１４は、ｐ−１番目のフレームの目探索領域７１における特徴点の座標とｐ番目のフレームの目探索領域７１における特徴点の座標とを比較する（ステップＳ４１４）。２つの領域の特徴点の位置ズレ量がしきい値Ｔｈ０以下の場合（ステップＳ４１４でＹＥＳ）、位置ズレ補正部１４はｐ−１番目のフレームの目探索領域７１をテンプレートに用いてｐ番目のフレームの目探索領域７１に対してテンプレート・マッチングを実行する（ステップＳ４１６）。位置ズレ補正部１４は、テンプレート・マッチングによって算出された位置ズレ量がしきい値Ｔｈ１以下の場合（ステップＳ４１７でＹＥＳ）、位置ズレを補正する（ステップＳ４１８）。位置ズレ補正部１４は、ｐ−１番目のフレームの目探索領域７１およびｐ番目のフレームの目探索領域７１を信号格納部６２に格納する（ステップＳ４２０）。次いで、位置ズレ補正部１４は、差分画像作成部１６に処理を受け渡し、差分画像作成処理（ステップＳ６）が実行される。

位置ズレ補正部１４は、ｐ−１番目のフレームの目探索領域７１および位置ズレ補正後のｐ番目のフレームの目探索領域７１を信号格納部６２に格納する。

２つの領域の特徴点の位置ズレ量がしきい値Ｔｈ０より大きい場合（ステップＳ４１４でＮＯ）、位置ズレ補正部１４は、当該フレームを以降の処理から除外する（ステップＳ４２２）。テンプレート・マッチングによって算出された位置ズレ量がしきい値Ｔｈ１より大きい場合（ステップＳ４１７でＮＯ）も、当該フレームを以降の処理から除外する（ステップＳ４２２）。位置ズレ補正部１４は、p番目のフレームの目探索領域７１が格納されているので（ステップＳ４０４でＹＥＳ）、ｐ番目のフレームの目探索領域７１を読み出し（ステップＳ４０６）、ステップＳ４０８〜Ｓ４２２の処理を実行する。

図１６は差分画像作成処理（ステップＳ６）の詳細フローチャートである。

差分画像作成部１６は、信号格納部６２にｐ−１番目のフレームの目探索領域７１およびｐ番目の目探索領域７１の２つが格納されるまで待機する（ステップＳ６０２）。ｐ−１番目のフレームの目探索領域７１およびp番目の目探索領域７１が格納されると（ステップＳ６０２でＹＥＳ）、差分画像作成部１６は２つの目探索領域７１を読み出す。

差分画像作成部１６は、輝度値Ｑ_ｐ（ａ，ｂ）の値から、平均輝度を算出し（ステップＳ６０４）、画像を平均輝度に基づいて補正し、輝度値Ｑ_ｐ（ａ，ｂ）を補正された各画素の輝度値へと更新する（ステップＳ６０５）。

差分画像作成部１６は、ｐ−１番目の目探索領域７１とｐ番目の目探索領域７１との間の画素ごとの差分値を算出する（ステップＳ６０６）。各画素の差分値を算出した後、差分画像作成部１６は、各画素の差分値を格納する差分画像Ｄ_ｐ（ａ，ｂ）を作成する（ステップＳ６０８）。差分画像作成部１６は、差分画像Ｄ_ｐ（ａ，ｂ）を信号格納部６２に格納する（ステップＳ６１０）。次いで、差分画像作成部１６は３値化処理部１８に処理を受け渡し、３値化処理（ステップＳ８）が実行される。

図１７に差分画像を３値化する詳細フローチャートを示す。

３値化処理部１８は、信号格納部６２に差分画像Ｄ_ｐ（ａ，ｂ）が格納されていない場合（ステップＳ８０４でＮＯ）、待機状態にある。Ｄ_ｐ（ａ，ｂ）が信号格納部６２に格納されると（ステップＳ８０４でＹＥＳ）、３値化処理部１８は差分画像Ｄ_ｐ（ａ，ｂ）を読み出す。

３値化処理部１８は、差分画像の濃度ヒストグラムを作成し（ステップＳ８０６）、濃度ヒストグラムに基づいて、３値化のための第１のしきい値ｕ１、および第２のしきい値ｕ２を決定する（ステップＳ８０８）。ここでは、ｕ１＜ｕ２とする。

次に、３値化処理部１８は、３値化画像を格納する配列Ｄ^３ _ｐ（ａ，ｂ）を準備し、ａ＝０、ｂ＝０をセットする（ステップＳ８１２）。３値化処理部１８は、変数ａが目探索領域の水平方向総画素数ｍに達したか否かを判定する（ステップＳ８１４）。このとき、変数ａは０であるため（ステップＳ８１４でＮＯ）、３値化処理部１８は変数ｂが目探索領域の垂直方向総画素数ｎに達したか否かを判定する（ステップＳ８１６）。また、変数ｂは０であるため、３値化処理部１８は３値化処理のステップＳ８２０〜Ｓ８３４の処理を実行する。

ステップＳ８２０において、３値化処理部１８は、差分画像Ｄ_ｐ（ａ，ｂ）の値と第１のしきい値ｕ１とを比較する。差分画像Ｄ_ｐ（ａ，ｂ）＜ｕ１である場合（ステップＳ８２０でＹＥＳ）、３値化処理部１８は、Ｄ^３ _ｐ（ａ，ｂ）＝０をセットし（ステップＳ８２２）、差分画像Ｄ_ｐ（ａ，ｂ）＜ｕ２である場合（ステップＳ８２６でＹＥＳ）Ｄ^３ _ｐ（ａ，ｂ）＝１をセットする（ステップＳ８２８）。さらに、差分画像Ｄ_ｐ（ａ，ｂ）＞ｕ２である場合（ステップＳ８２６でＮＯ）、３値化処理部１８は、Ｄ^３ _ｐ（ａ，ｂ）＝２をセットする（ステップＳ８３２）

ステップＳ８１４において、変数ａが目探索領域の水平方向総画素数ｍに達するまで（ステップＳ８１４でＹＥＳ）、変数ｂが目探索領域の垂直方向総画素数ｎに達するまで（ステップＳ８１６でＹＥＳ）、３値化処理部１８は差分画像の３値化処理（ステップＳ８２０〜Ｓ８３４）を繰返し実行する。このようにして、目探索領域の総画素ｍ×ｎについて３値化処理が終了すると（ステップＳ８１４でＹＥＳ、かつステップＳ８１６でＹＥＳ）、３値化処理部１８は３値化画像Ｄ^３ _ｐ（ａ，ｂ）を信号格納部６２に格納する（ステップＳ８３６）。次いで、３値化処理部１８は図１８のフローチャートに処理を受け渡し、シーンの有効／無効判定のための前処理（ステップＳ１０）が実行される。

図１８に眼部領域決定のシーンの有効／無効判定のための前処理（ステップＳ１０）の詳細フローチャートを示す。図１８では、３値化画像Ｄ^３ _ｐ（ａ，ｂ）＝０の領域を例として前処理を説明する。Ｄ^３ _ｐ（ａ，ｂ）＝２の場合も同様の処理を行うことが可能である。

前処理部２０は、信号格納部６２に３値化画像Ｄ^３ _ｐ（ａ，ｂ）が格納されるまで待機し（ステップＳ１００４）、３値化画像Ｄ^３ _ｐ（ａ，ｂ）が格納されると（ステップＳ１００４でＹＥＳ）、３値化画像Ｄ^３ _ｐ（ａ，ｂ）を読み出す。

前処理部２０は、３値化画像Ｄ^３ _ｐ（ａ，ｂ）から、Ｄ^３ _ｐ（ａ，ｂ）＝０である画素を全て抽出する（ステップＳ１００６）。前処理部２０は、Ｄ^３ _ｐ（ａ，ｂ）＝０であり、かつ隣接（若しくは所定距離）する画素同士をクラスタリング（グルーピング）し、Ｄ^３ _ｐ（ａ，ｂ）＝０の領域を抽出する（ステップＳ１００８）。ここでは、領域Ｒ’_１〜Ｒ’_ｄが決定されたとする。

前処理部２０は各領域Ｒ’_１〜Ｒ’_ｄに含まれる画素の数をカウントし（ステップＳ１０１０）、カウントした画素の数をしきい値ｙ０と比較する（ステップＳ１０１２）。

カウントした画素の数をしきい値ｙ０と比較し、カウントした画素の数がしきい値ｙ０以上である場合（ステップＳ１０１２でＹＥＳ）、前処理部２０はこの領域を以降の処理の対象と決定する。全ての領域Ｒ’_１〜Ｒ’_ｄの比較が終了した後に、前処理部２０は、以降の処理の対象と判定した領域に対し、面積の広い（すなわち、領域内の画素の数が多い）順に領域をナンバリングする（ステップＳ１０１４）。この場合、前処理部２０は領域を面積の広い順に、Ｒ１〜Ｒｃとナンバリングする。前処理部２０は、面積が広い順に所定数の領域に関する領域情報、および領域の総数（すなわち、ナンバリングした最大数）を信号格納部６２に格納する。次いで、前処理部２０はシーン判定部２２に処理を受け渡し、シーンの有効／無効判定処理（ステップＳ１２）が実行される。

カウントした画素の数がしきい値ｙ０よりも小さい場合（ステップＳ１０１２でＮＯ）、前処理部２０はこの領域をノイズであると判断し、以降の処理の対象から除外する（ステップＳ１０１８）。しきい値ｙ０は明らかに眼部を示す画素数よりも小さい数であり、実験値などから経験的に決定することが可能である。次いで、前処理部２０は図１３のフローチャートに処理を戻し、シーンの有効／無効判定処理（ステップＳ１２）が実行される。

図１９にシーンの有効／無効判定処理（ステップＳ１２）の詳細フローチャートを示す。

シーン判定部２２は、信号格納部６２にｐ番目のフレームの所定数の領域に関する領域情報、および領域の総数が格納されるまで待機する（ステップＳ１２０４）。信号格納部６２からｐ番目のフレームの所定数の領域に関する領域情報、および領域の総数を読み出すと（ステップＳ１２０４でＹＥＳ）、シーン判定部２２はステップＳ１２０６以降の処理を実行する。

シーン判定部２２は、領域の総数としきい値ｙ１とを比較し（ステップＳ１２０６）、領域の総数がしきい値ｙ１以上である場合（ステップＳ１２０６でＮＯ）、当該フレームを処理から除外する（ステップＳ１２０８）。なお、人間の目は２つであるので、ｙ１は２よりも大きい数である。領域の総数が多い場合には、ノイズが領域として誤検出されている可能性が高いため、このような領域を含むフレームは除外される。

さらに、シーン判定部２２は領域の面積の総和としきい値ｙ２とを比較する（ステップＳ１２１２）。

領域の面積の総和がしきい値ｙ２よりも大きい場合（ステップＳ１２１２でＮＯ）、シーン判定部２２は、このフレームを無効であると判断する（ステップＳ１２０８）。ここで、しきい値ｙ２は、通常の撮像状態における眼部領域の面積の総和に基づき決定可能である。このように、面積の総和が所定値以上の領域を除外することにより、メガネのレンズ等、眼部領域以外の領域を眼部領域として誤検出することを未然に回避することができる。

領域の面積の総和がしきい値ｙ２以下である場合（ステップＳ１２１２でＹＥＳ）、シーン判定部２２は当該フレームを有効であると判定し（ステップＳ１２１４）、このフレームを以降の処理対象として信号処理部６２に格納する（ステップＳ１２１６）。次いで、シーン判定部２２は、図１３に処理を戻し、眼部検出処理（ステップＳ１４）が実行される。

図２０は眼部検出処理（ステップＳ１４）の詳細フローチャートである。

眼部検出部２４は、有効であると判断されたフレームが信号格納部６２に格納されると（ステップＳ１４０４でＹＥＳ）、次いで、眼部検出部２４はｐ番目のフレームの３値化画像Ｄ^３ _ｐ（ａ，ｂ）を読み出す。

眼部検出部２４は、領域Ｒ１〜Ｒｃにおいて２つの領域の水平方向および垂直方向の位置をそれぞれ比較する（ステップＳ１４０６）。眼部検出部２４は、水平方向および垂直方向の位置が所定範囲内にあり、かつ２つの領域の面積の差が最も小さい１組の領域を眼部領域と決定する（ステップＳ１４０８）。領域Ｒ１〜Ｒｃは、目の領域としてふさわしい画素数を有しているため、面積の差を比較することで好適に眼部領域を決定することが可能である。また、目は、顔部を構成する部位の内、輝度が変化する最も大きな部位であるため、面積の大きい２つの領域Ｒ１、Ｒ２の水平方向および垂直方向の位置をそれぞれ比較することによって眼部領域を決定しても良い。また、左右の目は形状が類似するため、２つの領域の形状に関する相関値を算出し、最も類似する２つの領域を眼部領域と決定しても良い。眼部検出部２４は、信号格納部６２に２つの眼部領域の画素の座標情報を格納する（ステップＳ１４１０）。次いで、眼部検出部２４は瞬目動作判定部２６に処理を受け渡す。

瞬目動作判定部２６は、ｐ番目の３値化画像Ｄ^３ _ｐ（ａ，ｂ）および眼部領域の画素の座標情報を信号格納部６２から読み出す。瞬目動作判定部２６は一回の瞬目動作におけるフレームの数を検出する。瞬目動作は眼部領域の輝度の時間変化によって検出され得る。瞬目動作判定部２６は、一回の瞬目動作におけるフレームの数がしきい値ＴＨ_{ｂｌｉｎｋ}以上である場合、警告音を出力する。

上述したように本実施の形態に係る眼部検出装置では、鼻を基準として目探索領域を定めることにより、顔部品の形状が変化した場合であっても眼部領域を正確に検出することが可能となる。

さらに、前のフレームにおける目探索領域をテンプレートとしてテンプレート・マッチングを実行するので、正確な位置ズレ量の算出が可能となる。前のフレームにおける目探索領域の縁部の少なくとも１つの画素の輝度の差に基づいて目探索領域の輝度を補正するので、フレーム間の輝度の差を補正する処理が高速に実行できる。また、目探索領域の平均輝度を算出し、平均輝度に基づいて目探索領域の輝度を補正するため、フレーム間で周囲の照明が変化した場合であっても、眼部領域を正確に検出することが可能となる。連続する２つのフレームの目探索領域において、対応付けられた画素ごとに輝度の差分値を算出し、前記差分値を３値化するので、瞼が閉じられた場合と瞼が開かれた場合を正確に検出できる。目探索領域の差分の３値化画像において、水平方向および垂直方向の相対位置が所定条件を満たす1対の領域を眼部領域として決定する。人間の目は水平方向の距離が所定の範囲にあり、垂直方向の高さが略一致するため、水平方向および垂直方向の相対位置を比較することで、正確に眼部領域を検出することが可能となる。

目探索領域内の差分が生じた領域の総数、および総面積に基づいて目領域を検出することにより、運転者がメガネ等を使用する場合であっても、ノイズの多い画像を除外し、正確に眼部領域を決定することが可能となる。

本発明は以上の実施形態に限られず、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、顔検出装置は車両に設置することを例示しているが、運転者が操作する移動体であればどのようなものでも良い。飛行機やヘリコプター等の飛行体に設置することも可能である。船体であっても良い。また、例示したカメラ以外の撮像部も利用可能であり、データ処理部の構成も図２の構成に限られるものではない。

１００ 眼部検出装置
２ 車両
４ 撮像部
６ データ処理部
１２ 目探索領域部
１４ 位置ズレ補正部
１６ 差分画像作成部
１８ ３値化処理部
２２ シーン判定部
２４ 眼部検出部
４２ カメラ
４４ 制御部
６０ 演算部（ＣＰＵ）
６２ 信号格納部
６６ ＲＡＭ
６６２ フレーム・メモリ
６６４ テンプレート・メモリ

Claims (11)

1. 一定の時間毎に撮像された顔の画像を入力する手段と、
   前記画像から鼻を含む特徴点に基づいて目探索領域を抽出する手段と、
   第１の時間における前記特徴点と第２の時間における前記特徴点の位置の比較に基づいて、第１の時間における前記目探索領域と第２の時間における前記目探索領域とを対応付ける手段と、
   前記対応付けられた第１および第２の時間における前記目探索領域に基づいて、前記第１および第２の時間における目探索領域から眼部領域を決定する手段とを有し、
   前記眼部領域を決定する手段は、第１の時間における前記目探索領域と第２の時間における前記目探索領域の、前記対応付けられた画素ごとに輝度の差分値を算出する差分画像作成手段を備える眼部検出装置。
2. 前記目探索領域を対応付ける手段は、第１の時間における前記目探索領域と第２の時間における前記目探索領域との対応付けに基づいて前記第１および第２の時間における目探索領域の間の位置ズレ量を決定する請求項１に記載の眼部検出装置。
3. 前記目探索領域を対応付ける手段は、第１の時間における前記目探索領域をテンプレートとして第２の時間における前記目探索領域にテンプレート・マッチングを実行する、請求項１または２に記載の眼部検出装置。
4. 前記目探索領域を抽出する手段は、第１および第２の時間における前記目探索領域内の少なくとも１つの画素の輝度の差に基づいて第１の時間または第２の時間における前記目探索領域の輝度を補正する請求項１〜３のいずれか１項に記載の眼部検出装置。
5. 前記眼部領域を決定する手段は、前記対応付けられた目探索領域において、相対位置が所定条件を満たす1対の領域を眼部領域として決定する請求項１〜４のいずれか１項に記載の眼部検出装置。
6. 前記差分画像作成手段は、前記目探索領域の平均輝度を算出し、平均輝度に基づいて前記目探索領域の輝度を補正する、請求項１〜５のいずれか１項に記載の眼部検出装置。
7. 前記眼部領域を決定する手段は、前記差分値を３値化する３値化処理手段をさらに備える請求項１〜６のいずれか１項に記載の眼部検出装置。
8. 前記眼部領域を決定する手段は、前記目探索領域内の差分が生じた領域の総数に基づいて眼部領域を検出するか否かを決定する請求項１〜７のいずれか1項に記載の眼部検出装置。
9. 前記眼部領域を決定する手段は、前記目探索領域内の差分が生じた各領域の総面積に基づいて眼部領域を検出するか否かを決定する請求項１〜８のいずれか１項に記載の眼部検出装置。
10. 目探索領域抽出手段が一定の時間毎に撮像された顔の画像を入力して前記画像から鼻を含む特徴点に基づいて目探索領域を抽出するステップと、
    目探索領域対応付け手段が第１の時間における前記特徴点と第２の時間における前記特徴点の位置の比較に基づいて、第１の時間における前記目探索領域と第２の時間における前記目探索領域とを対応付けるステップと、
    眼部領域決定手段が前記対応付けられた第１および第２の時間における前記目探索領域に基づいて、前記第１および第２の時間における目探索領域から眼部領域を決定するステップとを有する眼部検出方法であって、
    前記眼部領域を決定するステップは、差分画像作成手段が、第１の時間における前記目探索領域と第２の時間における前記目探索領域の、前記対応付けられた画素ごとに輝度の差分値を算出するステップを備える眼部検出方法。
11. 目探索領域抽出手段が一定の時間毎に撮像された顔の画像を入力して前記画像から鼻を含む特徴点に基づいて目探索領域を抽出するステップと、
    目探索領域対応付け手段が第１の時間における前記特徴点と第２の時間における前記特徴点の位置の比較に基づいて、第１の時間における前記目探索領域と第２の時間における前記目探索領域とを対応付けるステップと、
    眼部領域決定手段が前記対応付けられた第１および第２の時間における前記目探索領域に基づいて、前記第１および第２の時間における目探索領域から眼部領域を決定するステップとをコンピュータに実行させるためのプログラムであって、
    前記眼部領域を決定するステップは、差分画像作成手段が、第１の時間における前記目探索領域と第２の時間における前記目探索領域の、前記対応付けられた画素ごとに輝度の差分値を算出するステップを備える、プログラム。