JP3963789B2 - 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法 - Google Patents
眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法 Download PDFInfo
- Publication number
- JP3963789B2 JP3963789B2 JP2002182690A JP2002182690A JP3963789B2 JP 3963789 B2 JP3963789 B2 JP 3963789B2 JP 2002182690 A JP2002182690 A JP 2002182690A JP 2002182690 A JP2002182690 A JP 2002182690A JP 3963789 B2 JP3963789 B2 JP 3963789B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- image
- detection
- current frame
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、顔画像の眼の位置を検出する眼検出装置及び眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法に関する。
【０００２】
【従来の技術】
近年、ビデオカメラによって取得された顔画像に対して所定の画像処理を施すことにより眼の画像を抽出し、眼の位置を検出する眼検出装置が知られている。このような眼検出装置は、自動車の運転手の居眠りを防止する居眠り防止システムなどに広く用いられているが、眼の位置が分かれば、顔の各部位の位置の特定が容易に行えるため、今後、様々なシステムに応用されることが期待されている。
【０００３】
従来の眼検出装置では、ビデオカメラにより被写体の顔の部分の動画像を撮像し、撮像した動画像の各フレームに対して、瞳のような顔の他の領域よりも相対的に暗い領域を検出することができる分離度フィルタを用いて瞳の画像を抽出し、抽出した瞳の画像を基に眼の位置を検出していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、分離度フィルタは瞼が閉じられた場合、瞳が隠れてしまうため、その間、眼の位置を検出することができないという問題があった。
【０００５】
そこで、瞬きに対応するために分離度フィルタと更新型のテンプレートマッチングとを併用する手法が提案されている（林健太郎、橋本学、鷲見和彦、”頑健性と精緻性とを備えた顔特徴点追跡による顔方向推定”、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ、Ｎｏ．８、ｐｐ．１７６２−１７７１、（２００１．０８））。この手法を用いると、分離度フィルタのみを用いる手法に比べて検出精度は上がるものの、更に検出精度を上げる余地が残されている。
【０００６】
本発明は、上記課題を解決するためになされたものであり、瞼の開閉に影響されることなく、眼の位置を正確に検出することができる眼検出装置、眼検出プログラム、そのプログラムを記録した記録媒体及び眼検出方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る眼検出装置は、被験者の顔画像を時系列的に取得する画像取得手段と、取得した顔画像に対して両眼を含む領域を第１の検出領域として設定する検出領域設定手段と、前記第１の検出領域内の画像から眼の輪郭を抽出する眼輪郭抽出フィルタを用いて眼の輪郭の画像を抽出する画像抽出手段と、抽出した眼の輪郭の画像から眼の位置を検出する位置検出手段とを備え、前記画像取得手段は、所定フレーム周期毎に顔画像を取得し、顔画像の過去のフレームにおける眼の位置の変動量を基に、現フレームの眼の予測位置を算出する予測位置算出手段と、前記予測位置算出手段が算出した現フレームの眼の位置と前記位置検出手段が検出した現フレームの眼の位置とのずれ量から、前記位置検出手段が検出した現フレームの眼の位置の正確性を判断する判断手段とを更に備え、前記検出領域設定手段は、前記判断手段により前記位置検出手段が検出した眼の位置が正しいと判断された場合、当該眼の位置を中心として前記第１の検出領域よりも小さな第２の検出領域を前記現フレームの次のフレームに設定し、前記画像抽出手段は、前記第２の検出領域から眼の輪郭の画像を抽出することを特徴とするものである。
【０００８】
本眼検出装置によれば、検出領域設定手段により顔画像の中かから両目を含む検出領域が設定され、画像抽出手段により、検出領域内に眼輪郭抽出フィルタを用いたフィルタ処理が施され眼の輪郭の画像が抽出される。ここで、眼輪郭抽出フィルタは、瞼が開いている場合は、閉曲線によって形成される眼の輪郭の画像を抽出することができ、瞼が閉じている場合は、睫によって形成される曲線を抽出することができる。そのため、瞼の開閉に影響されることなく、眼の位置を正確に検出することができる。また、予測位置算出手段により現フレームの眼の予測位置が算出され、判断手段によって、検出手段が検出した現フレームの眼の位置と、予測位置算出手段が算出した眼の位置とのずれ量とから検出手段が検出した現フレームの眼の位置の正確性が判断されるため、この判断結果を基に現フレームの眼の位置を特定すれば眼の検出精度を高めることができる。また、検出領域が狭まり、検出手段によるフィルタ処理を高速化することができるとともに、検出領域内に眼が存在する確率を高めることができるため、眼の位置検出の正確性を増すことができる。
【０００９】
また、前記画像抽出手段は、前記検出領域内の画像に対して、瞳を抽出する瞳抽出フィルタを用いて瞳の画像を抽出することが好ましい。
【００１０】
この場合、瞼が開いているときは、瞳抽出フィルタと眼輪郭フィルタとを用いて眼の画像が抽出されるため、フィルタ処理後の画像に眼の特徴が良く現れ、眼の画像の特定が容易となり、更に眼の位置の検出精度を高めることができる。
【００１３】
また、前記検出領域設定手段は、前記位置検出手段が過去のフレームから検出した両眼の位置及び両眼の間隔に基づいて、現フレームの検出領域を設定することが好ましい。
【００１４】
この場合、過去のフレームにおける両目の間隔及び位置に基づいて現フレームの検出領域が設定されるため、検出領域が狭まり、検出手段によるフィルタ処理を高速化することができるとともに、検出領域内に眼が存在する確率を高めることができるため、眼の位置検出の正確性を増すことができる。
【００１５】
また、前記画像抽出手段は、顔画像の両目の中心と口の中心とを結ぶ直線に対して平行であって、上下の位置に存在する２つの眼の候補画像に関して、下側の候補画像を眼の画像として抽出することが好ましい。
【００１６】
この場合、眉の画像と眼の画像を速やかに検出することができる。
【００１７】
また、眼の輪郭線の画素を検出するとともに、眉の輪郭線の画素を検出するエッジ検出手段と、眼の輪郭線の画素の配置を基に眼の上側及び下側の輪郭線を表す近似関数をそれぞれ算出するとともに、眉の輪郭線の画素の配置を基に眉の上側及び下側の輪郭線を表す近似関数をそれぞれ算出する近似関数算出手段とを更に備えることが好ましい。
【００１８】
この場合、眼の輪郭線の画素の配置から眼の上側の輪郭線及び下側の輪郭線がそれぞれ近似関数によって表されるため、なめらかな眼の輪郭線を得ることができる。さらに、眉の上側の輪郭線及び下側の輪郭線がそれぞれ近似関数によって表されるため、なめらかな眉の輪郭線を得ることができる。
【００１９】
本発明に係る眼検出プログラムは、コンピュータを、被験者の顔画像を時系列的に取得する画像取得手段によって取得された顔画像から両眼を含む領域を第１の検出領域として設定する検出領域設定手段、前記第１の検出領域内の画像に対して眼の輪郭を抽出する眼輪郭抽出フィルタを用いて眼の輪郭の画像を抽出する画像抽出手段、抽出した眼の輪郭の画像から眼の位置を検出する位置検出手段として機能させ、前記画像取得手段は、所定フレーム周期毎に顔画像を取得し、顔画像の過去のフレームにおける眼の位置の変動量を基に、現フレームの眼の予測位置を算出する予測位置算出手段、前記予測位置算出手段が算出した現フレームの眼の位置と前記位置検出手段が検出した現フレームの眼の位置とのずれ量から、前記位置検出手段が検出した現フレームの眼の位置の正確性を判断する判断手段としてコンピュータを更に機能させ、前記検出領域設定手段は、前記判断手段により前記位置検出手段が検出した眼の位置が正しいと判断された場合、当該眼の位置を中心として前記第１の検出領域よりも小さな第２の検出領域を前記現フレームの次のフレームに設定し、前記画像抽出手段は、前記第２の検出領域から眼の輪郭の画像を抽出することを特徴とするものである。
【００２０】
本発明に係る眼検出プログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータを、被験者の顔画像を時系列的に取得する画像取得手段によって取得された顔画像から両眼を含む領域を第１の検出領域として設定する検出領域設定手段、前記第１の検出領域内の画像に対して眼の輪郭を抽出する眼輪郭抽出フィルタを用いて眼の輪郭の画像を抽出する画像抽出手段、抽出した眼の輪郭の画像から眼の位置を検出する位置検出手段として機能させ、前記画像取得手段は、所定フレーム周期毎に顔画像を取得し、顔画像の過去のフレームにおける眼の位置の変動量を基に、現フレームの眼の予測位置を算出する予測位置算出手段、前記予測位置算出手段が算出した現フレームの眼の位置と前記位置検出手段が検出した現フレームの眼の位置とのずれ量から、前記位置検出手段が検出した現フレームの眼の位置の正確性を判断する判断手段としてコンピュータを更に機能させ、前記検出領域設定手段は、前記判断手段により前記位置検出手段が検出した眼の位置が正しいと判断された場合、当該眼の位置を中心として前記第１の検出領域よりも小さな第２の検出領域を前記現フレームの次のフレームに設定し、前記画像抽出手段は、前記第２の検出領域から眼の輪郭の画像を抽出することを特徴とする眼検出プログラムを記録したものである。
【００２１】
これらの場合、眼検出プログラムを記録するコンピュータ読取可能な記録媒体をコンピュータにインストールすることにより、容易にコンピュータを眼検出装置として機能させることができる。
【００２２】
本発明に係る眼検出方法は、被験者の顔画像を時系列的に取得する画像取得ステップと、取得した顔画像に対して両眼を含む領域を第１の検出領域として設定する検出領域設定ステップと、前記第１の検出領域内の画像に対して眼の輪郭を抽出する眼輪郭抽出フィルタを用いて眼の輪郭の画像を抽出する画像抽出ステップと、抽出した眼の輪郭の画像から眼の位置を検出する位置検出ステップと、前記画像取得ステップは、所定フレーム周期毎に顔画像を取得し、顔画像の過去のフレームにおける眼の位置の変動量を基に、現フレームの眼の予測位置を算出する予測位置算出ステップと、前記予測位置算出ステップが算出した現フレームの眼の位置と前記位置検出ステップが検出した現フレームの眼の位置とのずれ量から、前記位置検出ステップが検出した現フレームの眼の位置の正確性を判断する判断ステップとを更に備え、前記検出領域設定ステップは、前記判断ステップにより前記位置検出ステップが検出した眼の位置が正しいと判断された場合、当該眼の位置を中心として前記第１の検出領域よりも小さな第２の検出領域を前記現フレームの次のフレームに設定し、前記画像抽出ステップは、前記第２の検出領域から眼の輪郭の画像を抽出するものである。
【００２３】
【発明の実施の形態】
以下、本発明に係る眼検出装置の一実施形態について説明する。図１は、眼検出装置の概略構成を示した図である。
【００２４】
図１に示す眼検出装置は、種々の処理を行うパーソナルコンピュータ１と、被験者の顔画像を撮影するビデオカメラ２とを備えている。
【００２５】
パーソナルコンピュータ１は、種々のプログラムを実行し、眼検出装置全体を制御するＣＰＵ（中央処理装置）１１と、ビデオカメラ２によって撮影された被写体の顔画像や種々のデータを一時的に記憶するＲＡＭ（ランダムアクセスメモリ）１２と、パーソナルコンピュータ１を動作させるための基本プログラムを記憶するＲＯＭ（リードオンリーメモリ）１３と、ＣＲＴ（陰極線管）あるいは液晶パネルから構成され、処理された顔画像などを表示する表示装置１４と、ＣＤ−ＲＯＭ、ＤＶＤ及びフレキシブルディスクなどの記録媒体Ｍに記録されたデータを読み取る記録媒体駆動装置１５と、ハードディスクなどから構成され、眼検出プログラムを記憶する補助記憶装置１６と、マウス及びキーボードを含み、オペレータの操作指令を受け付ける入力装置１７とを備えている。
【００２６】
ビデオカメラ２は、パーソナルコンピュータ１と例えばビデオケーブルにより接続され、所定のフレームレートで被写体の顔画像を撮影し、撮影した顔画像をビデオケーブルを介してパーソナルコンピュータ１に出力する。
【００２７】
本実施形態では、眼検出プログラムを記録するＣＤ−ＲＯＭを記録媒体駆動装置１５に装填し、パーソナルコンピュータ１にインストールすることにより、パーソナルコンピュータ１を眼検出装置として機能させている。なお、インターネット上に配設されたＷＥＢサーバに眼検出プログラムを記憶させておき、ＷＥＢサーバからその眼検出プログラムをダウンロードすることにより、パーソナルコンピュータ１に眼検出プログラムをインストールしてもよい。さらに、パーソナルコンピュータ１によって顔画像を取得して、取得した顔画像をＷＥＢサーバに送信し、ＷＥＢサーバ上で眼の検出処理を施し、その処理結果をパーソナルコンピュータに送信するというように、ＷＥＢサーバとパーソナルコンピュータ１との間で眼検出プログラムを分散して実行させてもよい。
【００２８】
図２は、眼検出装置のブロック構成図を示している。本眼検出装置は、機能的に、画像取得部１００と、プログラム実行部２００と、画像メモリ３００と、表示部４００とを備えている。本眼検出装置は、眼の検出処理を行うにあたり、例えば顔画像の１枚目のフレームから所定枚数目までのフレームに対して眼の検出を行う眼検出モードと、眼検出モードにおいて検出された過去のフレームの眼の位置を基に、現フレームの眼の位置を検出する眼追跡モードと、眼検出モード又は眼追跡モードにおいて検出された過去のフレームの眼の位置を基に、眉の輪郭線及び眼の輪郭線を作成する輪郭線作成モードとの３つのモードを備えている。
【００２９】
画像取得部１００は、ビデオカメラ２を用いて撮影された被写体の顔画像を取得して、画像メモリ３００に記憶させる。画像取得部１００は、顔画像を取得するにあたり、眼の中心と口の中心とを結ぶ直線の方向が水平方向に対して直交する方向となるように、かつ、頭が上側となるように顔画像を取得する。以下の説明において、顔画像とは、図３に示すように被写体の顔の部分を含む長方形状の画像を示し、この顔画像の左上の頂点を原点（０、０）とし、長方形の上辺にｘ座標を長方形の左辺にｙ座標を設定する。
【００３０】
プログラム実行部２００は、ＣＰＵ１１が眼検出プログラムを実行することによって実現され、検出領域設定部２０１と、画像抽出部２０２と、位置検出部２０３と、予測位置算出部２０４と、判断部２０５と、輪郭線作成部２０６と、濃淡画像変換部２０７とを備えている。
【００３１】
検出領域設定部２０１は、眼検出モードにおいては、画像取得部１００が取得した顔画像の例えば１枚目から所定枚数目より１つ前までのフレームに対して、画像抽出部２０２が顔画像に対してフィルタ処理を施すための両眼を含む第１の検出領域Ｒ１を設定する。図３に示すように第１の検出領域Ｒ１は、ｘ方向に平行かつ長尺の短冊状の領域である。
【００３２】
また、検出領域設定部２０１は、眼追跡モード及び輪郭線作成モードにおいては、現フレームの１つ前のフレームで検出された両眼のそれぞれの位置を中心とする２つの領域を現フレームに当てはめ、現フレームに対して画像抽出部２０２及び輪郭線作成部２０６が種々の処理を施すための第２の検出領域Ｒ２を設定する。図３に示すように第２の検出領域Ｒ２に含まれる２つの領域のうち一方の領域は、左側の眉及び眼を含む例えばほぼ正方形状の領域であり、他方の領域は右側の眉及び眼を含む例えばほぼ正方形状の領域である。なお、第２の検出領域Ｒ２に含まれる２つの領域は、それぞれ眼の中心位置を中心とし、かつ短軸がｙ方向と平行な楕円状の領域としてもよい。
【００３３】
画像抽出部２０２は、濃度補正部２０２１と、サブサンプリング部２０２２と、フィルタ処理部２０２３と、面積算出部２０２４と、画像判定部２０２５とを備えている。
【００３４】
濃度補正部２０２１は、検出領域設定部２０１が設定した第１及び第２の検出領域Ｒ１及びＲ２に対して、同じ濃度値を有する画素数を求め、濃度値ヒストグラムを作成し、この濃度値ヒストグラムを平坦化する処理を行う。これにより、ビデオカメラ２が被写体を撮像する際の照明条件などが異なることによる顔画像毎の明暗のバラツキが抑制される。
【００３５】
サブサンプリング部２０２２は、フィルタ処理部２０２３によるフィルタ処理の高速化を図るための前処理として、第１及び第２の検出領域Ｒ１及びＲ２の画素数を間引く処理を行う。この場合、第２の検出領域Ｒ２に含まれる２つの領域のそれぞれは、画素数が例えば６４×６４ドットとなるように間引き処理がされる。
【００３６】
フィルタ処理部２０２３は、眼検出モードにおいては、第１の検出領域Ｒ１を取り出し、眼追跡モード及び眼輪郭線作成モードにおいては、第２の検出領域Ｒ２を取り出し、取り出した第１の検出領域Ｒ１及び第２の検出領域Ｒ２に対して瞳を抽出するための瞳抽出フィルタと、眼の輪郭を抽出するための眼輪郭抽出フィルタとを用いて、フィルタ処理を施し、瞳及び眼の輪郭を抽出する。図４は、瞳抽出フィルタを示したグラフであり、図５は、目輪郭抽出フィルタを示したグラフである。図４及び図５において、縦軸は顔画像のｙ座標に対応する座標であり、横軸はフィルタ値を示す座標である。
【００３７】
瞳抽出フィルタｈｐ（ｙ）は、式（１）のように表される。
【００３８】
【数１】
【００３９】
ここで、式（１）において、ｙは、顔画像のｙ方向の任意の位置を示す変数であり、Ｔｐは定数でありその値は一般人の平均的な瞳の半径とほぼ同じ値である。顔画像中の眼、特に瞳の部分は周囲の肌色領域及び白眼領域よりも相対的に暗い。そこで、瞳抽出フィルタｈｐ（ｙ）として、図４に示す横軸の値が０に近づくにつれてフィルタ値が０に近づき、原点から横軸に対して定数Ｔｐ及び−Ｔｐに近づくにつれてフィルタ値が１に近づくような、瞳の抽出に適した１次元の関数が採用されている。
【００４０】
眼輪郭抽出フィルタｈｃ（ｙ）は、式（２）のように表される。
【００４１】
【数２】
【００４２】
式（２）は、式（１）とほぼ同じ式であるが、定数Ｔｃの大きさが式（１）の定数Ｔｐの大きさと異なる。すなわち、眼輪郭抽出フィルタｈｃ（ｙ）は、周囲の肌色の画像に対して相対的に暗い曲線状の眼の輪郭が適切に抽出されるように、すなわち、暗くかつ細いライン状の領域を抽出することができるように定数Ｔｃの値が設定されている。そのため、定数Ｔｃは定数Ｔｐよりも小さい値（Ｔｃ＜Ｔｐ）が設定されている。
【００４３】
フィルタ処理部２０２３は、第１及び第２の検出領域Ｒ１及びＲ２内の画像のｙ方向の１ライン分の画像ｆ（ｙ）に対して瞳抽出フィルタｈｐ（ｙ）を用いて式（３）に示す畳み込み積分を施した後、更にｘ方向に隣接する次のｙ方向の１ライン分の画像ｆ（ｙ）に対して瞳抽出フィルタｈｐ（ｙ）を用いた畳み込み積分を施すというように、第１及び第２の検出領域Ｒ１及びＲ２内のｙ方向の画像ｆ（ｙ）に対して瞳抽出フィルタｈｐ（ｙ）を用いた畳み込み積分を順番に施していき瞳画像を抽出する。
【００４４】
【数３】
【００４５】
さらに、フィルタ処理部２０２３は、式（４）に示すように、ｙ方向の画像ｆ（ｙ）に対して、眼輪郭抽出フィルタｈｃ（ｙ）を用いた畳み込み積分を１ラインづつ順番に施すことにより、眼の輪郭画像を抽出する。そして、抽出した瞳画像と眼の輪郭画像とを合成し、眼の画像を抽出する。
【００４６】
ここで、フィルタ処理部２０２３は、第１及び第２の検出領域Ｒ１及びＲ２の画像に対して、１次元のフィルタ処理を施しているが、画像取得部１００は、眼の中心と口の中心とを結ぶ直線がｙ方向となるように顔画像を取得しているため、眼の輪郭線は多くの部分がｘ方向とほぼ平行に現れることとなり、ｙ方向の１ライン分の画像ｆ（ｙ）に対して眼輪郭抽出フィルタｈｃ（ｙ）を用いた畳み込み積分を施せば、眼の輪郭画像を抽出することができる。その結果、計算量の多い２次元のフィルタ処理を施さなくとも、１次元のフィルタ処理により眼の輪郭画像を抽出することができる。
【００４７】
面積算出部２０２４は、フィルタ処理部２０２３によってフィルタ処理が施された第１及び第２の検出領域Ｒ１及びＲ２の画像に対して２値化処理を施す。上述したようにフィルタ処理部２０２３は、第１及び第２の検出領域Ｒ１及びＲ２に対して、眼輪郭抽出フィルタｈｃ（ｙ）及び瞳抽出フィルタｈｐ（ｙ）を用いてフィルタ処理を施すことにより、眼の画像を抽出しているが、これらのフィルタは、肌色に対して相対的に暗い画素を抽出する特性を有しているため、眉、鼻の脇及び眼の下のくまなども検出する場合がある。その結果、フィルタ処理部２０２３は、複数の眼の候補画像を抽出することとなる。そこで、面積算出部２０２４は、画像判定部２０２５が面積を基に眼の画像を判定することができるように、２値化処理を施し、各候補画像のドット数をカウントすることにより各候補画像の面積を算出する。
【００４８】
画像判定部２０２５は、面積算出部２０２４が算出した各候補画像のうち、面積の大きな２つ候補画像を眼の画像として判断し、複数の候補画像の中から眼の画像を特定する。ただし、面積の比較だけでは、眉を示す候補画像も大きな面積を有しているため、誤ってこの画像を眼の画像として特定する場合がある。そこで、画像判定部２０２５は、ｙ方向の上下に面積の大きな２つの候補画像を検出した場合、上側の候補画像を眉の画像として排除し、下側の画像を眼の画像として特定する。
【００４９】
位置検出部２０３は、画像判定部２０２５が特定した両眼の画像のそれぞれの重心を算出し、両眼のそれぞれの位置を検出する。位置検出部２０３は、眼の中心を算出するにあたり、例えば各眼の画像に外接する四角形を当てはめこの四角形の２本の対角線の交点を眼の重心として算出する。
【００５０】
予測位置算出部２０４は、位置検出部２０３が過去フレームにおいて検出した両眼のそれぞれの位置をもとに眼の移動速度及び移動加速度を算出し、算出した移動速度及び移動加速度からテイラー展開にしたがって現フレームの眼の予測位置を算出する。現フレーム対して１つ前のフレームにおける眼の位置をｘ（ｔ）、ｙ（ｔ）とすると眼の移動速度はｘ（ｔ）及びｙ（ｔ）の１階微分ｘ（ｔ）’及びｙ’（ｔ）で表され、眼の移動加速度はｘ（ｔ）、ｙ（ｔ）の２階微分ｘ’’（ｔ）、ｙ’’（ｔ）で表される（ただし、ｔは時間を表す変数）。したがって、各フレームの時間間隔をΔｔとすると予測位置ｘ（ｔ＋Δｔ）、ｙ（ｔ＋Δｔ）は、式（５）で示すように、２次の項までテイラー展開行った式で表すことができる。
【００５１】
【数４】
【００５２】
判断部２０５は、位置検出部２０３が検出した現フレームの眼の位置と、予測位置算出部２０４が算出した現フレームの眼の予測位置の差ｄを求め、この差ｄを基に予め定められた信頼度関数を用いて信頼度を算出し、位置検出部２０３が検出した眼の位置の正確性を判断する。信頼度関数は、図６に示すような例えばｅｘｐ（−ｄ2）のような指数関数で表され、差ｄが０に近づくにつれて信頼度が高くなり、差が大きくなるにつれて信頼度が低くなるような関数である。さらに、判断部２０５は、信頼度が例えば所定の値以上であれば、位置検出部２０３が検出した眼の位置を正しい眼の位置として採用し、信頼度が所定の値以下であれば、位置検出部２０３が眼の位置を誤検出したとして、その位置を眼の位置として採用しない。
【００５３】
輪郭線作成部２０６は、ノイズ除去部２０６１と、エッジ検出部２０６２と、近似関数算出部２０６３とを備える。
【００５４】
ノイズ除去部２０６１は、検出領域設定部２０１が設定した第２の検出領域Ｒ２に対して、所定の周波数帯域の画像成分を通過させる空間周波数フィルタを用いたフィルタ処理を施すことにより、第２の検出領域Ｒ２内の画像に含まれる眼及び眉の輪郭線を作成するにあたり不要な画像成分を除去する。第２の検出領域Ｒ２内には、眉間やこめかみ付近で周囲の肌色より暗い領域が存在するため、エッジ検出部２０６２は、これらの暗い領域を眼及び眉の輪郭線として誤って検出するおそれがある。そこで、ノイズ除去部２０６１は、空間周波数フィルタを用いて眼及び眉の輪郭を検出するうえで不要となる画像成分を除去している。空間周波数フィルタによるフィルタ処理方法としては、例えば離散フーリエ変換、離散コサイン変換あるいはウェーブレット変換などによるフィルタ処理方法を採用すればよい。
【００５５】
エッジ検出部２０６２は、位置検出部２０３で検出された両眼のそれぞれの位置を基に、ｙ方向上の眉及び眼の間の位置を第１の始点として設定し、第２の検出領域Ｒ２内の画像に対して、上方向（−ｙ方向）に向かって周囲の肌色よりも暗い画素の検出を所定の濃度閾値と比較することにより行い、検出した画素を眉の下側の輪郭線の画素とするとともに、下方向（＋ｙ方向）に向かって周囲の肌色よりも暗い画素の検出を所定の濃度閾値と比較することにより行い、検出した画素を眼の上側の輪郭線の画素とする。エッジ検出部２０６２は、このような処理を第２の検出領域Ｒ２の左側（ｙ軸側）の画像から右側に向けてｙ方向の１ラインの画像毎に順番に施していく。
【００５６】
さらに、エッジ検出部２０６２は、位置検出部２０３で検出された両眼それぞれの位置を基に、眉の下側の輪郭線の画素及び眼の上側の輪郭線の画素を検出する場合と同様にして、眉の上側（ｘ軸側）の所定の位置を第２の始点として、下方向（＋ｙ方向）に向かって周囲の肌色よりも暗い画素の検出を行い、検出した画素を眉の上側の輪郭線の画素とする。
【００５７】
さらに、エッジ検出部２０６２は、位置検出部２０３で検出された両眼それぞれの位置を基に、眼の下側の所定の位置を第３の始点として、眉の上側の輪郭線の画素を検出する場合と同様にして、上方向（−ｙ方向）に向かって周囲の肌色よりも暗い画素の検出を行い、検出した画素を眼の下側の輪郭線の画素とする。
【００５８】
近似関数算出部２０６３は、エッジ検出部２０６２が検出した眉の上端画素の配列を基に、例えば最小二乗法を用いて眉の上側の輪郭線を表す近似関数を算出する。さらに近似関数算出部２０６３は、眉の下側の輪郭線の画素、眼の上側の輪郭線の画素及び眼の下側の輪郭線の画素に関しても、画素の配列を基に、最小二乗近似法を用いて眉の下側の輪郭線、眼の上側の輪郭線及び眼の下側の輪郭線を表す近似関数をそれぞれ算出する。ここで、近似関数として、高次の関数を用いると、かえって輪郭線の形状が不自然になるため、低次の関数、例えば二次関数を用いるのが好ましい。
【００５９】
濃淡画像変換部２０７は、画像取得部１００が取得した顔画像のＲ（赤）、Ｇ（緑）及びＢ（青）色の成分に対してそれぞれ異なる所定の重みづけを施して合成することにより、その顔画像を輝度成分のみを表す濃淡画像に変換し、画像メモリ３００に記憶させる。上記検出領域設定部２０１〜輪郭線作成部２０６は、この濃淡画像に対して種々の処理を行う。
【００６０】
画像メモリ３００は、ＲＡＭ１２などから構成され、画像取得部１００が取得した顔画像、濃淡画像変換部２０７が変換した濃淡画像及びプログラム実行部２００が顔画像に対して種々の処理を施した画像などを一時的に記憶し、表示部４００に出力する。
【００６１】
表示部４００は、表示装置１４やＶＲＡＭなどを含み、画像メモリ３００から出力された画像を表示する。
【００６２】
次に、本眼検出装置の眼検出モードにおける動作について図７に示すフローチャートに従って説明する。
【００６３】
まず、画像取得部１００によって、顔画像の１枚目のフレームが取得される（ステップＳ１０１）。次いで、濃淡画像変換部２０７により、画像取得部１００が取得した顔画像が濃淡画像に変換される（ステップＳ１０２）。次いで、検出領域設定部２０１により、顔画像上に第１の検出領域Ｒ１が設定される（図３参照）（ステップＳ１０３）。次いで、濃度補正部２０２１によって、第１の検出領域Ｒ１の濃度値ヒストグラムが平坦化される（ステップＳ１０４）。
【００６４】
次いで、サブサンプリング部２０２２により、フィルタ処理部２０２３によるフィルタ処理の計算量の低下させるために、第１の検出領域Ｒ１の画像に対して間引き処理が施される（ステップＳ１０５）。
【００６５】
次いで、フィルタ処理部２０２３により、顔画像から第１の検出領域Ｒ１が取り出され、取り出された第１の検出領域Ｒ１に対して、瞳抽出フィルタｈｐ（ｔ）を用いたフィルタ処理が施され（ステップＳ１０６）瞳の画像が抽出される。この場合、図８（ａ）で示すような瞳の画像が抽出される。次いで、フィルタ処理部２０２３により、再度、顔画像から第１の検出領域Ｒ１が取り出され、取り出した第１の検出領域Ｒ１の画像に対して、眼輪郭抽出フィルタｈｃ（ｔ）を用いたフィルタ処理が施され、眼の輪郭線の画像が抽出される。この場合、図８（ｂ）で示すような眼の輪郭の画像が抽出される。次いで、フィルタ処理部２０２３により、ステップＳ１０６で抽出された瞳の画像とステップＳ１０７で抽出された眼の輪郭との画像が合成され、眼の画像が抽出される（ステップＳ１０８）。この場合、図８（ｃ）で示すような瞳及び眼の輪郭が合成された眼の画像が抽出される。なお、実際には、ステップＳ１０８の段階において、眼以外の複数の眼の候補画像が含まれているが、図８（ａ）〜（ｃ）においては、これら眼以外の眼の候補画像を省略している。
【００６６】
次いで、面積算出部２０２４により、フィルタ処理部２０２３がフィルタ処理した第１の検出領域Ｒ１に対して、２値化処理が施された後、複数の眼の候補画像がラベリングされ（ステップＳ１０９）、ドット数に基づいて各候補画像の面積が算出される。次いで、画像判定部２０２５によって、複数の眼の候補画像の中から２つの面積の大きな候補画像が抽出可能な場合（ステップＳ１１０でＹＥＳ）、この候補画像が両眼の画像として特定され、ステップＳ１１１に進む。一方、ステップＳ１１０において、面積の大きな２つの領域を抽出することができない場合（ステップＳ１１０でＮＯ）、再処理を行うためステップＳ１０３に戻る。なお、画像判定部２０２５が、ｙ方向の上下に２つの面積の大きな領域を抽出した場合（すなわち、この場合、眼の候補画像としてふさわしい面積を有する眼の候補画像が少なくとも３つ存在する）、上側の画像は眉の画像として排除され、下側の画像が眼の画像として特定される。
【００６７】
次いで、位置検出部２０３によって、眼の画像の重心が算出され、その中心が眼の位置として検出される（ステップＳ１１１）。次いで、顔画像の次のフレームが取得される（ステップＳ１１２）。次いで、取得されたフレーム画像が所定枚数未満である場合（ステップＳ１１３でＮＯ）、ステップＳ１０２に戻る。一方、取得したフレームが所定枚数目のフレームである場合（ステップＳ１１３でＹＥＳ）、図９に示すステップＳ２０１に進む。ここで、所定枚数目とは、眼追跡モードにおいて、眼の位置の移動速度及び移動加速度を算出することができる十分な枚数が該当する。したがって、眼の位置の移動速度及び加速度を算出するためには、少なくとも３枚のフレームが必要であるため、所定枚数目のフレームは少なくとも４枚目以降のフレームとなる。
【００６８】
次に、眼検出装置の眼追跡モードにおける動作についで図９に示すフローチャートに従って説明する。眼追跡モードは、眼検出モードのステップＳ１１０の処理に引き続いて行われる。
【００６９】
まず、図７に示すステップＳ１１２で取得されたフレームが濃淡画像に変換される（ステップＳ２０１）。次いで、検出領域設定部２０１により、過去のフレームで検出された眼の位置に基づいて、図３に示すように現フレーム上に第２の検出領域Ｒ２が設定される（ステップＳ２０２）。次いで、ステップＳ２０３〜ステップＳ２０８おいて、図７に示す眼検出モードのステップＳ１０４〜Ｓ１０９で行われた処理と同様の処理が、第２の検出領域Ｒ２に対して行われる。
【００７０】
次いで、予測位置算出部２０４により、現フレームの１つ前のフレームにおける眼の位置、過去のフレームの眼の位置から算出された眼の移動速度及び移動加速度を用いて、テイラー展開によって現フレームの眼の予測位置が算出される（ステップＳ２０９）。次いで、判断部２０５によって、位置検出部２０３が現フレーム上で検出した眼の位置と、ステップＳ２０９で算出された眼の予測位置との差ｄが算出され、算出された差ｄを基に信頼度が算出され、この信頼度が所定の閾値と比較され、位置検出部２０３が検出した眼の位置の正確性が判断される（ステップＳ２１０）。ここで、算出された信頼度が所定の閾値よりも大きい場合は、位置検出部２０３が検出した眼の位置は正しいものであるとして、（ステップＳ２１０でＹＥＳ）その位置が眼の位置として決定される（ステップＳ２１１）。一方、算出された信頼度が所定の閾値よりも小さい場合は、位置検出部２０３は眼の位置を誤検出したとして、図７で示すステップＳ１０３に戻り、再度眼の検出処理が行われる（ステップＳ２１０でＮＯ）。この場合、表示部４００には、図１０で示すように、位置検出部２０３が検出した眼の位置を示すマーカＩＭを被写体の顔の動きに追従するように、瞳の中心の位置に表示させてもよい。
【００７１】
次いで、輪郭線作成モードにおける眼検出装置の動作について図１１に示すフローチャートに従って説明する。まず、検出領域設定部２０１により、顔画像に対して第２の検出領域Ｒ２が設定される（ステップＳ３０１）。次いで、ノイズ除去部２０６１により、第２の検出領域Ｒ２に対して空間周波数フィルタを用いたフィルタ処理が施され（ステップＳ３０２）、エッジ検出部２０６２が眼及び眉の輪郭線の画素を検出するうえで不要となるノイズ成分が除去される。
【００７２】
次いで、エッジ検出部２０６２により、図１２に示すように、第１の始点Ｓ１から上及び下方向に向かって眼の上側の輪郭線の画素ＥＰ１及び眉の下側の輪郭線の画素ＭＰ２が検出される（ステップＳ３０３）。次いで、エッジ検出部２０６２により、第２の始点Ｓ２から下方向に眉の上側の輪郭線の画素ＭＰ１が検出されるとともに、第３の始点Ｓ３から上方向に向かって眼の下側の輪郭線の画素ＥＰ２が検出される（ステップＳ３０４）。
【００７３】
次いで、近似関数算出部２０６３によって、ステップＳ３０３で検出された眼の上側の輪郭線の画素ＥＰ１及び眉の下側の輪郭線の画素ＭＰ２に配列を基に、最小二乗法により眼の上側の輪郭線及び眉の下側の輪郭線を表す近似関数がそれぞれ算出されるとともに、ステップＳ３０４で検出された眉の上側の輪郭線の画素ＭＰ１及び眼の下側の輪郭線の画素ＥＰ２の配列を基に、最小二乗法により眉の上側の輪郭線及び眼の下側の輪郭線を表す近似関数がそれぞれ算出される（ステップＳ３０５）。
【００７４】
次いで、最終フレームに対する処理が終了したか否かが判断され、最終フレームの処理が終了していない場合（ステップＳ３０６でＮＯ）、画像取得部１００によって、次のフレームが取得され（ステップＳ３０７）、図９に示すステップＳ２０１に戻り、ステップＳ３０７で取得されたフレームに対して眼の位置の検出が行われる。一方、最終フレームの処理が終了した場合（ステップＳ３０６でＹＥＳ）、眼検出装置の処理を終了する。
【００７５】
この場合、図１０で示すように、輪郭線作成モードによって作成された眉の上側の輪郭線ＭＬ１、眉の下側の輪郭線ＭＬ２、眼の上側の輪郭線ＥＬ１及び眼の下側の輪郭線ＥＬ２を、表示部４００に表示される被写体の顔画像の動きに追従するように表示してもよい。
【００７６】
上記実施形態では、画像取得部１００は、被写体の顔の頭部が上側となるように顔画像を取得したが、これに限定されず、例えば顔の頭部が下側あるいは斜め上側に傾くように顔画像を取得してもよい。この場合、眼の中心と口の中心とを結ぶ直線と平行な方向であって、頭部側を上側とし、口側を下側とすればよい。
【００７７】
また、上記実施形態では、１枚目から最後のフレームまでの一連のフレームに対して眼検出モード、眼追跡モード及び輪郭線作成モードを適用しているが、これに限定されず、顔画像の一連のフレームを一定の枚数おきに区切り、区切った一連のフレーム毎に眼の検出モード、眼の追跡モード及び輪郭線作成モードを適用してもよい。
【００７８】
また、上記実施形態では、近似関数算出部２０６３は、最小二乗法により輪郭線を表す近似関数を算出しているが、これに限定されず、スプライン処理などによって、近似関数を算出してもよい。ただし、なめらかな輪郭線を得るためには、最小二乗法で算出された近似関数を用いることが好ましい。
【００７９】
また、上記実施形態に係る眼検出装置は、眼の位置をもとに被写体の顔がカメラのレンズを向いているか否かを判断し、顔がレンズの方向に向いたとき自動的にシャッターが押されるカメラに適用可能である。さらに、防犯カメラが撮影した画像の中から、顔がレンズ側を向いている時の画像のみを自動的にピックアップできる防犯カメラシステムを構築することが可能である。さらに、検出した眼の位置に基づいて顔画像に仮想的に化粧を施す化粧シミュレーターに適用可能である。
【００８０】
また、上記眼検出プログラムを半導体集積回路により構成し、ビデオカメラに内蔵してもよい。
【００８１】
【発明の効果】
以上説明したように、本発明によれば、輪郭線抽出フィルタを用いて眼の画像を抽出するため、瞼の開閉に影響されることなく眼の位置を正確に検出することができる。
【図面の簡単な説明】
【図１】 眼検出装置の概略構成を示した図である。
【図２】 眼検出装置のブロック構成図を示している。
【図３】 顔画像の一例を示した図である。
【図４】 瞳抽出フィルタを示したグラフである。
【図５】 目輪郭抽出フィルタを示したグラフである。
【図６】 信頼度関数の一例を示したグラフである。
【図７】 眼検出モードの動作を説明するフローチャートである。
【図８】 フィルタ処理部行うフィルタ処理を説明するための図であり、（ａ）は瞳抽出フィルタにより抽出された瞳の画像を示し、（ｂ）は眼輪郭抽出フィルタにより抽出された眼の輪郭画像を示し、（ｃ）は合成された眼の画像を示している。
【図９】 眼追跡モードの動作を説明するフローチャートである。
【図１０】 位置検出モード及び眼追跡モードで検出された眼の位置と、輪郭線作成モードで算出された眼及び眉の輪郭線を顔画像に当てはめた場合の画面図である。
【図１１】 輪郭線作成モードの動作を説明するためのフローチャートである。
【図１２】 エッジ検出部が眼及び眉の輪郭線の画素を検出する様子を説明するための図である。
【符号の説明】
１ パーソナルコンピュータ
２ ビデオカメラ
１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
１４ 表示装置
１５ 記録媒体駆動装置
１６ 補助記憶装置
１７ 入力装置
１００ 画像取得部
２００ プログラム実行部
２０１ 検出領域設定部
２０２ 画像抽出部
２０３ 位置検出部
２０４ 予測位置算出部
２０５ 判断部
２０６ 輪郭線作成部
２０７ 濃淡画像変換部
３００ 画像メモリ
４００ 表示部
２０２１ 濃度補正部
２０２２ サブサンプリング部
２０２３ フィルタ処理部
２０２４ 面積算出部
２０２５ 画像判定部
２０６１ ノイズ除去部
２０６２ エッジ検出部
２０６３ 近似関数算出部
【発明の属する技術分野】
本発明は、顔画像の眼の位置を検出する眼検出装置及び眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法に関する。
【０００２】
【従来の技術】
近年、ビデオカメラによって取得された顔画像に対して所定の画像処理を施すことにより眼の画像を抽出し、眼の位置を検出する眼検出装置が知られている。このような眼検出装置は、自動車の運転手の居眠りを防止する居眠り防止システムなどに広く用いられているが、眼の位置が分かれば、顔の各部位の位置の特定が容易に行えるため、今後、様々なシステムに応用されることが期待されている。
【０００３】
従来の眼検出装置では、ビデオカメラにより被写体の顔の部分の動画像を撮像し、撮像した動画像の各フレームに対して、瞳のような顔の他の領域よりも相対的に暗い領域を検出することができる分離度フィルタを用いて瞳の画像を抽出し、抽出した瞳の画像を基に眼の位置を検出していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、分離度フィルタは瞼が閉じられた場合、瞳が隠れてしまうため、その間、眼の位置を検出することができないという問題があった。
【０００５】
そこで、瞬きに対応するために分離度フィルタと更新型のテンプレートマッチングとを併用する手法が提案されている（林健太郎、橋本学、鷲見和彦、”頑健性と精緻性とを備えた顔特徴点追跡による顔方向推定”、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ、Ｎｏ．８、ｐｐ．１７６２−１７７１、（２００１．０８））。この手法を用いると、分離度フィルタのみを用いる手法に比べて検出精度は上がるものの、更に検出精度を上げる余地が残されている。
【０００６】
本発明は、上記課題を解決するためになされたものであり、瞼の開閉に影響されることなく、眼の位置を正確に検出することができる眼検出装置、眼検出プログラム、そのプログラムを記録した記録媒体及び眼検出方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る眼検出装置は、被験者の顔画像を時系列的に取得する画像取得手段と、取得した顔画像に対して両眼を含む領域を第１の検出領域として設定する検出領域設定手段と、前記第１の検出領域内の画像から眼の輪郭を抽出する眼輪郭抽出フィルタを用いて眼の輪郭の画像を抽出する画像抽出手段と、抽出した眼の輪郭の画像から眼の位置を検出する位置検出手段とを備え、前記画像取得手段は、所定フレーム周期毎に顔画像を取得し、顔画像の過去のフレームにおける眼の位置の変動量を基に、現フレームの眼の予測位置を算出する予測位置算出手段と、前記予測位置算出手段が算出した現フレームの眼の位置と前記位置検出手段が検出した現フレームの眼の位置とのずれ量から、前記位置検出手段が検出した現フレームの眼の位置の正確性を判断する判断手段とを更に備え、前記検出領域設定手段は、前記判断手段により前記位置検出手段が検出した眼の位置が正しいと判断された場合、当該眼の位置を中心として前記第１の検出領域よりも小さな第２の検出領域を前記現フレームの次のフレームに設定し、前記画像抽出手段は、前記第２の検出領域から眼の輪郭の画像を抽出することを特徴とするものである。
【０００８】
本眼検出装置によれば、検出領域設定手段により顔画像の中かから両目を含む検出領域が設定され、画像抽出手段により、検出領域内に眼輪郭抽出フィルタを用いたフィルタ処理が施され眼の輪郭の画像が抽出される。ここで、眼輪郭抽出フィルタは、瞼が開いている場合は、閉曲線によって形成される眼の輪郭の画像を抽出することができ、瞼が閉じている場合は、睫によって形成される曲線を抽出することができる。そのため、瞼の開閉に影響されることなく、眼の位置を正確に検出することができる。また、予測位置算出手段により現フレームの眼の予測位置が算出され、判断手段によって、検出手段が検出した現フレームの眼の位置と、予測位置算出手段が算出した眼の位置とのずれ量とから検出手段が検出した現フレームの眼の位置の正確性が判断されるため、この判断結果を基に現フレームの眼の位置を特定すれば眼の検出精度を高めることができる。また、検出領域が狭まり、検出手段によるフィルタ処理を高速化することができるとともに、検出領域内に眼が存在する確率を高めることができるため、眼の位置検出の正確性を増すことができる。
【０００９】
また、前記画像抽出手段は、前記検出領域内の画像に対して、瞳を抽出する瞳抽出フィルタを用いて瞳の画像を抽出することが好ましい。
【００１０】
この場合、瞼が開いているときは、瞳抽出フィルタと眼輪郭フィルタとを用いて眼の画像が抽出されるため、フィルタ処理後の画像に眼の特徴が良く現れ、眼の画像の特定が容易となり、更に眼の位置の検出精度を高めることができる。
【００１３】
また、前記検出領域設定手段は、前記位置検出手段が過去のフレームから検出した両眼の位置及び両眼の間隔に基づいて、現フレームの検出領域を設定することが好ましい。
【００１４】
この場合、過去のフレームにおける両目の間隔及び位置に基づいて現フレームの検出領域が設定されるため、検出領域が狭まり、検出手段によるフィルタ処理を高速化することができるとともに、検出領域内に眼が存在する確率を高めることができるため、眼の位置検出の正確性を増すことができる。
【００１５】
また、前記画像抽出手段は、顔画像の両目の中心と口の中心とを結ぶ直線に対して平行であって、上下の位置に存在する２つの眼の候補画像に関して、下側の候補画像を眼の画像として抽出することが好ましい。
【００１６】
この場合、眉の画像と眼の画像を速やかに検出することができる。
【００１７】
また、眼の輪郭線の画素を検出するとともに、眉の輪郭線の画素を検出するエッジ検出手段と、眼の輪郭線の画素の配置を基に眼の上側及び下側の輪郭線を表す近似関数をそれぞれ算出するとともに、眉の輪郭線の画素の配置を基に眉の上側及び下側の輪郭線を表す近似関数をそれぞれ算出する近似関数算出手段とを更に備えることが好ましい。
【００１８】
この場合、眼の輪郭線の画素の配置から眼の上側の輪郭線及び下側の輪郭線がそれぞれ近似関数によって表されるため、なめらかな眼の輪郭線を得ることができる。さらに、眉の上側の輪郭線及び下側の輪郭線がそれぞれ近似関数によって表されるため、なめらかな眉の輪郭線を得ることができる。
【００１９】
本発明に係る眼検出プログラムは、コンピュータを、被験者の顔画像を時系列的に取得する画像取得手段によって取得された顔画像から両眼を含む領域を第１の検出領域として設定する検出領域設定手段、前記第１の検出領域内の画像に対して眼の輪郭を抽出する眼輪郭抽出フィルタを用いて眼の輪郭の画像を抽出する画像抽出手段、抽出した眼の輪郭の画像から眼の位置を検出する位置検出手段として機能させ、前記画像取得手段は、所定フレーム周期毎に顔画像を取得し、顔画像の過去のフレームにおける眼の位置の変動量を基に、現フレームの眼の予測位置を算出する予測位置算出手段、前記予測位置算出手段が算出した現フレームの眼の位置と前記位置検出手段が検出した現フレームの眼の位置とのずれ量から、前記位置検出手段が検出した現フレームの眼の位置の正確性を判断する判断手段としてコンピュータを更に機能させ、前記検出領域設定手段は、前記判断手段により前記位置検出手段が検出した眼の位置が正しいと判断された場合、当該眼の位置を中心として前記第１の検出領域よりも小さな第２の検出領域を前記現フレームの次のフレームに設定し、前記画像抽出手段は、前記第２の検出領域から眼の輪郭の画像を抽出することを特徴とするものである。
【００２０】
本発明に係る眼検出プログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータを、被験者の顔画像を時系列的に取得する画像取得手段によって取得された顔画像から両眼を含む領域を第１の検出領域として設定する検出領域設定手段、前記第１の検出領域内の画像に対して眼の輪郭を抽出する眼輪郭抽出フィルタを用いて眼の輪郭の画像を抽出する画像抽出手段、抽出した眼の輪郭の画像から眼の位置を検出する位置検出手段として機能させ、前記画像取得手段は、所定フレーム周期毎に顔画像を取得し、顔画像の過去のフレームにおける眼の位置の変動量を基に、現フレームの眼の予測位置を算出する予測位置算出手段、前記予測位置算出手段が算出した現フレームの眼の位置と前記位置検出手段が検出した現フレームの眼の位置とのずれ量から、前記位置検出手段が検出した現フレームの眼の位置の正確性を判断する判断手段としてコンピュータを更に機能させ、前記検出領域設定手段は、前記判断手段により前記位置検出手段が検出した眼の位置が正しいと判断された場合、当該眼の位置を中心として前記第１の検出領域よりも小さな第２の検出領域を前記現フレームの次のフレームに設定し、前記画像抽出手段は、前記第２の検出領域から眼の輪郭の画像を抽出することを特徴とする眼検出プログラムを記録したものである。
【００２１】
これらの場合、眼検出プログラムを記録するコンピュータ読取可能な記録媒体をコンピュータにインストールすることにより、容易にコンピュータを眼検出装置として機能させることができる。
【００２２】
本発明に係る眼検出方法は、被験者の顔画像を時系列的に取得する画像取得ステップと、取得した顔画像に対して両眼を含む領域を第１の検出領域として設定する検出領域設定ステップと、前記第１の検出領域内の画像に対して眼の輪郭を抽出する眼輪郭抽出フィルタを用いて眼の輪郭の画像を抽出する画像抽出ステップと、抽出した眼の輪郭の画像から眼の位置を検出する位置検出ステップと、前記画像取得ステップは、所定フレーム周期毎に顔画像を取得し、顔画像の過去のフレームにおける眼の位置の変動量を基に、現フレームの眼の予測位置を算出する予測位置算出ステップと、前記予測位置算出ステップが算出した現フレームの眼の位置と前記位置検出ステップが検出した現フレームの眼の位置とのずれ量から、前記位置検出ステップが検出した現フレームの眼の位置の正確性を判断する判断ステップとを更に備え、前記検出領域設定ステップは、前記判断ステップにより前記位置検出ステップが検出した眼の位置が正しいと判断された場合、当該眼の位置を中心として前記第１の検出領域よりも小さな第２の検出領域を前記現フレームの次のフレームに設定し、前記画像抽出ステップは、前記第２の検出領域から眼の輪郭の画像を抽出するものである。
【００２３】
【発明の実施の形態】
以下、本発明に係る眼検出装置の一実施形態について説明する。図１は、眼検出装置の概略構成を示した図である。
【００２４】
図１に示す眼検出装置は、種々の処理を行うパーソナルコンピュータ１と、被験者の顔画像を撮影するビデオカメラ２とを備えている。
【００２５】
パーソナルコンピュータ１は、種々のプログラムを実行し、眼検出装置全体を制御するＣＰＵ（中央処理装置）１１と、ビデオカメラ２によって撮影された被写体の顔画像や種々のデータを一時的に記憶するＲＡＭ（ランダムアクセスメモリ）１２と、パーソナルコンピュータ１を動作させるための基本プログラムを記憶するＲＯＭ（リードオンリーメモリ）１３と、ＣＲＴ（陰極線管）あるいは液晶パネルから構成され、処理された顔画像などを表示する表示装置１４と、ＣＤ−ＲＯＭ、ＤＶＤ及びフレキシブルディスクなどの記録媒体Ｍに記録されたデータを読み取る記録媒体駆動装置１５と、ハードディスクなどから構成され、眼検出プログラムを記憶する補助記憶装置１６と、マウス及びキーボードを含み、オペレータの操作指令を受け付ける入力装置１７とを備えている。
【００２６】
ビデオカメラ２は、パーソナルコンピュータ１と例えばビデオケーブルにより接続され、所定のフレームレートで被写体の顔画像を撮影し、撮影した顔画像をビデオケーブルを介してパーソナルコンピュータ１に出力する。
【００２７】
本実施形態では、眼検出プログラムを記録するＣＤ−ＲＯＭを記録媒体駆動装置１５に装填し、パーソナルコンピュータ１にインストールすることにより、パーソナルコンピュータ１を眼検出装置として機能させている。なお、インターネット上に配設されたＷＥＢサーバに眼検出プログラムを記憶させておき、ＷＥＢサーバからその眼検出プログラムをダウンロードすることにより、パーソナルコンピュータ１に眼検出プログラムをインストールしてもよい。さらに、パーソナルコンピュータ１によって顔画像を取得して、取得した顔画像をＷＥＢサーバに送信し、ＷＥＢサーバ上で眼の検出処理を施し、その処理結果をパーソナルコンピュータに送信するというように、ＷＥＢサーバとパーソナルコンピュータ１との間で眼検出プログラムを分散して実行させてもよい。
【００２８】
図２は、眼検出装置のブロック構成図を示している。本眼検出装置は、機能的に、画像取得部１００と、プログラム実行部２００と、画像メモリ３００と、表示部４００とを備えている。本眼検出装置は、眼の検出処理を行うにあたり、例えば顔画像の１枚目のフレームから所定枚数目までのフレームに対して眼の検出を行う眼検出モードと、眼検出モードにおいて検出された過去のフレームの眼の位置を基に、現フレームの眼の位置を検出する眼追跡モードと、眼検出モード又は眼追跡モードにおいて検出された過去のフレームの眼の位置を基に、眉の輪郭線及び眼の輪郭線を作成する輪郭線作成モードとの３つのモードを備えている。
【００２９】
画像取得部１００は、ビデオカメラ２を用いて撮影された被写体の顔画像を取得して、画像メモリ３００に記憶させる。画像取得部１００は、顔画像を取得するにあたり、眼の中心と口の中心とを結ぶ直線の方向が水平方向に対して直交する方向となるように、かつ、頭が上側となるように顔画像を取得する。以下の説明において、顔画像とは、図３に示すように被写体の顔の部分を含む長方形状の画像を示し、この顔画像の左上の頂点を原点（０、０）とし、長方形の上辺にｘ座標を長方形の左辺にｙ座標を設定する。
【００３０】
プログラム実行部２００は、ＣＰＵ１１が眼検出プログラムを実行することによって実現され、検出領域設定部２０１と、画像抽出部２０２と、位置検出部２０３と、予測位置算出部２０４と、判断部２０５と、輪郭線作成部２０６と、濃淡画像変換部２０７とを備えている。
【００３１】
検出領域設定部２０１は、眼検出モードにおいては、画像取得部１００が取得した顔画像の例えば１枚目から所定枚数目より１つ前までのフレームに対して、画像抽出部２０２が顔画像に対してフィルタ処理を施すための両眼を含む第１の検出領域Ｒ１を設定する。図３に示すように第１の検出領域Ｒ１は、ｘ方向に平行かつ長尺の短冊状の領域である。
【００３２】
また、検出領域設定部２０１は、眼追跡モード及び輪郭線作成モードにおいては、現フレームの１つ前のフレームで検出された両眼のそれぞれの位置を中心とする２つの領域を現フレームに当てはめ、現フレームに対して画像抽出部２０２及び輪郭線作成部２０６が種々の処理を施すための第２の検出領域Ｒ２を設定する。図３に示すように第２の検出領域Ｒ２に含まれる２つの領域のうち一方の領域は、左側の眉及び眼を含む例えばほぼ正方形状の領域であり、他方の領域は右側の眉及び眼を含む例えばほぼ正方形状の領域である。なお、第２の検出領域Ｒ２に含まれる２つの領域は、それぞれ眼の中心位置を中心とし、かつ短軸がｙ方向と平行な楕円状の領域としてもよい。
【００３３】
画像抽出部２０２は、濃度補正部２０２１と、サブサンプリング部２０２２と、フィルタ処理部２０２３と、面積算出部２０２４と、画像判定部２０２５とを備えている。
【００３４】
濃度補正部２０２１は、検出領域設定部２０１が設定した第１及び第２の検出領域Ｒ１及びＲ２に対して、同じ濃度値を有する画素数を求め、濃度値ヒストグラムを作成し、この濃度値ヒストグラムを平坦化する処理を行う。これにより、ビデオカメラ２が被写体を撮像する際の照明条件などが異なることによる顔画像毎の明暗のバラツキが抑制される。
【００３５】
サブサンプリング部２０２２は、フィルタ処理部２０２３によるフィルタ処理の高速化を図るための前処理として、第１及び第２の検出領域Ｒ１及びＲ２の画素数を間引く処理を行う。この場合、第２の検出領域Ｒ２に含まれる２つの領域のそれぞれは、画素数が例えば６４×６４ドットとなるように間引き処理がされる。
【００３６】
フィルタ処理部２０２３は、眼検出モードにおいては、第１の検出領域Ｒ１を取り出し、眼追跡モード及び眼輪郭線作成モードにおいては、第２の検出領域Ｒ２を取り出し、取り出した第１の検出領域Ｒ１及び第２の検出領域Ｒ２に対して瞳を抽出するための瞳抽出フィルタと、眼の輪郭を抽出するための眼輪郭抽出フィルタとを用いて、フィルタ処理を施し、瞳及び眼の輪郭を抽出する。図４は、瞳抽出フィルタを示したグラフであり、図５は、目輪郭抽出フィルタを示したグラフである。図４及び図５において、縦軸は顔画像のｙ座標に対応する座標であり、横軸はフィルタ値を示す座標である。
【００３７】
瞳抽出フィルタｈｐ（ｙ）は、式（１）のように表される。
【００３８】
【数１】
ここで、式（１）において、ｙは、顔画像のｙ方向の任意の位置を示す変数であり、Ｔｐは定数でありその値は一般人の平均的な瞳の半径とほぼ同じ値である。顔画像中の眼、特に瞳の部分は周囲の肌色領域及び白眼領域よりも相対的に暗い。そこで、瞳抽出フィルタｈｐ（ｙ）として、図４に示す横軸の値が０に近づくにつれてフィルタ値が０に近づき、原点から横軸に対して定数Ｔｐ及び−Ｔｐに近づくにつれてフィルタ値が１に近づくような、瞳の抽出に適した１次元の関数が採用されている。
【００４０】
眼輪郭抽出フィルタｈｃ（ｙ）は、式（２）のように表される。
【００４１】
【数２】
式（２）は、式（１）とほぼ同じ式であるが、定数Ｔｃの大きさが式（１）の定数Ｔｐの大きさと異なる。すなわち、眼輪郭抽出フィルタｈｃ（ｙ）は、周囲の肌色の画像に対して相対的に暗い曲線状の眼の輪郭が適切に抽出されるように、すなわち、暗くかつ細いライン状の領域を抽出することができるように定数Ｔｃの値が設定されている。そのため、定数Ｔｃは定数Ｔｐよりも小さい値（Ｔｃ＜Ｔｐ）が設定されている。
【００４３】
フィルタ処理部２０２３は、第１及び第２の検出領域Ｒ１及びＲ２内の画像のｙ方向の１ライン分の画像ｆ（ｙ）に対して瞳抽出フィルタｈｐ（ｙ）を用いて式（３）に示す畳み込み積分を施した後、更にｘ方向に隣接する次のｙ方向の１ライン分の画像ｆ（ｙ）に対して瞳抽出フィルタｈｐ（ｙ）を用いた畳み込み積分を施すというように、第１及び第２の検出領域Ｒ１及びＲ２内のｙ方向の画像ｆ（ｙ）に対して瞳抽出フィルタｈｐ（ｙ）を用いた畳み込み積分を順番に施していき瞳画像を抽出する。
【００４４】
【数３】
さらに、フィルタ処理部２０２３は、式（４）に示すように、ｙ方向の画像ｆ（ｙ）に対して、眼輪郭抽出フィルタｈｃ（ｙ）を用いた畳み込み積分を１ラインづつ順番に施すことにより、眼の輪郭画像を抽出する。そして、抽出した瞳画像と眼の輪郭画像とを合成し、眼の画像を抽出する。
【００４６】
ここで、フィルタ処理部２０２３は、第１及び第２の検出領域Ｒ１及びＲ２の画像に対して、１次元のフィルタ処理を施しているが、画像取得部１００は、眼の中心と口の中心とを結ぶ直線がｙ方向となるように顔画像を取得しているため、眼の輪郭線は多くの部分がｘ方向とほぼ平行に現れることとなり、ｙ方向の１ライン分の画像ｆ（ｙ）に対して眼輪郭抽出フィルタｈｃ（ｙ）を用いた畳み込み積分を施せば、眼の輪郭画像を抽出することができる。その結果、計算量の多い２次元のフィルタ処理を施さなくとも、１次元のフィルタ処理により眼の輪郭画像を抽出することができる。
【００４７】
面積算出部２０２４は、フィルタ処理部２０２３によってフィルタ処理が施された第１及び第２の検出領域Ｒ１及びＲ２の画像に対して２値化処理を施す。上述したようにフィルタ処理部２０２３は、第１及び第２の検出領域Ｒ１及びＲ２に対して、眼輪郭抽出フィルタｈｃ（ｙ）及び瞳抽出フィルタｈｐ（ｙ）を用いてフィルタ処理を施すことにより、眼の画像を抽出しているが、これらのフィルタは、肌色に対して相対的に暗い画素を抽出する特性を有しているため、眉、鼻の脇及び眼の下のくまなども検出する場合がある。その結果、フィルタ処理部２０２３は、複数の眼の候補画像を抽出することとなる。そこで、面積算出部２０２４は、画像判定部２０２５が面積を基に眼の画像を判定することができるように、２値化処理を施し、各候補画像のドット数をカウントすることにより各候補画像の面積を算出する。
【００４８】
画像判定部２０２５は、面積算出部２０２４が算出した各候補画像のうち、面積の大きな２つ候補画像を眼の画像として判断し、複数の候補画像の中から眼の画像を特定する。ただし、面積の比較だけでは、眉を示す候補画像も大きな面積を有しているため、誤ってこの画像を眼の画像として特定する場合がある。そこで、画像判定部２０２５は、ｙ方向の上下に面積の大きな２つの候補画像を検出した場合、上側の候補画像を眉の画像として排除し、下側の画像を眼の画像として特定する。
【００４９】
位置検出部２０３は、画像判定部２０２５が特定した両眼の画像のそれぞれの重心を算出し、両眼のそれぞれの位置を検出する。位置検出部２０３は、眼の中心を算出するにあたり、例えば各眼の画像に外接する四角形を当てはめこの四角形の２本の対角線の交点を眼の重心として算出する。
【００５０】
予測位置算出部２０４は、位置検出部２０３が過去フレームにおいて検出した両眼のそれぞれの位置をもとに眼の移動速度及び移動加速度を算出し、算出した移動速度及び移動加速度からテイラー展開にしたがって現フレームの眼の予測位置を算出する。現フレーム対して１つ前のフレームにおける眼の位置をｘ（ｔ）、ｙ（ｔ）とすると眼の移動速度はｘ（ｔ）及びｙ（ｔ）の１階微分ｘ（ｔ）’及びｙ’（ｔ）で表され、眼の移動加速度はｘ（ｔ）、ｙ（ｔ）の２階微分ｘ’’（ｔ）、ｙ’’（ｔ）で表される（ただし、ｔは時間を表す変数）。したがって、各フレームの時間間隔をΔｔとすると予測位置ｘ（ｔ＋Δｔ）、ｙ（ｔ＋Δｔ）は、式（５）で示すように、２次の項までテイラー展開行った式で表すことができる。
【００５１】
【数４】
判断部２０５は、位置検出部２０３が検出した現フレームの眼の位置と、予測位置算出部２０４が算出した現フレームの眼の予測位置の差ｄを求め、この差ｄを基に予め定められた信頼度関数を用いて信頼度を算出し、位置検出部２０３が検出した眼の位置の正確性を判断する。信頼度関数は、図６に示すような例えばｅｘｐ（−ｄ2）のような指数関数で表され、差ｄが０に近づくにつれて信頼度が高くなり、差が大きくなるにつれて信頼度が低くなるような関数である。さらに、判断部２０５は、信頼度が例えば所定の値以上であれば、位置検出部２０３が検出した眼の位置を正しい眼の位置として採用し、信頼度が所定の値以下であれば、位置検出部２０３が眼の位置を誤検出したとして、その位置を眼の位置として採用しない。
【００５３】
輪郭線作成部２０６は、ノイズ除去部２０６１と、エッジ検出部２０６２と、近似関数算出部２０６３とを備える。
【００５４】
ノイズ除去部２０６１は、検出領域設定部２０１が設定した第２の検出領域Ｒ２に対して、所定の周波数帯域の画像成分を通過させる空間周波数フィルタを用いたフィルタ処理を施すことにより、第２の検出領域Ｒ２内の画像に含まれる眼及び眉の輪郭線を作成するにあたり不要な画像成分を除去する。第２の検出領域Ｒ２内には、眉間やこめかみ付近で周囲の肌色より暗い領域が存在するため、エッジ検出部２０６２は、これらの暗い領域を眼及び眉の輪郭線として誤って検出するおそれがある。そこで、ノイズ除去部２０６１は、空間周波数フィルタを用いて眼及び眉の輪郭を検出するうえで不要となる画像成分を除去している。空間周波数フィルタによるフィルタ処理方法としては、例えば離散フーリエ変換、離散コサイン変換あるいはウェーブレット変換などによるフィルタ処理方法を採用すればよい。
【００５５】
エッジ検出部２０６２は、位置検出部２０３で検出された両眼のそれぞれの位置を基に、ｙ方向上の眉及び眼の間の位置を第１の始点として設定し、第２の検出領域Ｒ２内の画像に対して、上方向（−ｙ方向）に向かって周囲の肌色よりも暗い画素の検出を所定の濃度閾値と比較することにより行い、検出した画素を眉の下側の輪郭線の画素とするとともに、下方向（＋ｙ方向）に向かって周囲の肌色よりも暗い画素の検出を所定の濃度閾値と比較することにより行い、検出した画素を眼の上側の輪郭線の画素とする。エッジ検出部２０６２は、このような処理を第２の検出領域Ｒ２の左側（ｙ軸側）の画像から右側に向けてｙ方向の１ラインの画像毎に順番に施していく。
【００５６】
さらに、エッジ検出部２０６２は、位置検出部２０３で検出された両眼それぞれの位置を基に、眉の下側の輪郭線の画素及び眼の上側の輪郭線の画素を検出する場合と同様にして、眉の上側（ｘ軸側）の所定の位置を第２の始点として、下方向（＋ｙ方向）に向かって周囲の肌色よりも暗い画素の検出を行い、検出した画素を眉の上側の輪郭線の画素とする。
【００５７】
さらに、エッジ検出部２０６２は、位置検出部２０３で検出された両眼それぞれの位置を基に、眼の下側の所定の位置を第３の始点として、眉の上側の輪郭線の画素を検出する場合と同様にして、上方向（−ｙ方向）に向かって周囲の肌色よりも暗い画素の検出を行い、検出した画素を眼の下側の輪郭線の画素とする。
【００５８】
近似関数算出部２０６３は、エッジ検出部２０６２が検出した眉の上端画素の配列を基に、例えば最小二乗法を用いて眉の上側の輪郭線を表す近似関数を算出する。さらに近似関数算出部２０６３は、眉の下側の輪郭線の画素、眼の上側の輪郭線の画素及び眼の下側の輪郭線の画素に関しても、画素の配列を基に、最小二乗近似法を用いて眉の下側の輪郭線、眼の上側の輪郭線及び眼の下側の輪郭線を表す近似関数をそれぞれ算出する。ここで、近似関数として、高次の関数を用いると、かえって輪郭線の形状が不自然になるため、低次の関数、例えば二次関数を用いるのが好ましい。
【００５９】
濃淡画像変換部２０７は、画像取得部１００が取得した顔画像のＲ（赤）、Ｇ（緑）及びＢ（青）色の成分に対してそれぞれ異なる所定の重みづけを施して合成することにより、その顔画像を輝度成分のみを表す濃淡画像に変換し、画像メモリ３００に記憶させる。上記検出領域設定部２０１〜輪郭線作成部２０６は、この濃淡画像に対して種々の処理を行う。
【００６０】
画像メモリ３００は、ＲＡＭ１２などから構成され、画像取得部１００が取得した顔画像、濃淡画像変換部２０７が変換した濃淡画像及びプログラム実行部２００が顔画像に対して種々の処理を施した画像などを一時的に記憶し、表示部４００に出力する。
【００６１】
表示部４００は、表示装置１４やＶＲＡＭなどを含み、画像メモリ３００から出力された画像を表示する。
【００６２】
次に、本眼検出装置の眼検出モードにおける動作について図７に示すフローチャートに従って説明する。
【００６３】
まず、画像取得部１００によって、顔画像の１枚目のフレームが取得される（ステップＳ１０１）。次いで、濃淡画像変換部２０７により、画像取得部１００が取得した顔画像が濃淡画像に変換される（ステップＳ１０２）。次いで、検出領域設定部２０１により、顔画像上に第１の検出領域Ｒ１が設定される（図３参照）（ステップＳ１０３）。次いで、濃度補正部２０２１によって、第１の検出領域Ｒ１の濃度値ヒストグラムが平坦化される（ステップＳ１０４）。
【００６４】
次いで、サブサンプリング部２０２２により、フィルタ処理部２０２３によるフィルタ処理の計算量の低下させるために、第１の検出領域Ｒ１の画像に対して間引き処理が施される（ステップＳ１０５）。
【００６５】
次いで、フィルタ処理部２０２３により、顔画像から第１の検出領域Ｒ１が取り出され、取り出された第１の検出領域Ｒ１に対して、瞳抽出フィルタｈｐ（ｔ）を用いたフィルタ処理が施され（ステップＳ１０６）瞳の画像が抽出される。この場合、図８（ａ）で示すような瞳の画像が抽出される。次いで、フィルタ処理部２０２３により、再度、顔画像から第１の検出領域Ｒ１が取り出され、取り出した第１の検出領域Ｒ１の画像に対して、眼輪郭抽出フィルタｈｃ（ｔ）を用いたフィルタ処理が施され、眼の輪郭線の画像が抽出される。この場合、図８（ｂ）で示すような眼の輪郭の画像が抽出される。次いで、フィルタ処理部２０２３により、ステップＳ１０６で抽出された瞳の画像とステップＳ１０７で抽出された眼の輪郭との画像が合成され、眼の画像が抽出される（ステップＳ１０８）。この場合、図８（ｃ）で示すような瞳及び眼の輪郭が合成された眼の画像が抽出される。なお、実際には、ステップＳ１０８の段階において、眼以外の複数の眼の候補画像が含まれているが、図８（ａ）〜（ｃ）においては、これら眼以外の眼の候補画像を省略している。
【００６６】
次いで、面積算出部２０２４により、フィルタ処理部２０２３がフィルタ処理した第１の検出領域Ｒ１に対して、２値化処理が施された後、複数の眼の候補画像がラベリングされ（ステップＳ１０９）、ドット数に基づいて各候補画像の面積が算出される。次いで、画像判定部２０２５によって、複数の眼の候補画像の中から２つの面積の大きな候補画像が抽出可能な場合（ステップＳ１１０でＹＥＳ）、この候補画像が両眼の画像として特定され、ステップＳ１１１に進む。一方、ステップＳ１１０において、面積の大きな２つの領域を抽出することができない場合（ステップＳ１１０でＮＯ）、再処理を行うためステップＳ１０３に戻る。なお、画像判定部２０２５が、ｙ方向の上下に２つの面積の大きな領域を抽出した場合（すなわち、この場合、眼の候補画像としてふさわしい面積を有する眼の候補画像が少なくとも３つ存在する）、上側の画像は眉の画像として排除され、下側の画像が眼の画像として特定される。
【００６７】
次いで、位置検出部２０３によって、眼の画像の重心が算出され、その中心が眼の位置として検出される（ステップＳ１１１）。次いで、顔画像の次のフレームが取得される（ステップＳ１１２）。次いで、取得されたフレーム画像が所定枚数未満である場合（ステップＳ１１３でＮＯ）、ステップＳ１０２に戻る。一方、取得したフレームが所定枚数目のフレームである場合（ステップＳ１１３でＹＥＳ）、図９に示すステップＳ２０１に進む。ここで、所定枚数目とは、眼追跡モードにおいて、眼の位置の移動速度及び移動加速度を算出することができる十分な枚数が該当する。したがって、眼の位置の移動速度及び加速度を算出するためには、少なくとも３枚のフレームが必要であるため、所定枚数目のフレームは少なくとも４枚目以降のフレームとなる。
【００６８】
次に、眼検出装置の眼追跡モードにおける動作についで図９に示すフローチャートに従って説明する。眼追跡モードは、眼検出モードのステップＳ１１０の処理に引き続いて行われる。
【００６９】
まず、図７に示すステップＳ１１２で取得されたフレームが濃淡画像に変換される（ステップＳ２０１）。次いで、検出領域設定部２０１により、過去のフレームで検出された眼の位置に基づいて、図３に示すように現フレーム上に第２の検出領域Ｒ２が設定される（ステップＳ２０２）。次いで、ステップＳ２０３〜ステップＳ２０８おいて、図７に示す眼検出モードのステップＳ１０４〜Ｓ１０９で行われた処理と同様の処理が、第２の検出領域Ｒ２に対して行われる。
【００７０】
次いで、予測位置算出部２０４により、現フレームの１つ前のフレームにおける眼の位置、過去のフレームの眼の位置から算出された眼の移動速度及び移動加速度を用いて、テイラー展開によって現フレームの眼の予測位置が算出される（ステップＳ２０９）。次いで、判断部２０５によって、位置検出部２０３が現フレーム上で検出した眼の位置と、ステップＳ２０９で算出された眼の予測位置との差ｄが算出され、算出された差ｄを基に信頼度が算出され、この信頼度が所定の閾値と比較され、位置検出部２０３が検出した眼の位置の正確性が判断される（ステップＳ２１０）。ここで、算出された信頼度が所定の閾値よりも大きい場合は、位置検出部２０３が検出した眼の位置は正しいものであるとして、（ステップＳ２１０でＹＥＳ）その位置が眼の位置として決定される（ステップＳ２１１）。一方、算出された信頼度が所定の閾値よりも小さい場合は、位置検出部２０３は眼の位置を誤検出したとして、図７で示すステップＳ１０３に戻り、再度眼の検出処理が行われる（ステップＳ２１０でＮＯ）。この場合、表示部４００には、図１０で示すように、位置検出部２０３が検出した眼の位置を示すマーカＩＭを被写体の顔の動きに追従するように、瞳の中心の位置に表示させてもよい。
【００７１】
次いで、輪郭線作成モードにおける眼検出装置の動作について図１１に示すフローチャートに従って説明する。まず、検出領域設定部２０１により、顔画像に対して第２の検出領域Ｒ２が設定される（ステップＳ３０１）。次いで、ノイズ除去部２０６１により、第２の検出領域Ｒ２に対して空間周波数フィルタを用いたフィルタ処理が施され（ステップＳ３０２）、エッジ検出部２０６２が眼及び眉の輪郭線の画素を検出するうえで不要となるノイズ成分が除去される。
【００７２】
次いで、エッジ検出部２０６２により、図１２に示すように、第１の始点Ｓ１から上及び下方向に向かって眼の上側の輪郭線の画素ＥＰ１及び眉の下側の輪郭線の画素ＭＰ２が検出される（ステップＳ３０３）。次いで、エッジ検出部２０６２により、第２の始点Ｓ２から下方向に眉の上側の輪郭線の画素ＭＰ１が検出されるとともに、第３の始点Ｓ３から上方向に向かって眼の下側の輪郭線の画素ＥＰ２が検出される（ステップＳ３０４）。
【００７３】
次いで、近似関数算出部２０６３によって、ステップＳ３０３で検出された眼の上側の輪郭線の画素ＥＰ１及び眉の下側の輪郭線の画素ＭＰ２に配列を基に、最小二乗法により眼の上側の輪郭線及び眉の下側の輪郭線を表す近似関数がそれぞれ算出されるとともに、ステップＳ３０４で検出された眉の上側の輪郭線の画素ＭＰ１及び眼の下側の輪郭線の画素ＥＰ２の配列を基に、最小二乗法により眉の上側の輪郭線及び眼の下側の輪郭線を表す近似関数がそれぞれ算出される（ステップＳ３０５）。
【００７４】
次いで、最終フレームに対する処理が終了したか否かが判断され、最終フレームの処理が終了していない場合（ステップＳ３０６でＮＯ）、画像取得部１００によって、次のフレームが取得され（ステップＳ３０７）、図９に示すステップＳ２０１に戻り、ステップＳ３０７で取得されたフレームに対して眼の位置の検出が行われる。一方、最終フレームの処理が終了した場合（ステップＳ３０６でＹＥＳ）、眼検出装置の処理を終了する。
【００７５】
この場合、図１０で示すように、輪郭線作成モードによって作成された眉の上側の輪郭線ＭＬ１、眉の下側の輪郭線ＭＬ２、眼の上側の輪郭線ＥＬ１及び眼の下側の輪郭線ＥＬ２を、表示部４００に表示される被写体の顔画像の動きに追従するように表示してもよい。
【００７６】
上記実施形態では、画像取得部１００は、被写体の顔の頭部が上側となるように顔画像を取得したが、これに限定されず、例えば顔の頭部が下側あるいは斜め上側に傾くように顔画像を取得してもよい。この場合、眼の中心と口の中心とを結ぶ直線と平行な方向であって、頭部側を上側とし、口側を下側とすればよい。
【００７７】
また、上記実施形態では、１枚目から最後のフレームまでの一連のフレームに対して眼検出モード、眼追跡モード及び輪郭線作成モードを適用しているが、これに限定されず、顔画像の一連のフレームを一定の枚数おきに区切り、区切った一連のフレーム毎に眼の検出モード、眼の追跡モード及び輪郭線作成モードを適用してもよい。
【００７８】
また、上記実施形態では、近似関数算出部２０６３は、最小二乗法により輪郭線を表す近似関数を算出しているが、これに限定されず、スプライン処理などによって、近似関数を算出してもよい。ただし、なめらかな輪郭線を得るためには、最小二乗法で算出された近似関数を用いることが好ましい。
【００７９】
また、上記実施形態に係る眼検出装置は、眼の位置をもとに被写体の顔がカメラのレンズを向いているか否かを判断し、顔がレンズの方向に向いたとき自動的にシャッターが押されるカメラに適用可能である。さらに、防犯カメラが撮影した画像の中から、顔がレンズ側を向いている時の画像のみを自動的にピックアップできる防犯カメラシステムを構築することが可能である。さらに、検出した眼の位置に基づいて顔画像に仮想的に化粧を施す化粧シミュレーターに適用可能である。
【００８０】
また、上記眼検出プログラムを半導体集積回路により構成し、ビデオカメラに内蔵してもよい。
【００８１】
【発明の効果】
以上説明したように、本発明によれば、輪郭線抽出フィルタを用いて眼の画像を抽出するため、瞼の開閉に影響されることなく眼の位置を正確に検出することができる。
【図面の簡単な説明】
【図１】 眼検出装置の概略構成を示した図である。
【図２】 眼検出装置のブロック構成図を示している。
【図３】 顔画像の一例を示した図である。
【図４】 瞳抽出フィルタを示したグラフである。
【図５】 目輪郭抽出フィルタを示したグラフである。
【図６】 信頼度関数の一例を示したグラフである。
【図７】 眼検出モードの動作を説明するフローチャートである。
【図８】 フィルタ処理部行うフィルタ処理を説明するための図であり、（ａ）は瞳抽出フィルタにより抽出された瞳の画像を示し、（ｂ）は眼輪郭抽出フィルタにより抽出された眼の輪郭画像を示し、（ｃ）は合成された眼の画像を示している。
【図９】 眼追跡モードの動作を説明するフローチャートである。
【図１０】 位置検出モード及び眼追跡モードで検出された眼の位置と、輪郭線作成モードで算出された眼及び眉の輪郭線を顔画像に当てはめた場合の画面図である。
【図１１】 輪郭線作成モードの動作を説明するためのフローチャートである。
【図１２】 エッジ検出部が眼及び眉の輪郭線の画素を検出する様子を説明するための図である。
【符号の説明】
１ パーソナルコンピュータ
２ ビデオカメラ
１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
１４ 表示装置
１５ 記録媒体駆動装置
１６ 補助記憶装置
１７ 入力装置
１００ 画像取得部
２００ プログラム実行部
２０１ 検出領域設定部
２０２ 画像抽出部
２０３ 位置検出部
２０４ 予測位置算出部
２０５ 判断部
２０６ 輪郭線作成部
２０７ 濃淡画像変換部
３００ 画像メモリ
４００ 表示部
２０２１ 濃度補正部
２０２２ サブサンプリング部
２０２３ フィルタ処理部
２０２４ 面積算出部
２０２５ 画像判定部
２０６１ ノイズ除去部
２０６２ エッジ検出部
２０６３ 近似関数算出部
Claims (8)
- 被験者の顔画像を時系列的に取得する画像取得手段と、
取得した顔画像に対して両眼を含む領域を第１の検出領域として設定する検出領域設定手段と、
前記第１の検出領域内の画像から眼の輪郭を抽出する眼輪郭抽出フィルタを用いて眼の輪郭の画像を抽出する画像抽出手段と、
抽出した眼の輪郭の画像から眼の位置を検出する位置検出手段とを備え、
前記画像取得手段は、所定フレーム周期毎に顔画像を取得し、
顔画像の過去のフレームにおける眼の位置の変動量を基に、現フレームの眼の予測位置を算出する予測位置算出手段と、
前記予測位置算出手段が算出した現フレームの眼の位置と前記位置検出手段が検出した現フレームの眼の位置とのずれ量から、前記位置検出手段が検出した現フレームの眼の位置の正確性を判断する判断手段とを更に備え、
前記検出領域設定手段は、前記判断手段により前記位置検出手段が検出した眼の位置が正しいと判断された場合、当該眼の位置を中心として前記第１の検出領域よりも小さな第２の検出領域を前記現フレームの次のフレームに設定し、
前記画像抽出手段は、前記第２の検出領域から眼の輪郭の画像を抽出することを特徴とする眼検出装置。 - 前記画像抽出手段は、前記第１及び第２の検出領域内の画像に対して、瞳を抽出する瞳抽出フィルタを用いて瞳の画像を抽出することを特徴とする請求項１記載の眼検出装置。
- 前記検出領域設定手段は、前記位置検出手段が過去のフレームから検出した両眼の位置及び両眼の間隔に基づいて、現フレームにおける前記第１及び第２の検出領域を設定することを特徴とする請求項１又は２記載の眼検出装置。
- 前記画像抽出手段は、顔画像の両目の中心と口の中心とを結ぶ直線に対して平行であって、上下の位置に存在する２つの眼の候補画像に関して、下側の候補画像を眼の画像として抽出することを特徴とする請求項１〜３のいずれかに記載の眼検出装置。
- 眼の輪郭線の画素を検出するとともに、眉の輪郭線の画素を検出するエッジ検出手段と、
眼の輪郭線の画素の配置を基に眼の上側及び下側の輪郭線を表す近似関数をそれぞれ算出するとともに、眉の輪郭線の画素の配置を基に眉の上側及び下側の輪郭線を表す近似関数をそれぞれ算出する近似関数算出手段とを更に備えることを特徴とする請求項１〜４のいずれかに記載の眼検出装置。 - コンピュータを、
被験者の顔画像を時系列的に取得する画像取得手段によって取得された顔画像から両眼を含む領域を第１の検出領域として設定する検出領域設定手段、
前記第１の検出領域内の画像に対して眼の輪郭を抽出する眼輪郭抽出フィルタを用いて眼の輪郭の画像を抽出する画像抽出手段、
抽出した眼の輪郭の画像から眼の位置を検出する位置検出手段として機能させ、
前記画像取得手段は、所定フレーム周期毎に顔画像を取得し、
顔画像の過去のフレームにおける眼の位置の変動量を基に、現フレームの眼の予測位置を算出する予測位置算出手段、
前記予測位置算出手段が算出した現フレームの眼の位置と前記位置検出手段が検出した現フレームの眼の位置とのずれ量から、前記位置検出手段が検出した現フレームの眼の位置の正確性を判断する判断手段としてコンピュータを更に機能させ、
前記検出領域設定手段は、前記判断手段により前記位置検出手段が検出した眼の位置が正しいと判断された場合、当該眼の位置を中心として前記第１の検出領域よりも小さな第２の検出領域を前記現フレームの次のフレームに設定し、
前記画像抽出手段は、前記第２の検出領域から眼の輪郭の画像を抽出することを特徴とする眼検出プログラム。 - コンピュータを、
被験者の顔画像を時系列的に取得する画像取得手段によって取得された顔画像から両眼を含む領域を第１の検出領域として設定する検出領域設定手段、
前記第１の検出領域内の画像に対して眼の輪郭を抽出する眼輪郭抽出フィルタを用いて眼の輪郭の画像を抽出する画像抽出手段、
抽出した眼の輪郭の画像から眼の位置を検出する位置検出手段として機能させ、
前記画像取得手段は、所定フレーム周期毎に顔画像を取得し、
顔画像の過去のフレームにおける眼の位置の変動量を基に、現フレームの眼の予測位置を算出する予測位置算出手段、
前記予測位置算出手段が算出した現フレームの眼の位置と前記位置検出手段が検出した現フレームの眼の位置とのずれ量から、前記位置検出手段が検出した現フレームの眼の位置の正確性を判断する判断手段としてコンピュータを更に機能させ、
前記検出領域設定手段は、前記判断手段により前記位置検出手段が検出した眼の位置が正しいと判断された場合、当該眼の位置を中心として前記第１の検出領域よりも小さな第２の検出領域を前記現フレームの次のフレームに設定し、
前記画像抽出手段は、前記第２の検出領域から眼の輪郭の画像を抽出することを特徴とする眼検出プログラムを記録したコンピュータ読取可能な記録媒体。 - 被験者の顔画像を時系列的に取得する画像取得ステップと、
取得した顔画像に対して両眼を含む領域を第１の検出領域として設定する検出領域設定ステップと、
前記第１の検出領域内の画像に対して眼の輪郭を抽出する眼輪郭抽出フィルタを用いて眼の輪郭の画像を抽出する画像抽出ステップと、
抽出した眼の輪郭の画像から眼の位置を検出する位置検出ステップと、
前記画像取得ステップは、所定フレーム周期毎に顔画像を取得し、
顔画像の過去のフレームにおける眼の位置の変動量を基に、現フレームの眼の予測位置を算出する予測位置算出ステップと、
前記予測位置算出ステップが算出した現フレームの眼の位置と前記位置検出ステップが検出した現フレームの眼の位置とのずれ量から、前記位置検出ステップが検出した現フレームの眼の位置の正確性を判断する判断ステップとを更に備え、
前記検出領域設定ステップは、前記判断ステップにより前記位置検出ステップが検出した眼の位置が正しいと判断された場合、当該眼の位置を中心として前記第１の検出領域よりも小さな第２の検出領域を前記現フレームの次のフレームに設定し、
前記画像抽出ステップは、前記第２の検出領域から眼の輪郭の画像を抽出することを特徴とする眼検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002182690A JP3963789B2 (ja) | 2002-06-24 | 2002-06-24 | 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002182690A JP3963789B2 (ja) | 2002-06-24 | 2002-06-24 | 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004030006A JP2004030006A (ja) | 2004-01-29 |
| JP3963789B2 true JP3963789B2 (ja) | 2007-08-22 |
Family
ID=31179117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002182690A Expired - Fee Related JP3963789B2 (ja) | 2002-06-24 | 2002-06-24 | 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3963789B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8090157B2 (en) * | 2005-01-26 | 2012-01-03 | Honeywell International Inc. | Approaches and apparatus for eye detection in a digital image |
| US7444017B2 (en) * | 2004-11-10 | 2008-10-28 | Eastman Kodak Company | Detecting irises and pupils in images of humans |
| JP2007272435A (ja) * | 2006-03-30 | 2007-10-18 | Univ Of Electro-Communications | 顔特徴抽出装置及び顔特徴抽出方法 |
| KR101619656B1 (ko) | 2014-12-03 | 2016-05-10 | 현대자동차주식회사 | 시선추적장치 및 그의 동공검출방법 |
| KR102466996B1 (ko) * | 2016-01-06 | 2022-11-14 | 삼성전자주식회사 | 눈 위치 예측 방법 및 장치 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3426060B2 (ja) * | 1995-07-28 | 2003-07-14 | 三菱電機株式会社 | 顔画像処理装置 |
| JPH09251342A (ja) * | 1996-03-15 | 1997-09-22 | Toshiba Corp | 注視箇所推定装置とその方法及びそれを使用した情報表示装置とその方法 |
| JP3828285B2 (ja) * | 1998-06-18 | 2006-10-04 | 株式会社資生堂 | 顔立ち認識システム |
| JP4188487B2 (ja) * | 1999-03-29 | 2008-11-26 | 株式会社資生堂 | 目元メーキャップシミュレーションシステム |
| JP2001043382A (ja) * | 1999-07-27 | 2001-02-16 | Fujitsu Ltd | 目追跡装置 |
| JP2002000567A (ja) * | 2000-06-23 | 2002-01-08 | Kansai Tlo Kk | 瞳孔中心位置計測方法及び視点位置検出方法 |
-
2002
- 2002-06-24 JP JP2002182690A patent/JP3963789B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004030006A (ja) | 2004-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
| JP4845698B2 (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
| JP4756660B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4309928B2 (ja) | 瞼検出装置、瞼検出方法、及び、プログラム | |
| JP5262243B2 (ja) | 眼開閉判別装置、及びプログラム | |
| JPH0944685A (ja) | 顔画像処理装置 | |
| US20050196044A1 (en) | Method of extracting candidate human region within image, system for extracting candidate human region, program for extracting candidate human region, method of discerning top and bottom of human image, system for discerning top and bottom, and program for discerning top and bottom | |
| JP2008225838A (ja) | 顔特徴点検出装置、顔特徴点検出方法及びプログラム | |
| JP2003526841A (ja) | 生物測定学に基づく顔の抽出システム及び方法 | |
| US7460705B2 (en) | Head-top detecting method, head-top detecting system and a head-top detecting program for a human face | |
| JP3993029B2 (ja) | 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体 | |
| JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
| JP6043933B2 (ja) | 眠気レベルの推定装置、眠気レベルの推定方法および眠気レベルの推定処理プログラム | |
| JP3963789B2 (ja) | 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法 | |
| JP6798609B2 (ja) | 映像解析装置、映像解析方法およびプログラム | |
| JP5128454B2 (ja) | 瞼検出装置、瞼検出方法及びプログラム | |
| US20060010582A1 (en) | Chin detecting method, chin detecting system and chin detecting program for a chin of a human face | |
| JP4996943B2 (ja) | 顔特徴点検出装置、顔特徴点検出方法及びプログラム | |
| JP4775599B2 (ja) | 目の位置の検出方法 | |
| JP2000268172A (ja) | 画像正規化装置 | |
| KR102458614B1 (ko) | 비접촉식 rgb 카메라를 이용한 피부 진단 시스템 및 그 방법 | |
| US20240104923A1 (en) | Focus determination device, iris authentication device, focus determination method, and recording medium | |
| JP2005004530A (ja) | 瞬き検出装置、瞬き検出プログラム及び瞬き検出方法 | |
| JPH05183784A (ja) | 車載用道路画像解析装置およびその装置が用いられた車載用撮像制御装置 | |
| CN118470690A (zh) | 利用眼动追踪技术的驾驶员注意力分析方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070424 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070522 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |