JP4962470B2 - 眼領域検出装置、及びプログラム - Google Patents

Description

本発明は、眼領域検出装置、及びプログラムに関する。

従来、視線の移動方向を検出するためにアイモデルを用いたコンデンセイション（Condensation）による黒目追跡の技術が知られている（例えば、非特許文献１参照）。非特許文献１に記載の技術では、瞼形状モデル（瞼モデル）のモデルパラメータ及び虹彩（黒目）輪郭モデル（虹彩モデル）のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更して、瞼形状モデルの形状及び虹彩輪郭モデルの輪郭が投影された画像座標（２次元座標）上で、上瞼と下瞼との間の範囲における虹彩輪郭モデルの輪郭の法線ベクトルと、対応する画像上の位置の輝度勾配ベクトルとの内積の平均値を虹彩の尤度として推定している。また、同様に、瞼形状モデルによって表される上瞼及び下瞼の各位置及び各形状と画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼の尤度についても推定している。そして、推定された虹彩の尤度及び瞼の尤度に基づいて、瞼形状モデル及び虹彩輪郭モデルを含むアイモデル全体の尤度を推定している。例えば、アイモデル全体の尤度として、推定された虹彩の尤度と推定された瞼の尤度との積の値が用いられている。
北川洋介、加藤丈和、呉海元、和田俊和著「アイモデルを用いたCondensationによる黒目追跡」画像の認識・理解シンポジウム（MIRU2005） インタラクティブセッション、pp.1343--1350、（2005）．

しかしながら、非特許文献１に記載の技術では、例えば図９（Ａ）に示されるように、画像６０にノイズ６２が発生した場合には、この発生したノイズ６２が要因となって、画像６０に含まれる瞼の形状６４とは異なる瞼の形状６６を表す瞼形状モデル（すなわち、ノイズが発生していない場合に、推定される瞼の尤度が小さくなるような瞼形状モデル）であるにも関わらず、この瞼形状モデルに基づいて推定される瞼の尤度λ_{ｅｙｅｌｉｄ}（図９（Ａ）の例では、例えば２０）が大きくなってしまうことが考えられる。例えば、図９（Ｂ）に示すような、画像６８に含まれる瞼の形状６４と一致する瞼の形状６４を表す瞼形状モデルに基づいて推定される瞼の尤度λ_{ｅｙｅｌｉｄ}（図９（Ｂ）の例では、例えば２０）と、図９（Ａ）の場合における瞼の尤度λ_{ｅｙｅｌｉｄ}とが、同じ大きさになってしまうことが考えられる。

また、非特許文献１に記載の技術では、上記で説明したように、上瞼と下瞼との間の範囲でのみ、虹彩輪郭モデルの輪郭の法線ベクトルと、対応する画像上の位置の輝度勾配ベクトルとの内積の平均値を虹彩の尤度λ_ｉｒｉｓとして推定している。このため、図９（Ａ）に示すような場合において推定される虹彩の尤度λ_ｉｒｉｓの大きさ（図９（Ａ）の例では、例えば８）が、図９（Ｂ）に示すような場合において推定される虹彩の尤度λ_ｉｒｉｓ（図９（Ｂ）の例では、例えば８）の大きさと同一になる場合が考えられる。

更に、非特許文献１に記載の技術では、上記で説明したように、アイモデル全体の尤度を、推定された虹彩の尤度λ_ｉｒｉｓ及び瞼の尤度λ_{ｅｙｅｌｉｄ}に基づいて推定している。これにより、本来図９（Ａ）及び図９（Ｂ）の各々においてノイズが発生していないケースを想定した図９（Ｃ）及び図９（Ｄ）の各々が示すような状況である場合には、図９（Ｄ）において推定されるアイモデル全体の尤度λ（例えば瞼の尤度λ_{ｅｙｅｌｉｄ}を２０、虹彩の尤度λ_ｉｒｉｓを８とすると、１６０（＝２０×８））は、図９（Ｃ）において推定されるアイモデル全体の尤度λ（例えば瞼の尤度λ_{ｅｙｅｌｉｄ}を１０、虹彩の尤度λ_ｉｒｉｓを８とすると８０（＝１０×８））よりも大きくなる。しかしながら、ノイズが発生している図９（Ａ）及び図９（Ｂ）の各々が示すような状況である場合には、図９（Ｂ）において推定されるアイモデル全体の尤度λが、図９（Ａ）において推定されるアイモデル全体の尤度λよりも大きくならないときがある。例えば、図９（Ａ）及び図９（Ｂ）の両方の場合で、アイモデル全体の尤度λが１６０となるようなときがある。このため、ノイズが発生している場合には、良好な精度で瞼を検出することができなくなる、という問題がある。

本発明は、上記の問題を解決するために成されたものであり、取得した画像にノイズが発生している場合であっても、良好な精度で瞼の位置及び形状並びに虹彩位置を精度良く検出することができる眼領域検出装置及びプログラムを提供することを目的とする。

上記の目的を達成するために、本発明の第１の眼領域検出装置は、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データを取得する取得手段と、複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデル、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルを記憶した記憶手段と、前記第１のモデルパラメータ及び前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段と、前記比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と前記画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段と、前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記瞼尤度及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段と、前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段とを含んで構成されている。

本発明の眼領域検出装置によれば、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼尤度、比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する。そして、比較瞼モデルの１つと比較虹彩モデルの１つとで表された目モデルの各々について、瞼尤度及び第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算し、最も大きい目尤度を有する目モデルを表す比較瞼モデル及び比較虹彩モデルの各々の第１のモデルパラメータ及び第２のモデルパラメータで表されるモデルの瞼の位置及び形状並びに虹彩位置を検出する。

本発明の眼領域検出装置によれば、瞼尤度及び第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算している。これにより、例えば、ノイズが発生した画像に含まれる上瞼及び下瞼の各位置及び各形状と、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致していないにも関わらず、ノイズなどの影響によって瞼尤度が高くなってしまう場合であっても、この場合において演算される目尤度は第２の虹彩尤度によって小さくなるように補正されている。そのため、ノイズが発生した場合に演算される目尤度は、ノイズが発生していない画像に含まれる上瞼及び下瞼の各位置及び各形状と比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致している場合において演算される目尤度よりも低くなる。従って、本発明によれば、取得した画像にノイズが発生している場合であっても、良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる。

また、本発明の前記第２の演算手段を、前記瞼尤度と前記第１の虹彩尤度との和から前記第２の虹彩尤度を減算した値、または前記第１の虹彩尤度から前記第２の虹彩尤度を減算した値と前記瞼尤度との積の値を前記目尤度として演算するようにしてもよい。

また、上記の目的を達成するために、本発明の第２の眼領域検出装置は、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データを取得する取得手段と、複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデル、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルを記憶した記憶手段と、前記第１のモデルパラメータ及び前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段と、前記比較瞼モデルによって表される上瞼の位置及び形状と前記画像に含まれる上瞼の位置及び形状とが一致する度合いを示す上瞼尤度を、前記画像に含まれる虹彩と前記比較瞼モデルによって表される上瞼との距離に応じて該距離が大きくなるほど小さくなるように定めた補正値によって、該距離が大きくなるほど小さくなるように補正した値、前記比較瞼モデルによって表される下瞼の位置及び形状と前記画像に含まれる下瞼の位置及び形状とが一致する度合いを示す下瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段と、前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記補正した値、前記下瞼尤度、及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段と、前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段とを含んで構成されている。

本発明の眼領域検出装置によれば、補正値によって補正した値、下瞼尤度、及び第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算している。これにより、例えば、ノイズが発生した画像に含まれる上瞼及び下瞼の各位置及び各形状と、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致していないにも関わらず、ノイズなどの影響によって瞼尤度が高くなってしまう場合であっても、この場合において演算される目尤度は第２の虹彩尤度によって小さくなるように補正されている。そのため、ノイズが発生した場合に演算される目尤度は、ノイズが発生していない画像に含まれる上瞼及び下瞼の各位置及び各形状と比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致している場合において演算される目尤度よりも低くなる。従って、本発明によれば、取得した画像にノイズが発生している場合であっても、良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる。

また、本発明の眼領域検出装置によれば、比較瞼モデルによって表される上瞼の位置及び形状と画像に含まれる上瞼の位置及び形状とが一致する度合いを示す上瞼尤度を、画像に含まれる虹彩と比較瞼モデルによって表される上瞼との距離に応じてこの距離が大きくなるほど小さくなるように定めた補正値によって、この距離が大きくなるほど小さくなるように補正しているので、より良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる。

また、本発明の前記第２の演算手段を、前記補正値によって前記補正した値と前記下瞼尤度と前記第１の虹彩尤度との和から前記第２の虹彩尤度を減算した値、または前記第１の虹彩尤度から前記第２の虹彩尤度を減算した値と前記補正値によって前記補正した値と前記下瞼尤度との積の値を前記目尤度として演算するようにしてもよい。

また、上記の目的を達成するために、本発明の第１のプログラムは、複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデルの前記第１のモデルパラメータ、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルの前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段、前記比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データの画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段、前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記瞼尤度及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段、及び前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段として機能させる。

本発明のプログラムによれば、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼尤度、比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度をコンピュータに演算させる。そして、比較瞼モデルの１つと比較虹彩モデルの１つとで表された目モデルの各々について、瞼尤度及び第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算し、最も大きい目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置をコンピュータに検出させる。

本発明のプログラムによれば、瞼尤度及び第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を第２の虹彩尤度によって小さくなるように補正した値を目尤度として、コンピュータに演算させる。これにより、例えば、ノイズが発生した画像に含まれる上瞼及び下瞼の各位置及び各形状と、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致していないにも関わらず、ノイズなどの影響によって瞼尤度が高くなってしまう場合であっても、この場合において演算される目尤度は第２の虹彩尤度によって小さくなるように補正されている。そのため、ノイズが発生した場合に演算される目尤度は、ノイズが発生していない画像に含まれる上瞼及び下瞼の各位置及び各形状と比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致している場合において演算される目尤度よりも低くなる。従って、本発明によれば、取得した画像にノイズが発生している場合であっても、良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる。

また、上記の目的を達成するために、本発明の第２のプログラムは、コンピュータを複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデルの前記第１のモデルパラメータ、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルの前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段、前記比較瞼モデルによって表される上瞼の位置及び形状と、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データの画像に含まれる上瞼の位置及び形状とが一致する度合いを示す上瞼尤度を、前記画像に含まれる虹彩と前記比較瞼モデルによって表される上瞼との距離に応じて該距離が大きくなるほど小さくなるように定めた補正値によって、該距離が大きくなるほど小さくなるように補正した値、前記比較瞼モデルによって表される下瞼の位置及び形状と、前記画像に含まれる下瞼の形状とが一致する度合いを示す下瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段、前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記補正した値、前記下瞼尤度、及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段、及び前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段として機能させる。

本発明のプログラムによれば、補正値によって補正した値、下瞼尤度、及び第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を第２の虹彩尤度によって小さくなるように補正した値を目尤度として、コンピュータに演算させる。これにより、例えば、ノイズが発生した画像に含まれる上瞼及び下瞼の各位置及び各形状と、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致していないにも関わらず、ノイズなどの影響によって瞼尤度が高くなってしまう場合であっても、この場合において演算される目尤度は第２の虹彩尤度によって小さくなるように補正されている。そのため、ノイズが発生した場合に演算される目尤度は、ノイズが発生していない画像に含まれる上瞼及び下瞼の各位置及び各形状と比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致している場合において演算される目尤度よりも低くなる。従って、本発明によれば、取得した画像にノイズが発生している場合であっても、良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる。

また、本発明のプログラムによれば、比較瞼モデルによって表される上瞼の位置及び形状と画像に含まれる上瞼の位置及び形状とが一致する度合いを示す上瞼尤度を、画像に含まれる虹彩と比較瞼モデルによって表される上瞼との距離に応じてこの距離が大きくなるほど小さくなるように定めた補正値によって、この距離が大きくなるほど小さくなるように補正しているので、より良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる。

以上説明したように、本発明の眼領域検出装置及びプログラムによれば、取得した画像にノイズが発生している場合であっても、良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる、という効果が得られる。

以下、図面を参照して、本発明の眼領域検出装置の各実施の形態を詳細に説明する。

［第１の実施の形態］
まず、第１の実施の形態について説明する。図１に示すように、本実施の形態に係る眼領域検出装置１０は、撮影の対象となる対象物を撮影することにより眼領域の画像を含む画像の画像データを取得する取得手段としてのカメラ１２、表示装置１４、及びコンピュータ１６を備えている。なお、眼領域とは、図２に示すように、虹彩８６を含み、上瞼８０及び下瞼８２で囲まれた領域９０（以下、眼領域９０と称する）を指す。また、眼領域９０を含む画像とは、例えば、図２の例では、領域８８の画像を指す。また、同図に図示されるように、瞼８４は、上瞼８０及び下瞼８２からなる。また、撮影の対象となる対象物としては、例えば、眼領域を検出しようとする人物が考えられる。

表示装置１４は、入力された情報に基づいた表示を行うＬＣＤ（Liquid Crystal Display）またはＣＲＴ（Cathode Ray Tube）で構成されている。

コンピュータ１６は、Ｉ／Ｏ（入出力）ポート１６ａ、ＲＯＭ（Read Only Memory）１６ｂ、ＨＤＤ（Hard Disk Drive）１６ｃ、ＣＰＵ（Central Processing Unit）１６ｄ、ＲＡＭ（Random Access Memory）１６ｅ、並びにこれらＩ／Ｏポート１６ａ、ＲＯＭ１６ｂ、ＨＤＤ１６ｃ、ＣＰＵ１６ｄ、及びＲＡＭ１６ｅを互いに接続するバス１６ｆを含んで構成されている。

記憶媒体としてのＲＯＭ１６ｂには、ＯＳ等の基本プログラムが記憶されている。

記憶媒体としてのＨＤＤ１６ｃには、詳細を以下で説明する眼領域検出処理の処理ルーチンを実行するためのプログラムが記憶されている。

また、ＨＤＤ１６ｃには、例えば、図３に示すような、右目の目じりに対応する点Ｐ_１（＝（ｘ_１，ｙ_１，ｚ_１））、右目の目頭に対応する点Ｐ_３（＝（ｘ_３，ｙ_３，ｚ_３））、右目の上瞼における目頭と目じりとの間に対応する点Ｐ_２（＝（ｘ_２，ｙ_２，ｚ_２））、右目の下瞼における目頭と目じりとの間に対応する点Ｐ_４（＝（ｘ_４，ｙ_４，ｚ_４））、左目の目頭に対応する点Ｐ_５（＝（ｘ_５，ｙ_５，ｚ_５））、左目の目じりに対応する点Ｐ_７（＝（ｘ_７，ｙ_７，ｚ_７））、左目の上瞼における目頭と目じりとの間に対応する点Ｐ_６（＝（ｘ_６，ｙ_６，ｚ_６））、及び左目の下瞼における目頭と目じりとの間に対応する点Ｐ_８（＝（ｘ_８，ｙ_８，ｚ_８））の各々を制御点として、これらの複数の制御点の各々を適宜定めて右目の上瞼の三次元の形状、右目の下瞼の三次元の形状、左目の上瞼の三次元の形状、及び左目の下瞼の三次元の形状（すなわち、左右の瞼の三次元の形状）をベジエ曲線によって定め、定められた左右の瞼の三次元の形状を画像座標に投影して得られた２次元の所定の瞼モデルが記憶されている。なお、所定の瞼モデルを形成するために用いた上記の制御点の各々を定める座標は、第１のモデルパラメータに対応する。

また、ＨＤＤ１６ｃには、図４及び図５に示すような、右目の虹彩輪郭の中心に対応する点Ｐ_９、左目の虹彩輪郭の中心に対応する点Ｐ_１０、ｘ−ｙ平面と平行で点Ｐ_９を通る平面の回転角α_９、β_９、ｘ−ｙ平面と平行で点Ｐ_１０を通る平面の回転角α_１０、β_１０、右目の虹彩円半径ｒ_９、及び左目の虹彩円半径ｒ_１０の各々を適宜定めて右目の虹彩の三次元の輪郭ｐ_ｒ ^ｗ（θ）、及び左目の虹彩の三次元の輪郭ｐ_ｌ ^ｗ（θ）を定め、定められた輪郭ｐ_ｒ ^ｗ（θ）及びｐ_ｌ ^ｗ（θ）を画像座標に投影して得られた所定の虹彩モデルｐ_ｒ ^Ｉ（θ）（右の虹彩モデル）及びｐ_ｌ ^Ｉ（θ）（左の虹彩モデル）が記憶されている。なお、所定の虹彩モデルｐ_ｒ ^Ｉ（θ）及びｐ_ｌ ^Ｉ（θ）を形成するために定めた上記の点Ｐ_９、回転角α_９、回転角β_９、虹彩円半径ｒ_９、点Ｐ_１０、回転角α_１０、回転角β_１０、及び虹彩円半径ｒ_１０の各々は、第２のモデルパラメータに対応する。

ＣＰＵ１４ｄは、プログラムをＲＯＭ１４ｂ及びＨＤＤ１４ｃから読み出して実行し、ＲＡＭ１４ｅには、各種データが一時的に記憶される。

Ｉ／Ｏポート１６ａには、カメラ１２及び表示装置１４が接続されている。

次に、コンピュータ１６のＣＰＵ１６ｄが実行する眼領域検出処理の処理ルーチンについて図６を用いて説明する。なお、本実施の形態において、眼領域検出処理は、眼領域検出装置１０のスイッチ（図示せず）がオンされた時点から所定時間間隔（例えば、数１０ｍｓｅｃ）毎に実行される。

まず、ステップ１００で、カメラ１２で撮影された画像の画像データを取り込む。

次のステップ１０２では、上記ステップ１００で取り込んだ画像データが表す画像から、眼領域を含む領域を抽出することにより眼領域を含む画像の画像データを取得する。ステップ１０２で眼領域を含む領域を抽出する方法としては、例えば、テンプレートマッチング法による画像処理により画像データが表す画像の中から眼領域を含む領域を検索する方法を用いてもよいし、あるいは、操作者がキーボード（図示せず）、マウス（図示せず）、電子ペン（図示せず）またはライトペン（図示せず）等の眼領域を含む領域を選択するための領域選択手段により画像の上で眼領域を含む領域を選択することにより眼領域を含む領域を抽出する方法を用いてもよい。

次のステップ１０４では、第１のモデルパラメータ及び第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成するための比較モデル作成処理を実行する。ここで、ステップ１０４の比較モデル作成処理の処理ルーチンの詳細について図７を参照して説明する。

まず、ステップ２００では、ＨＤＤ１６ｃからモデルパラメータが初期値に設定された瞼モデル、並びにモデルパラメータが初期値に設定された虹彩モデルｐ_ｌ ^Ｉ（θ）及びｐ_ｒ ^Ｉ（θ）を読み込んで、読み込んだ瞼モデルを初期の比較瞼モデルとすると共に、読み込んだ虹彩モデルｐ_ｌ ^Ｉ（θ）及びｐ_ｒ ^Ｉ（θ）を初期の比較虹彩モデルとし、これらの比較瞼モデル及び比較虹彩モデルをＲＡＭ１６ｅに記憶させることにより、比較瞼モデル及び比較虹彩モデルを作成する。

ここで、比較瞼モデルは、後述する瞼尤度を演算する際の演算処理において、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる上瞼及び下瞼の各位置及び各形状と比較される瞼モデルである。また、比較虹彩モデルは、詳細を後述する第１の虹彩尤度及び第２の虹彩尤度を演算する際の演算処理において、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる虹彩の輪郭と比較される虹彩モデルである。

次のステップ２０２では、上記ステップ２００で作成された比較瞼モデルの右目の上瞼における目頭と目じりとの間に対応する点Ｐ_２（＝（ｘ_２，ｙ_２，ｚ_２））、及び右目の下瞼における目頭と目じりとの間に対応する点Ｐ_４（＝（ｘ_４，ｙ_４，ｚ_４））の組み合わせについて、点Ｐ_２及び点Ｐ_４の各々毎に予め定められた複数の比較瞼モデルを作成するための複数の座標のパターンの中から、現時点の点Ｐ_１及び点Ｐ_３の座標の組み合わせの場合において未だ選択されていない点Ｐ_２及び点Ｐ_４の座標の組み合わせを１つ選択する。また、同様に、上記ステップ２００で作成された比較瞼モデルの左目の上瞼における目頭と目じりとの間に対応する点Ｐ_６（＝（ｘ_６，ｙ_６，ｚ_６））、及び左目の下瞼における目頭と目じりとの間に対応する点Ｐ_８（＝（ｘ_８，ｙ_８，ｚ_８））の組み合わせについて、点Ｐ_６及び点Ｐ_８の各々毎に予め定められた複数の比較瞼モデルを作成するための複数の座標のパターンの中から、現時点の点Ｐ_５及び点Ｐ_７の座標の組み合わせの場合において未だ選択されていない点Ｐ_６及び点Ｐ_８の座標の組み合わせを１つ選択する。

次のステップ２０４では、現時点の点Ｐ_２及び点Ｐ_４の座標を、上記ステップ２０２で選択された点Ｐ_２及び点Ｐ_４の座標に変更し、変更後の点Ｐ_２及び点Ｐ_４の座標を含む第１のパラメータ（点Ｐ_１〜点Ｐ_４の各々の座標）を用いて右目の上瞼の三次元の形状及び右目の下瞼の三次元の形状（すなわち、右の瞼の三次元の形状）をベジエ曲線によって定め、定められた右の瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな右目の比較瞼モデルとする。また、同様に、現時点の点Ｐ_６及び点Ｐ_８の座標を、上記ステップ２０２で選択された点Ｐ_６及び点Ｐ_８の座標に変更し、変更後の点Ｐ_６及び点Ｐ_８の座標を含む第１のパラメータ（点Ｐ_５〜点Ｐ_８の各々の座標）を用いて左目の上瞼の三次元の形状及び左目の下瞼の三次元の形状（すなわち、左の瞼の三次元の形状）をベジエ曲線によって定め、定められた左の瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな左目の比較瞼モデルとする。そして、新たな右目の比較瞼モデル及び左目の比較瞼モデルを新たな比較瞼モデルとしてＲＡＭ１６ｅに記憶させることにより、新たな比較瞼モデルを作成する。

次のステップ２０６では、上記ステップ２０２で、現時点の点Ｐ_１及び点Ｐ_３の座標の組み合わせの場合において、点Ｐ_２及び点Ｐ_４の座標の組み合わせを全てのパターンについて選択したか否かを判定すると共に、現時点の点Ｐ_５及び点Ｐ_７の座標の組み合わせの場合において、点Ｐ_６及び点Ｐ_８の座標の組み合わせを全てのパターンについて選択したか否かを判定する。

ステップ２０６で、点Ｐ_２及び点Ｐ_４の座標の組み合わせ並びに点Ｐ_６及び点Ｐ_８の座標の組み合わせの少なくとも１方の組み合わせにおいて全てのパターンについて選択していないと判定された場合には、上記のステップ２０２に戻り、全てのパターンについて選択されていないと判定された組み合わせの座標に対応する処理を上記と同様に行う。

一方、ステップ２０６で、点Ｐ_２及び点Ｐ_４の座標の組み合わせを全てのパターンについて選択したと判定され、かつ点Ｐ_６及び点Ｐ_８の座標の組み合わせを全てのパターンについて選択したと判定された場合には、次のステップ２０８に進む。

次のステップ２０８では、下記で詳細を説明するステップ２１０において点Ｐ_１及び点Ｐ_３の座標の組み合わせを全てのパターンについて選択したか否かを判定すると共に、点Ｐ_５及び点Ｐ_７の座標の組み合わせを全てのパターンについて選択したか否かを判定する。

ステップ２０８で、点Ｐ_１及び点Ｐ_３の座標の組み合わせ並びに点Ｐ_５及び点Ｐ_７の座標の組み合わせの少なくとも１方の組み合わせにおいて全てのパターンについて選択していないと判定された場合には、次のステップ２１０に進む。

ステップ２１０では、点Ｐ_１及び点Ｐ_３の各々毎に予め定められた複数の比較瞼モデルを作成するための複数の座標のパターンの中から、未だ選択されていない点Ｐ_１及び点Ｐ_３の座標の組み合わせを１つ選択する。また、同様に、点Ｐ_５及び点Ｐ_７の各々毎に予め定められた複数の比較瞼モデルを作成するための複数の座標のパターンの中から、未だ選択されていない点Ｐ_５及び点Ｐ_７の座標の組み合わせを１つ選択する。そして、ステップ２０４に戻る。なお、ステップ２１０からステップ２０４にもどった場合には、ステップ２０４では、点Ｐ_２及び点Ｐ_４の各々毎に予め定められた複数の比較瞼モデルを作成するための複数の座標のパターンの中から、直近の上記ステップ２１０で選択された点Ｐ_１及び点Ｐ_３の座標の組み合わせの場合において未だ選択されていない点Ｐ_２及び点Ｐ_４の座標の組み合わせを１つ選択する。そして、現時点の点Ｐ_１及び点Ｐ_３の座標を、直近の上記ステップ２１０において選択された点Ｐ_１及び点Ｐ_３の座標に変更すると共に、現時点の点Ｐ_２及び点Ｐ_４の座標を、直近の当該ステップ２０４で選択された点Ｐ_２及び点Ｐ_４の座標に変更し、変更後の点Ｐ_１、点Ｐ_２、点Ｐ_３及び点Ｐ_４の座標を含む第１のパラメータ（点Ｐ_１〜点Ｐ_４の各々の座標）を用いて右目の上瞼の三次元の形状及び右目の下瞼の三次元の形状（すなわち、右の瞼の三次元の形状）をベジエ曲線によって定め、定められた右の瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな右目の比較瞼モデルとする。また、ステップ２０４では、同様に、点Ｐ_６及び点Ｐ_８の各々毎に予め定められた複数の比較瞼モデルを作成するための複数の座標のパターンの中から、直近の上記ステップ２１０で選択された点Ｐ_５及び点Ｐ_７の座標の組み合わせの場合において未だ選択されていない点Ｐ_６及び点Ｐ_８の座標の組み合わせを１つ選択する。そして、現時点の点Ｐ_５及び点Ｐ_７の座標を、直近の上記ステップ２１０において選択された点Ｐ_５及び点Ｐ_７の座標に変更すると共に、現時点の点Ｐ_６及び点Ｐ_８の座標を、直近の当該ステップ２０４で選択された点Ｐ_６及び点Ｐ_８の座標に変更し、変更後の点Ｐ_５、点Ｐ_６、点Ｐ_７及び点Ｐ_８の座標を含む第１のパラメータ（点Ｐ_５〜点Ｐ_８の各々の座標）を用いて左目の上瞼の三次元の形状及び左目の下瞼の三次元の形状（すなわち、左の瞼の三次元の形状）をベジエ曲線によって定め、定められた左の瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな左目の比較瞼モデルとする。そして、新たな右目の比較瞼モデル及び左目の比較瞼モデルを新たな比較瞼モデルとしてＲＡＭ１６ｅに記憶させることにより、新たな比較瞼モデルを作成する。

一方、ステップ２０８で、点Ｐ_１及び点Ｐ_３の座標の組み合わせを全てのパターンについて選択したと判定され、かつ点Ｐ_５及び点Ｐ_７の座標の組み合わせを全てのパターンについて選択したと判定された場合には、次のステップ２１２に進む。

ステップ２１２では、第２のモデルパラメータ（点Ｐ_９、回転角α_９、回転角β_９、虹彩円半径ｒ_９、点Ｐ_１０、回転角α_１０、回転角β_１０、及び虹彩円半径ｒ_１０）の各々毎に予め定められた複数の比較虹彩モデルを作成するための複数の第２のモデルパラメータのパターン（組合わせ）の中から、未だ選択されていない第２のモデルパラメータの組み合わせを１つ選択する。

次のステップ２１４では、現時点の第２のモデルパラメータの各々を、上記ステップ２１２で選択された第２のモデルパラメータに変更し、変更後の第２のモデルパラメータを用いて三次元の左目の虹彩の輪郭ｐ_ｌ ^ｗ（θ）、及び三次元の右目の虹彩の輪郭ｐ_ｒ ^ｗ（θ）を定め、定められた輪郭ｐ_ｌ ^ｗ（θ）及びｐ_ｒ ^ｗ（θ）を画像座標に投影して得られた虹彩モデルｐ_ｌ ^Ｉ（θ）及びｐ_ｒ ^Ｉ（θ）を、新たな比較虹彩モデルとしてＲＡＭ１６ｅに記憶させることにより、新たな比較虹彩モデルを作成する。

次のステップ２１６では、上記ステップ２１２で、第２のモデルパラメータの組み合わせを全てのパターンについて選択したか否かを判定する。

ステップ２１６で、第２のモデルパラメータの組み合わせを全てのパターンについて選択していないと判定された場合には、上記のステップ２１２に戻る。

一方、ステップ２１６で、第２のモデルパラメータの組み合わせを全てのパターンについて選択したと判定された場合には、比較モデル作成処理を終了する。

以上説明したように、比較モデル作成処理によって、複数の比較瞼モデル及び複数の比較虹彩モデルが作成される。

次のステップ１０６では、上記ステップ１０４で作成された右目の複数の比較瞼モデル及び右目の複数の比較虹彩モデルの組み合わせのうち、本ステップ１０６で未だ選択されていない組み合わせを右目のモデルとして選択する。

次のステップ１０８では、上記ステップ１０６で選択された右目の比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる右目の上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す右目の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}、上記ステップ１０６で選択された右目の比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する上記ステップ１０６で選択された右目の比較虹彩モデルによって表される右目の虹彩の輪郭と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる右目の虹彩の輪郭とが一致する度合いを示す第１の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ１}、及び上記ステップ１０６で選択された右目の比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する上記ステップ１０６で選択された右目の比較虹彩モデルによって表される右目の虹彩の輪郭と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる右目の虹彩の輪郭とが一致する度合いを示す第２の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ２}を演算する。

第１の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ１}は、下記の式（１）によって演算することができる。

ただし、
ｐ_ｒｋ：虹彩の離散的な点を一定間隔でｎ個取り出した点の各輪郭点ｐ_ｒ ^Ｉ（２πｋ／ｎ）（ｋ＝０、１、・・・、ｎ−１）
ｈ_ｒｋ：輪郭点ｐ_ｒｋ上の法線ベクトル
ｇ（ｐ）：位置ｐの輝度勾配ベクトル
であり、
Ｂ_ｒ（ｐ_ｒｋ）は下記の式（２）のような瞼の内外を判定する関数である。

また、第２の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ２}は、下記の式（３）によって演算することができる。

ただし、
ｐ_ｒｋ：虹彩の離散的な点を一定間隔でｎ個取り出した点の各輪郭点ｐ_ｒ ^Ｉ（２πｋ／ｎ）（ｋ＝０、１、・・・、ｎ−１）
ｈ_ｒｋ：輪郭点ｐ_ｒｋ上の法線ベクトル
ｇ（ｐ）：位置ｐの輝度勾配ベクトル
であり、
Ｃ_ｒ（ｐ_ｒｋ）は下記の式（４）のような瞼の内外を判定する関数である。

更に、瞼部分に影ができ、この影から肌の方向への輝度勾配が生じることから、右目の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}は、上記の公知技術を用いて、法線ベクトルと輝度勾配ベクトルの向きを考慮した上記の式（１）と同様に演算することができる。

次のステップ１１０では、下記の式（５）が示すように、上記ステップ１０８で演算した右目の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}と第１の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ１}との和から、上記ステップ１０８で演算した第２の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ２}を減算した値を右目の目尤度λ_ｒとして演算し、演算結果の右目の目尤度λ_ｒをＲＡＭ１６ｅに記憶する。

これにより、この和は、右目の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}及び第１の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ１}が大きくなるに従って大きくなるので、比較瞼モデルの１つと比較虹彩モデルの１つとで表された目モデルについて、右目の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}及び第１の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ１}の各々が大きくなるに従って大きくなるように定めた値を、第２の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ２}によって小さくなるように補正した値を右目の目尤度λ_ｒとして演算することができる。

次のステップ１１２では、上記ステップ１０６で複数の比較瞼モデル及び複数の比較虹彩モデルの全ての組み合わせを選択したか否かを判定する。

ステップ１１２で、全ての組み合わせを選択していないと判定された場合には、ステップ１０６に戻る。

一方、ステップ１１２で、全ての組み合わせを選択したと判定された場合には、次のステップ１１４へ進む。

なお、ステップ１０６からステップ１１２の処理が繰り返されることによって、ステップ１０４で作成された右目の複数の比較瞼モデル及び右目の複数の比較虹彩モデルの全ての組み合わせの右目の目尤度λ_ｒが演算される。

次のステップ１１４では、上記ステップ１０４で作成された左目の複数の比較瞼モデル及び左目の複数の比較虹彩モデルの組み合わせのうち、本ステップ１１４で未だ選択されていない組み合わせを左目のモデルとして選択する。

次のステップ１１６では、上記ステップ１１４で選択された左目の比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる左目の上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す左目の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}、上記ステップ１１４で選択された左目の比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する上記ステップ１１４で選択された左目の比較虹彩モデルによって表される左目の虹彩の輪郭と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる左目の虹彩の輪郭とが一致する度合いを示す第１の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ１}、及び上記ステップ１１４で選択された左目の比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する上記ステップ１１４で選択された左目の比較虹彩モデルによって表される左目の虹彩の輪郭と、上記ステップ１０２で抽出した眼領域の画像に含まれる左目の虹彩の輪郭とが一致する度合いを示す第２の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ２}を演算する。

第１の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ１}は、下記の式（６）によって演算することができる。

ただし、
ｐ_ｌｋ：虹彩の離散的な点を一定間隔でｎ個取り出した点の各輪郭点ｐ_ｌ ^Ｉ（２πｋ／ｎ）（ｋ＝０、１、・・・、ｎ−１）
ｈ_ｌｋ：輪郭点ｐ_ｌｋ上の法線ベクトル
ｇ（ｐ）：位置ｐの輝度勾配ベクトル
であり、
Ｂ_ｌ（ｐ_ｌｋ）は下記の式（７）のような瞼の内外を判定する関数である。

また、第２の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ２}は、下記の式（８）によって演算することができる。

ただし、
ｐ_ｌｋ：虹彩の離散的な点を一定間隔でｎ個取り出した点の各輪郭点ｐ_ｌ ^Ｉ（２πｋ／ｎ）（ｋ＝０、１、・・・、ｎ−１）
ｈ_ｌｋ：輪郭点ｐ_ｌｋ上の法線ベクトル
ｇ（ｐ）：位置ｐの輝度勾配ベクトル
であり、
Ｃ_ｌ（ｐ_ｌｋ）は下記の式（９）のような瞼の内外を判定する関数である。

更に、瞼部分に影ができ、この影から肌の方向への輝度勾配が生じることから、左目の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}は、上記の公知技術を用いて、法線ベクトルと輝度勾配ベクトルの向きを考慮した上記の式（６）と同様に演算することができる。

次のステップ１１８では、下記の式（１０）が示すように、上記ステップ１１６で演算した左目の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}と第１の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ１}との和から、上記ステップ１１６で演算した第２の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ２}を減算した値を左目の目尤度λ_ｌとして演算し、演算結果の左目の目尤度λ_ｌをＲＡＭ１６ｅに記憶する。

これにより、この和は、左目の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}及び第１の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ１}が大きくなるに従って大きくなるので、比較瞼モデルの１つと比較虹彩モデルの１つとで表された目モデルについて、左目の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}及び第１の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ１}の各々が大きくなるに従って大きくなるように定めた値を、第２の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ２}によって小さくなるように補正した値を左目の目尤度λ_ｌとして演算することができる。

次のステップ１２０では、上記ステップ１１４で左目の複数の比較瞼モデル及び左目の複数の比較虹彩モデルの全ての組み合わせを選択したか否かを判定する。

ステップ１２０で、全ての組み合わせを選択していないと判定された場合には、ステップ１１４に戻る。

一方、ステップ１２０で、全ての組み合わせを選択したと判定された場合には、次のステップ１２２へ進む。

なお、ステップ１１４からステップ１２０の処理が繰り返されることによって、ステップ１０４で作成された左目の複数の比較瞼モデル及び左目の複数の比較虹彩モデルの全ての組み合わせの左目の目尤度λ_ｌが演算される。

ステップ１２２では、下記の式（１１）が示すように、ステップ１１０で演算された複数の右目の目尤度λ_ｒのうち、最も大きい右目の目尤度λ_{ｒ＿ｍａｘ}と、ステップ１１８で演算された複数の左目の目尤度λ_ｌのうち、最も大きい左目の目尤度λ_{ｌ＿ｍａｘ}との和を、最も大きい全体の目尤度λとして演算する。

次のステップ１２４では、上記ステップ１２２で演算された最も大きい全体の目尤度λを有する目モデル（比較瞼モデル及び比較虹彩モデル）によって表される瞼の位置及び形状並びに虹彩位置を検出（演算）する。

次のステップ１２６では、上記ステップ１２４で検出した検出結果が表示されるように、表示装置の表示を制御する。そして、眼領域検出処理を終了する。

以上、説明したように、本実施形態に係る眼領域検出装置１０によれば、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データを取得する取得手段としてのカメラ１２と、複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデル、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルを記憶した記憶手段としてのＨＤＤ１６ｃを含んで構成されており、第１のモデルパラメータ及び第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成し、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼尤度λ_{ｅｙｅｌｉｄ}、比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度λ_{ｉｒｉｓ１}、及び比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度λ_{ｉｒｉｓ２}を演算し、比較瞼モデルの１つと比較虹彩モデルの１つとで表された目モデルの各々について、瞼尤度λ_{ｅｙｅｌｉｄ}及び第１の虹彩尤度λ_{ｉｒｉｓ１}の各々が大きくなるに従って大きくなるように定めた値を、第２の虹彩尤度λ_{ｉｒｉｓ２}によって小さくなるように補正した値を目尤度λとして演算し、演算された最も大きい目尤度λを有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する。

本実施の形態の眼領域検出装置１０によれば、瞼尤度λ_{ｅｙｅｌｉｄ}及び第１の虹彩尤度λ_{ｉｒｉｓ１}の各々が大きくなるに従って大きくなるように定めた値を第２の虹彩尤度λ_{ｉｒｉｓ２}によって小さくなるように補正した値を目尤度λとして演算している。これにより、例えば、図８（Ｃ）に示すように、ノイズが発生した画像に含まれる上瞼及び下瞼の各位置及び各形状と、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致していないにも関わらず、ノイズなどの影響によって瞼尤度λ_{ｅｙｅｌｉｄ}（図８（Ｃ）の例ではλ_{ｅｙｅｌｉｄ}は２０）が高くなってしまう場合であっても、この場合において演算される目尤度λは第２の虹彩尤度λ_{ｉｒｉｓ２}によって小さくなるように補正されている。そのため、ノイズが発生した場合に演算される目尤度λは、図８（Ｄ）に示すような、ノイズが発生していない画像に含まれる上瞼及び下瞼の各位置及び各形状と比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致している場合において演算される目尤度λよりも低くなる。従って、本実施の形態の眼領域検出装置１０によれば、取得した画像にノイズが発生している場合であっても、良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる。なお、図８（Ａ）及び図８（Ｂ）の各々は、画像に含まれる上瞼及び下瞼の位置及び形状と比較瞼モデルによって表される上瞼及び下瞼の位置及び形状とが一致しておらず、かつ画像に含まれる虹彩の輪郭と比較虹彩モデルによって表される虹彩の輪郭とが一致していない場合において演算された目尤度λの大きさの一例を表すための図である。図８（Ａ）及び図８（Ｂ）の例では、目尤度λは共に１０である。また、図８の例において、ａ１、及びａ２は定数であり、本実施の形態では、これらの定数ａ１、及びａ２が１の場合について説明している。

なお、本実施の形態では、ステップ１１０において、右目の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}と第１の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ１}との和から、第２の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ２}を減算した値を右目の目尤度λ_ｒとして演算する例について説明したが、下記の式（１２）が示すように、第１の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ１}から第２の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ２}を減算した値と、右目の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}との積の値を右目の目尤度λ_ｒとして演算するようにしてもよい。

なお、式（１２）によって演算された右目の目尤度λ_ｒは、右目の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}及び第１の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ１}の各々が大きくなるに従って大きくなるように定めた値を、第２の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ２}によって小さくなるように補正した値である。

また、本実施の形態では、ステップ１１８において、左目の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}と第１の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ１}との和から、第２の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ２}を減算した値を左目の目尤度λ_ｌとして演算する例について説明したが、下記の式（１３）が示すように、第１の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ１}から第２の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ２}を減算した値と、左目の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}との積の値を左目の目尤度λ_ｌとして演算するようにしてもよい。

なお、式（１３）によって演算された左目の目尤度λ_ｌは、左目の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}及び第１の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ１}の各々が大きくなるに従って大きくなるように定めた値を、第２の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ２}によって小さくなるように補正した値である。

また、本実施の形態では、ステップ１２２において、上記ステップ１１０で演算された複数の右目の目尤度λ_ｒのうち、最も大きい右目の目尤度λ_{ｒ＿ｍａｘ}と、上記ステップ１１８で演算された複数の左目の目尤度λ_ｌのうち、最も大きい左目の目尤度λ_{ｌ＿ｍａｘ}との和を、最も大きい全体の目尤度λとして演算する例について説明したが、下記の式（１４）が示すように、最も大きい右目の目尤度λ_{ｒ＿ｍａｘ}と最も大きい左目の目尤度λ_{ｌ＿ｍａｘ}との積を、最も大きい全体の目尤度λとして演算するようにしてもよい。

また、本実施の形態では、最も大きい右目の目尤度λ_{ｒ＿ｍａｘ}と、最も大きい左目の目尤度λ_{ｌ＿ｍａｘ}との和を、最も大きい全体の目尤度λとして演算する例について説明したが、右目のみ目尤度を演算したい場合には、右目に対応する処理を上記と同様にして行い、最も大きい右目の目尤度λ_{ｒ＿ｍａｘ}を（右）目の目尤度λ´として演算するようにしてもよい。また、右目のみ瞼の位置及び形状並びに虹彩位置を検出したい場合には、上記の目尤度λ´を有する右目の目モデルの瞼の位置及び形状並びに虹彩位置を検出するようにしてもよい。
また、左目のみ目尤度を演算したい場合には、左目に対応する処理を上記と同様にして行い、最も大きい左目の目尤度λ_{ｌ＿ｍａｘ}を（左）目の目尤度λ´´として演算するようにしてもよい。また、左目のみ瞼の位置及び形状並びに虹彩位置を検出したい場合には、上記の目尤度λ´´を有する左目の目モデルの瞼の位置及び形状並びに虹彩位置を検出するようにしてもよい。

また、本実施の形態では、最も大きい右目の目尤度λ_{ｒ＿ｍａｘ}と、最も大きい左目の目尤度λ_{ｌ＿ｍａｘ}との和を、最も大きい全体の目尤度λとして演算する例について説明したが、左右の目のモデルパラメータの組み合わせを予め定めておき、その組み合わせの左右の目尤度の和（または積）の最も大きい値を、全体の目尤度λ´´´として演算するようにしてもよい。ここで、組み合わせの一例として、Ｐ_２とＰ_４との距離‖Ｐ_２−Ｐ_４‖と、Ｐ_６とＰ_８との距離‖Ｐ_６−Ｐ_８‖とが以下の式（１５）を満たす場合の組み合わせが考えられる。

ただし、αは任意の距離の値である。

［第２の実施の形態］
次に第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。

本実施の形態において、第１の実施の形態と異なる点は、本実施の形態に係る眼領域検出装置のＨＤＤ１６ｃには図１０に示す眼領域検出処理を実行するためのプログラムが記憶されており、眼領域検出装置のＣＰＵ１６ｄが、図１０に示す眼領域検出処理を実行する点である。同図に図示されるように、ステップ１０６の次にステップ２００が実行され、ステップ１１４の次にステップ２０２が実行される。

まず、ステップ２００での処理について説明する。ステップ２００では、第１の実施の形態と同様に、第１の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ１}、及び第２の右目の虹彩尤度λ_{ｒ＿ｉｒｉｓ２}を演算する。次に、上記ステップ１０６で選択された右目の比較瞼モデルによって表される上瞼の位置及び形状と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる右目の上瞼の位置及び形状とが一致する度合いを示す右目の上瞼の瞼尤度（上瞼尤度）λ_{ｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}を演算する。次に、上記ステップ１０６で選択された右目の比較瞼モデルによって表される下瞼の位置及び形状と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる右目の下瞼の位置及び形状とが一致する度合いを示す右目の下瞼の瞼尤度（下瞼尤度）λ_{ｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}を演算する。そして、下記の式（１６）が示すように、演算した右目の上瞼の瞼尤度λ_{ｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}に対して、補正値としての重みｗを付けて補正した値（λ_{ｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ）と、演算した右目の下瞼の瞼尤度λ_{ｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}とを加算した値（λ_{ｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ＋λ_{ｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}）を、ステップ１１０で用いる右目の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}として演算する。

ここで、重みｗについて説明する。図１１は、人間の虹彩と上瞼との位置関係を説明するための図である。図１１に示すように、人間の虹彩は、どのような方向を向いていても上瞼と離れることはあまりない。そのため、抽出した眼領域の画像に含まれる虹彩の輪郭と離れているような上瞼を表す比較瞼モデルは、信頼度が低いと考えられる。そのため、その比較瞼モデルが低く（小さく）なるように補正することで、より精度が高く瞼の位置及び形状等が検出できるようになる。そこで、本実施の形態では、重みｗが、例えば、図１２（Ａ）、図１２（Ｂ）に示すように、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる右目の虹彩の輪郭７２（の所定部分、例えば中心７２ａ）から、上記ステップ１０６で選択された右目の比較瞼モデルによって表される上瞼が遠ざかるほど小さくなるように設定されている。なお、図１２（Ａ）、図１２（Ｂ）における太線７３は、上記ステップ１０６で選択された右目の比較瞼モデルによって表される上瞼（の所定の部分、例えば上瞼の中心）の位置と、対応する重みｗとの関係を示している。

本実施形態のステップ２００では、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる右目の虹彩の輪郭７２（の所定部分、例えば中心７２ａ）と、上記ステップ１０６で選択された右目の比較瞼モデルによって表される上瞼（の所定部分、例えば上瞼の中心）との距離を検出し（または、位置関係を検出し）、検出した距離（位置関係）に対応する重みｗを取得し、演算した右目の上瞼の瞼尤度λ_{ｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}に対して重みｗを付けて補正する。そして、補正後の値（λ_{ｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ）と、演算した右目の下瞼の瞼尤度λ_{ｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}とを加算した値（λ_{ｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ＋λ_{ｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}）を、ステップ１１０で用いる右目の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}として演算する。これにより、虹彩から離れている上瞼を表す比較瞼モデルの尤度を低くすることができ、ひいては、より精度が高く瞼の位置及び形状等を検出することができるようになる。

ステップ２００での処理を更に具体的に説明すると、例えば、図１３に示すように、取得した右目の画像９０にノイズ９１が発生する場合がある。この場合に、画像９０に含まれる上瞼の形状９２とは異なる上瞼の形状９３を含む瞼の形状を表す瞼形状モデル（すなわち、ノイズ９１が発生していない場合に、推定される瞼の尤度が小さくなるような瞼形状モデル）に基づいて推定される右目の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}は、同図に図示されるように、補正値としての重みｗ（図１３の例では０．５）によって上瞼尤度λ_{ｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}が小さくなっているため、重みｗによって補正されない場合と比較してその値が小さくなる。

次に、ステップ２０２での処理について説明する。ステップ２０２では、第１の実施の形態と同様に、第１の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ１}、及び第２の左目の虹彩尤度λ_{ｌ＿ｉｒｉｓ２}を演算する。次に、上記ステップ１１４で選択された左目の比較瞼モデルによって表される上瞼の位置及び形状と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる左目の上瞼の位置及び形状とが一致する度合いを示す左目の上瞼の瞼尤度λ_{ｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}を演算する。次に、上記ステップ１１４で選択された左目の比較瞼モデルによって表される下瞼の位置及び形状と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる左目の下瞼の位置及び形状とが一致する度合いを示す左目の下瞼の瞼尤度λ_{ｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}を演算する。そして、下記の式（１７）が示すように、演算した左目の上瞼の瞼尤度λ_{ｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}に対して重みｗを付けて補正した値（λ_{ｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ）と、演算した左目の下瞼の瞼尤度λ_{ｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}とを加算した値（λ_{ｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ＋λ_{ｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}）を、ステップ１１８で用いる左目の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}として演算する。

なお、この重みｗについては、上記の右目の場合と同様に、本実施の形態では、例えば、図１２に示すように、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる左目の虹彩の輪郭７４（の所定部分、例えば中心７４ａ）から、上記ステップ１１４で選択された左目の比較瞼モデルによって表される上瞼が遠ざかるほど小さくなるように設定されている。

本実施形態のステップ２０２では、上記ステップ１０２で抽出した眼領域の画像に含まれる左目の虹彩の輪郭７２（の所定部分、例えば中心７２ａ）と、上記ステップ１１４で選択された左目の比較瞼モデルによって表される上瞼（の所定部分、例えば上瞼の中心）との距離（位置関係）を検出し、検出した距離（位置関係）に対応する重みｗを取得し、演算した左目の上瞼の瞼尤度λ_{ｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}に対して重みｗを付けて補正する。そして、補正後の値（λ_{ｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ）と、演算した左目の下瞼の瞼尤度λ_{ｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}とを加算した値（λ_{ｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ＋λ_{ｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}）を、ステップ１１８で用いる左目の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}として演算する。これにより、虹彩から離れている上瞼を表す比較瞼モデルの尤度を低くすることができ、ひいては、より精度が高く瞼の位置及び形状等を検出することができるようになる。

以上、説明したように、本実施の形態に係る眼領域検出装置は、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データを取得する取得手段としてのカメラ１２と、複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデル、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルを記憶した記憶手段としてのＨＤＤ１６ｃを含んで構成されており、第１のモデルパラメータ及び第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成し、比較瞼モデルによって表される上瞼の位置及び形状と画像に含まれる上瞼の位置及び形状とが一致する度合いを示す上瞼尤度λ_{ｕｐｐｅｒ＿ｅｙｅｌｉｄ}を、画像に含まれる虹彩と比較瞼モデルによって表される上瞼との距離に応じて、距離が大きくなるほど小さくなるように定めた補正値ｗによって、距離が大きくなるほど小さくなるように補正した値（λ_{ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ）、比較瞼モデルによって表される下瞼の位置及び形状と画像に含まれる下瞼の位置及び形状とが一致する度合いを示す下瞼尤度λ_{ｌｏｗｅｒ＿ｅｙｅｌｉｄ}、比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度λ_{ｉｒｉｓ１}、及び比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度λ_{ｉｒｉｓ２}を演算し、比較瞼モデルの１つと比較虹彩モデルの１つとで表された目モデルの各々について、補正した値（λ_{ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ）、下瞼尤度λ_{ｌｏｗｅｒ＿ｅｙｅｌｉｄ}、及び第１の虹彩尤度λ_{ｉｒｉｓ１}の各々が大きくなるに従って大きくなるように定めた値を、第２の虹彩尤度λ_{ｉｒｉｓ２}によって小さくなるように補正した値を目尤度λとして演算し、演算された最も大きい目尤度λを有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する。

なお、本実施の形態では、ステップ２００において、右目の上瞼の瞼尤度λ_{ｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}に対して重みｗを付けて補正した値（λ_{ｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ）と、演算した右目の下瞼の瞼尤度λ_{ｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}とを加算した値（λ_{ｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ＋λ_{ｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}）を、ステップ１１０で用いる右目の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}として演算する例について説明したが、下記の式（１８）が示すように、この補正した値（λ_{ｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ）と演算した右目の下瞼の瞼尤度λ_{ｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}との積（λ_{ｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ・λ_{ｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}）を、ステップ１１０で用いる右目の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}として演算するようにしてもよい。

また、本実施の形態では、ステップ２０２において、左目の上瞼の瞼尤度λ_{ｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}に対して重みｗを付けて補正した値（λ_{ｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ）と、演算した左目の下瞼の瞼尤度λ_{ｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}とを加算した値（λ_{ｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ＋λ_{ｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}）を、ステップ１１８で用いる左目の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}として演算する例について説明したが、下記の式（１９）が示すように、この補正した値（λ_{ｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ）と演算した左目の下瞼の瞼尤度λ_{ｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}との積（λ_{ｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ}・ｗ・λ_{ｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ}）を、ステップ１１８で用いる左目の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}として演算するようにしてもよい。

本発明の第１の実施の形態に係る眼領域検出装置の構成を示す概略図である。 第１の実施の形態に係る眼領域を説明するための図である。 第１の実施の形態に係る瞼モデルを説明するための図である。 第１の実施の形態に係る虹彩モデルを説明するための図である。 第１の実施の形態に係る虹彩モデルを説明するための図である。 第１の実施の形態に係る眼領域検出装置が実行する眼領域検出処理の処理ルーチンのフローチャートを示す図である。 第１の実施の形態に係る眼領域検出装置が実行する比較モデル作成処理の処理ルーチンのフローチャートを示す図である。 第１の実施の形態に係る眼領域検出装置の効果を説明するための図である。 従来の技術の問題点を説明するための図である。 第２の実施の形態に係る眼領域検出装置が実行する眼領域検出処理の処理ルーチンのフローチャートを示す図である。 人間の虹彩と上瞼との位置関係を説明するための図である。 第２の実施の形態における重みについて説明するための図である。 第２の実施の形態に係る眼領域検出装置が実行する眼領域検出処理を説明するための図である。

符号の説明

１０ 眼領域検出装置
１２ カメラ
１４ 表示装置
１６ コンピュータ
１６ｃ ＨＤＤ
１６ｄ ＣＰＵ

Claims (6)

1. 虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データを取得する取得手段と、
   複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデル、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルを記憶した記憶手段と、
   前記第１のモデルパラメータ及び前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段と、
   前記比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と前記画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段と、
   前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記瞼尤度及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段と、
   前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段と、
   を含む眼領域検出装置。
2. 前記第２の演算手段は、前記瞼尤度と前記第１の虹彩尤度との和から前記第２の虹彩尤度を減算した値、または前記第１の虹彩尤度から前記第２の虹彩尤度を減算した値と前記瞼尤度との積の値を前記目尤度として演算する請求項１記載の眼領域検出装置。
3. 虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データを取得する取得手段と、
   複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデル、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルを記憶した記憶手段と、
   前記第１のモデルパラメータ及び前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段と、
   前記比較瞼モデルによって表される上瞼の位置及び形状と前記画像に含まれる上瞼の位置及び形状とが一致する度合いを示す上瞼尤度を、前記画像に含まれる虹彩と前記比較瞼モデルによって表される上瞼との距離に応じて該距離が大きくなるほど小さくなるように定めた補正値によって、該距離が大きくなるほど小さくなるように補正した値、前記比較瞼モデルによって表される下瞼の位置及び形状と前記画像に含まれる下瞼の位置及び形状とが一致する度合いを示す下瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段と、
   前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記補正した値、前記下瞼尤度、及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段と、
   前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段と、
   を含む眼領域検出装置。
4. 前記第２の演算手段は、前記補正値によって前記補正した値と前記下瞼尤度と前記第１の虹彩尤度との和から前記第２の虹彩尤度を減算した値、または前記第１の虹彩尤度から前記第２の虹彩尤度を減算した値と前記補正値によって前記補正した値と前記下瞼尤度との積の値を前記目尤度として演算する請求項３記載の眼領域検出装置。
5. コンピュータを
   複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデルの前記第１のモデルパラメータ、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルの前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段、
   前記比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データの画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段、
   前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記瞼尤度及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段、及び
   前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段
   として機能させるためのプログラム。
6. コンピュータを
   複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデルの前記第１のモデルパラメータ、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルの前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段、
   前記比較瞼モデルによって表される上瞼の位置及び形状と、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データの画像に含まれる上瞼の位置及び形状とが一致する度合いを示す上瞼尤度を、前記画像に含まれる虹彩と前記比較瞼モデルによって表される上瞼との距離に応じて該距離が大きくなるほど小さくなるように定めた補正値によって、該距離が大きくなるほど小さくなるように補正した値、前記比較瞼モデルによって表される下瞼の位置及び形状と、前記画像に含まれる下瞼の形状とが一致する度合いを示す下瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段、
   前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記補正した値、前記下瞼尤度、及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段、及び
   前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段
   として機能させるためのプログラム。

Images