JP4635857B2 - 楕円検出方法、画像認識装置、制御装置 - Google Patents

Description

本発明は、入力画像中の楕円を検出する楕円検出方法及び画像認識装置、楕円の検出結果に基づき各種制御を実行する制御装置に関する。

近年、自動車などの車両を運転する運転者の顔面等を撮影した画像から運転者の挙動を推定し、推定結果に対応した様々な制御（具体的には、運転支援や警報を発する等）を行うための研究がなされている。

なお、運転者の挙動を把握するには、運転者の視線を特定することが有効であり、そのためには、撮影した画像から運転者の黒目虹彩または瞳孔を検知することが重要である。そして、現在のところ、目の周辺を撮影した画像から楕円を検出し、この楕円を運転者の黒目虹彩または瞳孔として認識することが試みられている。

なお、撮影される画像には、黒目虹彩や瞳孔が必ずしも完全な楕円として示されるわけではなく、図１１（ａ）に示すようにまぶたが瞳孔にかかったり、図１１（ｂ）に示すように瞳孔に光が映り込んだりすることにより、輪郭の一部が欠損した不完全な図形として示される場合がある。

したがって、この種の制御では、輪郭の一部が欠損していても、検出すべき図形（ここでは楕円）を復元できることが要求される。
このように輪郭の一部から図形を復元する方法としては、一般化ハフ変換が知られている（例えば、特許文献１参照）。

この一般化ハフ変換を用いてある形状の図形を検出する場合、検出すべき図形と同一形状のテンプレート図形を用意し、このテンプレート図形の特徴を表す複数（Ｍ個）の特徴点Ｐｉ（ｉ＝１〜Ｍ）を、予め設定された基準点に対する極座標ベクトル（Ｒｉ，αｉ）で表し、その極座標ベクトル（Ｒｉ，αｉ）を列挙したテーブルをテンプレートとして設定する。

なお、Ｒｉは、基準点からの距離、αｉは、基準点を通る基準軸に対する角度である。また、検出すべき図形が楕円である場合、特徴点として楕円の輪郭点、基準点として楕円中心を用いればよい。

そして、入力画像から図形の輪郭上に位置する複数（Ｎ個）の検査点Ｐｊ（ｊ＝１〜Ｎ）を抽出し、この検査点Ｐｊを入力画像上に設定された直交座標系（Ｘｊ，Ｙｊ）で表し、更に、この直交座標（Ｘｊ，Ｙｊ）を（１）、（２）式を用いて座標変換する。但し、θは、テンプレート図形の傾きを表す。

この座標変換は、検査点Ｑｊ＝（Ｘｊ，Ｙｊ）がテンプレートに示された特徴点Ｐｉ＝（Ｒｉ，αｉ）に相当すると仮定して、入力画像上での基準点の位置を求めるものである。従って、検査点Ｑｊを固定して、テーブルに列挙された全ての極座標ベクトルについて座標変換を行えば、基準点候補の軌跡が求められることになる。特に、θを固定して考えた場合には、この基準点候補の軌跡は、テンプレートと同じ形状となる。

つまり、複数の検査点Ｑｊについて、同様の座標変換を実行することにより、図１２に示すように、基準点候補の軌跡２１が複数求められ、その複数ある全ての軌跡２１が１点にて重なり合う地点が、検出すべき図形の基準点２３となる。なお、図１２における点線２０は、検査対象の図形としての楕円であり、点２２は、検査点Ｑｊを表したものである。

ところで、図１１に示すような楕円としては欠損のある輪郭を有した図形を含む入力画像から、一般化ハフ変換のみにより楕円の位置を検出する場合、それらの欠損を含めた輪郭上の検査点を用いて楕円の位置を推定するため、その楕円の位置の検出精度が著しく低下するという問題があった。なお、ここで言う、楕円の位置とは、長軸と短軸との比率や長軸の傾き（即ち、長軸の角度）などによって決定される楕円の輪郭点の位置である。

このため、運転者の顔面を含む画像（即ち、入力画像）から、運転者の視線や挙動を正確に検出することができず、運転者の状況に応じた運転者支援などの制御を行うことができないという問題があった。

そこで、本発明は、精度のよい楕円の検出方法及びその検出方法を実行する画像認識装置、入力画像から検出された楕円を用いて各種制御を実行する制御装置の提供を目的とする。

上記目的を達成するためになされた請求項１に記載の楕円検出方法は、楕円候補抽出過程において、入力画像から、その入力画像中に示された図形のうち予め設定された条件を満たすものを楕円候補図形として、楕円候補図形の輪郭を形成する輪郭候補点と楕円候補図形の中心を表す中心点とを抽出する。

そして、楕円輪郭抽出過程では、楕円候補抽出過程により抽出された中心点を通る複数の直線のそれぞれについて、同一直線上かつ中心点の両側に位置し、中心点までの距離の差が予め設定された誤差範囲内にある一対の輪郭候補点が存在すれば、その輪郭候補点を楕円輪郭点として抽出し、楕円パラメータ算出過程では、楕円輪郭抽出過程にて抽出された楕円輪郭点に基づき、中心点を楕円中心とする楕円を表す楕円パラメータを算出する。
ただし、楕円輪郭抽出過程では、楕円候補抽出過程によって抽出された中心点を通る単一直線上で輪郭候補点が３個以上抽出された場合、中心点から延びる単一直線上における片側の直線上で中心点と最遠の輪郭候補点との間に他の輪郭候補点が存在しない場合、その最遠の輪郭候補点と前記中心点との距離と、単一直線上に存在する他の輪郭候補点と中心点との距離を比較し、それらの距離の差が誤差範囲内にある輪郭候補点の組が複数存在する場合には、その差が最も小さい組の輪郭候補点を楕円輪郭点として抽出する。

このような楕円検出方法によれば、楕円としては欠損のある輪郭を有した図形を含む画像であっても、欠損部分の輪郭を表す輪郭点（アウトライア）を用いることなく、楕円パラメータを算出することができ、ひいては、楕円のみを確実に検出することができる。

ところで、楕円輪郭抽出過程では、楕円候補図形が楕円とは程遠い形状であっても、直線や長方形のように点対称な形状であれば上述の楕円輪郭点が多数抽出されるため、これら楕円以外の点対称な形状を有する図形が楕円として検出され、検出精度の低下を招いてしまう可能性がある。

そこで、請求項２に記載の楕円検出方法は、適合率算出過程において、楕円パラメータ算出過程により算出された楕円パラメータから生成される楕円と、楕円候補図形の輪郭との一致度合いを表す適合率を算出し、候補図形除去過程において、適合率算出過程により算出された適合率が、予め設定された閾値より小さい場合、楕円候補図形を除去する。

このような本発明の楕円検出方法によれば、楕円パラメータに基づいた楕円と適合しない楕円候補図形は、除去されるため、楕円のみをより確実に検出することができる。
また、請求項３に記載の画像認識装置は、請求項１に記載の楕円検出方法を実現するための装置であり、請求項４に記載の画像認識装置は、請求項３に記載の楕円検出方法を実現するための装置である。

従って、請求項３及び請求項４に記載の画像認識装置によれば、請求項１及び請求項２に記載の楕円検出方法により得られる効果と同様の効果を得ることができる。
また、請求項５に記載の画像認識装置のように、入力画像は、少なくとも人間の顔面を含む画像であり、楕円候補図形は、画像中の人間の黒目虹彩または瞳孔であってもよい。

また、請求項６に記載の画像認識装置のように、入力画像は、赤外線撮影された画像であってもよい。
このように構成された画像認識装置によれば、入力画像として暗室のような暗い場所で撮影された画像を用いても、楕円を検出することができる。

赤外線撮影された画像の中でも、特に、入力画像として人間の顔面を含む画像を用いれば、黒目虹彩または瞳孔は、浮き上がったように撮像されるため、その他の部位の画像との識別が容易である。

そこで、請求項７に記載の制御装置は、請求項５に記載の画像認識装置を備え、瞳孔黒目検出手段が、楕円パラメータ算出手段により算出された楕円パラメータから生成される楕円の動きを、入力画像中の人間の黒目虹彩または瞳孔の動きとして検出し、制御実行手段が、黒目瞳孔検出手段により検出された黒目虹彩または瞳孔の動きから、入力画像中の人間の挙動を推定し、その推定結果に適合した制御を実行する。

このように構成された制御装置によれば、楕円の動きから人間の動きを推定し、推定結果に応じた制御を行うことができる。このため、例えば、このような制御装置を自動車などの車両に搭載した場合、画像処理結果に基づき運転者の挙動を推定し、運転者が脇見運転や居眠り運転をしていると判定した場合には、警報を発することや車両を停止させる減速させることなどの制御が可能である。

以下、本発明の実施形態について図面と共に説明する。
図１は、自動車などの車両に搭載され、運転者の挙動を検出し運転者に対する警報などを発生させる車載制御装置１の概略を示すブロック図である。

車載制御装置１は、画像を撮影するためのカメラ１１と、被写体を照らすライト１２と、撮影した画像を画像処理する画像認識装置としての画像処理部１３と、プログラムに基づき各部を制御する制御部１４とを少なくとも備えている。

そして、ライト１２は、被写体である運転者が運転席のどのような位置に着座しても、被写体を的確に照射できる位置及び向きに配置されており、夜間であっても適切な画像が撮影できるよう近赤外光を発光する近赤外のＬＥＤからなる。なお、ライト１２は、被写体を的確に照射するため複数設けられてもよい。

また、カメラ１１は、被写体を撮像可能なＣＣＤ素子またはＣＭＯＳ素子を有し、少なくとも運転者の顔面を含む画像を撮影できる位置及び向きに配置（例えば、ダッシュボード上）され、ライト１２が照射した近赤外光が被写体である運転者に反射された像のみを撮影できるように、近赤外光のみを通過させるフィルタが取り付けられている。

ここで、図６（ａ）は、可視光領域における運転者の目の周辺画像であり、図６（ｂ）は、近赤外光領域における運転者の目の周辺画像である。図６に示されるように、可視光領域において撮影された画像は、黒目虹彩内に反射した光が入り込んでいたり、画像内にまつげが入り込んでいたりと、瞳孔と画像内の他の部位とを区別しにくい画像であるが、近赤外領域において撮影された画像では、瞳孔が黒く浮き出て撮影されており画像内の他の部位と区別しやすい画像である。つまり、カメラ１１及びライト１２は、瞳孔の検出に適した画像が得られるように設定されている。

また、制御部１４は、少なくともＣＰＵ、ＲＯＭ、ＲＡＭ、及びこれらを接続するバスからなる周知のマイクロコンピュータを中心に構成されたものである。
そして、制御部１４には、警報音を発するスピーカー１５と、警告を文字や図形で表示するモニター１６とが接続されている。なお、スピーカー１５及びモニター１６は、車載制御装置１専用のものでもよいし、予め車両に搭載されているものや他の車載装置に付属されたものでもよい。

次に、画像処理部１３は、制御部１４からの指令に従って、カメラ１１で撮影された画像から目の周辺を切り出す画像切出処理や画像切出処理により切り出された画像から楕円候補（運転者の瞳孔）を検出する楕円候補検出処理、楕円候補検出処理により検出された楕円候補の輪郭を表す楕円パラメータを算出する楕円パラメータ算出処理等を実行する画像処理専用のプロセッサからなる。

そして、画像処理部１３では、運転者の顔面を含んだ画像が撮影されると、画像切出処理が行われ、図５（ａ）、（ｂ）に示すような運転者の目の周辺の画像が切り出される。その後、楕円候補検出処理が行われ、画像切出処理により切り出された画像から、一般化ハフ変換により運転者の瞳孔が楕円候補として検出される。ただし、この楕円候補検出処理では、少なくとも、楕円候補の図形における中心点の座標と輪郭点の座標とに関する情報を備えた画像データが生成される。なお、これらの処理は、周知の技術であり、本発明の要旨ではないため、詳しい説明は省略する。

以下、楕円パラメータ算出処理について、図２に示すフローチャートを用いて説明する。
まず、本処理が実行されると、Ｓ１１０では、楕円候補検出処理で生成された画像データを取得する。

続くＳ１２０では、Ｓ１１０で取得した画像データから、楕円候補の図形（即ち、瞳孔）である候補図形の中心点の座標と輪郭点の座標を読み込む。なお、楕円候補として図３（ａ）に示すような輪郭に欠損を含んだ候補図形が抽出される場合があり、以下、このような候補図形が抽出されたものとして説明する。なお、図３（ａ）、（ｂ）に示された候補図形は、横軸をＸ、縦軸をＹとする直交座標系で表されている。

そして、Ｓ１３０では、初期値として、設定角度φを０°に設定する。なお、設定角度φは、図３（ｂ）のように、中心点を通りＹ軸に平行な基準直線（図３（ｂ）に示す直線Ｃ）と中心点を通る直線（図３（ｂ）に示す直線Ｅ）とのなす角である。

続くＳ１４０では、図３（ｂ）に示すような設定角度φであり候補図形の中心点を通過する直線（図中、直線Ｃ）と候補図形の輪郭点との交点をＡ点、Ｂ点として設定し、Ａ点と候補図形の中心点との距離（以下、第一距離）と、Ｂ点と候補図形の中心点と距離（以下、第二距離）とを算出する。なお、第一距離、第二距離は、画素の大きさを単位として表される。

また、設定角度φで候補図形の中心を通る直線と候補図形の輪郭点との交点が３箇所以上の複数の点となる場合、それぞれの交点と候補図形の中心点との間の距離を算出する。つまり、設定角度φで候補図形の中心を通る直線が図３（ｂ）に示すＤである場合、それぞれの交点はＡａ、Ａｂ、Ａｃ、Ｂとして設定され、Ａａと中心点、Ａｂと中心点、Ａｃと中心点、Ｂと中心点、との距離が算出される。

そして、Ｓ１５０では、第一距離と第二距離とが等しいか否かを判定する。具体的には、第一距離と第二距離との差が予め設定された誤差範囲内であるか否かを判定する。判定の結果、第一距離と第二距離とが等しくない場合、Ｓ１７０へと進む。

また、Ｓ１５０での判定の結果、第一距離と第二距離とが等しい場合、Ｓ１６０へと進み、その第一距離、第二距離を算出する際に用いたＡ点、Ｂ点を楕円の輪郭形成点として制御部１４のＲＡＭ上に記憶する。

ただし、前述したように直線と輪郭点との交点が３以上の複数であり、それぞれの交点と候補図形の中心点との距離が算出されている場合には、以下の条件にしたがって輪郭形成点は設定される。

まず、候補図形の中心点から延びる片側の直線上で、中心点と最遠の交点との間に他の交点が存在しない場合、その最遠の交点と中心点との距離と、その他の交点と中心点との距離を比較し、距離が等しいと判断された交点を輪郭形成点とする。つまり、図３（ｂ）に示す直線Ｄのように交点が設定される場合には、Ａａ、Ａｂ、Ａｃのうち、Ｂ点と候補図形の中心点との距離が等しいＡａのみを輪郭形成点として制御部１４のＲＡＭ上に記憶する。また、単一の直線について、第一距離と第二距離との差が誤差範囲内である交点の組が複数存在する場合には、その差が最も小さいもののみを輪郭形成点として記憶する。

続くＳ１７０では、予め設定された設定角度の増加分Δφを設定角度φに加算し、設定角度φを再設定する。
続くＳ１８０では、設定角度φが１８０°以上であるか否かを判定する。判定の結果、設定角度φが１８０°未満の場合、Ｓ１４０へと戻り、Ｓ１４０〜Ｓ１７０の処理を繰り返す。

また、Ｓ１８０における判定の結果、設定角度φが１８０°以上の場合、Ｓ１９０へと進む。
Ｓ１９０では、図４に示すようなＳ１６０で記憶された輪郭形成点（図４に示す複数の直線と候補図形の輪郭との交点（Ａ１〜Ａｎ、Ｂ１〜Ｂｎ、ｎは輪郭形成点の数））の位置を用いてガウスニュートン法により、（３）式に示した楕円方程式を解き、楕円パラメータＡ〜Ｆを算出する。

続く、Ｓ２００では、Ｓ１９０において算出された楕円パラメータ及び楕円方程式から楕円を復元し、候補図形の輪郭と復元された楕円との一致度合いを表す適合率を算出する。なお、ここでは、復元された楕円を構成する全画素のうち、候補図形の輪郭の画素と重なり合う画素の割合を適合率として求めている。

そしてＳ２１０では、Ｓ２００において算出した適合率が予め設定された閾値（ここでは、適合率７０％とする）を超えているか否かを判定する。判定の結果、適合率が閾値を超えていない場合には、Ｓ２４０へと進み、検査の対象とした楕円候補（求めた楕円パラメータ）を削除した後、楕円検出処理を終了する。

また、Ｓ２１０における判定の結果、適合率が閾値を超えている場合、Ｓ２２０へと進み、検査の対象とした楕円候補は楕円であり、求めた楕円パラメータは楕円候補の図形を近似するものとして抽出した後、本処理を終了する。

次に、制御部１４は、楕円検出処理により検出された楕円（即ち、運転者の黒目虹彩または瞳孔）の位置等の情報を画像処理部１３より取得し、楕円検出結果やその他の画像処理結果に基づき運転者の視線や居眠りなどの運転者の状態を判定する。そして、制御部１４は、運転者が居眠りをしているなど運転にふさわしい状態でないと判定した場合には、スピーカー１５を鳴動させ運転者に警報を発し、モニター１６に文字や図形等の警告を表示する。

以上、説明したように、車載制御装置１によれば、候補図形の輪郭点のうち輪郭形成点として認められた点だけを用いて楕円パラメータの算出し、楕円の復元を行うようにされている。このため、楕円として検出されるべき候補図形の一部が欠損していたとしても、その欠損部分の輪郭点（アウトライア）が楕円パラメータの算出に用いられることがなく、候補図形の輪郭を表す楕円パラメータを正確かつ速やかに求めることができる。

また、車載制御装置１によれば、対象図形から復元した楕円と対象図形との適合度が低い場合には、その対象図形は楕円以外の図形であるものとして除去するようにされているため、楕円以外の点対称の図形を誤検出することがなく、楕円のみを確実に検出することができる。

このため、車載制御装置１によれば、検出された楕円（即ち、運転者の瞳孔）の動き
運転者の視線や運転者の挙動を正確に推定することができ、この結果、運転者の確実な状態に基づき、警報音を発したり、警告を文字や図で表示したりできるため、運転者に安全な運転をするよう促すことができる。

なお、図７（ａ）、（ｃ）、（ｅ）、（ｇ）に示す画像を用いて実験を行った結果、図７（ｂ）、（ｄ）、（ｆ）、（ｈ）を得ることができた。つまり、この結果から、楕円の輪郭としては欠損のある候補図形の輪郭点から、欠損部分を構成する輪郭（アウトライア）を除去した楕円が復元されていることがわかる。

なお、本実施形態の楕円候補検出処理および楕円パラメータ算出処理のＳ１２０が楕円候補抽出過程（楕円候補抽出手段）に相当し、楕円パラメータ算出処理のＳ１３０〜Ｓ１８０が楕円輪郭抽出過程（楕円輪郭抽出手段）に相当し、楕円パラメータ算出処理のＳ１９０が楕円パラメータ算出過程（楕円パラメータ算出手段）に相当し、楕円パラメータ算出処理のＳ２１０、Ｓ２４０が候補図形除去過程（候補図形除去手段）に相当する。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。

例えば、本実施形態では、画像中の楕円を運転者の瞳孔として検出し、その検出結果から運転者の視線などを推定したが、画像中の楕円を運転者及び同乗者の頭部として検出し、エアバックの開閉タイミングまたはスピードの制御を行ってもよい。さらに、運転者及び同乗者の頭部を楕円として検出し、乗車しているときには、運転者及び同乗者にシートベルトの着用などを促すような制御を行ってもよい。

また、本実施形態では、楕円検出処理により検出された楕円から運転者の視線や居眠りなどの運転者の状態を判定し、運転者の状態によっては、スピーカー１５を鳴動させ運転者に警報を発するなどの制御を行ったが、運転者の状態によっては、ブレーキを作動し車両を停止させる減速させることやアクセルの開度を緩めること等の制御を行ってもよい。

また、楕円候補検出処理では、一般化ハフ変換以外の方法によって楕円候補を検出してもよい。つまり、少なくとも、楕円候補の図形における中心点の座標と輪郭点の座標とを備えた楕円候補の図形を含む画像データが生成されるのであればどのような方法でもよい。

また、楕円パラメータを算出する数値解析手法は、ガウスニュートン法に限られるものではなく、最急降下法のように、小さな誤差で算出できるものであればどのような方法であってもよい。

また、本実施形態では、カメラ１１の設置場所の一例としてダッシュボード上を挙げたが、車両に配置された、メータ内、ハンドルカラム上、ルームミラー付近等であってもよい。つまり、カメラ１１は、少なくとも運転者の顔面を含む画像を撮影できる位置及び向きであればどのような位置でもよい。

また、適合率に対する閾値を７０％としたが、楕円を検出する目的に応じて変更してもよい。
また、入力画像は、近赤外領域において撮影された画像に限られない。つまり、一般的な可視光領域において撮影されたものでも、赤外線領域において撮影されたものでもよい。

また、本実施形態では、車載制御装置として運転者の瞳孔を検出したが、検出する楕円は、運転者の瞳孔に限られるものではない。つまり、図８に示すような輪郭点に欠損を有した候補図形５０の画像から楕円のみを抽出するようなものでもよい。

そして、図８のような画像に対し本発明を適用すると、図９のように図形の中心５１と欠損箇所ではない楕円の輪郭候補点５２が抽出される。なお、輪郭の欠損が大きい楕円は、除去される。さらに、楕円の輪郭候補点５２と候補図形５０の輪郭との適合率がある閾値以下の場合には、その対象図形が除去されるため、図１０のように楕円のみを検出することができる。

このような応用例から、例えば、製品の形状が楕円でなければならないものが不良品であるか否かを検査する検査装置などに適用できる。

画像認識装置の概略を示すブロック図。 楕円検出処理のフローチャート。 楕円輪郭点の抽出方法の概略図。 楕円輪郭点の抽出方法の説明図。 検出対象をとする運転者の目の周辺画像。 可視光領域における撮影画像と近赤外領域における撮影画像。 対象図形の輪郭が欠損した画像による楕円の検出の説明図。 実施形態を応用した場合の説明図。 実施形態を応用した場合の説明図。 実施形態を応用した場合の説明図。 欠損を有した楕円（瞳孔）の説明図。 一般化ハフ変換の説明図。

符号の説明

１…画像認識装置 １１…カメラ １２…ライト １３・・・画像処理部 １４…制御部 １５…スピーカー １６…モニター ２０、２７・・・対象図形の輪郭 ２１、２５・・・基準点候補の軌跡 ２２、２６・・・検査点 ２３・・・検出された基準点

Claims (7)

1. 入力画像から、その入力画像中に示された図形のうち予め設定された条件を満たすものを楕円候補図形として、前記楕円候補図形の輪郭を形成する輪郭候補点と前記楕円候補図形の中心を表す中心点とを抽出する楕円候補抽出過程と、
   前記楕円候補抽出過程により抽出された前記中心点を通る複数の直線のそれぞれについて、同一直線上かつ前記中心点の両側に位置し、前記中心点までの距離の差が予め設定された誤差範囲内にある一対の輪郭候補点が存在すれば、その輪郭候補点を楕円輪郭点として抽出する楕円輪郭抽出過程と、
   前記楕円輪郭抽出過程にて抽出された楕円輪郭点に基づき、前記中心点を楕円中心とする楕円を表す楕円パラメータを算出する楕円パラメータ算出過程と、
   を有し、
   前記楕円輪郭抽出過程は、前記楕円候補抽出過程によって抽出された中心点を通る単一直線上で前記輪郭候補点が３個以上抽出された場合、前記中心点から延びる前記単一直線上における片側の直線上で前記中心点と最遠の輪郭候補点との間に他の輪郭候補点が存在しない場合、その最遠の輪郭候補点と前記中心点との距離と、前記単一直線上に存在する他の輪郭候補点と前記中心点との距離を比較し、それらの距離の差が前記誤差範囲内にある輪郭候補点の組が複数存在する場合には、その差が最も小さい組の輪郭候補点を楕円輪郭点として抽出することを特徴とする楕円検出方法。
2. 前記楕円パラメータ算出過程により算出された前記楕円パラメータから生成される楕円と、前記楕円候補図形の輪郭との一致度合いを表す適合率を算出する適合率算出過程と、
   前記適合率算出過程により算出された前記適合率が、予め設定された閾値より小さい場合、前記楕円候補図形を除去する候補図形除去過程と、
   を有することを特徴とする請求項１に記載の楕円検出方法。
3. 入力画像から、その入力画像中に示された図形のうち予め設定された条件を満たすものを楕円候補図形として、前記楕円候補図形の輪郭を形成する輪郭候補点と前記楕円候補図形の中心を表す中心点とを抽出する楕円候補抽出手段と、
   前記楕円候補抽出手段により抽出された前記中心点を通る複数の直線のそれぞれについて、同一直線上かつ前記中心点の両側に位置し、前記中心点までの距離の差が予め設定された誤差範囲内にある一対の輪郭候補点が存在すれば、その輪郭候補点を楕円輪郭点として抽出する楕円輪郭抽出手段と、
   前記楕円輪郭抽出手段にて抽出された楕円輪郭点に基づき、前記中心点を楕円中心とする楕円を表す楕円パラメータを算出する楕円パラメータ算出手段と、
   を備え、
   前記楕円輪郭抽出手段は、前記楕円候補抽出手段によって抽出された中心点を通る単一直線上で前記輪郭候補点が３個以上抽出された場合、前記中心点から延びる前記単一直線上における片側の直線上で前記中心点と最遠の輪郭候補点との間に他の輪郭候補点が存在しない場合、その最遠の輪郭候補点と前記中心点との距離と、前記単一直線上に存在する他の輪郭候補点と前記中心点との距離を比較し、それらの距離の差が前記誤差範囲内にある輪郭候補点の組が複数存在する場合には、その差が最も小さい組の輪郭候補点を楕円輪郭点として抽出することを特徴する画像認識装置。
4. 前記楕円パラメータ算出手段により算出された前記楕円パラメータから生成される楕円と、前記楕円候補図形の輪郭との一致度合いを表す適合率を算出する適合率算出手段と、
   前記適合率算出手段により算出された前記適合率が、予め設定された閾値より小さい場合、前記楕円候補図形を除去する候補図形除去手段と、
   を備えることを特徴とする請求項３に記載の画像認識装置。
5. 前記入力画像は、少なくとも人間の顔面を含む画像であり、前記楕円候補図形は、画像中の人間の黒目虹彩または瞳孔であることを特徴とする請求項３または請求項４に記載の画像認識装置。
6. 前記入力画像は、赤外線撮影された画像であることを特徴とする請求項３ないし請求項５のいずれかに記載の画像認識装置。
7. 請求項５に記載の画像認識装置と、
   前記楕円パラメータ算出手段により算出された楕円パラメータから生成される楕円の動きを、前記入力画像中の人間の黒目虹彩または瞳孔の動きとして検出する瞳孔黒目検出手段と、
   前記瞳孔黒目検出手段により検出された黒目虹彩または瞳孔の動きから、前記入力画像中の人間の挙動を推定し、その推定結果に適合した制御を実行する制御実行手段と、
   を備えることを特徴とする制御装置。