JP4432623B2 - 画像処理装置 - Google Patents

Description

本発明は、濃度勾配方向画像を用いて、入力濃淡画像における対象物の顔を検出する画像処理装置に関するものである。

人を含む形で撮影した画像より、人の顔領域を抽出する技術としては、人の顔が円形であることを利用して、ハフ変換により円形領域を探索することで顔を検出する顔抽出装置がある（例えば特許文献１）。
また、顔領域を楕円で近似する技術を用い、楕円を規定するパラメータを逐次変更することによって、最適な値を検出する形状認識装置も提案されている（例えば特許文献２）。

しかしながら、前者の従来の技術では、処理負担がかるい投票とその評価による顔検出を高速に行うことができるが、体とテンプレートのサイズが一致してしまうことで体を誤検出する問題や、背景が複雑な場合に背景部分を誤検出してしまう問題があった。

また後者の従来の技術では、楕円を規定する各パラメータを逐次変化させながら評価を行うため膨大な計算時間がかかってしまうという問題があった。

本発明は、前記の問題点に鑑みて為されたもので、その目的とするところは、撮像した画像から顔の位置を正確に且つ迅速に抽出でき、汎用性の高い画像処理装置を提供することにある。

前記目的を達成するために、請求項１の発明では、検出対象の顔を含む画像を撮像する撮像手段と、予め顔検出用テンプレート画像を記憶している第１の記憶手段と、前記撮像手段で撮像した撮像画像及び前記第１の記憶手段で記憶している顔検出用テンプレート画像の濃度勾配方向画像をそれぞれ抽出する第１の抽出手段と、該第１の抽出手段で抽出した各濃度勾配方向画像を記憶する第２の記憶手段と、該第２の記憶手段に記憶された顔検出用テンプレート画像の濃度勾配方向画像上の何れかの点からなる基準点と参照とする各座標点との距離及び前記基準点と前記座標点とを結ぶ線が前記座標点を通る水平軸と交差する角度の情報を抽出する第２の抽出手段と、参照とする各座標点について該第２の抽出手段で抽出した前記距離、角度の情報と前記顔検出用テンプレート画像の濃度勾配方向の値とを対応付けたものを形状特徴として記憶する第３の記憶手段と、前記第２の記憶手段に記憶されている前記撮像画像の濃度勾配方向画像の参照とする各座標点における濃度勾配方向の値、及び前記第３の記憶手段に記憶された形状特徴に基づいて、前記撮像画像の濃度勾配方向画像における基準点候補点に投票処理を行う投票手段と、該投票手段によって求めた投票結果に基づいて、顔の位置を検出する第１の検出手段とを備えていることを特徴とする。

請求項１の発明によれば、体と顔検出用テンプレート画像のサイズが一致することがあっても、それぞれの濃度勾配方向の値が異なるために、体の位置に投票が集中しにくく、体を誤検出することはなく、また濃度勾配方向画像を用いることにより照明の変動に強い画像処理装置を実現できる。

請求項２の発明では、請求項１の発明において、前記第１の検出手段には、前記顔検出用テンプレート画像の大きさを変化させ、この大きさ変化に対応した投票値の変化に基づいて、顔の大きさを検出する第２の検出手段を備えていることを特徴とする。

請求項３の発明では、請求項１の発明において、前記第１の検出手段には、前記形状特徴における距離情報を変化させて、その距離情報の変化に応じた投票値の変化に基づいて、顔の大きさを検出する第２の検出手段を備えていることを特徴とする。

請求項２及び３の発明によれば、第２の検出手段を備えているため、顔の大きさが一定でなくも顔を検出することができる。

請求項４の発明では、請求項１乃至３の何れかの発明において、前記第１の検出手段には、前記顔検出用テンプレート画像の回転角を変化させて、この回転角の変化に対応した投票値の変化に基づいて、顔の回転角を検出する第３の検出手段を備えていることを特徴とする。

請求項５の発明では、請求項１乃至３の何れかの発明において、記第１の検出手段には、前記形状特徴における角度情報を変化させて、この角度情報の変化に応じた投票値の変化に基づいて、顔の回転角を検出する第３の検出手段を備えていることを特徴とする。

請求項４及び５の発明によれば、第３の抽出手段を備えているため、顔の回転角が一定でなくても顔を検出することができる。

請求項６の発明では、請求項１乃至５の何れかの発明において、前記顔検出用テンプレート画像が平均的な人の顔の特徴部位を含む形で作られていることを特徴とする。
請求項６の発明によれば、年齢・性別・個人差等の変動の影響を受けにくく、顔の正確な位置が検出できる。

請求項７の発明では、請求項１乃至６の何れかの発明において、前記顔検出用テンプレート画像が、平均的な人の顔の輪郭を含む形で作られていることを特徴とする。

請求項７の発明によれば、逆光時のように顔の情報が得られない状態においても顔の正確な位置が検出できる。

請求項８の発明では、請求項１乃至７の何れか記載の発明において、前記第１の検出手段が、前記投票手段によって求めた投票結果において、顔検出閾値に基づいて顔候補を検出する第４の検出手段と、投票する際に用いる顔認証用の距離要素に基づいて検出する顔の大きさを設定する設定手段と、前記第４の検出手段が検出した候補点において、前記設定手段が設定した検出する顔の大きさに基づいた範囲内で投票値が最大の候補を選択する第５の検出手段とを備えていることを特徴とする。

請求項８の発明によれば、複数の顔を検出することが可能になり、またこのとき、顔の領域において投票が最大になる候補のみを残すので、同じ顔に対して複数の顔が候補として残ることもない。

請求項９の発明では、請求項１乃至８の何れかの発明において、前記第１の検出手段が、前記前記投票手段によって求めた投票結果において、顔検出閾値に基づいて顔候補を検出する第４の検出手段と、投票する際に用いる顔認証用の距離要素に基づいて検出する顔の大きさを設定する設定手段と、前記第４の検出手段が検出した個補点において、前記設定手段が設定した検出する顔の大きさに基づいた範囲内で、該範囲内の中心付近を除く箇所の投票値に基づいて候補点が顔であるかを判断する第１の解析手段とを備えていることを特徴とする。

請求項９の発明によれば、一定方向の成分が集中しているような背景を顔と誤検出しなくなる。

請求項１０の発明では、請求項１乃至９の何れかの発明において、前記第１の検出手段が、前記投票手段によって求めた投票結果において、顔検出閾値に基づいて顔候補を検出する第４の検出手段と、投票する際に用いる顔認証用の距離要素に基づいて顔の大きさを設定する設定手段と、前記第４の検出手段が検出した個補点において、前記設定手段が設定した検出する顔の大きさに基づいた範囲内で、前記撮像画像の濃度勾配方向と基準となる人の顔の濃度勾配方向の分布との比較によって、候補点が顔であるかを判断する第２の解析手段を備えていることを特徴とする。

請求項１０の発明によれば、顔はピークとその周囲の投票が高くなるのに対して、背景は全体的に投票が高くなる場合があり、このような場合に背景を顔と誤検出しなくなる。

請求項１１の発明では、請求項１０の発明において、前記第２の解析手段が、前記設定手段が設定した検出する顔のサイズに基づいた範囲内で、前記撮像画像の濃度勾配方向のヒストグラムを作成し、そのヒストグラムにおいて、方向値の周期性に基づいて候補点が顔であるかを判断することを特徴とする。

請求項１１の発明によれば、人の顔に比べて周期性の値が大きくなる背景を候補から除去することができ、ある方向の成分が多く含まれて投票値が高くなるようなことがあっても、請求項１０の発明と同様に外乱を顔として誤検出することはない。

請求項１２の発明では、請求項２又は３の発明において、前記第１の検出手段は、検出する顔サイズの範囲内において顔サイズに対応する距離要素を数回変化させ投票処理を行う一次サイズ探索手段と、一次サイズ探索手段の結果において投票値の最大点と最大点の両隣の各々の点との間で、１点以上二次探索を行い、その後最大点と二次探索点と両隣の点とから近似曲線を求め、その近似曲線に基づいて顔サイズを推定する顔サイズ推定手段とを備えていることを特徴とする。

請求項１２の発明によれば、顔サイズを詳細に変化させて投票を行う必要がなく、少ない投票回数での顔サイズ検出が可能となる。

請求項１３の発明では、請求項４又は５の発明において、前記第１の検出手段は、検出する顔回転角の範囲内において顔回転角に対応する角度要素を数回変化させ投票処理を行う一次回転角探索手段と、一次回転角探索手段の結果において投票値の最大点と最大点の両隣の各々の点との間で、１点以上二次探索を行い、その後最大点と二次探索点と両隣の点とから近似曲線を求め、その近似曲線に基づいて顔回転角を推定する顔回転角推定手段とを備えていることを特徴とする。

請求項１３の発明によれば、顔回転角を詳細に変化させて投票を行う必要がなく、少ない投票回数での顔回転角検出が可能となる。

請求項１４の発明では、請求項１乃至１３の何れかの発明において、前記第２の記憶手段に記憶してある撮像した濃度勾配方向画像は、最も微分の強度値が大きい画素の濃度勾配を持ち、少なくとも最も微分の強度値が大きい画素の微分強度値を残して、撮像した画像サイズより小さい画像サイズに圧縮して記憶されていることを特徴とする。

請求項１４の発明によれば、サイズ圧縮をする際にメモリ容量が少なくて済み、また処理時間も短縮することができ、また単純に２×２画素の領域の左上の方向を用いる場合と比較すると、微分の強度が強い箇所の方向を採用するため、圧縮による投票値の低下を抑えることが可能となる。

請求項１５の発明では、請求項１乃至１４の何れかの発明において、顔認証用テンプレート画像を予め記憶している第４の記憶手段と、該第４の記憶手段に記憶している顔認証用テンプレート画像から前記第１の抽出手段によって濃度勾配方向画像を抽出し、前記第１の検出手段よって検出された顔の情報に基づいて、前記撮像画像の濃度勾配方向画像とのマッチングを行うことで顔認証を行う顔認証手段とを備えていることを特徴とする。

請求項１５の発明によれば、顔認証処理時に処理範囲と、顔の位置（或いは顔の大きさ或いは回転角又は大きさ及び回転角）とを限定してマッチングを行うことが可能となり、そのため高速に顔認証処理を行うことができる。

請求項１６の発明では、請求項１乃至１５の何れか発明において、前記第４の記憶手段に記憶されているテンプレートは、ある大きさ、回転角に正規化されて記憶されていることを特徴とする。

請求項１６の発明によれば、顔認証用テンプレート画像を基準となる大きさ、回転角に正規化して記憶するため、顔認証処理を行う際にも、入力画像に対して顔検出処理を行って同様に正規化することにより、高速に顔認証を行うことが可能となる。

本発明は、体と顔検出用テンプレート画像のサイズが一致することがあっても、それぞれの濃度勾配方向の値が異なるために、体の位置に投票が集中しにくく、体を誤検出することはなく、また濃度勾配方向画像を用いることにより照明の変動に強い画像処理装置を実現できるという効果がある。

以下本発明を実施形態により説明する。

（実施形態１）
本実施形態は、ハフ変換を用いて人の顔を検出する画像処理装置を構成するもので、図１に示すように、検知対象の顔を含む画像を撮像する撮像手段１と、この撮像手段１からの撮像画像を取り込む画像入力手段２と、予め顔検出用テンプレート画像を記憶させている第１の記憶手段３と、この第１の記憶手段３に記憶されている図２（ａ）に示すような顔検出用テンプレート画像Ａ及び画像入力手段２が取り込んだ図３に示すような撮像画像Ｂの各濃度勾配方向画像Ａ’，Ｂ’（図２（ｂ）、図４（ａ）参照）を抽出する第１の抽出手段４と、抽出した濃度勾配方向画像Ａ’，Ｂ’を記憶する第２の記憶手段５と、該第２の記憶手段５に記憶されている顔検出用テンプレートＡの濃度勾配方向画像Ａ’上の基準点Ｏと参照とする各座標点（以下参照点という）Ｒとの間の距離Ｌ、基準点Ｏと各参照点Ｒとを結ぶ線が参照点Ｒを通る水平軸（Ｘ軸）と交差する角度αの情報を抽出する第２の抽出手段６と、これら抽出された情報を顔検出用テンプレート画像の濃度勾配方向の値θ毎に分離して記憶する第３の記憶手段７と、前記第２の記憶手段５に記憶されている撮像画像Ｂの濃度勾配方向画像Ｂ’の各参照点Ｒ’における濃度勾配方向の値θ、及び前記第３の記憶手段７に記憶された形状特徴の情報に基づいて、濃度勾配方向画像Ｂ’における基準点候補点に投票処理を行う投票手段８と、この投票手段８によって求めた投票結果に基づいて、顔の位置を検出する第１の検出手段９と、予め顔認証用テンプレート画像を記憶してある第４の記憶手段１０と、この第４の記憶手段１０に記憶してある顔認証用テンプレート画像から、前記第１の抽出手段４によって濃度勾配方向画像Ｃ（図７（ａ）参照）を抽出し、前記第１の検出手段９によって得られた検知情報に基づいて、撮像画像Ｂの濃度勾配方向画像Ｂ’とのマッチングを行うことによって、顔認証を行う顔認証手段１１とで構成される。

次の本実施形態における画像処理装置の各手段の動作を説明する。

まず第１の抽出手段４は、撮像手段１で撮影し、画像入力手段２で入力した図３（ａ）に示す撮像画像Ｂ及び第１の記憶手段３に記憶してある顔検出用テンプレート画像Ａからそれぞれの濃度勾配方向画像Ｂ’，Ａ’を抽出する。図２（ｂ）は顔検出用テンプレート画像Ａの濃度勾配方向画像Ａ’を、図４（ａ）は撮像画像Ｂの濃度勾配方向画像Ｂ’をそれぞれ示す。これらの濃度勾配方向画像Ａ’，Ｂ’の抽出に当たっては、図３に示すように３×３のｘ方向ソーベルフィルタ１２ｘ及びｙ方向ソーベルフィルタ１２ｙを入力濃淡画像に含まれる全ての画素に対して適用し、各画像における水平軸（Ｘ軸）方向の微分値ｄｘ及び垂直軸（Ｙ軸）方向の微分値ｄｙを（式１）、（式２）より求める。

ｄｘ＝（ｃ＋２ｆ＋ｉ）−（ａ＋２ｄ＋ｇ）…（式１）
ｄｙ＝（ｇ＋２ｈ＋ｉ）−（ａ＋２ｂ＋ｃ）…（式２）
（ａ〜ｈは、図５に示すように注目画素ｅ及びその注目画素ｅ近傍の８つの画素の値ａ〜ｄ、ｆ〜ｈを示すものである。）またこの時、濃度勾配方向値θは、下記の（式３）で示される。

θ＝ｔａｎ^−１（ｄｙ／ｄｘ）…（式３）
ここで、濃度勾配方向画像Ａ’，Ｂ’は前記濃度勾配方向値θを画素値に持つ画像であり、この画像を第２の記憶手段５に記憶する。

第２の抽出手段６は、まず第２の記憶手段５に記憶されている顔検出用テンプレート画像Ａの濃度勾配方向画像Ａ’において重心を算出し、それを基準点Ｏとする。この図２（ｃ）に示す基準点Ｏと参照点Ｒとの距離Ｌ及び基準点Ｏと参照点Ｒとを結ぶ線と参照点Ｒを通る水平軸βとの間の角度αを算出し、前記濃度勾配方向γと前記線βとの間の角度、つまり濃度勾配方向値θ毎に顔検出用テンプレート画像Ａの特徴情報として第３の記憶手段７に記憶する。本実施形態で用いる顔検出用テンプレート画像Ａとしては、図２（ａ）に示すように平均的な人の顔の特徴部位（目、眉、鼻、口など）を含む形で作られたものを採用している。尚この顔検出用テンプレート画像Ａの形状特徴は予め第３の記憶手段７に記憶しておいても良い。

表１はこの第３の記憶手段７に記憶される形状特徴を示し、各参照点の濃度勾配方向値θ毎に、角度α、距離Ｌを記入した表形式となっている。

投票手段８は、第２の記憶手段５に記憶されている図５（ａ）に示す撮像画像Ｂの濃度勾配方向画像Ｂ’の濃度勾配方向値θと、第３の記憶手段７に記憶されている顔検出用テンプレート画像Ａの形状特徴を用いて、下記の（式４）、（式５）より基準点候補点を求め、投票空間のその点に投票する。そして第１の検出手段９は、図６（ａ）に示す投票結果から投票値のピークを検出して基準点Ｏ’（ｏ’ｘ，ｏ’ｙ）を決め、顔の位置を決定する。尚図６（ｂ）は図６（ａ）で示す区分範囲の投票値との関係を示す。

ｏｘ’＝Ｌ×ｃｏｓ（α）＋ｒ’ｘ …（式４）
ｏｙ’＝Ｌ×ｓｉｎ（α）＋ｒ’ｙ …（式５）
顔認証手段１１は、図７（ａ）に示すように、予め第４の記憶手段１０に記憶されている顔認証用テンプレート画像から第１の抽出手段４によって、濃度勾配方向画像Ｃを作成する。そして、第１の検出手段９によって検出された図７（ｂ）に示す顔の位置近傍の範囲（イ）のみにおいて、撮像画像Ｂの濃度勾配方向画像Ｂ’と顔認証用テンプレート画像の濃度勾配方向画像Ｃとのパターンマッチングにより認証処理を行う。

このように本実施形態では、顔の位置を検出してから、処理範囲を限定して認証処理を行うことができるので高速に認証処理を行うことが可能となる。

（実施形態２）
本実施形態の画像処理装置の基本構成は図１に示す実施形態１の構成と同じであるので、図１を参照する。そして、本実施形態の画像処理装置は、図８（ａ）に示すように、第１の検出手段９内に、顔サイズを検出するための第２の検出手段９１を備えた点に特徴がある。

第２の検出手段９１は、顔検出用テンプレート画像のサイズを変更しながら、前記投票手段８によって投票を行うことによって、図８（ｂ）に示すようにテンプレート画像サイズ毎に投票結果より投票値のピークが得られるため、その値が最大になるサイズを顔のサイズとして検出する手段である。

ここで顔認証手段１１は、実施形態１で説明した予め第４の記憶手段１０に記憶されている顔認証用テンプレート画像から第１の抽出手段４によって、濃度勾配方向画像Ｃを抽出作成する。そして、第１の検出手段９によって検出された顔の位置及び顔のサイズにおいて、撮像画像Ｂの濃度勾配方向画像Ｂ’と顔認証用テンプレート画像の濃度勾配方向画像Ｃとのマッチングにより認証を行う。

以上のように本実施形態では、顔の位置及び顔のサイズを検出してから、処理範囲を限定して顔認証用テンプレート画像を適切なサイズに変更してから処理ができるので高速且つ正確な認証処理を行うことが可能となる。

（実施形態３）
上記実施形態２では顔検出用テンプレート画像のサイズを変更させることで、顔サイズを検出するものであったが、本実施形態は上述した形状特徴における距離情報を変化させて顔サイズを検出する点に特徴がある。尚本実施形態の画像処理装置の基本構成は図１に示す実施形態１の構成と同じであるので、図１を参照し、また第１の検出手段９内には実施形態２と同様に第２の検出手段９１（図８（ａ）を設けてある。

而して本実施形態の第２の検出手段９１（図８（ａ））は、形状特徴における距離Ｌに対する倍率ｓを変えて距離情報を変化させて、投票手段８によって、第２の記憶手段５に記憶されている図５（ａ）に示す撮像画像Ｂの濃度勾配方向画像Ｂ’の濃度勾配方向値θと、第３の記憶手段７に記憶されている顔検出用テンプレート画像Ａの形状特徴を用いて、下記の（式６）、（式７）により基準点候補点を求め、投票空間のその点に投票する。そして図８（ｂ）に示すように顔サイズ毎に投票結果より投票値のピークが得られるため、その値が最大になるサイズを顔のサイズとして検出するのである。

ｏｘ’＝ｓ×Ｌ×ｃｏｓ（α）＋ｒ’ｘ …（式６）
ｏｙ’＝ｓ×Ｌ×ｓｉｎ（α）＋ｒ’ｙ …（式７）
ｓ：距離の倍率
〈実施形態４）
本実施形態の画像処理装置の基本構成は図１に示す実施形態１の構成と同じであるので、図１を参照する。

そして、本実施形態の画像処理装置は、図９（ａ）に示すように、第１の検出手段９内に第２の検出手段９１（実施形態２、３の第２の検出手段９１の何れでも良い）を備えるとともに、顔回転角を検出する第３の検出手段９２を備えた点に特徴がある。

ここで本実施形態に用いる第２の検出手段９１は、上述した実施形態２、３の何れかの第２の検出手段でも良い。

一方第３の検出手段９２は、図９（ｂ）に示すような顔が傾いて撮像された撮像画像Ｂに対応させるためのもので、顔検出用テンプレート画像Ａを回転させながら、投票手段８によって投票を行うことによって、図９（ｃ）に示すように、回転角毎に投票結果より投票値のピークが得られるため、その値が最大になる回転角を顔の回転角として抽出する手段である。そして、第１の検出手段９によって得られた顔の位置・顔のサイズ・顔の回転角において、撮像画像Ｂの濃度勾配方向画像Ｂ’と顔認証用テンプレート画像の濃度勾配方向画像Ｃとのマッチングにより認証を行う。

本実施形態では、第１の検出手段９によって顔の位置、顔のサイズ及び回転角を検出し、処理範囲を限定し、顔認証用テンプレート画像のサイズ及び回転角を適切なものに変更してから処理ができるので高速且つ正確な認証処理を行うことが可能となる。

（実施形態５）
上記実施形態４での第３の検出手段９２は顔検出用テンプレート画像Ａを回転させるものであったが、本実施形態の第３の検出手段９２では、上述した形状特徴における角度情報を変換させる点に特徴がある。尚本実施形態の画像処理装置の基本構成は図１に示す実施形態１の構成と同じであるので、図１を参照し、また実施形態４と同様に第１の検出手段９内に、例えば実施形態３に用いた第２の検出手段９１とともに第３の検出手段９２を備えている（図９（ａ）参照）。
而して本実施形態の第３の検出手段９２は、上述した形状特徴における角度情報を変化させて、投票手段８によって、第２の記憶手段５に記憶されている濃度勾配方向画像の濃度勾配方向値θ（回転角をφ、撮像画像Ｂの濃度勾配方向をθ’とすると、θ＝θ’−φとなる。）と、第３の記憶手段７に記憶されている顔検出用テンプレート画像Ａの形状特徴を用いて、下記の（式８）、（式９）より基準点候補点を求め、投票空間のその点に投票する。そして図９（ｃ）に示すように、回転角毎の投票結果より投票値のピークが得られるため、その値が最大になる回転角を顔の回転角として検出する。

ｏｘ’＝Ｌ×ｃｏｓ（α＋φ）＋ｒ’ｘ …（式８）
ｏｙ’＝Ｌ×ｓｉｎ（α＋φ）＋ｒ’ｙ …（式９）
φ：回転角（この回転角の値を変えることで角度情報を変化させる）
（実施形態６）
図１０に本実施形態の画像処理装置のブロック図を示す。本実施形態の画像処理装置は、図１において、第４の記憶手段１０及び顔認証手段１１を省いたものであるので、その構成要素には同じ符号を付する。

そして本実施形態の画像処理装置は、第１の記憶手段３に記憶された顔検出用テンプレート画像Ａとしているが、図１１（ａ）に示すように、顔の平均的な輪郭を含むように作られたテンプレート画像を用いた点に特徴がある。つまり顔の平均的な輪郭のテンプレート画像を用いているため、逆光時のように顔の特徴を示す目、眉、鼻、口等が正しく撮像されていない図１２（ｃ）に示すような撮像画像Ｂにおける顔の位置を正しく検出することができるのである。尚図１２（ｂ）は図１２（ａ）に示す顔検出用テンプレート画像Ａから第１の抽出手段４により抽出された濃度勾配方向画像Ａ’を示す。

尚その他の構成の説明及び動作の説明は実施形態１と同じであるので、実施形態１を参照し、ここでは説明を省略する。

（実施形態７）
本実施形態は、上記実施形態の何れにも適用できるものである。ここで説明のために実施形態１の図１の構成を参照して説明する。

本実施形態の第１の抽出手段４は、実施形態１と同様に撮像手段１で撮像し画像入力手段２で入力した図３に示す撮像画像Ｂ及び図２（ａ）に示す第１の記憶手段３に記憶してある顔検出用テンプレート画像Ａからそれぞれの濃度勾配方向画像Ｂ’（図４参照）、Ａ’（図２（ａ）参照）を抽出する。これらの濃度勾配方向画像Ａ’，Ｂ’の抽出に当たっては、図３に示すように３×３のｘ方向ソーベルフィルタ１２ｘ及びｙ方向ソーベルフィルタ１２ｙを入力濃淡画像に含まれる全ての画素に対して適用し、各画像における水平軸（Ｘ軸）方向の微分値ｄｘ及び垂直軸（Ｙ軸）方向の微分値ｄｙを実施形態１と同様に上記の（式１）、（式２）より求める。またこの時、濃度勾配方向値θは上記の（式３）で示される。一方微分の強度値ｄｘｙは（式１０）で示される。

ｄｘｙ＝（ｄｘ＋ｄｙ）／２ …（式１０）
ここで、濃度勾配方向画像Ａ’、Ｂ’は前記濃度勾配方向値θを画素値に持つ画像であり、この画像を第２の記憶手段５に記憶させるのであるが、本実施形態では図１２（ａ）に示す撮像画像Ｂのサイズが３２０×２４０画素の場合に、図１２（ｂ）に示す３２０×２４０画素の濃度勾配方向画像Ｂ’を圧縮して図１２（ｆ）に示す１／４のサイズである１６０×１２０画素の濃度勾配方向画像Ｂ”を記憶させるようになっており、この場合、第１の抽出手段４が図１２（ｃ）に示すエッジ画像Ｄにおいて、図１２（ｄ）に示す２×２画素の領域を想定してそれぞれの画素の微分の強度値ａ１〜ｄｌを比較し、その中で最も大きいものを求める。そして仮に強度値ｂ１が最も大きい場合には、圧縮前の濃度勾配方向画像Ｂ’において図１２（ｅ）に示す同一画素位置の濃度勾配方向値であるＢ１を圧縮後の方向値として濃度勾配方向画像記憶週案５に記憶させるのである。

而して本実施形態では、撮像した画像サイズと比較して圧縮処理を行ってから第２の記憶手段５に記憶するので、メモリ容量が少なくて済み、また処理時間も短縮することができる。また単純に２×２画素の領域の左上の方向を用いる場合と比較すると、微分の強度値が大きい箇所の方向を採用するため、圧縮による投票値の低下を抑えることが可能となる。

つまり処理画像のサイズを圧縮する場合、単純に間引いた場合には微分の強度値が小さい箇所（濃淡の変化が少ない箇所）が圧縮後のその位置の濃度勾配方向の値となることがある。このような場合、濃度勾配方向の値が不安定（微分の強度値が小さいために、方向が変化し易い）なために、基準点に投票される確率が低下することがある。

これに対して本実施形態においては処理画像のサイズを圧縮する場合に、２×２の領域内において微分の強度値が最も大きい位置の濃度勾配方向値を圧縮後のそれとするために、単純に圧縮した場合よりも基準点に投票される確率が上がり、投票値の低下を抑えることができる。

（実施形態８）
本実施形態の画像処理装置は、実施形態１の構成を構成とするものであるが、図１３（ａ）に示すように第１の検出手段９内に顔サイズ推定手段９１１を備えた点に特徴を有する。

顔サイズ推定手段９１１は、まず図１３（ｂ）に示すように検出する顔検出サイズの範囲（例えば０．６〜０．１４で０．２間隔）内において形状特徴における距離情報を数回変化させ、投票手段８によって投票を行う一次サイズ探索を実施する。つまり一次サイズ探索手段として働く。

そして、一次サイズ探索の結果において、投票値が最大になる点ｍａｘを求める。図１３（ｂ）の場合には顔サイズが１．０である。そして、その点ｍａｘと両隣の各々の点との間で、図１３（ｃ）に示すように１点以上二次サイズ探索を行う。そして、一次サイズ探索の最大点と二次サイズ探索の両隣の点とから近似曲線Ｋを図１３（ｄ）に示すように作成し、その近似曲線Ｋから投票値が最大になるサイズを推定し、それを顔サイズとする。例えば、作成する近似曲線を（式１１）に示すように二次曲線だとするとその二次曲線より極大値（式１２）を算出することによって顔サイズを求めることができる。

近似曲線：ｙ＝ａ×ｘ２＋ｂ×ｘ＋ｃ …（式１１）
極大値＝−ｂ／（２×ａ） …（式１２）

而して本実施形態では、検出する顔サイズ範囲において、いくつかの顔サイズにおける投票結果より近似曲線を求め、それより顔サイズを検出するため、顔サイズを詳細に変化させて投票を行う必要がなく、少ない投票回数での顔サイズ検出が可能となる。

また、本実施形態においては、距離情報を数回変化させ、その投票結果に基づいて顔サイズ推定を行ったが、顔検出用テンプレート画像のサイズを変更しても同様の顔サイズ推定を行うことができる。

尚その他の構成の動作は実施形態１に準ずるため、ここでは説明を省略する。

（実施形態９）
本実施形態の画像処理装置は、実施形態１の構成を基本的な構成とするものであるが、図１４（ａ）に示すように、第１の検出手段９内に顔回転角を推定する顔回転角推定手段９２１を備えた点に特徴を有する。

顔回転角推定手段９２１は、まず図１４（ｂ）に示すように検出する顔検出回転角の範囲内（例えば−２０°〜２０°で１０°間隔）において回転角情報（角度情報）を数回変化させ、投票手段８によって投票を行う一次回転角探索を実施する。つまり一次回転角探索手段として働く。

そして、一次回転角探索の結果において、投票値が最大になる点を求める。そして、図１４（ｃ）に示すようにその最大点ｍａｘと両隣の各々の点との間で１点以上二次回転角探索を行う。そして一次回転角探索の最大点と二次回転角探索の両隣の点とから近似曲線を実施形態８と同様に図１４（ｄ）に示すように作成し、その近似曲線Ｋから投票値が極大値となる回転角を求め、それを顔回転角と推定する。

例えば、作成する近似曲線Ｋを上記の（式１１）に示すように二次曲線だとすると、その極大値（式１２）を算出することによって、顔回転角を求めることができる。

本実施形態では、検出する顔回転角において、いくつかの顔回転角における投票結果より近似曲線を求め、その近似曲線に基づいて顔回転角を検出するため、顔回転角を詳細に変化させて投票を行う必要がなく、少ない投票回数での顔回転角検出が可能となる。

また、本実施形態においては、回転角情報を数回変化させ、その投票結果に基づいて顔回転角推定を行ったが、顔検出用テンプレート画像の回転角を変更しても同様の顔回転角推定を行うことができる。

尚その他の構成の動作は実施形態１に準ずるため、ここでは説明を省略する。

（実施形態１０）
上述の実施形態１では顔認証用テンプレート画像を第４の記憶手段１０に記憶させておいて、認証時に第１の抽出手段４により濃淡勾配方向画像Ｃを作り出すようにしているが、本実施形態の画像処理装置では、顔認証用テンプレート画像の記憶動作モードを設定できるようにするとともに、実施形態４における第２の検出手段９１と第１の推定手段９２とを備えた第１の検出手段９を用い、下記のような処理を行って基準となる大きさ、回転角を正規化した顔領域のみの濃淡勾配方向画像Ｃ’を第４の記憶手段１０に記憶させるようにした点に特徴を有する。

つまり上記動作モード下で、例えば図１５（ａ）に示すような撮像された顔認証用テンプレート画像から図１５（ｂ）に示すように第１の抽出手段４によって濃度勾配方向画像Ｃを抽出し、実施形態４の場合と同様に第１の検出手段９により顔検出処理を行って顔サイズ及び顔回転角を検出する。

その検出結果（例えば顔サイズ０．７倍、顔回転角２０°）を基に図１５（ｃ）に示す濃度勾配方向画像Ｃから顔領域ＦＡを切り出し、基準となる大きさ、回転角に正規化した顔領域ＦＡに対応する濃度勾配方向画像Ｃ’を作成し、それを顔認証用テンプレートとして第４の記憶手段１０に記憶するのである。

而して本実施形態では、顔認証用テンプレート画像を基準となる大きさ、回転角に正規化して記憶するため、顔認証処理を行う際にも、入力画像に対して顔検出処理を行って同様に正規化することにより、高速に顔認証を行うことが可能となる。

尚その他の構成の動作は実施形態１に準ずるため、ここでは説明を省略する。

（実施形態１１）
本実施形態の画像処理装置は、基本的には実施形態１と同様な構成を持つものであるが、撮像手段１で撮像されて入力される撮像画像Ａが例えば図１７（ａ）に示すように複数（図示例では二人）の人物が撮像された画像に対応させたもので、図１６に示すように、第１の検出手段９内に顔候補を検出する第４の検出手段９３と、顔認証用の距離要素として投票の際に用いるテンプレート画像や形状特徴における距離情報を用いて変化させることで検出顔サイズを設定するための設定手段９４と、範囲内の最大候補を検出する第５の検出手段９５を備えている点に特徴がある。尚図１６以外の構成は図１の構成を参照する。

さて図１７（ａ）に示す撮像画像Ａの場合、投票手段８で得られる投票結果は図１７（ｂ）に示すように投票値のピークが二つできることになり、顔候補が複数となる。

そのため第１の検出手段９内の第４の検出手段９３は、例えば図１７（ｃ）に示すような３２０×２４０画素の各画素に対する投票結果に対して候補検出値閾値（例えば７０）を用いて閾値以上の投票値を顔の候補として検出する。図１８（ａ）は検出された候補（１）…を示す。

第５の検出手段９５は、図１８（ａ）に示すように前記第４の検出手段９３が検出した顔候補において、設定手段９４が各候補（１）…毎に設定した顔検出サイズ範囲ＦＳが重複し、当該顔検出サイズ範囲ＦＳの候補の投票値より高い投票値を持つ候補がある場合には、当該顔検出サイズ範囲ＦＳの候補を候補から除外する範囲内最大候補検出処理を行う。

つまり、図１８（ａ）に示す場合を考えると候補（１）に関しては、顔検出サイズ範囲ＦＳ内に他の候補がいないため候補として残る。次に候補（２）〜（４）については、それぞれにおいて顔検出サイズ範囲ＦＳを考えた場合、他の候補が含まれるが、候補の投票値の関係が例えば候補（２）＞候補（４）＞候補（３）である場合、候補（２）が候補として残り他の候補は候補から除外されることになる。

而して本実施形態では、投票結果に対して、閾値処理によって候補の検出を行うため、複数の顔を検出することが可能になる。またこのとき、顔検出サイズ範囲ＦＳにおいて投票値が最大になる候補のみを図１８（ｂ）に示すように残すので、同じ顔に対して複数の顔が候補として残ることもない。

尚その他の構成の動作は実施形態１に準ずるため、ここでは説明を省略する。

（実施形態１２）
本実施形態の画像処理装置は、基本的には実施形態１と同様な構成を持つものであるが、顔に対しては基準点に投票が集まるが、ある一定方向の成分が集中しているような背景を顔と誤検出するのを防ぐために、図１９に示すように、第１の検出手段９内に第４の検出手段９３と、設定手段９４と、候補点付近の投票値を解析する第１の解析手段９６を備えている点に特徴がある。尚図１９以外の構成は図１の構成を参照する。また設定手段９４及び第４の検出手段９３については、実施形態１１で上述したものと同じであるので、その機能の説明を省略する。

而して第１の解析手段９６は、図２０（ａ）に示すように、第４の検出手段９３が検出した候補（１）、候補（２）において、設定手段９４が設定した顔サイズ範囲ＦＳを設定し、その顔サイズ範囲ＦＳ内において図２０（ｂ）に示す候補点（イ）（図面では中心位置）及び周辺（ロ）を除いて投票手段８が行った投票の結果である投票値の例えば平均値（Average(Ｖ_００：Ｖ_ｉｊ）を求め、その平均値と予め設定している閥値とを比較して平均値が閾値以上であれば候補から除外する処理を行う。図２０（ｃ）はこの処理後の結果を示しており、この結果では候補（２）が候補から除外されている。

以上のように本実施形態では、候補点及びその周囲を除いた投票値によって、候補がどうかを判断する。これは、顔に対しては基準点に投票が集まるが、ある一定方向の成分が集中し、それによって投票値が大きくなるようなパターン（例えば、ブラインド）などに対しては、投票が全体的に大きくなり投票値の平均値が高くなることを利用したものであり、これによりある一定方向の成分が集中しているような背景を顔と誤検出しなくなる。

尚その他の構成の動作は実施形態１に準ずるため、ここでは説明を省略する。

（実施形態１３）
本実施形態の画像処理装置は、基本的には実施形態１と同様な構成を持つものであるが、図２１に示すように、第１の検出手段９内に第４の検出手段９３と、設定手段９４と、候補範囲内の濃度勾配方向を解析する第２の解析手段９７とを備えている点に特徴を有する。

尚第４の検出手段９３及び設定手段９４は実施形態１１のものと同じであるので、その機能の説明を省略する。

さて第２の解析手段９７は、図２２（ａ）に示すように、第４の検出手段９３が検出した顔の候補（１）において、設定手段１０１が設定した顔サイズ範囲ＦＳ内において設定した分割方向についてのヒストグラムを作成する。

例えば、分割方向が８方向だとすると方向０：０°〜４４°、方向１：４５°〜８９°、方向２：９０°〜１３４°、方向３：１３５°〜１７９°、方向４：１８０°〜２２４°、方向５：２２５°〜２６９°、方向６：２７０°〜３１４°、 方向７：３１５°〜３５９°というように分類される。

そして、次にそのヒストグラム（図２２（ｂ）は８方向のヒストグラムのイメージを示す）から、下記の（式１３）を用いて分散値Ｖを算出し、その算出値が閾値以上であれば候補から除外する処理を行う。

ここで図２２（ａ）の人の顔と、図２２（ｃ）に示す背景について実際に分散値を求める処理を行った結果を示す。図２０（ｃ）に挙げている背景は、投票値が高くなる箇所である。尚図２２（ｂ）は図２２（ａ）の場合のヒストグラムのイメージを、図２２（ｄ）は図２２（ｃ）の場合のヒストグラムのイメージを示す。

さてこれらの分散値Ｖは、人の顔と背景においてそれぞれ、０．００１２と０．０４２となり、人の顔の方が背景に比べて小さくなっていることがわかる。これは、図２０（ａ）に示す人の顔が図２０（ｂ）の背景に比べてある方向の成分が多く含まれることが少ないということを利用したものである。

而して第２の解析手段９７は、所定の閾値と算出した分散値とを比較して、閾値以上であれば候補から除外する処理を行うことで、背景が候補から除外することができることになる。

以上のように本実施形態では、検出した顔候補において、設定した顔サイズ範囲ＦＳに対してヒストグラムを作成し、その分散値Ｖが閾値以上であれば候補から除外する処理を行う。そのため上記のように人の顔に比べて、背景の方が分散値Ｖが大きくなるため、ある方向の成分が多く含まれて投票値が高くなるようなことがあっても、外乱（背景）を顔として誤検出することはない。

尚その他の構成の動作は実施形態１に準ずるため、ここでは説明を省略する。

（実施形態１４）
本実施形態の画像処理装置は、実施形態１３と同様に第４の検出手段９３と設定手段９４と、第２の解析手段９７とを備えている第１の検出手段９を用いたものであって、本実施形態の第２の解析手段９７も実施形態１３の場合と同様に第４の検出手段９３が検出した顔候補において、設定手段１０１が図２２（ａ）に示すように設定した顔サイズ範囲ＦＳ内において設定した分割方向についてのヒストグラム図２２（ｂ）に示す作成し、例えば分割方向が８方向だとすると方向０：０°〜４４°、方向１：４５°〜８９°…方向７：３１５°〜３５９°というように実施形態１３と同様に分類する。

ここで本実施形態の場合にはそのヒストグラムから下記の式を用いて周期性ＣＹを算出し、その算出値が閾値以上であれば候補から除外する。この周期性ＣＹを算出する点で実施形態３１と相違する。

ｃｙ_ｉ＝｜（Ｘ_ｉ＋Ｘ_ｉ＋４）−（Ｘ_ｉ＋２＋Ｘ_ｉ＋６）｜
ｃｙ_０＝｜（Ｘ_０＋Ｘ_４）−（Ｘ_２＋Ｘ_６）｜
ｃｙ_１＝｜（Ｘ_１＋Ｘ_５）−（Ｘ_３＋Ｘ_７）｜

ＣＹ＝ｍａｘ（ｃｙ_０，ｃｙ_１）

但しｃｙｉ：各方向の周期性、ｘｉ：各方向成分、 ＣＹ：周期性
また図２３（ａ）〜（ｄ）は上述したように人の顔と、背景について実際に処理を行った結果を示すが、周期性ＣＹの値は、人の顔と背景とにおいてそれぞれ、０．０６２と０．８９８というように人の顔の方が周期性ＣＹの値が小さくなっていることがわかる。これは、図２３（ｂ）のようにある方向の成分が多く含まれる背景の場合には、それと１／２周期ずれた方向の成分も高くなることを利用したものである。

本実施形態では、検出した顔候補において、設定した顔サイズ範囲ＦＳに対してヒストグラムを作成し、その周期性ＣＹの値が閾値以上であれば候補から除外するが、上述したように人の顔に比べて、背景の方が周期性ＣＹの値が大きくなるため、ある方向の成分が多く含まれて投票値が高くなるようなことがあっても、外乱（背景）を顔として誤検出することはない。

尚その他の構成の動作は実施形態１に準ずるため、ここでは説明を省略する。

実施形態１（及び実施形態２乃至５）の回路構成図である。 同上の動作説明用の図であって、（ａ）は顔検出用テンプレート画像のイメージ図、（ｂ）は顔検出用テンプレート画像の濃淡勾配方向画像のイメージ図、（ｃ）は顔検出用テンプレート画像の形状特徴説明図である。 実施形態１乃至６の動作説明用の撮像イメージ図である。 同上の動作説明用の図であって、（ａ）は撮像画像の濃淡勾配方向画像のイメージ図、（ｂ）は撮像画像の形状特徴説明図である。 同上に用いるソーベルフィルタの説明図である。 同上の基準点候補点の投票結果の説明図である。 同上に用いる顔認証手段の動作説明用の図であって、（ａ）は顔認証用テンプレート画像の濃度勾配方向画像のイメージ図、（ｂ）は顔認証に用いるパターンマッチング範囲のイメージ図である。 （ａ）は実施形態２、３に用いる第１の検出手段の構成図、（ｂ）は同上の第１の検出手段の顔サイズ検出における顔サイズと投票値との関係説明図である。 （ａ）は実施形態４，５に用いる第１の検出手段の構成図、（ｂ）は同上の検出対象の顔を撮像した撮像画像のイメージ図、（ｃ）は同上の顔回転検出における顔回転角と投票値との関係説明図である。 実施形態６の回路構成図である。 同上の動作説明用の図であって、（ａ）は顔検出用テンプレート画像のイメージ図、（ｂ）は顔検出用テンプレート画像の濃淡勾配方向画像のイメージ図、（ｃ）は検出対象の顔を撮像した撮像画像のイメージ図である。 実施形態７の濃度勾配方向記憶方法の説明図である。 （ａ）は実施形態８に用いる第１の検出手段の構成図、（ｂ）〜（ｄ）は同上の動作説明図である。 （ａ）は実施形態９に用いる第１の検出手段の構成図、（ｂ）〜（ｄ）は同上の動作説明図である。 （ａ）〜（ｃ）は実施形態１０の動作説明図である。 実施形態１１に用いる第１の検出手段の構成図である。 （ａ）〜（ｃ）は同上に用いる第３の検出手段の動作説明図である。 （ａ）、（ｂ）は同上に用いる第４の検出手段の動作説明図である。 実施形態１２に用いる第１の検出手段の構成図である。 （ａ）〜（ｃ）は同上に用いた第１の解析手段の動作説明図である。 実施形態１３及び実施形態１３に用いる第１の検出手段の構成図である。 （ａ）、（ｂ）は同上に用いる第２の解析手段の動作説明図である。 （ａ）〜（ｄ）は同上に用いる第２の解析手段による実際の処理例の説明図である。

符号の説明

１ 撮像手段
２ 画像入力手段
３ 第１の記憶手段
４ 第１の抽出手段
５ 第２の記憶手段
６ 第２の抽出手段
７ 第３の記憶手段
８ 投票手段
９ 第１の検出手段
１０ 第４の記憶手段
１１ 顔認証手段

Claims (16)

1. 検出対象の顔を含む画像を撮像する撮像手段と、予め顔検出用テンプレート画像を記憶している第１の記憶手段と、前記撮像手段で撮像した撮像画像及び前記第１の記憶手段で記憶している顔検出用テンプレート画像の濃度勾配方向画像をそれぞれ抽出する第１の抽出手段と、該第１の抽出手段で抽出した各濃度勾配方向画像を記憶する第２の記憶手段と、該第２の記憶手段に記憶された顔検出用テンプレート画像の濃度勾配方向画像上の何れかの点からなる基準点と参照とする各座標点との距離及び前記基準点と前記座標点とを結ぶ線が前記座標点を通る水平軸と交差する角度の情報を抽出する第２の抽出手段と、参照とする各座標点について該第２の抽出手段で抽出した前記距離、角度の情報と前記顔検出用テンプレート画像の濃度勾配方向の値とを対応付けたものを形状特徴として記憶する第３の記憶手段と、前記第２の記憶手段に記憶されている前記撮像画像の濃度勾配方向画像の参照とする各座標点における濃度勾配方向の値、及び前記第３の記憶手段に記憶された形状特徴に基づいて、前記撮像画像の濃度勾配方向画像における基準点候補点に投票処理を行う投票手段と、該投票手段によって求めた投票結果に基づいて、顔の位置を検出する第１の検出手段とを備えていることを特徴とする画像処理装置。
2. 前記第１の検出手段には、前記顔検出用テンプレート画像の大きさを変化させ、この大きさ変化に対応した投票値の変化に基づいて、顔の大きさを検出する第２の検出手段を備えていることを特徴とする請求項１記載の画像処理装置。
3. 前記第１の検出手段には、前記形状特徴における距離情報を変化させて、その距離情報の変化に応じた投票値の変化に基づいて、顔の大きさを検出する第２の検出手段を備えていることを特徴とする請求項１記載の画像処理装置。
4. 前記第１の検出手段には、前記顔検出用テンプレート画像の回転角を変化させて、この回転角の変化に対応した投票値の変化に基づいて、顔の回転角を検出する第３の検出手段を備えていることを特徴とする請求項１乃至３の何れか記載の画像処理装置。
5. 前記第１の検出手段には、前記形状特徴における角度情報を変化させて、この角度情報の変化に応じた投票値の変化に基づいて、顔の回転角を検出する第３の検出手段を備えていることを特徴とする請求項１乃至３の何れか記載の画像処理装置。
6. 前記顔検出用テンプレート画像が平均的な人の顔の特徴部位を含む形で作られていることを特徴とする請求項１乃至５の何れか記載の画像処理装置。
7. 前記顔検出用テンプレート画像が、平均的な人の顔の輪郭を含む形で作られていることを特徴とする請求項１乃至６の何れか記載の画像処理装置。
8. 前記第１の検出手段が、前記投票手段によって求めた投票結果において、顔検出閾値に基づいて顔候補を検出する第４の検出手段と、投票する際に用いる顔認証用の距離要素に基づいて検出する顔の大きさを設定する設定手段と、前記第４の検出手段が検出した候補点において、前記設定手段が設定した検出する顔の大きさに基づいた範囲内で投票値が最大の候補を選択する第５の検出手段とを備えていることを特徴とする請求項１乃至７の何れか記載の画像処理装置。
9. 前記第１の検出手段が、前記投票手段によって求めた投票結果において、顔検出閾値に基づいて顔候補を検出する第４の検出手段と、投票する際に用いる顔認証用の距離要素に基づいて検出する顔の大きさを設定する設定手段と、前記第４の検出手段が検出した候補点において、前記設定手段が設定した検出する顔の大きさに基づいた範囲内で、該範囲内の中心付近を除く箇所の投票値に基づいて候補点が顔であるかを判断する第１の解析手段とを備えていることを特徴とする請求項１乃至８の何れか記載の画像処理装置。
10. 前記第１の検出手段が、前記投票手段によって求めた投票結果において、顔検出閾値に基づいて顔候補を検出する第４の検出手段と、投票する際に用いる顔認証用の距離要素に基づいて顔の大きさを設定する設定手段と、前記第４の検出手段が検出した候補点において、前記設定手段が設定した検出する顔の大きさに基づいた範囲内で、前記撮像画像の濃度勾配方向と基準となる人の顔の濃度勾配方向の分布との比較によって、候補点が顔であるかを判断する第２の解析手段を備えていることを特徴とする請求項１乃至９の何れか記載の画像処理装置。
11. 前記第２の解析手段が、前記設定手段が設定した検出する顔のサイズに基づいた範囲内で、前記撮像画像の濃度勾配方向のヒストグラムを作成し、そのヒストグラムにおいて、方向値の周期性に基づいて候補点が顔であるかを判断することを特徴とする請求項１０記載の画像処理装置。
12. 前記第１の検出手段は、検出する顔サイズの範囲内において顔サイズに対応する距離要素を数回変化させ投票処理を行う一次サイズ探索手段と、一次サイズ探索手段の結果において投票値の最大点と最大点の両隣の各々の点との間で、１点以上二次探索を行い、その後最大点と二次探索点と両隣の点とから近似曲線を求め、その近似曲線に基づいて顔サイズを推定する顔サイズ推定手段とを備えていることを特徴とする請求項２又は３記載の画像処理装置。
13. 前記第１の検出手段は、検出する顔回転角の範囲内において顔回転角に対応する角度要素を数回変化させ投票処理を行う一次回転角探索手段と、一次回転角探索手段の結果において投票値の最大点と最大点の両隣の各々の点との間で、１点以上二次探索を行い、その後最大点と二次探索点と両隣の点とから近似曲線を求め、その近似曲線に基づいて顔回転角を推定する顔回転角推定手段とを備えていることを特徴とする請求項４又は５記載の画像処理装置。
14. 前記第２の記憶手段に記憶してある撮像した濃度勾配方向画像は、最も微分の強度値が大きい画素の濃度勾配を持ち、少なくとも最も微分の強度値が大きい画素の微分強度値を残して、撮像した画像サイズより小さい画像サイズに圧縮して記憶されていることを特徴とする請求項１乃至１３の何れか記載の画像処理装置。
15. 顔認証用テンプレート画像を予め記憶している第４の記憶手段と、該第４の記憶手段に記憶している顔認証用テンプレート画像から前記第１の抽出手段によって濃度勾配方向画像を抽出し、前記第１の検出手段よって検出された顔の情報に基づいて、前記撮像画像の濃度勾配方向画像とのマッチングを行うことで顔認証を行う顔認証手段とを備えていることを特徴とする請求項１乃至１４の何れか記載の画像処理装置。
16. 前記第４の記憶手段に記憶されているテンプレートは、ある大きさ、回転角に正規化されて記憶されていることを特徴とする請求項１乃至１５の何れか記載の画像処理装置。