JP4537097B2 - パターン検出方法及び装置 - Google Patents

Description

本発明は、二次元画像から特定の画像パターンを検出するパターン検出技術に関する。

二次元画像から特定の画像パターンを検出する方法として、画像パターンの持つ局所特徴を検出し、検出された局所特徴の検出結果をもとにして、特定画像パターンの検出を行う方法がある。

従来における特定画像パターンの検出の一方法として、「顔画像」という特定の画像パターンの検出において、入力画像及びこの入力画像を画像処理して得られる画像の一方又は両方に対して、検出する顔画像の目・口・鼻等の特徴的な領域に対応して複数の判定要素取得領域を設定した領域モデルを走査する。そして、各位置での領域モデルの各判定要素取得領域において、入力画像から平均輝度値等の判定要素を取得し、この取得した判定要素に基づいて顔画像か否かの判定をすることで顔の検出を行うという方法がある（例えば、特許文献１参照）。

また、多重構造ニューラルネットワークを用いた顔の検出方法もある（例えば、非特許文献１参照）。これによれば、まず、画像に対して微分フィルタ等でエッジ検出を行って入力画像とする。次いで、当該入力画像から複数方向のエッジ構造部を検出し、検出された複数方向の直線成分の空間配置情報から、目・口・鼻等の部分特徴を検出する。そして、検出された目・口・鼻の空間配置情報から顔の検出を行う。この方法では、目・口・鼻等の部分特徴の検出をするために、各々の部分特徴の特徴的なエッジ構造部を予め設定し、その特徴的なエッジ構造部の検出を行い、検出された特徴的なエッジ構造部の空間配置情報から、目・口・鼻等の部分特徴の検出を行っている。例えば、目の検出であれば、予め目尻・目頭・瞼等を特徴的なエッジ構造部として設定し、目尻・目頭・瞼等の目の特徴的なエッジ構造部を検出し、それらの検出結果の空間配置情報から目の検出をする。このような方法により、特定画像パターンのサイズ変動等にロバストな検出が可能である。
特開平１１−２８３０３６号公報 丹内、「形態視系の情報処理に基づく多重構造ニューラルネットワーク」、電子情報通信学会論文誌、１９９９年４月、Vol.J82-D-II、No.4、p.694-702

しかしながら、上述したような従来の検出方法では、適切な処理コストで特定画像パターンの様々な変動に対応することが困難である。また、特定画像パターンが低解像度の場合は、上記の特徴的なエッジ構造部のような細かい特徴の検出精度が低下するため、特定画像パターンの検出が困難になったりするという問題があった。

本発明は、このような事情を考慮してなされたものであり、サイズ等の画像の種類の変動にロバストであり、適切な処理コストの実現が可能であって、かつ、低解像度の画像であっても特定画像の検出をすることができる画像パターン検出方法及び装置を提供することを目的とする。

上記課題を解決するために、本発明に係るパターン検出方法は、
特定画像パターンの検出対象となる画像を入力する入力工程と、
前記入力工程により入力された画像中の濃度変化に基づいて境界線を検出する境界線検出工程と、
前記境界線検出工程により検出された前記境界線の端点を検出し、該端点を結ぶ直線線分を生成する直線生成工程と、
前記直線生成工程により生成された前記直線線分の前記画像における位置、方向、長さを表わす直線線分情報を抽出する抽出工程と、
前記特定画像パターンを含む複数枚の画像を入力する第２の入力工程と、
前記複数枚の画像のそれぞれに含まれる直線線分情報を抽出する第２の抽出工程と、
前記複数枚の画像のそれぞれで抽出された前記直線線分情報のうち、互いに一致又は類似する直線線分情報を検出する第２の線分検出工程と、
前記特定画像パターンのモデルとして、前記第２の線分検出工程により検出された直線線分情報から構成され、該直線線分情報の位置、方向、及び長さについてそれぞれ所定の許容範囲を有する線分モデルを生成する生成工程と、
前記抽出工程により抽出された前記直線線分情報のうち、前記線分モデルの前記所定の許容範囲内にある直線線分情報を、前記線分モデルを構成する前記直線線分情報と一致又は類似する直線線分情報として検出する線分検出工程と、
前記線分検出工程により検出された前記直線線分情報をまとめて前記特定画像パターンの検出結果の情報として出力する出力工程と
を有することを特徴とする。

また、本発明に係るパターン検出装置は、
特定画像パターンの検出対象となる画像を入力する入力手段と、
前記入力手段により入力された画像中の濃度変化に基づいて境界線を検出する境界線検出手段と、
前記境界線検出手段により検出された前記境界線の端点を検出し、該端点を結ぶ直線線分を生成する直線生成手段と、
前記直線生成手段により生成された前記直線線分の前記画像における位置、方向、長さを表わす直線線分情報を抽出する抽出手段と、
前記特定画像パターンを含む複数枚の画像を入力する第２の入力手段と、
前記複数枚の画像のそれぞれに含まれる直線線分情報を抽出する第２の抽出手段と、
前記複数枚の画像のそれぞれで抽出された前記直線線分情報のうち、互いに一致又は類似する直線線分情報を検出する第２の線分検出手段と、
前記特定画像パターンのモデルとして、前記第２の線分検出手段により検出された直線線分情報から構成され、該直線線分情報の位置、方向、及び長さについてそれぞれ所定の許容範囲を有する線分モデルを生成する生成手段と、
前記抽出手段により抽出された前記直線線分情報のうち、前記線分モデルの前記所定の許容範囲内にある直線線分情報を、前記線分モデルを構成する前記直線線分情報と一致又は類似する直線線分情報として検出する線分検出手段と、
前記線分検出手段により検出された前記直線線分情報をまとめて前記特定画像パターンの検出結果の情報として出力する出力手段と
を備えることを特徴とする。

本発明によれば、サイズ等の画像の種類の変動にロバストであり、適切な処理コストの実現が可能であり、低解像度の画像であっても特定画像の検出をすることができる。

以下、図面を参照して、本発明の好適な実施形態について説明する。

＜第１の実施形態＞
本発明の第１の実施形態として、二次元画像から特定画像パターンとして顔画像パターンを検出する方法について説明する。

図１は、本発明の第１の実施形態における特定画像パターン検出装置の構成を示すブロック図である。図１において、画像入力部１１は、カメラ等の撮像装置により撮像される画像や任意の二次元画像データを入力する。線分情報抽出部１２は、上記画像入力部１１から入力された入力画像の各位置での特徴的な濃度変化の境界線を検出して、その境界線をそれぞれ直線線分として近似し、近似された直線線分の位置・方向・長さの線分情報を抽出する。ここで抽出された線分情報は、近似された直線線分の位置・方向・長さ情報等を離散的にいくつかのクラスに分別してもかまわない。

一方、線分モデルデータ生成部１３は、検出すべき特定画像パターンの線分モデルデータ（本実施形態では、いくつかの線分情報から成る顔画像パターンのモデル）を生成する。図２は、顔画像パターンが持ついくつかの特徴的な線分の例を示す図である。例えば、線分モデルデータ生成部１３は、図２に示すような目の上のライン、目の下のライン等のような前述した線分情報抽出方法で抽出されるいくつかの特徴的な線分情報を、顔画像パターンがもつ特徴的な線分情報の組み合わせとし、その線分の許容範囲を顔画像パターンの線分モデルデータとして生成する。

そして、特定画像パターン検出部１４は、線分情報抽出部１２で抽出された線分情報の組み合わせのうち、線分モデルデータ生成部１３で生成された線分モデルデータと同一又は類似した組み合わせを探索する。そして、線分情報抽出部１２で抽出された線分情報のうち、上述した一定の許容範囲を有する線分モデルデータとの類似度が所定の値を超えたものを検出し、それらをまとめて顔画像パターンとして検出する。検出結果出力部１５は、特定画像パターン検出部１４での検出結果に基づいて、検出された顔画像パターンの画像内の位置・大きさ等の信号を出力する。

すなわち、本実施形態に係る特定画像パターン検出装置は、画像（例えば、顔画像）を画像入力部１１から入力し、当該画像に含まれる部分情報（例えば、境界線等の線分）を線分情報抽出部１２で抽出する。次いで、少なくとも１つ以上の部分モデル（例えば、線分情報）から構成される全体（部品）モデル（顔画像パターンのモデル）を線分モデルデータ生成部１３で生成する。そして、線分情報抽出部１２により抽出された部分情報のうち、全体（部品）モデルを構成する部分モデルと一致又は類似する部分情報を特定画像パターン検出部１４で検出し、当該特定画像パターン検出部１４により検出された部分情報から構成される全体（部品）情報（例えば、顔画像パターン）を当該画像のパターン情報として検出結果出力部１５が出力することを特徴とする。

以下、第１の実施形態に係る特定画像パターン検出装置の各処理部での詳細な処理について説明する。図３は、本発明の第１の実施形態に係る特定画像パターン検出装置の動作手順を説明するためのフローチャートである。まず、画像入力部１１から特定画像パターンの検出対象となる画像データが入力される（ステップＳ１）。

図４は、第１の実施形態に係る特定画像パターン検出装置において線分抽出処理を行う線分情報抽出部１２の細部構成を示すブロック図である。エッジ検出部１２１は、入力された画像の各点において垂直、水平、右上がり斜め、及び右下がり斜め等の４方向について各方向別に微分フィルタ処理をし、各方向のエッジ値の算出を行う（ステップＳ２）。すなわち、画像中の境界線を検出する。尚、方向数や種類については、処理画像等に応じて適宜変更してもよい。また、エッジ値としては、所定の隣接画素の輝度値差等を用いる。また、図５は、エッジの濃度変化方向の違いを示す図である。そこで、図５に示すようなエッジの濃度変化方向の違いに対し、エッジの濃度変化方向を区別してエッジ値を算出してもよい。

次に、二値化処理部１２２は、エッジ検出部１２１による各方向別エッジ値算出結果のそれぞれに対して、各点でのエッジ値の絶対値が所定の閾値以上であれば「１」とし、当該閾値以下であれば「０」とする二値化を行う（ステップＳ３）。本実施形態では、上記閾値として、予め設定した固定の閾値や入力データから適応的に算出する閾値を用いるが、当該閾値の設定自体は特に限定したものではない。

さらに、細線化処理部１２３は、二値化処理部１２２での各方向別二値化処理のそれぞれの結果に対して細線化を行う（ステップＳ４）。細線化の処理方法としては、例えば、Hilditchの細線化アルゴリズム（C.J.Hilditch:"Linear Skeletones From Square Cupboard", [B.Melter and D.Michie ed.], Machine Intelligence 4, Eginburgh Univ.Press, p.403, 1969）を用いて行うことができる。尚、細線化処理に関しては、上記方法に限られるものではなく、二値化処理部１２２の処理により得られる線図形の線の中心線である線幅１画素の連結した線とする処理であれば、他の細線化処理を行ってもかまわない。

次いで、端点検出部１２４は、細線化処理部１２３での各方向別細線化処理結果のそれぞれから、全ての細線の端点を検出する（ステップＳ５）。そして、トレース処理部１２５では、端点検出部１２４で検出した各方向別それぞれの端点の１つに注目し、その端点を始点として、細線化処理部１２３での各方向別細線化処理により得られるそれぞれの細線を、各方向別に所定の方向にトレースし、端点検出部１２４で検出した端点の１つまで到達した場合、それを終点として始点と終点を結ぶ線分検出を行う（ステップＳ６）。

ここで、トレース処理部１２５でトレースしていく所定の方向は、例えば、エッジ検出部１２１で垂直方向の微分フィルタ処理を行った方向では、右方向にトレースしていく場合、水平方向右側の隣接画素と、その隣接画素の上下に隣接する２画素の計３画素が存在する方向にライントレースを行う。このライントレース処理は全ての細線の端点に対して行われる。

そして、情報抽出部１２６は、トレース処理部１２５で検出された１線分の始点・終点位置から、線分の中点位置・長さ・方向を算出する処理を、トレース処理部１２５で検出された全ての線分に対して行い、線分情報の抽出を行う（ステップＳ９）。尚、情報抽出部１２６の処理の際に、一定以上若しくは一定以下の長さの線分は無視等するようにしてもかまわない。さらに、長さに応じて所定の範囲ごとに、それを同じ長さのクラスとして分別し、いくつかのクラスに振り分けてもよい。このクラス分別は、方向または位置に適用してもよい。本実施形態では、上記方法を用いて線分情報抽出部１２による線分抽出処理を行うが、線分抽出処理に関しては、この方法に限られるものではない。例えば、他の線分抽出処理方法として、局所的な所定のスケールの窓内で、局所的な所定の方向の空間周波数を検出して、線分を検出する方法等を用いても良い。

図６は、第１の実施形態における線分情報抽出部１２による線分情報抽出結果例を示す図である。例えば、高解像度の顔画像パターンであれば細かな部分についてもエッジ検出が可能であるため、例えば、目の部分であれば目尻のところでエッジが閉じて検出されるが、図６に示されるような低解像度の顔画像においては、右目の目尻の部分が閉じて検出されていない。しかし、本実施形態では、顔画像パターンを用いることにより、低解像度画像であっても目の検出が可能となる。従って、特定画像パターンが比較的低解像度であっても、上記の方法を用いることにより特徴的な線分の検出が可能であり、結果として特定画像パターンの検出も可能になる。また、線分を検出して直線近似することで、必要となる情報量を低下させることが可能なため、処理コストの低下が可能である。さらに、抽出した線分情報をクラス分別することで、情報量の圧縮が可能になり、より少ない処理コストですむ。

次に、線分モデルデータ生成部１３での詳細な処理について説明する。線分モデルデータ生成部１３では、複数枚の検出すべき特定画像パターン（ここでは、顔画像パターン）の存在する画像を、モデル用データとして利用する。そこで、モデル用データのそれぞれから線分情報抽出部１２の処理により、モデル用データ各々の線分情報を抽出しておく。そして、線分モデルデータ生成部１３では、抽出された線分情報のうち、それぞれのモデル用データ全てにおいて、ほぼ共通した空間配置に検出された線分から抽出された線分情報は、検出すべき特定画像パターンがもつ特徴的な線分情報である。線分モデルデータ生成部１３では、このような、検出すべき特定画像パターンが持つ特徴的な各線分の位置・方向・長さの許容範囲を予め線分モデルデータとして生成する（ステップＳ９）。

すなわち、線分モデルデータ生成部１３では、複数枚の画像を入力し、複数枚の画像のそれぞれに含まれる情報（例えば、線分情報）を抽出し、複数枚の画像のそれぞれで抽出された線分情報のうち、互いに一致又は類似する線分情報を検出する。そして、検出された線分情報を統合して線分モデルデータを生成することを特徴とする。

尚、線分モデルデータ生成部１３では、特徴的な線分情報の長さ情報は、モデル用データの特定画像パターンの大きさによって正規化する。特定画像パターンが本実施形態のように顔画像パターンの場合は、例えば両目の距離等を１とし、その長さとの比として各線分の長さを算出するというように行う。また、特徴的な線分情報の方向情報は、モデル用データの特定画像パターンの基準方向によって正規化する。特定画像パターンが顔画像パターンの場合、例えば、両目を結ぶ線分等の方向を基準として、その特徴的な線分が両目を結ぶ線分の方向に対してどれだけ方向がずれているのかを算出する。また、特徴的な線分情報の位置情報は、ある基準点、例えば顔画像パターンであれば顔の中心点等を原点とし、特定画像パターンの大きさによって定まるスケールで、所定の基準方向によって定まる直交座標系上のどの位置にあるのかを算出する。

図７は、線分モデルデータ生成部１３の処理によって生成される顔画像パターンの線分モデルデータの例を示す図である。図７において、各楕円は顔画像パターンが持つ特徴的な１線分の位置の許容範囲を示している。また、図７において、Ｌはその特徴的な線分の基準となる長さとの相対的な長さの許容範囲を示し、ｄは基準方向との方向のずれの許容範囲を示している。本実施形態では、基準となる長さに両目の間隔を用い、それを１としてスケールを決定している。また基準方向には、両目を結ぶ線分の方向を利用している。座標系には、顔画像パターンの中心を原点とし、基準方向を横軸方向とし、基準となる長さを軸の単位とする座標系を用いている。

例えば、「Right Eye Line」であれば、上方の楕円は、図２で示した目の上のラインの位置の許容範囲で、下方の楕円は目の下のラインの位置の許容範囲である。両方とも長さは、両目の間隔に対して１０％〜５０％の長さで、両目を結ぶ線分の方向から±２０°以内のずれであることを示している。尚、上記両目の間隔に対する長さの割合や、両目を結ぶ線分の方向からのずれの割合は経験値或いはユーザの任意等によって適宜設定するようにしてもよい。また、その他の「Left Eye Line」、「Right Cheek Line」及び「Left Cheek Line」等についても同様である。このように、上述方法で特定の線分情報を正規化してモデル化することで、特定画像パターンのサイズ変動や面内回転変動に対応することが可能である。

次に、特定画像パターン検出部１４での詳細な処理について、図８を用いて説明する。図８は、特定画像パターン検出処理を行う特定画像パターン検出部１４の細部構成を示すブロック図である。特定画像パターン検出部１４では、まず、基準線分選択部１４１が、線分情報抽出部１２で抽出された線分情報のうち、１本の線分を基準線分として選択する（ステップＳ８）。基準線分の候補となる線分は、線分情報抽出部１２で抽出された全ての線分を対象としても良いし、ある限定された条件の線分、例えば長さがある一定の範囲内である線分等を対象としても良い。

次に、探索範囲設定部１４２は、基準線分選択部１４１で選択された基準線分の位置・方向・長さの線分情報から、線分モデルデータ生成部１３で生成された線分モデルデータに基づいて、基準線分との組み合わせとなる線分の探索範囲を設定する（ステップＳ１０）。ここでは、予め線分モデルデータの生成処理において、線分モデルデータのもつ線分情報のうちで、どの線分を基準線分選択部１４１で選択された基準線分に対応する線分情報とするかを決めておく。探索範囲とは、探索すべき領域の範囲と、その領域内にあるべき、又はあってはならない線分の長さと方向のとり得る値の範囲である。

例えば、顔画像パターンの検出において、口の位置に対応する線分を基準線分に対応する線分情報として決めておいた場合、図９に示すような、目の付近の線分、頬の輪郭付近の線分を探索する探索範囲を設定する。これを「興奮性探索範囲」と称す。ここで、図９は、口の位置に対応する線分を基準線分として決定しておいた場合の顔画像パターンの特徴的な線分を探索する探索範囲の例を示す図である。

また探索範囲として、探索すべき領域の範囲と、その領域内にあってはならない線分の長さと方向のとり得る値の範囲を持つ「抑制性探索範囲」を設定しても良い。例えば、図１０に示すような、頬の領域、眉間の領域に線分が存在しない等ということを探索する探索範囲を、抑制性探索範囲として設定する。ここで、図１０は、抑制性探索範囲の設定例を示す図である。すなわち、特定パターン検出部１４において、前述した部分情報（線分情報）が存在しない位置、方向、又は長さについての抑制範囲に関する情報に基づいて、当該部分情報の検出を制限するよにしてもよい。

次いで、対応線分探索部１４３では、探索範囲設定部１４２で設定した探索範囲に基づき、線分情報抽出部１２で抽出された線分に対し探索を行い、探索範囲内である線分、若しくは抑制性探索範囲であれば探索範囲内の線分が無いこと（この２つを合わせて「局所線分特徴」と称す。）を検出する（ステップＳ１１）。尚、探索対象となる線分は、線分情報抽出部１２で抽出された全ての線分を対象としても良いし、ある限定された条件の線分を対象としても良いし、設定した探索範囲ごとにどのような線分を対象にするかを変えても良い。

さらに、類似度算出部１４４では、対応線分探索部１４３の探索結果に基づいて、線分モデルデータと、基準線分選択部１４１で選択された基準線分及び対応線分探索部１４３で探索された線分との組み合わせの類似度を算出し、検出すべき特定画像パターンであるかどうかの判定を行う（ステップＳ１２）。この類似度の算出は、探索範囲設定部１４２で設定された探索範囲のうち、どれだけの探索範囲で検出されるべき局所線分特徴が検出されたかによって算出する。例えば、探索範囲設定部１４２で設定された探索範囲のうち、ｍ箇所で局所線分特徴が検出された時、その時の類似度をｍとして算出する。また探索範囲ごとに重みを付けて、局所線分特徴が検出されたものに関して加算して算出しても良いし、探索範囲ごとに、検出された局所線分特徴がどの程度モデルデータの局所線分特徴に近いのかを重みとしてそれを加算して算出しても良い。

そして、検出結果決定部１４５では、類似度算出部１４４で算出された類似度が所定の値を超えた場合、それを検出すべき特定の画像パターンとして検出し、結果を記録して保持する（ステップＳ１３）。そして、検出結果決定部１４５まで処理が終わった段階で、図３のフローチャートに示すように、基準線分の候補がまだ存在するかどうかを判断し（ステップＳ１４）、基準線分の候補が存在する場合（Ｙｅｓ）は基準線分選択部１４１の処理（ステップＳ８）に戻り、新たに先に基準線分として選択された線分とは別の線分を基準線分として選択して、検出結果決定部１４５の処理（ステップＳ１３）までの上述した処理を繰り返す。これを全ての基準線分となる候補の線分に行う。

上述したように、線分モデルデータに基づいて、抽出された線分を探索することで、線分モデルデータに類似した線分の組み合わせを検出することが可能である。また上記の探索範囲の設定により、特定画像パターンの回転変動等の様々な変動に対応可能となる。さらに、抑制性探索範囲の設定により、誤検出数の低下が可能である。

また、特定画像パターン検出部１４では、上記方法とは異なる方法として、いわゆる畳み込みニューラルネットワークを用いた方法によって処理を行うようにしてもよい。また、受容野構造に抑制性の結合を持たせることで、抑制性探索範囲に対応することができる。さらに、受容野構造を学習することで線分モデルデータの生成をこの処理部で行い、検出の最適化が可能となる。

そして、検出結果出力部１５により検出結果が出力される（ステップＳ１５）。検出結果出力部１５では、特定画像パターン検出部１４で検出された全ての結果に対して、それぞれの検出結果から、検出された特定画像パターンの大きさ・方向・位置を算出し、その結果を信号として出力する。大きさ・方向・位置の算出には、特定画像パターン検出部１４での処理の基準線分選択部１４１で選択した基準線分の線分情報から算出する。また、特定画像パターン検出部１４での処理の対応線分探索部１４３の探索において探索され検出された、各線分間の距離や、その線分間を結ぶ線分の方向、各線分の位置から算出しても良い。

上述したように第１の実施形態では、入力画像から検出した線分の組み合わせと、線分モデルデータとの類似度から入力画像から顔画像パターンを検出する例について説明した。

また、本実施形態では、１枚の画像を処理することについて説明したが、次の第２の実施形態で説明するように、１枚の画像に対して所定の解像度変換を行って１又は複数のチャネルにおける各画像を処理し、その後元の解像度に戻すようにすることも可能である。

＜第２の実施形態＞
次に、第２の実施形態では、二次元画像から特定画像パターンとして顔画像パターンを検出する上記第１の実施形態の変形例について説明する。

図１１は、本発明の第２の実施形態における特定画像パターン検出装置の構成を示すブロック図である。上記第１の実施形態では、線分情報の組み合わせのうち、線分モデルデータと類似したものを検出すべき特定画像パターンとして検出したが、第２の実施形態では、検出すべき特定画像パターンが持つ部分特徴の検出を中間処理として用いる。そして、第２の実施形態に係る特定画像パターン検出装置では、検出された候補から抽出された領域ベース情報と領域モデルデータとの照合を行い、最終的な検出結果とする。また、当該特定画像パターン検出装置は、入力画像の解像度を変更して、それを入力画像とする解像度別チャネルを複数記憶する。

図１１において、画像入力部９０１は、カメラ等の撮像手段より得られる画像等、任意の二次元画像データを入力し、それを記録して保持する。解像度変更部９０２２、・・・、９０２ｎ、・・・は、画像入力部９０１で入力された入力画像をチャネルごとの所定の倍率で解像度変更する。解像度変更部９０２ｎで解像度変更された画像は、チャネルｎの入力画像として用いる。尚、チャネル１は、解像度を変更しない画像入力部９０１で入力された入力画像をそのまま入力画像として用いる。また、各チャネル内の処理部の構成は図１１に示されるチャネル１処理部に示すものと同じである。また、チャネル１以外での処理とチャネル１での処理とでは、チャネル１以外では入力画像を所定の倍率で変更したものとする以外は同じである。

尚、解像度別複数チャネル処理としては、上記のように、入力画像の解像度を所定の倍率で変更したものを入力画像としても良いが、全てのチャネルで入力画像は同一とし、線分抽出処理部９０３ｎでの微分フィルタ処理等をチャネルごとに変えても、後述するように同様の効果が得られる。また、局所線分モデルデータ生成部９０４、統合モデルデータ生成部９０６及び領域モデルデータ生成部９０９は、チャネルごとにあっても良いが、基本的には各チャネルに共通して一つあれば良い。

上記の解像度別チャネル処理により、一つのチャネルでは対応が難しい大きなサイズ変動に対応することが可能になる。例えば、一つのチャネルでは、特定画像パターンの２倍程度のサイズ変動にしか対応できない場合、解像度を変更しないチャネルと、解像度を１／２に変更したものを入力画像として用いるチャネルの、２チャネル処理を行うことで、４倍までのサイズ変動に対応が可能となる。

すなわち、本実施形態に係る特定画像パターン検出装置は、画像（例えば、顔画像）を画像入力部９０１から入力し、当該画像に含まれる部分情報（例えば、境界線等の線分）を線分情報抽出部９０３ｎで抽出する。次いで、所定部品（例えば、口や目等の顔の構成要素）について、少なくとも１つ以上の部分モデル（例えば、線分情報）から構成される部品モデルを局所線分モデルデータ生成部９０４で生成する。さらに、前記部品モデルと前記部分モデルを組み合わせた組モデル（顔画像パターンのモデル）を、前記部品モデルを限定した上位の部品モデルとして統合モデルデータ生成部９０６で生成する。また、当該上位の部品モデルと前記部品モデルに基づく所定の領域モデルを領域モデルデータ生成部９０９で生成する。そして、線分情報抽出部９０３ｎで抽出された部分情報のうち、上記部品モデルを構成する部分モデルと一致又は類似する部分情報から構成される部品情報を部分特報情報抽出部９０５ｎで検出する。

次いで、上記組モデルを構成する部品モデルと部分モデルに基づき、前記検出された部品情報を上位の部品情報として特定画像パターン候補検出部９０７ｎで限定する。一方、入力画像の所定領域に関する領域情報（例えば、平均輝度値や平均分散値等）を領域ベース情報抽出部９０８ｎで抽出し、特定画像パターン検出部９１０ｎは上記領域情報と前記所定の領域モデルとを用いて上記部品情報をさらに限定する。そして、検索結果出力部９１１は、限定された上記部品情報をパターン情報として出力することを特徴とする。

以下では、チャネル１での処理を中心に説明する。図１１に示す線分情報抽出部９０３１は、上述した第１の実施形態で示した図１の線分情報抽出部１２と同様のものである。線分抽出処理部９０３ｎをチャネルごとに変え、解像度変更と同様の効果を得るためには、上記第１の実施形態で示した図４のエッジ検出部１２１での微分フィルタ処理のフィルタの変更や、二値化処理部１２２での二値化の閾値の変更等をすればよい。

局所線分モデルデータ生成部９０４は、基本処理は第１の実施形態で示した図１の線分モデルデータ生成部１３と同様である。前述した線分モデルデータ生成部１３では、検出すべき特定画像パターンが持つ特徴的な線分情報に基づいて線分モデルデータを生成したが、本実施形態に係る局所線分モデルデータ生成部９０４では、検出すべき特定画像パターンそのものでなく、検出すべき特定画像パターンの部分特徴、ここでは顔画像パターンの目や口といった部分特徴が持つ特徴的な線分情報を、特定画像パターンの部分特徴がもつ特徴的な線分情報の組み合わせとし、特定画像パターンの部分特徴ごとの局所線分モデルデータとして生成する。

図１２は、目の局所線分モデルデータの例を示す図である。図１２において、１つの楕円は、目が持つ特徴的な１線分の位置の許容範囲を示している。また、Ｌはその特徴的な線分の基準となる長さとの相対的な長さの許容範囲を表し、ｄは基準方向との方向のずれの許容範囲を示す。ここでは、基準となる長さに、図２で示した目の上のラインと目の下のラインの各々の中点間距離を用い、それを１としてスケールを決定している。また、基準方向には、目の上のラインと目の下のラインの中点を結ぶ直線と垂直な方向を利用している。座標系には、目の中心を原点とし、基準方向を横軸方向とし、基準となる長さを軸の単位とする座標系を用いている。

例えば、「Eye Top Line」の楕円は目の上のラインの位置の許容範囲の一例である。その長さは、目の上のラインと目の下のラインの各々の中点間距離に対して、８０％〜２２０％の長さで、目の上のラインと目の下のラインの中点を結ぶ直線と垂直な方向から±３５°以内のずれであることを示している。ここで用いたような、例えば目や口といった部分特徴は、顔画像パターンのような検出すべき特定画像パターンと比較して、構成要素が少なく変動し難いのでモデル化が容易である。尚、上記許容範囲を示す数値は一例であり、これ以外に設定することも可能である。

部分特徴情報抽出部９０５１では、まず第１の実施形態で示した図１の特定画像パターン検出部１４と同一の処理方法で、特定画像パターン検出部１４で用いている線分モデルデータの代わりに、局所線分モデルデータ生成部９０４で生成された部分特徴ごとの局所線分モデルデータとのマッチングにより、各部分特徴の検出を行う。そして、検出された各部分特徴の検出結果から、その部分特徴の位置・方向・長さ（大きさ）等の部分特徴情報を抽出する。

部分特徴情報の抽出方法として、目を顔画像パターンの部分特徴の１つとした場合を例として説明する。例えば、目の局所線分モデルデータが図１２に示すように生成された場合、部分特徴情報抽出部９０５１では、平行で同程度の長さの２線分で、さらにその２線分がある程度隣接しているという線分の組み合わせが、目という部分特徴として検出される。この検出された目という部分特徴情報は、例えば位置情報であれば、２線分の各中点の中点位置を算出する等して抽出を行う。また方向情報であれば、２線分の各方向の中間方向を算出する等して抽出を行う。さらに長さ（大きさ）情報では、各２線分の中点間距離を算出する等して抽出を行う。

上述したような部分特徴情報の抽出方法は一例であり、上記方法に限定するものではない。すなわち、部分特徴情報としては、その部分特徴の変動に対応して変動するものであれば、どのようなものを利用してもかまわない。上記の方法で抽出される部分特徴情報は、線分情報と比較して、精度が高く信頼性が高いため、部分特徴情報を利用することで、特定画像パターンの検出の精度を高めることが可能である。またこのような部分特徴の検出結果を途中結果として利用することも可能になる。

統合モデルデータ生成部９０６は、第１の実施形態で示した図１の線分モデルデータ生成部１３で生成する線分モデルデータに、部分特徴情報を付加したものを、統合モデルデータとして生成する処理部である。統合モデルデータは、線分モデルデータ生成部１３と同様に複数枚の検出すべき特定画像パターン（ここでは、顔画像パターン）を含む画像をモデル用データとして利用する。モデル用データそれぞれから線分情報抽出部９０３ｎ、及び部分特徴情報抽出部９０５ｎの処理により、モデル用データ各々の線分情報、及び部分特徴情報を抽出する。抽出された線分情報、及び部分特徴情報のうち、それぞれのモデル用データ全てに共通して検出された線分、及び部分特徴から抽出された線分情報、及び部分特徴情報を、顔画像パターンが持つ特徴的な線分情報、及び部分特徴情報とする。

このような、検出すべき特定画像パターンが持つ特徴的な線分情報、及び部分特徴情報の位置・方向・長さ（大きさ）の許容範囲を統合モデルデータとして生成する。この時、特徴的な線分情報、及び部分特徴情報の長さ（大きさ）情報は、モデル用データの特定画像パターンの大きさによって正規化する。

また、特徴的な線分情報、及び部分特徴情報の方向情報は、モデル用データの特定画像パターンの基準方向によって正規化する。また、特徴的な線分情報、及び部分特徴情報の位置情報は、ある基準点、例えば顔画像パターンであれば顔の中心点等を原点とし、特定画像パターンの大きさによって定まるスケールで、所定の基準方向によって定まる直交座標系上のどの位置にあるのか記録、若しくは学習し保持する。

上記実施形態では、統合モデルデータとして、線分情報と部分特徴情報の両方を持つものを用いているが、線分情報を用いず、部分特徴情報のみで統合モデルデータを生成してもかまわない。上記のように部分特徴情報を利用してモデルデータを生成することで、特定画像パターンのモデル化が容易となる。

特定画像パターン候補検出部９０７１では、上記第１の実施形態で示した図１の特定画像パターン検出部１４と同一の処理方法で、特定画像パターン検出部１４で用いている線分モデルデータの代わりに、統合モデルデータ生成部９０６で生成された統合モデルデータと、線分情報抽出部９０３１、部分特徴情報抽出部９０５１でそれぞれ抽出した線分情報、部分特徴情報の組み合わせとのマッチングにより、特定画像パターンの候補の検出を行う。

検出された特定画像パターンの検出結果から、検出した特定画像パターンの位置・方向・長さ（大きさ）等の情報を抽出する。この時、特定画像パターンの候補の検出に用いた各部分特徴の位置・方向・長さ（大きさ）等、例えば検出された目の位置等の情報も同時に抽出しても良い。この各部分特徴の位置・方向・長さ（大きさ）等の情報は、次の領域ベース情報抽出部９０８１での領域ベースの情報抽出時に用いることができる。部分特徴情報を利用することで検出の精度が上がり、さらに必要となる特徴の探索数が減少するため処理コスト的にも有利である。

各特徴領域の領域ベース情報抽出部９０８１は、保持していた入力画像から、特定画像パターン候補検出部９０７１で検出された特定画像パターンの候補の予め設定した１つ、若しくは複数の各部分特徴領域の平均輝度値、輝度分散値等の領域ベース情報を抽出する。各部分特徴領域は、特定画像パターン検出部９０７１で特定画像パターンの候補の検出結果から抽出した位置・方向・長さ（大きさ）等の情報や、特定画像パターンの候補の検出に用いた各部分特徴の位置・方向・長さ（大きさ）等から決定される。

例えば、特定画像パターンの候補として検出された顔画像パターンの候補の中心位置を中心とし、半径が検出された顔画像パターンの長さ（大きさ）の１／３の円によって囲まれる領域や、検出された顔の候補の右目の位置を中心とし、半径がその目の長さ（大きさ）の２倍の円で囲まれる領域というように、各部分特徴領域を決定する。そして各特徴領域の領域ベース情報抽出部９０８１では、その決定した各部分特徴領域ごとの平均輝度値、輝度分散値、必要ならば各部分特徴領域内の最大輝度値や最小輝度値も抽出する。

領域モデルデータ生成部９０９は、モデル用データを用い、各特徴領域の領域ベース情報抽出部９０８ｎの処理によって抽出される各部分特徴領域の領域ベース情報に基づいて、検出すべき特定画像パターンの各部分特徴領域が持つ領域ベース情報の許容範囲を領域モデルデータとして生成する。例えば、モデル用データから、各特徴領域の領域ベース情報抽出部９０８ｎの処理によって抽出された、上記検出された顔画像パターンの候補の中心位置を中心とし、半径が検出された顔画像パターンの長さ（大きさ）の１／３の円によって囲まれる領域や、右目の位置を中心とし、半径がその目の大きさの２倍の円で囲まれる領域の平均輝度値を、全てのモデル用データについて求める。その全てのモデル用データから求めた平均輝度値の上限と下限により、顔画像パターンの候補位置を中心とした領域や、右目の位置を中心とした領域の平均輝度の許容範囲を決定する。上記のような方法で、予め設定した１つ、もしくは複数の各部分特徴領域の平均輝度値、輝度分散値等の領域ベース情報を抽出し、各部分特徴領域の領域ベース情報の許容範囲をそれぞれ生成する。

また、各部分特徴領域の領域ベース情報の比を領域モデルデータに含めても良い。例えば、右目の位置を中心とした領域の平均輝度値と、眉間の位置を中心とし、半径がその目の長さ（大きさ）の２倍の円で囲まれる領域の平均輝度値の比を、全てのモデル用データについて求める。そして、その全てのモデル用データから求めた比の上限と下限により、目の付近と眉間の付近の領域の比の許容範囲を決定するという方法等がある。

特定画像パターン検出部９１０１は、各特徴領域の領域ベース情報抽出部９０８１で抽出した各部分特徴領域の領域ベースの情報と領域モデルデータとの照合を行い、特定画像パターン候補検出部９０７１で検出された特定画像パターンの候補が、検出すべき特定画像パターンであるか否かを判定することで、特定画像パターンを検出する。

例えば、特定画像パターン候補検出部９０７１で検出された顔の候補において、各特徴領域の領域ベース情報抽出部９０８１で抽出した右目の位置を中心とする領域の平均輝度値が、領域モデルデータのもつ右目の位置を中心とする領域の平均輝度値の範囲内であるかどうかの照合を行う。このような照合を、予め設定した全ての各部分特徴領域で行い、各特徴領域の領域ベース情報抽出部９０８１で抽出した領域ベース情報が、所定の個数以上の部分特徴領域において、領域モデルデータ生成部９０９で生成した領域モデルデータのもつ領域ベース情報の許容範囲内である場合、それを検出すべき特定画像パターンとして検出する。所定の個数は、部分特徴領域の全ての箇所であってもかまわない。

また、各部分特徴領域の許容範囲に重みを付け、全ての部分特徴領域での照合結果をその重みにより算出し、算出したものを加算して、それが所定の閾値を超えた場合、それを検出すべき特定画像パターンとして検出するようにしても良い。上記のような領域ベースでの照合を行うことで、誤検出数を低下させることが可能である。その結果探索範囲を広くすることが可能になるため、様々な変動にロバストな検出が可能になる。

検出結果出力部９１１では、特定画像パターン検出部９１０ｎで検出された全ての結果に対して、各チャネルで入力時に行った所定の倍率での解像度変更を補正した検出結果から、検出された特定画像パターンの大きさ・方向・位置を算出し、その結果を信号として出力する。大きさ・方向・位置の算出には、第１の実施形態で示した図１の検出結果出力部１５と同様にして行う。

以上、第２の実施形態では、第１の実施形態に対し、検出すべき特定画像パターンの部分特徴を中間処理に用い、さらに解像度別複数チャネル処理を行い、最後に領域モデルデータとの照合によって顔画像を検出する例として説明した。

尚、上記実施形態では、チャネル１〜ｎについての画像を求めた後処理したが、１枚の画像だけを用いた場合であっても任意の解像度（例えば、ｎ＝１）で同様に適用することも可能である。

＜第３の実施形態＞
第３の実施形態では、上記第１及び第２の実施形態の変形例として、二次元画像から特定画像パターンとして顔画像パターンを検出する方法について示す。

図１３は、本発明の第３の実施形態における特定画像パターン検出装置の構成を示すブロック図である。第３の実施形態では、上記第２の実施形態で用いた部分特徴情報をさらに組み合わせた部分特徴組を、部分特徴組モデルデータに基づき検出し、検出された部分特徴組から部分特徴組情報を抽出し、それを中間処理に用いる。また、第３の実施形態では、解像度別複数チャネル処理は行わずに、第２の実施形態と同様の方法で解像度別複数チャネル処理をしてもかまわない。以下、第３の実施形態における処理について説明する。

図１１における画像入力部１１０１、線分情報抽出部１１０２、局所線分モデルデータ生成部１１０３及び部分特徴情報抽出部１１０４は、それぞれ上記第２の実施形態で説明した図１１における画像入力部９０１、線分情報抽出部９０３ｎ、局所線分モデルデータ生成部９０４及び部分特徴情報抽出部９０５ｎと同様であり、ここまでの各処理部による処理の流れも第２の実施形態と同様である。

部分特徴組モデルデータ生成部１１０５における処理内容は、基本処理は第２の実施形態で示した図１１の局所線分モデルデータ生成部９０４における処理内容と同様である。局所線分モデルデータ生成部９０４では、検出すべき特定画像パターンが持つ部分特徴の検出を行うための局所線分モデルデータを生成したが、部分特徴組モデルデータ生成部１１０５では、部分特徴情報抽出部１１０４で抽出した部分特徴の組み合わせの検出を行うための部分特徴組モデルデータを生成する。部分特徴組としては、顔画像パターンであれば２つの目や、目と口、口と鼻と顎のラインといった、部分特徴のうちほぼ共通の空間配置関係で現れるものを利用する。そこで、部分特徴組モデルデータ生成部１１０５は、このような部分特徴の組み合わせを検出するための部分特徴組モデルデータを生成する。

図１４は、部分特徴組モデルデータ生成部１１０５で生成される両目の部分特徴組モデルデータの一例を示す図である。図１４において、１つの楕円は１つの目の位置の許容範囲を示している。また、Ｌは１つの目の基準となる長さとの相対的な長さの許容範囲を表し、ｄは基準方向との方向のずれの許容範囲を示す。ここでは、基準となる長さに両目の間隔を用い、それを１としてスケールを決定している。また、基準方向には、両目を結ぶ線分の方向を利用している。座標系には、両目の中点を原点とし、基準方向を横軸方向とし、基準となる長さを軸の単位とする座標系を用いている。

例えば、「Right Eye」の楕円は右目の位置の許容範囲である。その長さは、両目の間隔を用い対して、１％〜５０％の長さで、両目を結ぶ線分の方向から±２０°以内のずれであることを示している。尚、ここでの目の長さ情報は、図２で示した目の上のラインと目の下のラインの各々の中点間距離を用い、方向情報は目の上のラインと目の下のラインの方向の平均を用い、位置情報は目の上のラインと目の下のラインの各々の中点の中点位置を用いている。

部分特徴組情報抽出部１１０６は、まず、部分特徴組モデルデータ生成部１１０５で生成した部分特徴組モデルデータに基づき、上記第１の実施形態で示した図１の特定画像パターン検出部１４や、第２の実施形態における部分特徴情報抽出部９０５ｎ等と同様の方法で、部分特徴情報抽出部１１０４で抽出した部分特徴情報の複数の組み合わせから、部分特徴組の検出を行う。そして、検出された前記部分特徴組の検出結果から、その部分特徴の位置・方向・長さ（大きさ）等の部分特徴組情報を抽出し、部分特徴情報として部分特徴情報抽出部１１０４にフィードバックする。部分特徴組情報の抽出方法は、第２の実施形態で示した図１１の部分特徴情報抽出部９０５ｎと基本的には同様の処理である。

以下では、部分特徴組情報の抽出方法として、２つの目を顔画像パターンの両目という部分特徴組の１つとした場合を例として説明する。例えば、両目の部分特徴組モデルデータが図１４に示すように生成された場合、部分特徴組情報抽出部１１０６では、目という部分特徴の組み合わせのうち、比較的近くにあり同程度の長さ（大きさ）の２つの目が、両目という部分特徴組として検出される。

この検出された両目という部分特徴組情報は、例えば位置情報であれば、前述した２つの目の位置の中点位置を算出する等して抽出を行う。また、方向情報であれば、前記２つの目の位置を結ぶ線分の方向を算出する等して抽出を行う。さらに長さ（大きさ）情報では、前記２つの目の位置の距離を算出する等して抽出を行う。このような部分特徴組情報の抽出方法は、一例でありこの方法に限定するものではない。すなわち、部分特徴組情報としては、その部分特徴の組み合わせの変動に対応して変動するものであれば、どのようなものを利用してもかまわない。このように部分特徴情報を組み合わせた部分特徴組情報を新たな部分特徴情報として利用することで、部分特徴情報の精度が高まり信頼性が高くなる。その結果特定画像パターンの候補検出精度が上がる。

部分特徴組情報抽出部１１０６で抽出された部分特徴組情報は、部分特徴情報として部分特徴情報抽出部１１０４にフィードバックし、一つの部分特徴情報として扱う。この時、部分特徴組モデルデータ生成部１１０５において、フィードバックされた部分特徴情報を用いて、部分特徴組モデルデータを追加して生成若しくは予め生成しておき、その部分特徴組モデルデータに基づいて、さらに部分特徴組を検出するということを行っても良い。このような方法を用いると、特徴の組み合わせの検出を階層的に行うことができる。

上記方法について、両目と口の組み合わせを部分特徴組として検出することを例に挙げて説明する。上記例の両目という部分特徴組から抽出された部分特徴組情報を、両目という部分特徴情報としてフィードバックし、その両目という部分特徴情報と、例えば口という部分特徴情報の組み合わせを、新たに部分特徴組モデルデータに追加して生成若しくは予め生成しておく。

次に、部分特徴組情報抽出部１１０６で、部分特徴組モデルデータに基づいて、部分特徴組情報抽出部１１０６で抽出されフィードバックされた両目と、部分特徴情報抽出部１１０４で抽出された口という部分特徴情報の組み合わせから、両目と口の組み合わせという部分特徴組を検出し、部分特徴組情報を抽出して、それを部分特徴情報抽出部１１０４にフィードバックすることで、両目と口の組み合わせという部分特徴情報を得るといった方法で行う。尚、このようなフィードバックによる階層的な処理はしなくても良いし、複数回繰り返して行うことで、複数段階の階層的な処理を行っても良い。上記のように、部分特徴情報を組み合わせる処理を複数回繰り返して行うことで、さらに精度の高い部分特徴情報の抽出が可能であり、その結果特定画像パターンの候補検出精度が高まる。

尚、統合モデルデータ生成部１１０７、特定画像パターン候補検出部１１０８、各特徴領域の領域ベース情報抽出部１１０９、領域モデルデータ生成部１１１０、特定画像パターン検出部１１１１、検出結果出力部１１１２は、上記第２の実施形態で示した図１１の統合モデルデータ生成部９０６、特定画像パターン候補検出部９０７ｎ、各特徴領域の領域ベース情報抽出部９０８ｎ、領域モデルデータ生成部９０９、特定画像パターン検出部９１０１、検出結果出力部９１１と同様の処理を行う。

以上、第３の実施形態では、第１及び第２の実施形態に対し、検出すべき特定画像パターンの部分特徴組を中間処理に用い、顔画像パターンを検出する例として説明した。

また、上記第１〜第３の実施形態では、顔画像を例としてパターン情報の検出を行ったが、本発明の適用は顔画像以外を対象にしてもよい。例えば、全身画像や人以外の物体に関する画像等を用いてもその効果は同様に得られる。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態における特定画像パターン検出装置の構成を示すブロック図である。 顔画像パターンが持ついくつかの特徴的な線分の例を示す図である。 本発明の第１の実施形態に係る特定画像パターン検出装置の動作手順を説明するためのフローチャートである。 線分情報抽出部１２の細部構成を示すブロック図である。 エッジの濃度変化方向の違いを示す図である。 線分情報抽出部１２による線分情報抽出結果例を示す図である。 線分モデルデータ生成部１３の処理によって生成される顔画像パターンの線分モデルデータの例を示す図である。 特定画像パターン検出部１４の細部構成を示すブロック図である。 口の位置に対応する線分を基準線分として決定しておいた場合の顔画像パターンの特徴的な線分を探索する探索範囲の例を示す図である。 抑制性探索範囲の設定例を示す図である。 本発明の第２の実施形態における特定画像パターン検出装置の構成を示すブロック図である。 局所線分モデルデータ生成部９０４の処理によって生成される目の局所線分モデルデータの例を示す図である。 本発明の第３の実施形態における特定画像パターン検出装置の構成を示すブロック図である。 部分特徴組モデルデータ生成部１１０５で生成される両目の部分特徴組モデルデータの一例を示す図である。

符号の説明

１１ 画像入力部
１２ 線分情報抽出部
１３ 線分モデルデータ生成部
１４ 特定画像パターン検出部
１５ 検出結果出力部
１２１ エッジ検出部
１２２ 二値化処理部
１２３ 細線化処理部
１２４ 端点検出部
１２５ トレース処理部
１２６ 情報抽出部
１４１ 基準線分選択部
１４２ 探索範囲設定部
１４３ 対応線分探索部
１４４ 類似度算出部
１４５ 検出結果決定部

Claims (18)

1. 特定画像パターンの検出対象となる画像を入力する入力工程と、
   前記入力工程により入力された画像中の濃度変化に基づいて境界線を検出する境界線検出工程と、
   前記境界線検出工程により検出された前記境界線の端点を検出し、該端点を結ぶ直線線分を生成する直線生成工程と、
   前記直線生成工程により生成された前記直線線分の前記画像における位置、方向、長さを表わす直線線分情報を抽出する抽出工程と、
   前記特定画像パターンを含む複数枚の画像を入力する第２の入力工程と、
   前記複数枚の画像のそれぞれに含まれる直線線分情報を抽出する第２の抽出工程と、
   前記複数枚の画像のそれぞれで抽出された前記直線線分情報のうち、互いに一致又は類似する直線線分情報を検出する第２の線分検出工程と、
   前記特定画像パターンのモデルとして、前記第２の線分検出工程により検出された直線線分情報から構成され、該直線線分情報の位置、方向、及び長さについてそれぞれ所定の許容範囲を有する線分モデルを生成する生成工程と、
   前記抽出工程により抽出された前記直線線分情報のうち、前記線分モデルの前記所定の許容範囲内にある直線線分情報を、前記線分モデルを構成する前記直線線分情報と一致又は類似する直線線分情報として検出する線分検出工程と、
   前記線分検出工程により検出された前記直線線分情報をまとめて前記特定画像パターンの検出結果の情報として出力する出力工程と
   を有することを特徴とするパターン検出方法。
2. 前記線分検出工程が、
   前記線分モデルに基づく所定の領域モデルを生成する領域モデル生成工程と、
   前記画像の所定領域に関する領域情報を抽出する領域情報抽出工程と、
   前記抽出工程により抽出された前記直線線分情報を前記領域情報と前記所定の領域モデルとを用いて限定する限定工程と
   を有することを特徴とする請求項１に記載のパターン検出方法。
3. 複数の前記線分モデル、若しくは前記線分モデルと前記線分モデルとを組み合わせて組モデルを生成する組モデル生成工程と、
   前記線分検出工程により検出された複数の前記直線線分情報、若しくは前記直線線分情報と前記直線線分情報とを組み合わせて組情報を生成する組情報生成工程と、
   前記組情報と前記組モデルとに基づいて、前記線分検出工程により検出された前記直線線分情報をさらに限定する第２の限定工程とをさらに有し、
   前記限定工程は、前記第２の限定工程により限定された前記直線線分情報のうち前記領域情報と前記所定の領域モデルとを用いて前記直線線分情報を限定する
   ことを特徴とする請求項２に記載のパターン検出方法。
4. 前記所定領域は、前記抽出工程により抽出された前記直線線分情報に基づいて決定される前記画像中の領域である
   ことを特徴とする請求項２又は３に記載のパターン検出方法。
5. 前記所定領域に関する領域情報は、前記領域の平均輝度値、輝度分散値、最大画素値又は最小画素値の少なくともいずれか１つである
   ことを特徴とする請求項４に記載のパターン検出方法。
6. 前記入力工程は、所定解像度に変換された前記画像を入力し、
   前記限定工程により限定された前記直線線分情報に基づく前記パターン情報を前記所定解像度に基づいて変換する変換工程をさらに有する
   ことを特徴とする請求項２から５までのいずれか１項に記載のパターン検出方法。
7. 前記線分検出工程は、前記直線線分情報が存在しない位置、方向、又は長さについての抑制範囲に関する情報に基づいて、前記直線線分情報の検出を制限する
   ことを特徴とする請求項１から６までのいずれか１項に記載のパターン検出方法。
8. 前記第２の限定工程は、前記直線線分情報が存在しない抑制範囲に関する情報に基づいて、前記直線線分情報をさらに限定する
   ことを特徴とする請求項３に記載のパターン検出方法。
9. 前記境界線検出工程が、
   前記画像中に含まれるエッジのエッジ値を算出するエッジ値算出工程と、
   前記エッジ値の大きさが所定の閾値以上であって、所定方向内で所定数以上連結しているエッジを検出する連結検出工程と、
   検出された前記エッジを細線化する細線化工程と
   を有することを特徴とする請求項１に記載のパターン検出方法。
10. 前記エッジ値算出工程は、微分フィルタを用いて前記画像に含まれる前記エッジのエッジ値を算出することを特徴とする請求項９に記載のパターン検出方法。
11. 前記境界線検出工程が、前記画像における濃度変化方向の分別を行って前記境界線を検出することを特徴とする請求項１に記載のパターン検出方法。
12. 前記入力工程が、複数の解像度で変換された複数枚の画像を入力し、
    各解像度の画像に対して前記出力工程により出力された前記パターン情報を一のパターン情報に統合する統合工程をさらに有する
    ことを特徴とする請求項１から１１のいずれか１項に記載のパターン検出方法。
13. 前記統合工程が、互いに異なる解像度別の処理チャネルを用いて、それぞれのチャネルにおいて出力された前記パターン情報を一のパターン情報に統合する
    ことを特徴とする請求項１２に記載のパターン検出方法。
14. 前記画像が顔画像である
    ことを特徴とする請求項２に記載のパターン検出方法。
15. 前記領域情報が、前記抽出工程により抽出された前記直線線分情報の前記画像中の位置に基づく所定領域の平均輝度値、輝度分散値、最大画素値又は最小画素値の少なくとも１つを含む
    ことを特徴とする請求項２に記載のパターン検出方法。
16. 特定画像パターンの検出対象となる画像を入力する入力手段と、
    前記入力手段により入力された画像中の濃度変化に基づいて境界線を検出する境界線検出手段と、
    前記境界線検出手段により検出された前記境界線の端点を検出し、該端点を結ぶ直線線分を生成する直線生成手段と、
    前記直線生成手段により生成された前記直線線分の前記画像における位置、方向、長さを表わす直線線分情報を抽出する抽出手段と、
    前記特定画像パターンを含む複数枚の画像を入力する第２の入力手段と、
    前記複数枚の画像のそれぞれに含まれる直線線分情報を抽出する第２の抽出手段と、
    前記複数枚の画像のそれぞれで抽出された前記直線線分情報のうち、互いに一致又は類似する直線線分情報を検出する第２の線分検出手段と、
    前記特定画像パターンのモデルとして、前記第２の線分検出手段により検出された直線線分情報から構成され、該直線線分情報の位置、方向、及び長さについてそれぞれ所定の許容範囲を有する線分モデルを生成する生成手段と、
    前記抽出手段により抽出された前記直線線分情報のうち、前記線分モデルの前記所定の許容範囲内にある直線線分情報を、前記線分モデルを構成する前記直線線分情報と一致又は類似する直線線分情報として検出する線分検出手段と、
    前記線分検出手段により検出された前記直線線分情報をまとめて前記特定画像パターンの検出結果の情報として出力する出力手段と
    を備えることを特徴とするパターン検出装置。
17. コンピュータを、
    入力された特定画像パターンの検出対象となる画像中の濃度変化に基づいて境界線を検出する境界線検出手段、
    前記境界線検出手段により検出された前記境界線の端点を検出し、該端点を結ぶ直線線分を生成する直線生成手段、
    前記直線生成手段により生成された前記直線線分の前記画像における位置、方向、長さを表わす直線線分情報を抽出する抽出手段、
    前記特定画像パターンを含む複数枚の画像を入力する第２の入力手段、
    前記複数枚の画像のそれぞれに含まれる直線線分情報を抽出する第２の抽出手段、
    前記複数枚の画像のそれぞれで抽出された前記直線線分情報のうち、互いに一致又は類似する直線線分情報を検出する第２の線分検出手段、
    前記特定画像パターンのモデルとして、前記第２の線分検出手段により検出された直線線分情報から構成され、該直線線分情報の位置、方向、及び長さについてそれぞれ所定の許容範囲を有する線分モデルを生成する生成手段、
    前記抽出手段により抽出された前記直線線分情報のうち、前記線分モデルの前記所定の許容範囲内にある直線線分情報を、前記線分モデルを構成する前記直線線分情報と一致又は類似する直線線分情報として検出する線分検出手段、
    前記線分検出手段により検出された前記直線線分情報をまとめて前記特定画像パターンの検出結果の情報として出力する出力手段
    として機能させるためのプログラム。
18. 請求項１７に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images