JP4266798B2 - パターン検出装置及びパターン検出方法 - Google Patents

Description

本発明は、画像中の特定パターンの検出をパターンモデルを用いて検出するパターン検出装置及びパターン検出方法に関する。

従来より、画像認識や音声認識の分野においては、特定の認識対象に特化した認識処理アルゴリズムをコンピュータソフトウェア、或いは専用並列画像処理プロセッサを用いたハードウェアにより実行することで、認識対象及び背景を含む画像から、認識対象を検出するものが知られている。

特に、顔を特定の認識対象として検出するものとしては、以下に例示するような、特開平９−２５１５３４号公報（特許文献１）、特許２７６７８１４号公報（特許文献２）、特開平９−４４６７６号公報（特許文献３）、特許２９７３６７６号公報（特許文献４）、又は、特開平１１−２８３０３６号公報（特許文献５）に開示されているものが知られている。

まず、特許文献１に開示されている発明は、入力画像に対して、標準顔と呼ばれるテンプレートを使って、顔領域を探索し、その後、眼、鼻孔、口といった特徴点候補に対して、部分テンプレートを使用して、人物を認証するものである。また、特許文献２に開示されている発明は、顔画像から眼と口の候補群を求め、それらを組み合わせた顔候補群と予め記憶されている顔構造とを照合し、眼と口に対応する領域を発見するものである。さらに、特許文献３に開示されている発明は、眼、鼻、口の候補をそれぞれ複数求め、予め用意されている特徴点間の位置関係から、顔を検出するものである。

また、特許文献４に開示されている発明は、顔の各部品の形状データと入力画像との一致度を調べる際に、形状データを変更させるものであり、また各顔部品の探索領域は、以前に求めた部品の位置関係を基に決定するものである。また、特許文献５に開示されている発明は、複数の判定要素取得領域を設定した領域モデルを入力画像中で移動させ、各点で、それら判定要素取得領域内で、判定要素の有無を判定し、顔を認識するものである。

一方、回転した被写体を検出するものとして、特開平１１−１５９７３号公報（特許文献６）や、"Rotation Invariant Neural Network-Based Face Detection"（H.Rowley，T. Kanade，CVPR98，p38-44）（非特許文献１）に開示されているものがある。

特許文献６に開示されている発明は、被写体の回転に対応するために、被写体に対してその中心座標から曲座標変換を行い、回転をシフトに変換して回転を検出するものである。また、非特許文献１に開示されている発明は、顔の検出の前段として、顔の回転角度を検出するニューラルネットワーク（Neural Network、以下「ＮＮ」と記述する。）を用意し、そのＮＮの出力角度に応じて入力画像を回転させ、回転後の入力画像を顔検出を行うＮＮに入力するものである。
特開平９−２５１５３４号公報 特許２７６７８１４号公報 特開平９−４４６７６号公報 特許２９７３６７６号公報 特開平１１−２８３０３６号公報 特開平１１−１５９７３号公報 Ｈ．ロウレイ（H.Rowley）、Ｔ．カナデ（T. Kanade），"Rotation Invariant Neural Network-Based Face Detection"、CVPR98、p38-44

しかしながら、上述した従来技術を用いるパターン検出には、以下に示すような問題があった。

すなわち、特許文献１に記載の発明は、始めに標準顔を使用して、顔全体でマッチングして顔領域を検出するため、複数の顔のサイズや顔の向きの変化に弱いという問題がある。従って、様々なサイズや顔の向きに対応させるためには、それぞれの場合に適合した多数の標準顔を用意し、それぞれを用いて検出する必要がある。しかし、これを実現するためには、多数のテンプレートと比較しなければならないために処理コストがかかる。

また、特許文献２に記載の発明は、入力画像中の顔候補群と予め記憶した顔構造とを照合するが、対象となる入力画像中の顔の数は１つ又は少数に限定されている。また、顔の大きさについても、ある程度大きなサイズであって、入力画像中のほとんどの領域が顔領域であって背景の少ない画像が入力画像として想定されている。そのような入力画像であれば、全ての眼及び口の候補群から、顔候補を作成した場合であっても顔候補の数は限定される。しかしながら、一般的なカメラやビデオで撮影した画像の場合は、顔のサイズが小さくなったり、背景の面積が大きくなるような場合があり、その際には、背景中で眼候補や口候補を多数誤検出してしまうことになる。従って、特許文献２に記載の方法によって全ての眼と口候補群から顔候補を作成すると、その数は膨大になり、顔構造との照合に要する処理コストが増大する。

また、特許文献３、４に記載の発明では、背景に眼、鼻、口の候補が多数存在した場合には、それらの位置関係を照合するための処理コストが膨大になる。

さらに、特許文献４に記載の発明は、虹彩（眼）、口、鼻等の形状データを保持しておき、まず２つの虹彩（眼）を求め、続いて口、鼻等を求める際に、その虹彩（眼）の位置に基づいて、口、鼻等の顔部品の探索領域を限定している。すなわち、このアルゴリズムは、虹彩（眼）、口、鼻といった顔を構成する顔部品を並列的に検出するのではなく、虹彩（眼）を最初に見つけ、その結果を使用して、順に口、鼻という顔部品を検出している。この方法においては、画像中に顔が一つしかなく、さらに虹彩（眼）が正確に求まった場合を想定している。そのため、検出された虹彩（眼）が誤検出であった場合には、口や鼻等の他の特徴の探索領域を正しく設定することができない。

また、特許文献５に記載の発明では、サイズの異なった顔や回転した顔に対応させるためには、サイズの異なった領域モデルや回転した領域モデルを用意する必要がある。しかし、実際にそのサイズの顔やその回転角度の顔が存在しない場合、無駄な計算を多数行うこととなる。さらに、特許文献６に記載の発明における極座標変換では、中心座標の精度が重要である。しかし、画像中のどこに被写体が存在するのかを検出する段階では、中心座標の検出は困難である。

さらにまた、非特許文献１に記載の発明では、回転角度を検出する前段のＮＮの精度に後半の顔検出ＮＮの精度が依存し、もし前段のＮＮの出力が誤っていると顔検出が困難になる。また、画像中に複数の被写体が存在し、それぞれの回転角度が異なる場合、複数の回転角度で入力画像を回転変換させ、その変換後の画像を顔検出ＮＮに入力して画像全体で顔検出を行うため、回転のない画像を検出する際と比較すると処理コストが大幅に増大する。

本発明は、このような事情を考慮してなされたものであり、画像中の認識対象の大きさが画像によって異なっており、また当該認識対象が傾いて存在している場合であっても、処理コストを増加を抑えて、当該認識対象を好適に検出することができるパターン検出装置及び方法を提供することを目的とする。

上記目的を達成するため、本発明に係る装置は、
画像中の予め定められたパターンをパターンのモデルを用いて検出するパターン検出装置であって、
複数の階層の特徴に対して上位モデルが複数の下位モデルを組み合わせて構成される階層毎のモデルを各階層につき複数保持する保持手段と、
前記保持手段に保持されたモデルから各階層の特徴検出に使用するモデルとして、同一のモデルをそれぞれ複数の角度で回転させた形態の複数のモデルを設定する設定手段と、
前記設定手段により設定された各階層のモデルと前記画像の構成部分とを比較して各特徴に係る特徴量を算出し、前記複数の階層について所定値以上の特徴量に対応する特徴を下位層から順番に検出する検出手段と、
前記検出手段によって特徴量を算出された複数の下位モデルのうち、予め定められた特徴量以上を有する下位モデル、または予め定められた順位以上の特徴量を有する下位モデルの回転角度を選択する角度選択手段とを備え、
前記設定手段は、少なくとも１つの階層について、当該階層の特徴検出に使用するモデルとして、前記保持手段に保持された上位モデルであって前記角度選択手段によって選択された回転角度に対応する上位モデルを設定する
ことを特徴とする。

上記目的を達成するため、本発明に係る方法は、
画像中の予め定められたパターンをパターンのモデルを用いて検出するパターン検出方法であって、
複数の階層の特徴に対して上位モデルが複数の下位モデルを組み合わせて構成される階層毎のモデルを各階層につき複数保持するモデル保持部から各階層の特徴検出に使用するモデルとして、同一のモデルをそれぞれ複数の角度で回転させた形態の複数のモデルを設定する設定工程と、
前記設定工程で設定された各階層のモデルと前記画像の構成部分とを比較して各特徴に係る特徴量を算出し、前記複数の階層について所定値以上の特徴量に対応する特徴を下位層から順番に検出する検出工程と、
前記検出工程によって算出された下位モデルの特徴量のうち、予め定められた量以上または該特徴量の順で予め定められた順位以上の特徴量を有する下位モデルの回転角度を選択する角度選択工程とを有し、
前記設定工程は、少なくとも１つの階層について、当該階層の特徴検出に使用するモデルとして、前記保持手段に保持された上位モデルであって前記角度選択工程によって選択された回転角度に対応する上位モデルを設定することを特徴とする。

上記目的を達成するため、本発明に係るプログラムは、
コンピュータに、画像中の予め定められたパターンをパターンのモデルを用いて検出させるためのプログラムであって、
複数の階層の特徴に対して上位モデルが複数の下位モデルを組み合わせて構成される階層毎のモデルを各階層につき複数のモデルから各階層の特徴検出に使用するモデルとして、同一のモデルをそれぞれ複数の角度で回転させた形態の複数のモデルを設定する設定手順と、
前記設定手順で設定された各階層のモデルと前記画像の構成部分とを比較して各特徴に係る特徴量を算出し、前記複数の階層について所定値以上の特徴量に対応する特徴を下位層から順番に検出する検出手順と、
前記検出手段によって特徴量を算出された複数の下位モデルのうち、予め定められた特徴量以上を有する下位モデル、または予め定められた順位以上の特徴量を有する下位モデルの回転角度を選択する角度選択手段と、
をコンピュータに実行させ、
前記設定手順は、少なくとも１つの階層について、当該階層の特徴検出に使用するモデルとして、前記保持手段に保持された上位モデルであって前記角度選択工程によって選択された回転角度に対応する上位モデルを設定することを特徴とする。

本発明によれば、画像中の認識対象の大きさが画像によって異なっており、また当該認識対象が傾いて存在している場合であっても、処理コストを増加を抑えて、当該認識対象を好適に検出することができる。

以下、図面を参照して、本発明の好適な実施形態について説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係るパターン検出装置の構成を示す図である。図１において、１０００は信号入力部、１００１は１次特徴検出部、１０１１は１次特徴検出フィルタ設定部、１００２は２次特徴検出部、１０１２は２次特徴検出モデル設定部、１００３は３次特徴検出部、１０１３は３次特徴検出モデル選択部、１０２３は３次特徴検出モデル保持部、１００４は４次特徴検出部、１０１４は４次特徴検出モデル選択部、そして、１０２４は４次特徴検出モデル保持部を示す。尚、本実施形態では、上記のように示した各次数の特徴は、局所的に検出される局所特徴を示すものであって、上位の次数の特徴は下位の次数の特徴を含むものである。

以下、図１に示すパターン検出装置のそれぞれの構成要素の機能について説明する。信号入力部１０００は、画像信号等の処理対象となる信号（例えば、画像データ）を入力する。１次特徴検出部１００１は、信号入力部１０００から入力された信号に対し、後述する１次の特徴を検出する処理を行い、その検出結果を２次特徴検出部１００２に渡す。１次特徴検出フィルタ設定部１０１１は、１次特徴検出部１０００で１次の特徴を検出するためのフィルタの特性を設定する。

２次特徴検出部１００２は、１次特徴検出部１００１で検出された結果に対して、２次特徴検出モデル設定部１０１２で設定された検出モデルを用いて、後述する２次の特徴を検出する処理を行い、その検出結果を３次特徴検出部１００３及び３次特徴検出モデル選択部１０１３に渡す。２次特徴検出モデル設定部１０１２は、２次特徴検出部１００２で２次の特徴を検出する際に使用される２つの１次特徴間の位置関係を示すモデルを設定する。このモデルは、所定の形状に関する属性を有し、最初から複数用意しておいても良いし、２次特徴検出モデル設定部１０１２において、回転角度をパラメータとして、１つのモデルに回転アフィン変換等を行って作成しても良い。以下、３次、４次のモデルについても同様である。尚、本実施形態では、２次特徴は２つの１次特徴間の位置関係を示すモデルとして説明しているが、３つ以上であっても同様に適用することが可能である。

３次特徴検出部１００３は、３次特徴検出モデル選択部１０１３で選択した検出モデルを用いて、２次特徴検出部１００２で検出された結果に対して後述する３次の特徴を検出する処理を行い、その検出結果を４次特徴検出部１００４及び４次特徴検出モデル選択部１０１４に渡す。また、３次特徴検出モデル保持部１０２３は、３次特徴検出モデル選択部１０１３で選択される、回転角度の異なる（すなわち、傾きが異なる）複数のモデルを保持する。そして、３次特徴検出モデル選択部１０１３は、３次特徴検出部１００３で特徴を検出する際に使用されるそれぞれの２次特徴間の位置関係を示すモデルを、３次特徴検出モデル保持部１０２３に保持されたモデルの中から２次特徴検出部１００２からの検出結果に基づいて選択し設定する。

４次特徴検出部１００４は、４次特徴検出モデル選択部１０１４で選択した検出モデルを用いて、３次特徴検出部１００３で検出された結果に対して後述する４次の特徴を検出する処理を行い、その検出結果を出力する。また、４次特徴検出モデル保持部１０２４は、４次特徴検出モデル選択部１０１４で選択される、回転角度の異なる（すなわち、傾きが異なる）複数のモデルを保持する。そして、４次特徴検出モデル選択部１０１４は、４次特徴検出部１００４で特徴を検出する際に使用されるそれぞれの３次特徴間の位置関係を示すモデルを、４次特徴検出モデル保持部１０２４に保持されたモデルの中から３次特徴検出部１００３からの検出結果に基づいて選択し設定する。

すなわち、本実施形態に係るパターン検出装置は、信号入力部１０００から入力された画像中の所定のパターンをパターンモデルである各次元ごとの検出モデルを用いて検出する。本パターン検出装置は、所定の下位モデル（例えば、２次元特徴検出モデル）を組み合わせて構成される上位モデル（例えば、３次元特徴検出モデル）を保持する各次元の検出モデル保持部（例えば、３次元特徴検出モデル保持部１０２３）と、上記下位モデルと画像中のパターンの構成部分とを比較して、当該下位モデルの構成部分に対する特徴量を算出する各次元の特徴検出部（例えば、２次元特徴検出部１００２）と、上記検出モデル保持部に保持された上位モデルと画像中のパターンとを比較して、パターンのパターンモデル（例えば、３次元特徴検出モデル）を設定する設定部であって、上位モデルを構成するそれぞれの下位モデルが所定の特徴量を有している場合、当該上位モデルをパターンのパターンモデルとして設定する設定部（例えば、３次元特徴検出部１００３）を備えることを特徴とする。

また、上記パターン検出装置は、信号入力部１０００から入力された画像中からパターンの部分特徴（例えば、１次特徴）を検出する検出部（例えば、１次特徴検出部１００１）と、所定の部分モデルを用いて上記下位モデル（例えば、２次元特徴検出モデル）を設定する下位モデル設定部（例えば、２次元検出モデル設定部１０１２）とをさらに備え、例えば、２次元特徴検出部１００２等の特徴検出部は、上記下位モデルに含まれる部分モデルと画像中のパターンの部分特徴とを比較して、特徴量を算出することを特徴とする。

さらに、上記パターン検出装置は、複数個の上位モデル（例えば、３次元検出モデル）を組み合わせて構成されるさらに上位のモデル（例えば、４次元検出モデル）を保持する手段（例えば、４次元特徴検出モデル保持部１０２４）と、当該モデルと画像中の所定のパターンとを比較して、複数個の上位モデルがすべて所定の特徴量を有している場合、そのモデルを所定のパターンのパターンモデルとして設定する手段（例えば、４次元特徴検出部１００４）とをさらに備え、階層的な構成を有するモデルを用いて画像中の所定のパターンのパターンモデルを設定することを特徴とする。

次に、上述したような図１に示す構成のパターン検出装置の動作例について説明する。図２は、第１の実施形態に係るパターン検出装置の動作例を説明するためのフローチャートである。ここで、説明を分かり易くするために、上述した本実施形態の構成において、画像を入力信号とし、その画像中の顔領域を検出する動作を例として、本実施形態に係るパターン検出装置の動作について説明する。

まず、画像入力部１０００において画像信号が入力される（ステップＳ２０１）。次いで、１次特徴検出部１００１において、入力された画像の各位置で１次特徴（例えば、方向性を有するエッジ成分）が検出される（ステップＳ２０２）。図３は、第１の実施形態のパターン検出装置における各特徴検出部（１次〜４次特徴検出部１００１〜４）において検出される特徴の例を示す図である。すなわち、図３に示すように、１次特徴検出部１００１では、縦特徴１−１、横特徴１−２、右上がり斜め特徴１−３、右下がり斜め特徴１−４といった、異なる４方向成分の特徴を検出する。尚、本実施形態では、１次特徴を上記４方向の特徴として説明しているがこれは一例であって、その他の特徴を１次特徴として、２次特徴以降の検出に用いるようにしてもよい。

１次特徴検出部１００１における１次特徴の検出では、例えば、４つの特徴を検出するために使用されるフィルタの設定が、図１の１次特徴検出フィルタ設定部１０１１で行われる。このような特徴検出は、各方向のエッジ成分を強調するようなフィルタ、例えば、ＳｏｂｅｌフィルタやＧａｂｏｒ関数等を用いて強調処理を行うことによって行うことができる。また、ラプラシアンフィルタ等で方向性によらないエッジ強調処理を行って、その後各方向の特徴をさらに強調するような処理を行ってもよい。尚、これらの特徴検出用フィルタは、最初から複数用意しておいても良いし、方向をパラメータとして、１次特徴検出フィルタ設定部１０１１で作成するようにしても良い。

１次特徴検出部１００１における検出結果は、各特徴毎に、入力画像と同等の大きさを有する検出結果画像という形として出力される。すなわち、図３に示すような１次特徴の場合、縦横斜めの４種類のそれぞれの方向の特徴成分を有する４つの検出結果画像が得られる。そして、それぞれの特徴に関する検出結果画像の各位置の値である１次特徴量（例えば、当該画像中に含まれる一定値以上の画素値の個数等）を見て、入力画像のその位置に各特徴が存在するか否かを判断することができる。

また、図３には、１次特徴の他に、後述する２次特徴検出部１００２、３次特徴検出部１００３及び４次特徴検出部１００４で検出される２次特徴、３次特徴及び４次特徴の例の一部も示されている。

図３に示すように、２次特徴としては、右空きＶ字特徴２−１−１〜２−１−４、左空きＶ字特徴２−２−１〜２−２−４、水平平行線特徴２−３−１〜２−３−４、垂直平行線特徴２−４−１〜２−４−４がある。尚、これらの特徴の名称は、画像に対して顔が正立している時の状態で決めたもので、顔の回転により特徴の名称と実際の画像中における各特徴の向きが異なることが生じる。すなわち、本実施形態では、例えば、２次特徴検出モデル設定部１０１１に代表される下位モデルの設定部が、同一形状を有する下位モデルのそれぞれについて複数の角度で回転させた形態の複数の下位モデルを設定することを特徴とする。

また、３次特徴の例として、眼特徴３−１−１〜３−１−４、口特徴３−２−１〜３−２−４が示されている。さらに、４次特徴の例の一部として、顔特徴４−１−１〜４−１−４、逆顔特徴４−２−１が示されている。尚、逆顔特徴として、図示はされていないが、顔特徴４−１−２〜４−１−４に対応するものも４次特徴として存在する。

上述したように、本実施形態ではステップＳ２０２の処理により、１次特徴検出部１００２において、各位置において４種類の１次特徴が検出された後、２次特徴検出部１００２において２次特徴の検出が行われる（ステップＳ２０３）。以下では一例として、図３に示す右空きＶ字特徴２−１−１を検出する場合について説明するが、その他の場合についても同様に実現することができる。

図４は、２次特徴のうち右空きＶ字特徴２−１−１に関するモデルを説明するための図である。この右空きＶ字特徴２−１−１には、図４（Ａ）に示すように、１次特徴である右上がり斜め特徴１−３が上部に存在し、また右下がり斜め特徴１−４が下部に存在している。すなわち、右空きＶ字特徴２−１−１を検出するためには、ステップＳ２０２で求めた１次特徴の検出結果を利用し、上部に右上がり斜め特徴１−３があり、下部に右下がり斜め特徴１−４がある位置を求めれば良く、その位置に右空きＶ字特徴２−１−１が存在することとなる。このように、複数種類の１次特徴を組み合わせて、２次特徴を検出することができる。

しかしながら、画像中の顔のサイズは固定サイズではなく、また個人により眼や口の大きさが異なり、さらに眼や口は開閉動作をするので、Ｖ字の大きさも変化しまた回転もする。また、エッジ等の抽出処理による誤差等も発生する可能性がある。そこで、本実施形態では、図４（Ｂ）に示すような、右空きＶ字検出モデル４００を考える。そして、この右空きＶ字検出モデル４００中の４０３を右上がり斜め領域、４０４を右下がり斜め領域とする。そして、右上がり斜め領域４０３にステップＳ２０２で求めた１次特徴のうち、右上がり斜め１−３のみ存在し、また右下がり斜め領域４０４に右下がり斜め１−４のみが存在するような場合、その位置に右空きＶ次特徴２−１−１が存在するものとする。このようにすることで、ある程度の大きさや形状の変化、回転に対して、ロバストな処理をすることが可能となる。

本実施形態では、図４（Ｂ）の右上がり斜め領域４０３内に右上がり斜め特徴を有する画像の中心が存在する場合、及び、右下がり斜め領域４０４内に右下がり斜め特徴を有する画像の中心が存在する場合に、右空きＶ字特徴２−１−１が存在するものとする。尚、上述したように画像の中心が存在する場合だけに限らず、例えば、それぞれの領域内に１次特徴を有する画像全体が含まれる場合に存在するようにしてもよい。また、右上がり斜め領域４０３及び右下がり斜め領域４０４は、図４（Ｂ）に示すような矩形形状に限られず、任意の形状であってもよい。これは、他の領域についても同様である。

ここで、顔全体が大きく回転したような画像の場合（すなわち、画像の水平方向或いは垂直方向等の特定の方向から大きく傾いたような場合）は、上述したようなモデルであっても抽出することは困難である。そこで、本実施形態では、複数の回転角度用の検出モデルを用いて２次特徴の検出を行うようにする。図５は、２次特徴を検出するための回転した検出モデルの一例を示す図である。例えば、図５（Ａ）に示す４種類の２次特徴の検出モデルを反時計方向に４５度ずつ回転させて４グループに分けた２次特徴検出モデルを考える。

図５（Ａ）は、正面正立顔を０度としたときに、ほぼ０度及び１８０度回転した顔の２次特徴を検出するための検出モデル群、図５（Ｂ）は同様にほぼ９０度及び−９０度回転した顔の２次特徴を検出するための検出モデル群、図５（Ｃ）は同様にほぼ４５度及び−１３５度回転した顔の２次特徴を検出するための検出モデル群、図５（Ｄ）は同様にほぼ−４５度及び１３５度回転した顔の２次特徴を検出するための検出モデル群を示す。尚、各検出モデルにおいて、１−１〜１−４はそれぞれ図３に示される同一符号の１次特徴を有する画像が含まれる領域を示している。

また、図５に示した各検出モデル群は、それぞれ右空きＶ字特徴２−１−１、左空きＶ字特徴２−２−１、水平平行線特徴２−３−１、及び、垂直平行線特徴２−４−１という４種類の２次特徴を検出するための４種類の検出モデルから成立し、各検出モデルの番号がその検出モデルで検出する図３に示した２次特徴を示す。尚、これらの右空きＶ字特徴、左空きＶ字特徴、水平平行線特徴、及び垂直平行線特徴という特徴の名称は、顔が正立している時を基準にして付けられたものである。そのため、例えば、図５（Ａ）では２−３−１に示すように水平平行線特徴は水平方向に伸びた２本の線を示しており、その名称と一致する。しかし、図５（Ｂ）のように、９０度回転した場合は水平平行線特徴という名前が示す特徴は、２−３−２に示すように、実際には垂直方向に伸びた２本の線を示すことになってしまう。このように、回転により、特徴の名称と実際の特徴が示す形状が対応しなくなることがある。

尚、図５中の符号１−１〜１−４で示されるそれぞれの矩形領域は、上記ステップＳ２０２で検出された１次特徴が存在する領域であり、それぞれの領域に付された符号及びその特徴は、図３に示した１次特徴の符号のものと同一である。すなわち、これらの矩形領域に内に当該番号が示す１次特徴のみが存在する時に、その検出モデルで検出する特徴が存在するということになる。従って、これらの全ての検出モデルを用いて２次特徴を検出することにより、回転した（傾いた）顔であってもその２次特徴を検出することができる。

２次特徴検出モデルの設定は、図１の２次特徴検出モデル設定部１０１２で行われる。それ以外でも、最初からこのような複数の検出モデルを用意しておいても良いし、例えば、図５中に示したほぼ０度又は１８０度回転した顔の２次特徴を検出するための検出モデルを用意し、これらのモデルに対して回転変換及び検出する１次特徴の種類を変更する処理を行うことにより、２次特徴検出フィルタ設定部１０１１で作成しても良い。尚、図５に示した２次特徴の検出モデルには同じものが存在しているが、これは説明を分かりやすくするために全て書いてあるためであり、実際の処理では同じ検出モデルを複数用意する必要はない。

２次特徴検出部１００２は、上述したように、設定された検出モデルを用いて２次特徴の検出を行う。すなわち、２次特徴の検出は、２次特徴を構成する各１次特徴の値を用いて行い、検出モデルで設定される各領域の１次特徴の値がしきい値以上であるかどうかで判断することができる。例えば、０度用の右空きＶ字検出モデル２−１−１を用いて、所定の位置の２次特徴として右空きＶ字特徴を検出する場合について説明する。この場合は、図４（Ｂ）に示すように、右上がり斜め領域４０３中に存在する右上がり斜め特徴１−３の値の最大値がしきい値より高く、かつ右下がり斜め領域４０４中に存在する右下がり斜め特徴１−４の値の最大値がしきい値より高い場合に、当該位置に右空きＶ字特徴が存在するものとする。そして、その位置の値（２次特徴量）として、例えば、それらの最大値の平均とする。逆に、各領域における１次特徴の値（１次特徴量）が、どちらか一方でもしきい値より低い場合は、この位置には２次特徴が存在しないとして、その位置の値を０とする。

このようにして求められた検出結果は、各２次特徴毎に、入力画像と同等の大きさの検出結果画像という形で出力される。すなわち、各特徴の検出結果画像の各位置の値を見て、入力画像のその位置に各回転方向の各２次特徴が存在するか否かを判断することができる。

従って、このステップＳ２０３の処理では、２次特徴検出モデルの各領域で再度１次特徴を検出するのではない、ということが特徴である。すなわち、２次特徴の一つである右空きＶ字特徴２−１−１の検出では、右上がり斜め領域と右下がり斜め領域内で、再度、それぞれ１次特徴である右上がり斜め特徴１−３と右下がり斜め特徴１−４を検出するのではない。これらの１次特徴の検出はステップＳ２０２の処理で既に終了しており、ステップＳ２０３では、それらの領域に各１次特徴が存在するか否かをしきい値を使用して判断しているだけである。そして、複数の１次特徴がそれぞれの領域に存在すると判断された場合に、その位置に２次特徴が存在するとする処理を行っている。この特徴の検出の処理方法は、３次特徴及び４次特徴に関しても同様である。これによって、処理コストの減少を図ることが可能となる。

２次特徴が検出された後、３次特徴検出モデル選択部１０１３では、３次特徴検出モデルを選択する（ステップＳ２０４）。ここで一例として、ステップＳ２０３で検出された２次特徴から、眼特徴（図３中の符号３−１−１〜３−１−４）を検出することを考える。図７は、３次特徴検出部１００３において眼特徴を検出するための眼検出モデルの一例を示す図である。

図７（Ａ）は顔が正立の時を０度としたときに、回転がほぼ０度又は１８０度の眼特徴（図３に示した符号３−１−１）を検出するための眼検出モデル７００を示す。回転がほぼ０度又は１８０度の眼特徴は、回転が０度の２次特徴量である右空きＶ字特徴２−１−１が左側に、左空きＶ字特徴２−２−１が右側に、そして水平平行線特徴２−３−１及び垂直平行線特徴２−４−１がそれらＶ字特徴の中間に存在するといった組み合わせが満たされることによって検出することができる。従って、眼検出モデル７００も右空きＶ字特徴２−１−１を検出する右空きＶ字領域７０１が左側に、左空きＶ字特徴２−２−１を検出する左空きＶ字領域７０２が右側に、そして水平平行線特徴２−３−１を検出する水平平行領域７０３及び垂直平行線特徴２−４−１を検出する垂直平行領域７０４がそれらＶ字領域の中間に存在して成り立っている。

また同様に、図７（Ｂ）は回転がほぼ９０度又は−９０度の眼特徴（図３中の符号３−１−２）を検出するための眼検出モデル７１０を示す。回転がほぼ９０度又は−９０度の眼特徴は、回転が９０度の２次特徴量である右空きＶ字特徴２−１−２が上側に、左空きＶ字特徴２−２−２が下側に、そして水平・垂直平行線特徴２−３〜４−２がそれらＶ字特徴の中間に存在する組み合わせが満たされることによって検出ができる。従って、眼検出モデル７１０も右空きＶ字特徴２−１−２を検出する右空きＶ字領域７１１が上側に、左空きＶ字特徴２−２−２を検出する左空きＶ字領域７１２が下側に、そして水平・垂直平行線特徴２−３〜４−２を検出する水平平行領域７１３及び垂直平行領域７１４がそれらＶ字領域の中間に存在して成り立っている。尚、４５度及び１３５度も同様にして実現することができる。

上述したように、ステップＳ２０４では、ステップＳ２０３で検出された２次特徴の検出結果に基づいて、３次特徴検出部１００３において３次特徴検出に使用される３次特徴検出モデルが、３次特徴検出モデル選択部１０１３で選択される。ここで、対象の回転を含んだ３次特徴（すなわち、傾斜した３次特徴）を検出するために、ステップＳ２０３で検出した全ての回転角度の２次特徴２−１−１〜２−４−４を使用して、図３に示した全ての回転角度での３次特徴３−１−１〜３−２−４を検出することも可能である。しかし、その方法では計算コストの増大が著しい。そこで、本実施形態では、ステップＳ２０３で検出した２次特徴の検出結果に基づいて、検出に使用される３次特徴モデルを３次特徴検出モデル選択部１０１３で選択し、検出する３次特徴の数（すなわち、対象とする回転角度）を制限することで、計算コストの増大を抑制する。すなわち、本実施形態に係るパターン検出装置には、２次特徴検出部１００２によって算出された下位モデルの特徴量に基づいて、３次特徴検出部１００３においてパターンと比較される上位モデル（３次元特徴検出モデル）の数を制限する３次元特徴検出モデル選択部１０１３をさらに備えることを特徴とする。また、４次特徴検出モデル選択部１０１４についても同様である。

この選択は、２次特徴の検出結果画像の各位置毎に、その位置での２次特徴量である検出結果値（相関値）に基づいて行われる。図６は、３次特徴検出モデル選択部１０１３におけるモデル選択の方法を示す模式図である。図６（Ａ）のグラフは、ある位置での２次特徴の検出結果値（相関値）を示し、横軸は正立時を０度としたときの回転角度を、縦軸は相関値を示す。ここで、相関値の値域は０（相関無し）〜１（相関最大）とする。また、横軸は、０度を挟み、−４５度、４５度、及び９０度回転した２次特徴の結果を示している。これは図５に示したように２次特徴を検出する時の回転角度を４５度毎としたためである。

角度ｎでの相関値をＳｎとし、しきい値をＳｔｈとすると、選択方法の例としては、まず、Ｓｎ＞Ｓｔｈを満たす角度の中から最大のＳｎをＳｐとし、その時の角度θｐを選択する。そして、２番目に大きいＳｎをＳｑとし、Ｓｑ＞ｋ・Ｓｐを満たす時に、その時の角度θｑも選択する。さらに、３番目に大きいＳｎをＳｒとし、Ｓｒ＞ｋ'・Ｓｑを満たす時にその時の角度θｒも選択する。ここで、ｋ、ｋ'は係数であり、例えば、ｋ'＝ｋ＝０．７とする。

例えば、ｋ＝ｋ'＝０．７の場合、相関値がしきい値を越えており、かつ、最大相関値Ｓｐの場合の角度θｐを選択する。次に、さらに最大相関値Ｓｐの７割（０．７Ｓｐ）よりも２番目の相関値の方が高ければ、すなわちＳｑ＞０．７Ｓｐであれば、２番目の相関値の角度も選択する。尚、このときの相関値はＳｑである。そして、さらに２番目の相関値の７割（０．７Ｓｑ）よりも３番目の相関値の方が高ければ、すなわち、Ｓｒ＞０．７Ｓｑであれば、３番目の相関値の角度も選択する。このときの相関値はＳｒである。

本実施形態では、上述したような選択方法で、検出する３次特徴の回転角を選択する。従って、しきい値を越えた角度が無い場合には選択する角度は０個となり、またしきい値を越えた角度が存在する場合には、各角度の相関値の分布により選択する回転角度とその数が決定される。そして、その選択された回転角に対応した検出モデルを選択する。

尚、他の選択方法として、上述したような相関値に基づいて（すなわち、所定量以上の特徴量を有するもの）３次特徴を検出する検出モデルの回転角度を選択するのではなく、相関値が上位の角度のモデルを所定数個選択するような選択方法を用いても良い。この場合の選択処理は、図１に示すパターン検出装置の３次特徴検出モデル選択部１０１３で行われ、選択される検出モデルは、３次特徴検出モデル保持部１０２３に保持されている。

例えば、眼特徴を検出する検出モデルが４５度毎の回転角度で用意されていたとする。そして、図６（Ａ）が、ある位置での２次特徴量の相関値を、各回転角度ごとに示しているとする。ここで、例えば、回転角度が−４５度、０度、４５度、及び９０度の相関値をそれぞれ０．５、０．９、０．８、及び０．３とし、しきい値Ｓｔｈ＝０．４、係数ｋ＝ｋ'＝０．７とする。このとき、回転角度−４５度、０度、４５度で相関値はしきい値Ｓｔｈを越えており、０度の相関値が最大であって、Ｓｐ＝０．９、θｐ＝０度となる。また、４５度の相関値が０度の相関値の７割以上を示しているので、Ｓｑ＝０．８、θｑ＝４５度となる。よって、この時は、眼特徴を検出するための検出モデルは、０度の検出モデル及び４５度の検出モデルが選択されることとなる。

次に、３次特徴検出部１００３では、ステップＳ２０４で設定された３次特徴検出モデルを用いて３次特徴が検出される（ステップＳ２０５）。各３次特徴の検出方法は、ステップＳ２０３と同様であり、ステップＳ２０４で選択された検出モデルの検出領域内にステップＳ２０３で検出された各２次特徴が存在するか否かを調べることで３次特徴の検出を行う。例えば、ステップＳ２０４の処理に関して上述した３次特徴の一つである眼特徴の検出例では、その位置において、０度及び４５度の２種類の検出モデルを用いて、３次特徴である眼特徴を検出する。

以下では、３次特徴検出処理の一例として、０度の検出モデルを用いた時の眼特徴の検出方法について説明する。０度の眼特徴の検出モデルは、前述した図７（Ａ）に示す検出モデル７００で示した通りである。すなわち、検出モデル７００中の右空きＶ字領域７０１において、（１）２次特徴の０度の右空きＶ字特徴２−１−１の検出結果の相関値がしきい値を越えており、また他の特徴の相関値が相対的に低く、かつ、（２）左空きＶ字領域７０２において２次特徴の０度の左空きＶ字特徴２−２−１の検出結果の相関値がしきい値を越えており、また他の特徴の相関値が相対的に低く、かつ、（３）水平平行領域７０３において２次特徴の０度の水平平行線特徴２−３−１の検出結果の相関値がしきい値を越えており、また他の特徴の相関値が相対的に低く、かつ、（４）垂直平行領域７０４において２次特徴の０度の垂直平行線特徴２−４−１の検出結果の相関値がしきい値を越えており、また他の特徴の相関値が相対的に低い場合の上記４つの条件を同時に満たすとき、その場所に３次特徴である眼特徴が存在するものとする。

また、４５度の眼特徴の検出についても、同様に、４５度用の２次検出モデルを用いて検出された２次特徴の４５度の検出結果を用いて検出する。そして、これらの検出結果は、４次特徴検出部１００４及び４次特徴検出モデル選択部１０１４に対して出力される。尚、これらの処理は、図１のパターン検出装置における３次特徴検出部１００３で行われる。

次いで、４次特徴検出モデル選択部１０１３は、４次特徴検出モデルを選択する（ステップＳ２０６）。ここでの選択方法は、ステップＳ２０４と同様に、相関値に基づいて選択するものである。例えば、ステップＳ２０５の処理の場合の説明で示した０度及び４５度を選択した３次特徴の検出結果が図６（Ｂ）に示すようになったとし、回転角度０度及び４５度の相関値をそれぞれ、０．９及び０．６とし、しきい値をＳｔｈ＝０．４とする。この場合、回転角度が０度及び４５度ともにしきい値Ｓｔｈを越えており、０度の相関値が最大でＳｐ＝０．９、θｐ＝０度となる。

ここで、４５度の相関値が０度の相関値の７割以下であるので、よってこの時は、顔特徴を検出するための検出モデルは、０度の顔（図３中の符号４−１−１）及び１８０度の逆顔検出（図３中の符号４−２−１）を検出するための検出モデルが選択される。また、別の方法として、相関値が上位の角度を既定数選択する選択方法もある。これらの処理は、図１のパターン検出装置における４次特徴検出モデル選択部１０１４で行われ、検出モデルは４次特徴検出モデル保持部１０２４に保持されている。

４次特徴検出部１００４は、ステップＳ２０６で選択された４次特徴検出モデルを用いて４次特徴を検出する（ステップＳ２０７）。この場合の検出方法は、ステップＳ２０３、Ｓ２０５と同様である。また、４次特徴である顔特徴を検出した場合、顔の回転角度とともに、両眼と口の位置から検出した顔のサイズも検出できる。これらの処理は、図１のパターン検出装置の４次特徴検出部１００４で行われる。

上述したように、本実施形態に係るパターン検出装置によれば、各特徴を検出するための検出モデルを回転角度に応じて用意し、前段の特徴の検出結果に応じて、次段の特徴の検出に使用する検出モデルを選択している。そのため、各特徴の回転によらず計算コストの増大を抑制しながら検出精度が向上し、最終的に検出するパターンの検出精度が向上するという効果が得られる。また、眼や口は開閉動作や表情により形状が変化し、例えば、右空きＶ字特徴の回転角度と顔の回転角度が異なることもある。そのため、２次特徴の相関値が最大となった回転角度だけで３次特徴、４次特徴の検出を行うのではなく、本実施形態で説明したように、相関値に基づいて次段に使用する回転角度の数を決定することにより、回転の検出精度も向上させることができるという効果が得られる。

次に、本実施形態の構成に係るパターン検出（認識）装置又はそれと同様の処理を行う処理手段を撮像装置に搭載させることにより、特定被写体へのフォーカシング、特定被写体の色補正、或いは露出制御を行う場合について説明する。図８は、第１の実施形態に係るパターン検出装置を用いた撮像装置の構成を示すブロック図である。

図８に示す撮像装置５１０１は、撮影レンズ及びズーム撮影用駆動制御機構を含む結像光学系５１０２、ＣＣＤ又はＣＭＯＳイメージセンサ５１０３、撮像パラメータ計測部５１０４、映像信号処理回路５１０５、記憶部５１０６、撮像動作の制御、撮像条件の制御等の制御用信号を発生する制御信号発生部５１０７、ＥＶＦ（Electronic View Finder）等のファインダーを兼ねた表示ディスプレイ５１０８、ストロボ発光部５１０９、記録媒体５１１０等を具備し、更に上述したパターン検出装置を被写体検出装置５１１１として備える。

上記構成を備える撮像装置５１０１では、例えば、撮影された映像中から人物の顔画像の検出（すなわち、存在位置、サイズ、回転角度の検出）を被写体検出（認識）装置５１１１により行う。そして、検出された人物の位置情報等が被写体検出(認識)装置５１１１から制御信号発生部５１０７に入力されると、制御信号発生部５１０７は、撮像パラメータ計測部５１０４からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御等を最適に行う制御信号を発生する。

このように、上述したパターン検出（認識）装置を、上記のように撮像装置に用いることで、人物検出とそれに基づく撮影の最適制御を行うことができるようになる。尚、上記説明では、上述したパターン検出装置を被写体検出（認識）装置５１１１として備える撮像装置５１０１について説明したが、当然、上述したパターン検出装置のアルゴリズムをプログラムとして実装し、ＣＰＵで動作させる処理手段として、撮像装置５１０１に搭載することも可能である。

また、上記の説明では、検出すべきパターンの特徴を４階層に分け、１次特徴から４次特徴を順に検出し、最後に検出すべきパターンを確認したが、４階層に限定されることはなく、例えば３階層以下であっても、５階層以上であっても良い。これは、後述する第２、第３の実施形態でも同様である。

＜第２の実施形態＞
図９は、本発明の第２の実施形態に係るパターン検出装置の構成を示すブロック図である。図９において、２０００は信号入力部、２００１は１次特徴検出部、２０１１は１次特徴検出フィルタ設定部、２００２は２次特徴検出部、２０１２は２次特徴検出モデル設定部、２００３は３次特徴検出部、２０１３は３次特徴検出モデル選択部、２０２３は３次特徴検出モデル保持部、２０３３は2次特徴計測部、２００４は４次特徴検出部、２０１４は４次特徴検出モデル選択部、２０２４は４次特徴検出モデル保持部、そして２０３４は３次特徴計測部を示す。

図９に示すパターン検出装置のそれぞれの構成要素について、上述した第１の実施形態と異なる部分は、基本的に、２次特徴計測部２０３３、３次特徴計測部２０３４、及び３次特徴検出モデル選択部２０１３、及び４次特徴検出モデル選択部２０１４である。

上記第１の実施形態では、パターン検出装置全体の動作として、３次特徴検出モデル選択部１０１３は、２次特徴検出部１００２の出力値に基づいて３次特徴を検出する際に使用する検出モデルを選択していた。また、４次特徴検出モデル選択部１０１４は、３次特徴検出部１００３の出力値に基づいて４次特徴を検出する際に使用する検出モデルを選択していた。これに対し、本実施形態では、３次特徴検出モデル選択部２０１３は、２次特徴計測部２０３３の出力に基づいて３次特徴を検出する際に使用する検出モデルを選択するという点で異なる。同様に、４次特徴検出モデル選択部２０１４は、３次特徴計測部２０３４の出力値に基づいて４次特徴を検出する検出モデルを選択するという点で異なる。

次に、２次特徴計測部２０３３及び３次特徴計測部２０３４の動作について説明する。２次特徴計測部２０３３は、２次特徴検出部２００２の出力に基づいて２次特徴の回転角度を計測する。また、３次特徴計測部２０３４は、３次特徴検出部２００３の出力に基づいて３次特徴の回転角度を計測する。これらの回転角度θａは、例えば、式（１）に示すようにして求められる。

ここで、θｉは各角度、Ｓｉはその角度の相関値を示す。この計算に使用する角度及び相関値は、２次特徴検出部２００２（又は、３次特徴検出部２００３）で計算した全ての角度を用いても良いし、第１の実施形態で説明したように、しきい値以上の角度を使用したり、またさらに最大の相関値の何割か以上ということで選択してもよい。また、同時に、２次特徴計測部２０３３（又は、３次特徴計測部２０３４）は、その角度を計算するために使用した角度の中で相関値の上位２つの角度も出力する。尚、上記式（１）は、２次特徴又は３次特徴の回転角度θａを離散的な角度で検出した結果から推定するものであり、本実施形態では、特にこの計算式だけに限られることはなく、他の計算式を使用しても良い。
次に、３次特徴検出モデル選択部２０１３、及び４次特徴検出モデル選択部２０１４の動作について説明する。この２つの特徴検出モデル選択部の動作は、基本的に同じであるので、以下では３次特徴検出モデル選択部２０１３だけを例にとって説明する。

図１０は、第２の実施形態に係るパターン検出装置の３次特徴検出モデル選択部２０１３の動作を説明するためのフローチャートである。まず、２次特徴計測部２０３３で求められた回転角度θａ及びその回転角度θａの計算に使用された前段の特徴を検出した回転角度の中で、検出結果の相関値の上位２つの回転角度θｂ、θｃ（θｂ＜θｃとする。）が３次特徴検出モデル選択部２０１３に入力される（ステップＳ１００１）。尚、２次特徴計測部２０３３での計算の際に、選択された角度が１つだった場合は、１つの角度θｂ（＝θａ）のみ入力される。

次に、３次特徴検出モデル選択部２０１３では、θｃの入力が無いかどうかが判別される（ステップＳ１００２）。その結果、θｃの入力が無く、θｂのみが入力されていれる場合（Ｙｅｓ）、回転角度θｂの３次特徴を検出するための検出モデルが選択される（ステップＳ１００３）。一方、２つの角度θｂ、θｃが入力されている場合（Ｎｏ）、３次特徴検出モデル選択部２０１３では、θａ、θｂ、θｃに関する判別処理が行われる（ステップＳ１００４）。この判別処理は、例えば、以下に示す式（２）に基づいて行われる。

ここで、θａ、θｂ、θｃが上記式（２）を満たす場合（Ｙｅｓ）、回転角度θｂと（θｂ＋θｃ）／２の２つの角度で３次特徴を検出するための検出モデルが選択される（ステップＳ１００５）。一方、θａが式（２）を満たす範囲にない場合（Ｎｏ）、θａ、θｂ、θｃに関する次の判別が行われる（ステップＳ１００５）。この判別は、例えば、以下に示す式（３）に基づいて行われる。

θａ、θｂ、θｃが上記式（３）を満たす場合（Ｙｅｓ）、３次特徴検出モデル選択部２０１３は、回転角度θｃと（θｂ＋θｃ）／２の２つの角度で３次特徴を検出するための検出モデルを選択する（ステップＳ１００７）。一方、θａが式（３）で示す範囲にない場合（Ｎｏ）、３次特徴検出モデル選択部２０１３は、回転角度θｂとθｃの２つの角度を用いて３次特徴を検出するための検出モデルを選択する（ステップＳ１００８）。
上述したように、３次特徴検出モデル選択部２０１３では、２次特徴計測部２０３３で求められた回転角度及び計算に使用された２つの角度に基づいて、３次特徴検出部２００３で３次特徴を検出するための検出モデルを選択する。この動作は、４次特徴検出モデル選択部２０１４も同様である。

ここで、図１１は、第２の実施形態における検出モデルの選択方法を説明するための模式図である。上述した図１０に示すフローチャートの動作を図１１の模式図を用いて説明すると、２次特徴計測部２０３３で求められた回転角度が、図１１におけるＡの範囲の時、Ｂの範囲の時、Ｃの範囲の時で、３次特徴を検出するための検出モデルを変更するものである。例えば、図１１に示すように、２次特徴計測手段２０３３で求めた回転角度がＢの範囲であれば、３次特徴検出部２００３で使用する検出モデルは、０度及び４５度回転した検出モデルとなる。一方、回転角度がＡの範囲であれば、検出モデルは、０度及び２２．５度回転した検出モデルとなる。またＣの範囲であれば、２２．５度及び４５度回転した検出モデルとなる。

このように、計算に使用した２つの回転角度のいずれか一方に近ければ、２つの検出予定の角度間隔を狭めることで、次段の特徴検出において回転角度の計算の精度が向上する。尚、そのためには、３次特徴を検出するための検出モデルは、２次特徴を検出するための検出モデルよりも細かい角度間隔で用意する必要がある。そして、４次特徴を検出するための検出モデルは、さらに詳細な角度で用意する必要がある。

例えば、２次特徴を４５度間隔で検出したときには、３次特徴は２２.５度ずつ用意する必要がある。このようにすることで、被検出被写体にもよるが、図１２に示したように、２次特徴、３次特徴、４次特徴と検出を進めていくことで、検出モデルの回転角度間隔が狭くなり、検出精度が向上することもある。すなわち、図１２は、第２の実施形態での各階層における検出モデルの回転角度の変化を示す図である。

尚、選択された検出モデルの回転角度に対応した前段の検出結果が無い場合は、その回転角度を挟む２つの回転角度での検出結果が使用される。例えば、３次特徴検出部２００３で使用する検出モデルとして２２．５度回転した検出モデルが選択されると、その検出モデルを用いた検出には、２次特徴検出部２００２で検出した０度及び４５度回転した２次特徴が使用される。

尚、上記式（２）及び式（３）は、２次特徴計測部２０３３又は３次特徴計測部２０３４で計測した２次特徴又は３次特徴の回転角度θａと、その前段の特徴を検出した時の回転角度θｉとの比較を行い、計測した回転角度θａが検出に使用した回転角度におけるある回転角度θｉに近いか否かを判別するために用いられるものである。従って、上記計算式だけに限定されるものではなく、別の判別方法を使用しても良い。

上述したように、本実施形態に係るパターン検出装置によれば、各特徴を検出するための検出モデルを、高次特徴になるほど角度幅を小さくして用意し、前段の特徴の検出結果に応じて、次段の特徴の検出に使用する検出モデルを選択させる。従って、各特徴の回転によらず計算コストの増大を抑制しながら検出精度が向上し、高次特徴になるほど検出精度が向上するという効果が得られる。

また、第２の実施形態の構成に係るパターン検出（認識）装置、及びパターン検出方法が動作する処理手段を撮像装置に搭載させることによって、第１の実施形態と同様に、上記効果を有する撮像装置を実現することが可能である。

＜第３の実施形態＞
図１３は、本発明の第３の実施形態に係るパターン検出装置の構成を示すブロック図である。図１３において、３０００は信号入力部、３００１は１次特徴検出部、３０１１は１次特徴検出フィルタ設定部、３００２は２次特徴検出部、３０１２は２次特徴検出モデル設定部、３００３は３次特徴検出部、３０１３は３次特徴検出モデル設定部、３０２３は３次特徴基準モデル保持部、３０３３は２次特徴計測部、３００４は４次特徴検出部、３０１４は４次特徴検出モデル設定部、３０２４は４次特徴基準モデル保持部、及び３０３４は３次特徴計測部を示す。

図１３に示すパターン検出装置中のそれぞれの構成要素において、第２の実施形態と異なる部分は、基本的に３次特徴検出モデル設定部３０１３、４次特徴検出モデル設定部３０１４、３次特徴基準モデル保持部３０２３、及び４次特徴基準モデル保持部３０２４である。

上記第２の実施形態では、３次特徴検出モデル選択部２０１３においては、２次特徴計測部２０３３の出力に基づいて３次特徴を検出する際に使用する検出モデルを３次特徴検出モデル保持部２０２３から選択していた。同様に、４次特徴検出モデル選択部２０１４においては、３次特徴計測部２０３４の出力に基づいて４次特徴を検出する際に使用する検出モデルを４次特徴検出モデル保持部２０２４から選択していた。

これに対し本実施形態に係るパターン検出装置では、３次特徴検出モデル設定部３０１３おいて、２次特徴計測部３０３３の出力に基づいて３次特徴を検出する際に使用する検出モデルを３次特徴基準モデル保持部３０２３に保持されている基準モデルから設定するという点で異なる。また、４次特徴検出モデル設定部３０１４において３次特徴計測部３０３４の出力に基づいて４次特徴を検出する際に使用する検出モデルを４次特徴基準モデル保持部３０２４に保持されている基準モデルから設定するという点で異なる。

次に、３次特徴検出モデル設定部３０１３及び４次特徴検出モデル設定部３０１４の動作について説明する。尚、この２つの特徴検出モデル設定部の動作は基本的に同じであるので、以下では、３次特徴検出モデル設定部３０１３について例にして説明する。３次特徴検出モデル設定部３０１３は、まず、２次特徴計測部２０３３の出力をパラメータとし、以下に示す式（４）を使用してθｄを計算する。

ここで、θｉは各角度、Ｓｉはその角度の相関値であり、θａは第２の実施形態で説明した式（１）による回転角度である。次に、式（５）を使用してθｅを求める。

上記式（５）において、ｎは階層を表し、例えば、ここでは３次特徴の検出モデルを設定するのでｎ＝３となる。また、αは初期角度であり、例えば４５度とする。さらに、Ｐは任意の正の実数であり、例えば２とする。次に、このθｄとθｅの値の大きい方を選択し、それをθｆとする。そして、θａ±θｆで求められる２つの回転角度の検出モデルを設定する。図１４は、第３の実施形態における２つの回転角度θｆ、θａ±θｆの概要を示す図である。
検出モデルの設定は、３次特徴基準モデル保持部３０２３に保持されている基準モデルを求めた回転角度θａ±θｆで回転変換させて作成する。この動作は４次特徴検出モデル選択部２０１４も同様である。尚、上記式（４）は、３次特徴又は４次特徴の検出モデルの回転角度間隔を、回転角度θａ及び離散的な角度で検出した結果から計算するものである。しかし、式（４）の計算角度が非常に小さくなると検出精度が劣化するため、本実施形態では上記式（５）を計算し、角度の設定時には、式（４）又は式（５）の計算角度の大きい方を選択するようにしている。尚、本実施形態における検出モデルの設定は、上記方式だけに限定されるものではなく、例えば、３次特徴又は４次特徴の検出モデルの適切な回転角度間隔が設定できれば、他の方式を用いても良い。

３次特徴検出部３００３（又は、４次特徴検出部３００４）では、上記２つの回転角度で回転された検出モデルを用いて、３次特徴（又は、４次特徴）の検出を行う。尚、選択された検出モデルの回転角度に対応した前段の検出結果が無い場合は、第２の実施形態と同様に、その回転角度を挟む２つの回転角度での検出結果が使用される、又は一番近い回転角度での検出結果が使用される。

上述したように本実施形態によれば、各特徴を検出するための検出モデルを前段の特徴の検出結果に基づいて、次段の特徴の検出に使用する検出モデルをその検出結果の角度を必ず挟むように設定した。また、その際に検出結果値に基づいて挟む角度も調整した。従って、各特徴の回転によらず計算コストの増大を抑制しながら検出精度が向上するという効果が得られる。

尚、本実施形態で示したパターン検出（認識）装置及びパターン検出方法が動作する処理手段を、第１、第２の実施形態と同様に、撮像装置に搭載させることも可能である。

＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

これによって、上記第１〜第３の実施形態で説明したパターン検出装置における処理によって得られる効果と同様の効果、すなわち、ある階層の１つの対象特徴を検出する際に複数の検出モデルが設定され、それらの複数の検出結果から次段の検出特徴を検出するための検出モデルを適応的に設定することによる、各特徴の検出精度の向上や、入力画像中に回転した認識対象が存在する場合に全ての認識対象を処理コストの増加を抑えて検出することができるという効果、また、回転角度も精度良く検出できるという効果が得られる。さらに、撮像装置に実装することで、上記実施形態と同様に、画像中の顔といった特定領域の色補正やフォーカスの設定、追尾が容易になるという効果が得られる。

本発明の第１の実施形態に係るパターン検出装置の構成を示す図である。 第１の実施形態に係るパターン検出装置の動作例を説明するためのフローチャートである。 第１の実施形態のパターン検出装置における各特徴検出部において検出される特徴の例を示す図である。 ２次特徴のうち右空きＶ字特徴２−１−１に関するモデルを説明するための図である。 ２次特徴を検出するための回転した検出モデルの一例を示す図である。 ３次特徴検出モデル選択部１０１３におけるモデル選択の方法を示す模式図である。 ３次特徴検出部１００３において眼特徴を検出するための眼検出モデルの一例を示す図である。 第１の実施形態に係るパターン検出装置を用いた撮像装置の構成を示すブロック図である。 本発明の第２の実施形態に係るパターン検出装置の構成を示すブロック図である。 第２の実施形態に係るパターン検出装置の３次特徴検出モデル選択部２０１３の動作を説明するためのフローチャートである。 第２の実施形態における検出モデルの選択方法を説明するための模式図である。 第２の実施形態での各階層における検出モデルの回転角度の変化を示す図である。 本発明の第３の実施形態に係るパターン検出装置の構成を示すブロック図である。 第３の実施形態における２つの回転角度θｆ、θａ±θｆの概要を示す図である。

符号の説明

１０００、２０００、３０００ 信号入力部
１００１、２００１、３００１ １次特徴検出部
１００２、２００２、３００２ ２次特徴検出部
１００３、２００３、３００３ ３次特徴検出部
１００４、２００４、３００４ ４次特徴検出部
１０１１、２０１１、３０１１ １次特徴検出フィルタ設定部
１０１２、２０１２、３０１２ ２次特徴検出モデル設定部
１０１３、２０１３、３０１３ ３次特徴検出モデル選択部
１０１４、２０１４、３０１４ ４次特徴検出モデル選択部
１０２３、２０２３、３０２３ ３次特徴検出モデル保持部
１０２４、２０２４、３０２４ ４次特徴検出モデル保持部
２０３３、３０３３ ２次特徴計測部
２０３４、３０３４ ３次特徴計測部

Claims (7)

1. 画像中の予め定められたパターンをパターンのモデルを用いて検出するパターン検出装置であって、
   複数の階層の特徴に対して上位モデルが複数の下位モデルを組み合わせて構成される階層毎のモデルを各階層につき複数保持する保持手段と、
   前記保持手段に保持されたモデルから各階層の特徴検出に使用するモデルとして、同一のモデルをそれぞれ複数の角度で回転させた形態の複数のモデルを設定する設定手段と、
   前記設定手段により設定された各階層のモデルと前記画像の構成部分とを比較して各特徴に係る特徴量を算出し、前記複数の階層について所定値以上の特徴量に対応する特徴を下位層から順番に検出する検出手段と、
   前記検出手段によって特徴量を算出された複数の下位モデルのうち、予め定められた特徴量以上を有する下位モデル、または予め定められた順位以上の特徴量を有する下位モデルの回転角度を選択する角度選択手段とを備え、
   前記設定手段は、少なくとも１つの階層について、当該階層の特徴検出に使用するモデルとして、前記保持手段に保持された上位モデルであって前記角度選択手段によって選択された回転角度に対応する上位モデルを設定することを特徴とするパターン検出装置。
2. 前記モデル設定手段において複数の角度で回転させた形態の複数のモデルが設定される際の該複数の角度の回転間隔を変更する変更手段をさらに備え、
   該変更手段が、より上位の階層におけるモデルの回転間隔をより狭くすることを特徴とする請求項１に記載のパターン検出装置。
3. 前記保持手段が基準モデルを保持し、
   前記設定手段が、前記保持手段に保持された前記基準モデルを前記検出手段によって算出された前記特徴量を用いて変換することによって前記パターンのパターンモデルを設定することを特徴とする請求項１に記載のパターン検出装置。
4. 画像中の予め定められたパターンをパターンのモデルを用いて検出するパターン検出方法であって、
   複数の階層の特徴に対して上位モデルが複数の下位モデルを組み合わせて構成される階層毎のモデルを各階層につき複数保持するモデル保持部から各階層の特徴検出に使用するモデルとして、同一のモデルをそれぞれ複数の角度で回転させた形態の複数のモデルを設定する設定工程と、
   前記設定工程で設定された各階層のモデルと前記画像の構成部分とを比較して各特徴に係る特徴量を算出し、前記複数の階層について所定値以上の特徴量に対応する特徴を下位層から順番に検出する検出工程と、
   前記検出工程によって算出された下位モデルの特徴量のうち、予め定められた量以上または該特徴量の順で予め定められた順位以上の特徴量を有する下位モデルの回転角度を選択する角度選択工程とを有し、
   前記設定工程は、少なくとも１つの階層について、当該階層の特徴検出に使用するモデルとして、前記保持手段に保持された上位モデルであって前記角度選択工程によって選択された回転角度に対応する上位モデルを設定することを特徴とするパターン検出方法。
5. コンピュータに、画像中の予め定められたパターンをパターンのモデルを用いて検出させるためのプログラムであって、
   複数の階層の特徴に対して上位モデルが複数の下位モデルを組み合わせて構成される階層毎のモデルを各階層につき複数のモデルから各階層の特徴検出に使用するモデルとして、同一のモデルをそれぞれ複数の角度で回転させた形態の複数のモデルを設定する設定手順と、
   前記設定手順で設定された各階層のモデルと前記画像の構成部分とを比較して各特徴に係る特徴量を算出し、前記複数の階層について所定値以上の特徴量に対応する特徴を下位層から順番に検出する検出手順と、
   前記検出手段によって特徴量を算出された複数の下位モデルのうち、予め定められた特徴量以上を有する下位モデル、または予め定められた順位以上の特徴量を有する下位モデルの回転角度を選択する角度選択手段と、
   をコンピュータに実行させ、
   前記設定手順は、少なくとも１つの階層について、当該階層の特徴検出に使用するモデルとして、前記保持手段に保持された上位モデルであって前記角度選択工程によって選択された回転角度に対応する上位モデルを設定することを特徴とするプログラム。
6. 請求項５に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
7. 請求項１から３までのいずれか１項に記載のパターン検出装置と、撮像装置とを備え、該撮像装置によって撮像された画像から予め定められたパターンを前記パターン検出装置を用いて検出することを特徴とするパターン検出機能付き撮像システム。

Images