WO2004055735A1

WO2004055735A1 - パターン識別方法、その装置及びそのプログラム

Info

Publication number: WO2004055735A1
Application number: PCT/JP2003/016095
Authority: WO
Inventors: Yusuke Mitarai; Masakazu Matsugu; Katsuhiko Mori; Mie Ishii
Original assignee: Canon Kabushiki Kaisha
Priority date: 2002-12-16
Filing date: 2003-12-16
Publication date: 2004-07-01
Also published as: US20060204053A1; AU2003289116A1; US7577297B2

Abstract

階層的に特徴を抽出することにより、入力されたデータのパターン識別を行うパターン識別装置において、１次的特徴を抽出し、抽出された少なくとも１つの特徴抽出結果の分布を分析し、この分析結果に基づいて２次的特徴抽出を行う。これにより、入力パターンの変動に対して頑健な識別が可能であり、誤識別が生じる可能性を低減させながら、より処理コストの少ないパターン識別を行う。

Description

パターン識別方法、その装置及びそのプログラム技術分野

本発明は、入力信号のパターンを識別する方法、その装置及びそのプログラムに関する。背景技術

従来より、画像認識や音声認識の分野においては、特定の認識対象に特化した認識処理アルゴリズムをコンピュータソフトウェア、或いは専用並列画像処理プロセッサを用いたハードウェアにより実行することで、認識対象及び背景を含む画像から、認識対象を検出するものが知られている。特に、顔を特定の認識対象として検出するものとして、特開平 9一 2 5 1 5 3 4号公報には、入力画像に対して、標準顔と呼ばれるテンプレートを使って、顔領域を探索し、その後、眼、鼻孔、口といった特徴点候補に対して、部分テンプレートを使用して、人物を認証するものが開示されている。また、特許 2 7 6 7 8 1 4号公報には、顔画像から眼と口の候補群を求め、それらを組み合わせた顔候補群と予め記憶されている顔構造とを照合し、眼と口に対応する領域を発見するものが開示されている。さらに、特開平 9一 4 4 6 7 6号公報には、眼、鼻、口の候補をそれぞれ複数求め、予め用意されている特徴点間の位置関係から、顔を検出するものが開示されている。

また、特許 2 9 7 3 6 7 6号公報には、顔の各部品の形状データと入力画像との一致度を調べる際に、形状データを変更させるものであり、また各顔部品の探索領域は、以前に求めた部品の位置関係を基に決定するものが開示されている。また、特開平 1 1一 2 8 3 0 3 6号公報には、複数の判定要素取得領域を設定した領域モデルを入力画像中で移動させ、各点で、それら判定要素取得領域内で、判定要素の有無を判定し、顔を認識するものが開示されている。

一方、回転した被写体を検出するものとして、特開平 1 1一 1 5 9 7 3 号公報や、 " Rotat ion Invari ant Neural Network-Based Face Detect ion (H. Rowley, T. Kanade, CVPR98, p38-44) に開示されているものがある。前者は、被写体の回転に対応するために、被写体に対してその中心座標から曲座標変換を行い、回転をシフトに変換して回転を検出するものである。また、後者は、顔の検出の前段として、顔の回転角度を検出する二ュ一ラルネットワーク（Neural Network, 以下「NN」と記述する。）を用意し、その NNの出力角度に応じて入力画像を回転させ、回転後の入力画像を顔検出を行う NNに入力するものである。

しかしながら、上述した従来技術を用いるパターン検出には、以下に示すような問題があった。

すなわち、特開平 9一 2 5 1 5 3 4号公報に記載の技術では、始めに標準顔を使用して、顔全体でマッチングして顔領域を検出するため、複数の顔のサイズや顔の向きの変化に弱いという問題がある。従って、様々なサィズゃ顔の向きに対応させるためには、それぞれの場合に適合した多数の標準顔を用意し、それぞれを用いて検出する必要がある。しかし、これを実現するためには、多数のテンプレートと比較しなければならないために処理コストがかかる。

また、特許 2 7 6 7 8 1 4号公報に記載の技術は、入力画像中の顔候補群と予め記憶した顔構造とを照合するが、対象となる入力画像中の顔の数は 1つ又は少数に限定されている。また、顔の大きさについても、ある程度大きなサイズであって、入力画像中のほとんどの領域が顔領域であって背景の少ない画像が入力画像として想定されている。そのような入力画像であれば、全ての眼及び口の候補群から、顔候補を作成した場合であっても顔候補の数は限定される。しかしながら、一般的なカメラやビデオで撮影した画像の場合は、顔のサイズが小さくなつたり、背景の面積が大きくなるような場合があり、その際には、背景中で眼候補や口候補を多数誤検出してしまうことになる。従って、特許 2 7 6 7 8 1 4号公報に記載の方法によって全ての眼と口候補群から顔候補を作成すると、その数は膨大になり、顔構造との照合に要する処理コストが増大する。

また、特開平 9一 4 4 6 7 6号公報及び特許 2 9 7 3 6 7 6号公報に記載の発明では、背景に眼、鼻、口の候補が多数存在した場合には、それらの位置関係を照合するための処理コストが膨大になる。

さらに、特許 2 9 7 3 6 7 6号公報に記載の技術は、虹彩（眼）、口、鼻等の形状データを保持しておき、まず 2つの虹彩（眼）を求め、続いて口、鼻等を求める際に、その虹彩（眼）の位置に基づいて、口、鼻等の顔部品の探索領域を限定している。すなわち、このアルゴリズムは、虹彩（眼)、口、鼻といった顔を構成する顔部品を並列的に検出するのではなく、虹彩 (眼）を最初に見つけ、その結果を使用して、順に口、鼻という顔部品を検出している。この方法においては、画像中に顔が一つしかなく、さらに虹彩（眼）が正確に求まった場合を想定している。そのため、検出された虹彩（眼）が誤検出であった場合には、口や鼻等の他の特徴の探索領域を正しく設定することができない。

また、特開平 1 1— 2 8 3 0 3 6号公報に記載の発明では、サイズの異なった顔や回転した顔に対応させるためには、サイズの異なった領域モデルゃ回転した領域モデルを用意する必要がある。しかし、実際にそのサイズの顔やその回転角度の顔が存在しない場合、無駄な計算を多数行うこととなる。さらに、特開平 1 1— 1 5 9 7 3号公報に記載の技術における極座標変換では、中心座標の精度が重要である。しかし、画像中のどこに被写体が存在するのかを検出する段階では、中心座標の検出は困難である。さらにまた、 " Rotat ion Invari ant Neural Network-Based Face Detect ion" に記載の発明では、回転角度を検出する前段の NNの精度に後半の顔検出 NNの精度が依存し、もし前段の NNの出力が誤っていると顔検出が困難になる。また、画像中に複数の被写体が存在し、それぞれの回転角度が異なる場合、複数の回転角度で入力画像を回転変換させ、その変換後の画像を顔検出 N Nに入力して画像全体で顔検出を行うため、回転のない画像を検出する際と比較すると処理コス卜が大幅に増大する。

また、階層的に特徴を抽出していくことにより、入力信号のパターンを識別する技術がある。この方法では、高次の特徴を抽出する際に、その抽出する特徴を構成する、その特徴より低次の特徴を用いて、特徴抽出を行うため、識別パターンの変動に対して頑健な識別が可能であるという特徴がある。しかし、パターンの変動に対する頑健性を高めようとすると、抽出すべき特徴の種類を増やす必要があり、結果として処理コストが増大してしまう。そこで抽出すべき特徴の種類を増やさないようにすると、誤識別を生じる可能性が高くなる、などの問題があった。

上記の問題に対して、特公平 7— 1 1 8 1 9号公報には、各クラスのパターンの特徴べクトルを、べクトル成分の分散が大きい順に並べたものを辞書パターンとし、入力パターンから特徴ベクトルを生成し、上位 N次元まで辞書パターンとのマッチングを行い、その結果に基づいて、下位次元とのマッチングを行うことで、処理コストを低減させるという、パターン認識方法が開示されている。

また、特開平 1 0— 1 1 5 4 3号公報には、入力データから特徴べクトルを抽出し、各クラス夕の標準ベクトルとの一致度によって、クラス夕に分類し、入力パターンが分類されたクラスタ内の、カテゴリ標準ベクトルと特徴ベクトルの一致度によって、カテゴリ分類することで、マッチングの処理コストを低減させるという、パターン認識用辞書作成装置及びパ夕ーン認識装置も提案されている。発明の開示

本発明は、上記の実状を鑑みてなされたものであり、入力パターンの変動に対して頑健な識別が可能であり、誤識別が生じる可能性を低減させながら、より処理コストの少ないパターン認識を行うことを目的とする。本発明の一観点によれば、入力データの特徴を階層的に抽出して当該入力データのパターンを識別するパターン識別方法に、第 1の階層の特徴を抽出する第 1の特徴抽出工程と、前記第 1の特徴抽出工程における特徴抽出結果に基づいて前記第 1の階層より上位の第 2の階層の特徴を抽出する方式を決定する決定工程と、前記決定工程で決定された方式に基づいて前記第 2の階層の特徴を抽出する第 2の特徴抽出工程とを備える。

本発明の他の観点によれば、入力デ一夕の特徴を階層的に抽出して当該入力デ一夕のパターンを識別するパターン識別装置に、第 1の階層の特徴を抽出する第 1の特徴抽出手段と、前記第 1の特徴抽出工程における特徴抽出結果に基づいて前記第 1の階層より上位の第 2の階層の特徴を抽出する方式を決定する決定手段と、前記決定手段により決定された方式に基づいて前記第 2の階層の特徴を抽出する第 2の特徴抽出手段とを備える。本発明の他の観点によれば、コンピュータに、入力データの特徴を階層的に抽出させて当該入力データのパターンを識別させるパターン識別プログラムに、第 1の階層の特徴を抽出する第 1の特徴抽出工程と、前記第 1 の特徴抽出工程における特徴抽出結果に基づいて前記第 1の階層より上位の第 2の階層の特徴を抽出する方式を決定する決定工程と、前記決定工程で決定された方式に基づいて前記第 2の階層の特徴を抽出する第 2の特徴抽出工程とを備える。

本願発明の他の特徴や利点は、添付図面を参照してなされる以下の説明により明らかになるであろう。図面の簡単な説明

本願に組み込まれ、本願の説明の一部を構成する添付図面は、本願の実施例を例示するもので、明細書と共に本願発明の原理を説明するものである。

図 1 A、 I Bは、第 1の実施形態にかかるパターン識別装置の基本構成を示す図である。

図 2は、第 1の実施形態におけるパターン識別装置の機能構成を示す図である。

図 3は、第 1の実施形態における処理の流れを示すフローチヤ一卜である。

図 4は、第 1の実施形態における、識別カテゴリとしての顔存在画像を示す図である。

図 5は、 4種類の初期特徴抽出結果を示す図である。

図 6は、抽出すべき各局所特徴の存在する位置における、各初期特徴抽出結果を示す図である。

図 7は、基本的な Convolut ional Neural Networkの構成を示す図である。図 8は、第 2の実施形態におけるパターン識別装置の機能構成を示す図である。

図 9 A、 9 Bは、第 2の実施形態における処理の流れを示すフローチヤ一卜である。

図 1 0は、第 3の実施形態におけるパターン識別装置の機能構成を示す図である。

図 1 1 A、 1 1 Bは、第 3の実施形態における処理の流れを示すフローチヤ一卜である。

図 1 2は、本発明を実現するコンピュータのブロック構成を示す図である。 ― 2003/016095

図 1 3は、第 4の実施形態に係るパターン検出装置の構成を示す図である。

図 1 4は、第 1の実施形態のパターン検出装置における各特徴検出部において検出される特徴の例を示す図である。

図 1 5は、第 4の実施形態に係るパター検出装置の動作例を説明するためのフローチヤ一トである。

図 1 6 A、 1 6 Bは、 2次特徴のうち右空き V字特徴 2— 1— 1に関するモデルを説明するための図である。

図 1 7 A〜1 7 Dは、 2次特徴を検出するための回転した検出モデルの一例を示す図である。

図 1 8 A、 1 8 Bは、 3次特徴検出モデル選択部 1 3 1 3におけるモデル選択の方法を示す模式図である。

図 1 9 A、 1 9 Bは、 3次特徴検出部 1 3 0 3において眼特徴を検出するための眼検出モデルの一例を示す図である。

図 2 0は、パターン検出装置を用いた撮像装置の構成を示すブロック図である。

図 2 1は、本発明の第 2の実施形態に係るパターン検出装置の構成を示すブロック図である。

図 2 2は、第 5の実施形態に係る 3次特徴検出モデル選択部の動作を説明するためのフローチャートである。

図 2 3は、第 5の実施形態における検出モデルの選択方法を説明するための模式図である。

図 2 4は、第 5の実施形態での各階層における検出モデルの回転角度の変化を示す図である。

図 2 5は、第 6の実施形態に係るパターン検出装置の構成を示すブロック図である。 5

図 2 6は、第 6の実施形態における 2つの回転角度 θ ί、 0 a ± 0 ίの概要を示す図である。

図 2 7は、第 7の実施の形態におけるパターン検出装置の構成を示すブロック図である。

図 2 8は、パターン検出装置の動作を説明するためのフローチャートである。

図 2 9 A〜2 9 Dは、顔領域検出の対象画像の一例を説明するための図である。

図 3 0は、顔領域検出の際に用いる'パラメ一夕の一例を説明するための図である。

図 3 1 Α、 3 I Bは、限領域検出の対象画像において、位置による眼特徴の検出モデルの違いを説明するための図である。

図 3 2 A、 3 2 Bは、顔領域検出の確認パターンの設定を説明するための図である。

図 3 3 A、 3 3 Bは、パターン検出装置の機能による文字列の検出を説明するための図である。

図 3 4は、第 8の実施の形態における情報処理装置の構成を示すプロック図である。

図 3 5は、 Convolut ionalニューラルネットワーク構造を説明するための図である。

図 3 6は、情報処理装置の動作を説明するためのフロ一チヤ一トである。図 3 7は、情報処理装置において、特徴検出重みデータを模式的に説明するための図である。

図 3 8は、第 9の実施の形態における情報処理装置の構成を示すブロック図である。

図 3 9は、サイズ変更機能を模式的に説明するための図である。発明を実施するための最良の形態

以下、本発明の実施の形態について図面を用いて説明する。

<第 1の実施形態 >

本発明の第 1の実施形態として、入力データとして 2次元画像データを用い、その画像デ一夕が、ある特定のカテゴリであるかどうかを識別する方法を示す。

本実施形態では、識別カテゴリとして、図 4の iから ivに示すような、顔の中心付近が入力画像のほぼ中央に存在する顔存在画像と、図 4の Vに示すような、それ以外の画像である顔不在画像を想定し、入力された画像デ一夕に対し、上記 2つのカテゴリのいずれであるかを識別する方法について説明する。

本実施形態では、顔の存在する画像かどうかという識別を行うが、これに限るものではなく、その他の画像パターンや、入力デ一夕が音声データであるような場合にも適用可能である。また、本実施形態では、説明を簡単にするため、顔という単一のカテゴリについて、そのカテゴリ内であるか否かの識別のみを行うが、このような単一のカテゴリではなく、複数のカテゴリについて識別する場合にも適用可能である。

図 1 Aにパターン識別装置の基本構成を示す。以下、このパターン識別装置の概要について図 1 Aを用いて説明する。

図 1 Aのデータ入力部 1 1は、パターン識別を行う入力データを入力する。階層的特徴抽出処理部 1 2は、入力されたデ一夕から階層的に特徵抽出を行い、入力データのパターン識別を行う処理部であり、 1次的特徴抽出処理を行う 1次的特徴抽出処理部 1 2 1と、 2次的特徴抽出処理を行う 2次的特徴抽出処理部 1 2 2とを備えている。抽出結果分布分析部 1 3は、 1次的特徴抽出処理部 1 2 1において抽出された特徴抽出結果の分布を分析する。 - P T/JP2003/016095

10

このパターン識別装置では、まずデータ入力部 1 1において識別処理を行うデ一夕を入力する。この入力したデータに対し、階層的特徴抽出処理部 1 2において階層的特徴抽出処理を行う。この階層的抽出処理では、まず 1次的特徴抽出処理部 1 2 1において、入力データから階層的に複数の 1次的特徴の抽出を行う。次に、 1次的特徴抽出処理部 1 2 1において抽出された少なくとも 1種類の 1次的特徴の分布を、抽出結果分布分析部 1 3において分析し、その分析結果に基づいて、 2次的特徴抽出処理部 1 2 2において 2次的特徴抽出を行う。

次に、図 1 Bにパターン識別装置の別の基本構成を示す。以下、このパ夕一ン識別装置の概要について図 1 Bを用いて説明する。

図 1 Bにおいて、デ一タ入力部 1 1は、パターン識別を行う入力データを入力する。階層的特徴抽出処理部 1 2は、入力されたデータから階層的に特徴抽出を行い、入力デ一夕のパターン識別を行う処理部であり、 1次的特徴抽出処理を行う 1次的特徴抽出処理部 1 2 1と、 2次的特徴抽出処理を行う 2次的特徴抽出処理部 1 2 2とを備えている。抽出結果分布分析部 1 3は、 1次的特徴抽出処理部 1 2 1において抽出された特徴抽出結果の分布を分析する。カテゴリ別尤度算出部 1 4は、抽出結果分布分析部 1 3により分析された分析結果から、 2次的特徴の各カテゴリの尤度を算出する処理部である。 '

このパ夕一ン識別装置では、まずデータ入力部 1 1において識別処理を行うデ一夕を入力する。この入力したデータに対し、階層的特徴抽出処理部 1 2において階層的特徴抽出処理を行う。この階層的抽出処理では、まず 1次的特徴抽出処理部 1 2 1において、入力データから階層的に複数の 1次的特徴の抽出を行う。次に、 1次的特徴抽出処理部 1 2 1において抽出された少なくとも 1種類の 1次的特徴の抽出結果分布を、抽出結果分布分析部 1 3において分析する。抽出結果分布分析部 1 3により分析された結果に基づき、カテゴリ別尤度算出部において、 2次的特徴抽出処理部 1 2 2において抽出する 2次的特徴の各カテゴリの尤度の算出を行い、 2次的特徴抽出処理部 1 2 2において、算出した尤度が所定値以上であった力テゴリに属する 2次的特徴抽出を行う。

図 2は、本実施形態におけるパ夕一ン識別装置の機能構成を示したものである。また、図 3は、本実施形態における処理の流れを示したものである。以下、本実施形態における処理について、図 2及び 3を用いて説明する。図 2の中の実線の矢印は、実際の信号データの流れを示しており、破線の矢印は、実際の信号データではなく動作指示等の命令信号の流れを示したものである。後述する図 8及び図 1 0でも同様の表現とする。

まず、ステップ S 3 0 1で、画像入力部 2 1より、識別対象となる画像データを入力する。入力する画像データとして、本実施形態ではグレースケール画像を用いるが、 R G Bカラー画像などでもかまわない。

ステップ S 3 0 2では、初期特徴抽出部 2 2により、入力された画像中の特定方向のエッジなどの初期的な特徴を、少なくとも 1つ抽出する。ステツプ S 3 0 3では、局所特徴抽出部 2 3により、初期特徴抽出部 2 2で抽出された初期特徴を用いて、特定の長さを持つエッジ線分、エッジ線分の端点等の局所的な特徴を抽出する。ステップ S 3 0 4では、部分特徴抽出部 2 4において、局所特徴抽出部 2 3で抽出された局所特徴を用いて、目、口等の部分特徴を抽出する。

ステップ S 3 0 5では、部分特徴分布判定部 2 5により、部分特徴抽出部 2 4で抽出された部分特徴の画像内での分布を分析する。ステップ S 3 0 6では、部分特徴分布判定部 2 5は、その分析結果に応じて、顔抽出部 2 6に対し起動命令を発し、起動する顔抽出モジュールのフラグをオンする。

顔抽出部 2 6は、部分特徴抽出部 2 4において抽出された部分特徴を用いて顔の抽出を行う処理部である。顔抽出部 2 6は、特定のサイズや向きに対応した顔抽出を行う複数のモジュールから構成されており、起動命令を受けたモジュールのみ、顔の抽出を行う。ステップ S 3 0 7〜3 0 9では、順次、フラグがオンになっている顔抽出モジュールによる顔抽出処理を行い、顔抽出を実行した顔抽出モジュールのフラグをオフにする。フラグがオンになっている顔抽出モジュールがなくなると、顔抽出処理を終了する。

ステップ S 3 1 0〜3 1 1では、検出結果出力部 2 7において、顔抽出モジュールによる顔の抽出結果を統合して、入力画像が顔存在画像であるのか、顔不在画像であるのかの判別を行い、その結果を出力する。

以下で、画像入力部 2 1において入力された画像データに対する、初期特徴抽出部 2 2以降の各処理部での処理について詳細に説明する。

初期特徴抽出部 2 2において、入力画像から抽出する初期的な特徴は、上位階層である局所特徴抽出部 2 3において抽出される特徴の構成要素となる特徴であることが望ましい。本実施形態では、単純に縦方向、横方向、右上がり斜め方向、左上がり斜め方向の微分フィルタを用いて、入力画像の各位置でフィルタリング処理を行い、垂直エッジ、水平エッジ、斜め方向エツジ等の 4種の特徴を抽出する。本実施形態では上記のようなフィル夕リング処理を行うが、予め用意した初期的な特徴を示すテンプレート画像などを用い、入力画像の各位置でテンプレートマッチングを行うことにより、特徴を抽出するなどしても構わない。

ここで抽出された特徴は、その特徴の種類、画像中での位置、抽出すベき特徴の尤度や特徴検出レベルといつた情報として保持する。本実施形態では、この段階で入力画像から、図 5の aから dに示すような特徴が抽出される。図 5の aは垂直エッジの抽出結果を示し、 bは水平エッジ、 cは右斜めェッジ、 dは左斜めェッジの抽出結果である。

図 5では、それぞれ画像の各位置でフィル夕リングを行つた結果が 0である位置をグレーとし、正の値を高輝度値、負の値を低輝度値としてあらわすようにしてある。つまり、図 5の画像内において、輝度値が高く示さ T/JP2003/016095

13

れている位置が各フィルタの種類に対応した方向のエッジが抽出された位置である。逆に輝度値が低く示されている位置は、各フィルタの種類に対応した方向と逆方向のエッジが存在する位置である。また輝度の中間値であるグレーの部分はエッジが抽出されていない位置を示している。

ここでは特徴の抽出に微分フィルタを用いているので、フィルタリングを行った値の絶対値はエッジの急峻さを示す。つまり入力画像において、フィル夕の種類に応じた方向に輝度値の変化が大きい位置ほど、高輝度値、もしくは低輝度値として示してある。

局所特徴抽出部 2 3において、初期特徴抽出部 2 2において抽出された初期特徴抽出結果を用いて抽出する局所的な特徴は、初期特徴抽出部 2 2 において抽出する特徴と同様に、上位階層である部分特徴抽出部 2 4において抽出される特徴の構成要素となる特徴であることが望ましい。

本実施形態では、部分特徴抽出部 2 4において目と口を抽出するため、局所特徴抽出部 2 3では、図 6の（1一 a ) から（1一 d ) 内の円で囲われた部分に示すような、目尻、目頭や口の両端等に相当するエッジ線分の端点として、左側端点と右側端点の 2種類の特徴と、目の上部や口唇上部に相当する特徴、目の下部や口唇下部に相当する特徴の、 2種類の特定の長さを持ったエッジ線分を抽出する。

図 6の（1一 a ) から（1一 d ) は、左側端点（図は左目の目頭）が存在する位置における初期特徴抽出結果である。（1一 a ) は垂直エッジの抽出,結果であり、（1一 b) は水平エッジ、（l— c ) は右斜めエッジ、 ( 1 - d ) は左斜めエッジの抽出結果となっている。その他（2— a ) から（2— d ) は、右端点（図は口の端点）が存在する位置における各初期特徴（順に、垂直、水平、右斜め、左斜めエッジ）抽出結果であり、（3 - a ) から（3— d ) は目の上部や口唇上部（図は右目の上部）、（4— a ) から（4一 d ) は、目の下部や口唇下部（図は口唇下部）が存在する 5

14

位置における各初期特徴（順に、垂直、水平、右斜め、左斜めエッジ）抽出結果である。

本実施形態では、各々の特徴の抽出方法として、初期特徴抽出部 2 2で抽出された特徴ごとに特有の 2次元マスクを予め用意しておき、図 5の a から dに示したような、それぞれの特徴抽出結果の各位置において、予め用意した抽出予定の特徴に固有の 2次元マスクにより、フィルタリング処理（コンポリューション演算）を行う。そして、それぞれの初期特徴抽出結果に対してフィルタリングを行った結果を統合することで、それぞれの特徴の抽出を行う。

予め用意しておく固有の 2次元マスクは、抽出すべき特徴、ここでは例えば左端点のような特徴において、その特徴が存在する位置における、それぞれの初期特徴抽出結果の分布、すなわち（1一 a ) から（1— d ) に対応している。つまり、初期特徴抽出結果の分布が、抽出すべき特徴が存在する位置周辺に特有の初期特徴抽出結果の分布である場合にフィルタリングを行つた値が高いものになるような 2次元マスクを設定する。

2次元マスクの設定の方法としては、単純に複数のテストパターンを与え、与えたテストパターンが抽出すべき特徴である場合は、フィルタリングを行った結果が高い値になるように 2次元マスクの各要素の値を調整し、逆に抽出すべき特徴でない場合は、フィルタリングを行った値が低い値になるように、 2次元マスクの各要素の値を調整することにより設定すればよい。またその他の方法として、事前に有する知識を利用して、 2次元マスクの各要素の値を設定するようにしても構わない。

上記のような処理を行い抽出した特徴は、初期特徴抽出部 2 2と同様に、抽出した特徴の種類、画像中での位置、抽出すべき特徴の尤度や特徴検出レベルといった情報として保持する。本実施形態では、 2種類の端点と、 2種類の特定の長さを持つエッジ線分の 4種類の特徴ごとに、抽出された特徴の位置と、各特徴に固有の 2次元マスクを用いて、それぞれの初期特徴に対してフィル夕リングを行い、その結果を統合したものを、その特徴の尤度として記録して保持しておく。

部分特徴抽出部 2 4での処理も、局所特徴抽出部 2 3での処理と同様であり、下位の層の特徴抽出結果である局所特徴抽出部 2 3において抽出した複数の局所特徴の抽出結果から、部分特徴の抽出を行う。抽出する部分特徴は、これも同様に、上位階層である顔抽出部 2 6において抽出される特徴、つまり実施形態中では顔の構成要素となる特徴であることが望ましい。

本実施形態では、前述のように、部分特徴抽出部 2 4では、目、口等の抽出を行う。抽出の処理としては、局所特徴抽出部 2 3での抽出方法と同様であり、特定の 2次元マスクを用いたフィルタリングにより特徴を抽出すればよい。または単純に、局所特徴抽出部 2 3における特徴抽出結果の内、ある一定値以上の尤度を持った特徴が、特定の空間配置関係にあるかどうかによって、目、口の抽出を行うなどしてもよい。

上記のようにして抽出した目、口に関しても、抽出した特徴の種類、画像中での位置、抽出すべき特徴の尤度や特徴量といった情報として保持する。本実施形態では、目、口ごとに、それぞれに固有の 2次元マスクによる局所特徴抽出結果に対するフィルタリングの結果を、画像中の各位置で統合したものを、各部分特徴の各位置での尤度として保持する。

部分特徴分布判定部 2 5では、部分特徴抽出部 2 4において抽出された特徴の抽出結果に対して、簡単な分布の分析を行い、その結果に基づいて、顔抽出部 2 6に対し、所定の顔抽出モジュール（複数可）に対して起動命令を与える。

ここで行う分析は、初期特徴抽出部 2 2から部分特徴抽出部 2 4までで行ったような処理とは異なり、起動命令を与える所定の顔抽出モジュールごとの必要条件を抽出する。例えば本実施形態では、入力画像の所定の座標付近において、部分特徴抽出部 2 4の処理により目が抽出されているか、 P T/JP2003/016095

16

もしくは抽出されていないかを判別するという分析や、部分特徴抽出部 2 4の処理による口抽出結果の重心位置が所定の座標付近にあるかどうかを判別する分析、或いは部分特徴抽出部 2 4の処理結果である目の尤度の累計が所定値以上であるかどうかを判別する分析などを行う。

ここで行う上記のような分析は、顔抽出部 2 6を構成している、複数の変動に対応した顔抽出を行うモジュールに対応した条件などを、予め設定しておけばよい。ここで変動とは、例えば回転変換やサイズ変換等のァフィン変換や、顔が横を向いたときなどに対応する変換等によって得られる特徴の変化のことである。 '例えば、時計回り面内回転変動に対応した顔抽出モジュールであれば、口抽出結果の重心位置が、画像中央より左寄り下部の位置に存在し、さらに目抽出結果の重心位置が、口抽出結果の重心位置の、右上部の位置に存在するというような条件を、時計回り面内回転変動に対応した顔抽出モジュールの必要条件の 1つとして設定しておく。このような分析をいくつか行い、分析の条件を満たす所定の顔抽出モジュ一ルに対して起動命令を発する。重心の分析、尤度の累計の分析等は、例えば目が存在するだろうと予測される位置等の、所定の範囲内で行うようにしてもよい。また、 2つ以上の特徴の、尤度の累計に関する比較などを行ってもよい。このような簡単な必要条件の分析により、特徴抽出を行うモジュールを選択することで、処理コストの低減が可能になり、さらに誤識別の低減も可能になる。

顔抽出部 2 6では、部分特徴分布抽出部 2 5から起動命令を受けた所定の顔抽出モジュールのみ、部分特徴抽出部 2 4で抽出された、目、口の抽出結果を用いて、部分特徴抽出部 2 4等と同様な特徴抽出処理を行う。特定の変動に対応したモジュールとしては、例えばサイズによる変動（図 4 の）、面内回転による変動（図 4の iii) 、顔の横振り（図 4の iv) 、縦振りによる変動等に特化したモジュールを用意しておく。本実施形態では、前記のような変動に対応したモジュールごとに、特定の 2次元マスクを予め用意しておき、起動命令を受けたモジュールのみ、前記特定の 2次元マスクを用いてフィルタリング処理を行う。 2次元マスクの設定は、局所特徴抽出部 2 3で説明したのと同様であり、モジュールごとに対応する変動に特化するように、モジュールに対応した特定の変動を有する顔をテストパターンとして与えることによって設定を行う。

この顔抽出では、画像中央付近を中心とする顔を目標とした抽出を行うため、部分特徴抽出部 2 4までの特徴抽出処理とは異なり、フィルタリングを画像の各位置で行う必要はなく'、画面内の顔を抽出するための範囲でのみフィルタリングを行えばよい。

検出結果出力部 2 7では、起動命令を受け、顔抽出処理を行った、変動に対応したモジュールによるフィルタリングの結果から、最終的な入力画像のカテゴリ分別を行う。ここでは単純に、起動された顔抽出モジュールの出力値が、それぞれのモジュールに応じて設定された閾値を超えているか否かを判定して、少なくとも 1つのモジュールの出力値が閾値を超えていた時、入力画像が顔存在画像であると判定し、そうでない場合は、顔不在画像であると判定する。

ここでの判定は、この方法に限るものではなく、例えば起動されたモジユールの出力値を統合して、最終的な判定を行うというようにしてもよい。具体的には、時計回り面内回転変動に対応したモジュールの出力値を、変動としては逆のカテゴリである、反時計回り面内回転変動に対応したモジユールの出力値に所定の重み付けをして減算したものとする、等というように、変動が相反するようなモジュール間で、お互いの出力を抑制することで、誤識別を低減することができる。

また、特定のサイズの顔に対応したモジュールの出力値に対し、変動としては類似したカテゴリである前記特定のサイズよりやや大きいサイズの顔に対応したモジュールの出力値に所定の重み付けをして加算する、等というよう、変動が似通ったモジュール間で、お互いの出力を促進することで、識別のための閾値を高く設定することができ、結果として誤識別が低減できる。

または、上記のような類似したカテゴリの、 2つ以上のモジュールの出力値を重み付け加算、もしくは単純に相加平均演算等をすることにより得られる値を、カテゴリ間の中間の変動に対応する仮想的な特徴抽出モジュールの出力値として新たに設定することで、少ない処理コストで、識別漏れのない高精度な識別が可能である。

以上、第 1の実施形態は、入力データとして 2次元画像データを用い、その画像データが、ある特定のカテゴリであるかどうかを識別する方法において、識別カテゴリとして、顔の中心付近が入力画像のほぼ中央に存在する顔存在画像と、それ以外の画像の顔不在画像を想定し、入力された画像デ一夕に対し、上記 2つのカテゴリのいずれであるかを識別する方法の例として説明した。

<第 2の実施形態 >

第 2の実施形態では、上記第 1の実施形態の変形として、入力データとして、 2次元画像データを用い、画像中のどの位置に顔があるのかを検出する方法を示す。本実施形態においては、画像中の顔を検出するといぅ処理を行うが、第 1の実施形態と同様に、これに限るものではなく、その他の画像パターンや、入力データが音声デ一夕であるような場合にも適用可能である。また、複数のカテゴリの対象を検出するような場合においても適用可能である。

本実施形態では、 2次元画像データから、階層的特徴抽出により、変動に対して頑健に特定のパターンを検出する方法として、 Convolut ional Neural Network (以下 C NN) の基本構成に変更を与えて用いる。図 7に基本的な C NNの構成を示す。 C NNの基本的な処理について、図 7を用いて説明をする。図 7において、処理の流れは、左端を入力とし、右方向へ処理をされる。

図 7の 71は、入力画像の輝度値等に対応した画素値分布である。また図中、 72、 74、 76、 78は、特徴検出層であり、各層内の、 L 7 · 21、 L 7 · 22, L 7 · 23, L 7 · 24, L 7 · 4 L 7 · 42, L 7 · 43, L 7 · 44, L 7 · 61, L 7 · 62, L7 - 81は、特徴検出細胞面である。一方、 73、 75、 77は、特徴統合層であり、各層内の、 L7 ， 31、 L 7 · 32, L 7 · 33, L 7 · 34, L7 ' 51、 L 7 · 52, L7 ' 53、 L 7 ' 54、 L 7 ' 71、 L 7 ' 72は、特徴統合細胞面である。

CNNでは、特徴検出層と特徴統合層の 2つの層をひとつのセットとし、それが階層的に構成されている。特徴検出層内の各特徴検出細胞面は、それぞれある特定の特徴を検出する特徴検出ニューロンを有している。各特徴検出ニューロンは、その特徴検出ニューロンの位置に応じた局所的な範囲で、前段階層の特徴検出結果、つまり特徴検出層 74内の特徴検出ニュ —ロンであれば L 7 · 31から L7 · 34までの特徴抽出結果に、特徴検出層 72内の特徴検出ニューロンであれば、入力画像である 71に、特徴検出細胞面ごとに固有の重み分布で結合されている。

この重みは、第 1の実施形態において述べた、エッジを抽出するための微分フィルタや、特定の特徴を抽出するための 2次元マスクに対応しており、第 1の実施形態で述べたように、事前の知識を利用して設定したり、複数のテストパターンを与えて学習により設定したりすればよい。その他誤差逆伝播法による学習や、 Hebbの学習則による自己組織化的な学習など、既知の Neural Networkの学習方法を利用して設定しても構わない。

各特徴検出ニューロンは、結合先である各特徴細胞面での特徴抽出結果、もしくは特徴検出層 72であれば入力画像の輝度値等に対して、所定の重みで重み付け加算を行い、その演算結果の値を双曲線正接関数等の非線形 6095

20

関数で変換したものを、当該特徴検出ニューロンの出力値とするようにして特徴の検出を行う。

例えば、 L 7 · 2 1は垂直エッジを検出する細胞面であるとすると、入力画像の輝度値に対し、微分フィル夕に対応する重み付け加算を L 7 · 2 1内の各特徴検出ニューロンが行い、入力画像において垂直エッジが存在する位置で、 L 7 · 2 1内の特徴検出ニューロンで行った演算結果の値が大きくなり、高い出力値を示す、つまり特徴が検出されるというような構成になる。

その他の特徴検出細胞面に関しても同様に、各特徴検出細胞面に特定の特徴が検出された位置において、特徴検出ニューロンが高い出力値となるようになつている。出力値の演算に関しては、一般的には上記のように非線形変換を行うが、特にこれに限るものではない。

特徴統合層内の各特徴統合細胞面は、それぞれ前段階層である特徴検出層の 1つの特徴検出細胞面と結合しており、前段の特徴検出結果に対して局所的な範囲において結合し、特徴検出結果をぼかす（統合）処理を行う、特徴統合ニューロンを有している。各特徴統合ニューロンは、基本的には前述の特徴検出ニューロンと同様の演算を行うが、特定の 2次元マスクに対応する重み分布が Gaussian Fi l terや Low- Pass Fi l terであることが特徴である。

このような階層的な特徴検出、特徴統合処理を用いて、初期的な特徴から、徐々に高次の特徴を検出し、最終的に入力のカテゴライズをするというのが C NNのネットヮ一ク構造である。上記のような処理により、入力画像から高次特徴を検出することで、特定の画像検出が可能である。 C N Nは、階層的な特徴抽出と、特徴統合層のぼかしにより、さまざまなパ夕ーンの変動に対して頑健な識別が可能であることが特徴である。

本実施形態においては、上記 C NNを基本的な階層的特徴抽出の処理構成として説明を行う。図 8は、本実施形態における処理部の構成を示したものである。また、図 9 A、 9 Bは、本実施形態における処理の流れを示したものである。以下、本実施形態における処理について、図 8及び 9 A、 Bを用いて説明する。

図 8における画像入力部 8 0 1、初期特徴抽出部 8 0 2、局所特徴抽出部 8 0 3、部分特徴抽出部 8 0 4は、それぞれ第 1の実施形態における画像入力部 2 1、初期特徴抽出部 2 2、局所特徴抽出部 2 3、部分特徴抽出部 2 4と同様である。そしてステップ S 9 0 1〜9 0 4の処理は、図 3におけるステップ S 3 0 1〜3 0 4の処理と同様である。

本実施形態では、画像入力部 8 0 1において R G Bカラ一画像を用い、 R G Bカラ一画像をグレースケール画像に変換したものを、次の階層である初期特徴抽出部 8 0 2の入力とする。また、特徴抽出に上記 C NNによる処理を用い、各特徴抽出部では、特徴検出層による特徴検出と、特徴統合層による検出された特徴の統合を行う。局所特徴抽出部 8 0 3、部分特徵抽出部 8 0 4で抽出する特徴の種類は、第 1の実施形態と同様のものである。またその各特徴を検出するための、特徴検出細胞面ごとに固有の重み分布も、第 1の実施形態で説明した固有の 2次元マスクの設定方法と同様に、入力として複数のテストパターンを与え、学習によって設定したものを用いる。

本実施形態では、初期特徴抽出部 8 0 1で抽出する特徴は予め限定した特徴を用いず、局所特徴抽出部 8 0 2で検出する特徴を学習する際に、誤差逆伝播法を用いることによって、局所特徴を検出するための各特徴検出細胞面固有の重み分布を学習するとともに、初期特徴を検出する各特徴細胞面固有の重み分布を自動的に設定するようにしている。これにより、初期特徴抽出部 8 0 1では、局所特徴抽出部 8 0 2で検出する局所特徴を構成する特徴であって、その局所特徴を検出するのに必要である初期特徴を抽出するように、入力画像 7 1との結合重み分布が自動的に設定することができる。 2003/016095

22

ステップ 9 0 5では、第 1の顔抽出部 8 0 5により、部分特徴抽出部 8 0 4において抽出された、目、口の抽出結果に対して、上記の特徴抽出方法と同様の処理を行い、画像内の顔を抽出する。

顔候補存在判定部 8 0 6では、第 1の顔抽出部 8 0 5の出力値が所定の閾値を超えた場合に、そこに顔の候補が存在すると判定し（ステップ S 9 0 6 ) 、顔候補の個数を Countに設定して（ステップ S 9 0 7 ) 、顔候補があると判定された顔候補存在位置の座標を順次出力し、肌色領域抽出部 8 0 7、及び部分特徴分布判定部 8 0 8に対して起動命令を発する（ステップ S 9 0 8 ) 。

肌色領域抽出部 8 0 7は、顔候補存在判定部 8 0 6からの起動命令を受け、顔候補存在位置座標に基づく範囲において、入力画像から肌色の領域を抽出する（ステップ S 9 0 9 ) 。部分特徴分布判定部 8 0 8は、顔候補存在位置座標に基づく範囲における部分特徴抽出結果の分布を判定し（ステツプ S 9 1 0 ) 、上記第 1の実施形態と同様に、起動する顔抽出モジュールのフラグをオンする（ステップ S 9 1 1 ) 。

本実施形態の部分特徴分布判定部 8 0 8は、第 1の実施形態の部分特徴分布判定部 2 5とは異なり、部分特徴抽出部 8 0 4での特徴抽出結果だけでなく、肌色領域抽出部 8 0 7での肌色領域抽出結果も利用して、それらの特徴抽出結果に対して、簡単な分布の分析を行い、複数の変動に対応した顔抽出モジュールから構成される、第 2の顔抽出部 8 0 9に対して起動命令を発する処理部である。ちなみに、本実施形態での 1つの顔抽出モジユールは、上記 C NNにおける 1つの特徴検出細胞面に対応する。

第 2の顔抽出部 8 0 9は、上記第 1の実施形態と同様に、変動に対応した顔抽出モジュールによる顔抽出を行う。すなわち、順次、フラグがオンになっている顔抽出モジュールによる、顔候補存在位置座標での顔抽出処理を行い、顔抽出を実行した顔抽出モジュールのフラグをオフにする（ステツプ S 9 1 1〜9 1 4 ) 。本実施形態における顔抽出処理は、第 1の実施形態とは異なり、部分特徴抽出部 8 0 4における処理により抽出された目、口の特徴抽出結果だけでなく、局所特徴抽出部 8 0 3において抽出した、目の上部や口唇上部に相当する特徴抽出結果、及び肌色領域抽出部 8 0 7において抽出した肌色領域抽出結果も用いて、特定変動に対応した顔の抽出を行う。

検出結果出力部 8 1 0では、第 2の顔抽出部 8 0 9における顔抽出結果に基づいて、入力画像中のどの位置に顔が存在するかという結果を出力する。すなわち、各モジュールの出力結果を統合し（ステップ S 9 1 4 ) 、その顔候補存在位置における検出結果を出力し（S 9 1 5 ) 、次の顔候補存在位置における検出へループする（ステップ S 9 1 7〜9 1 8 ) 。

本実施形態での、第 1の顔抽出部 8 0 5以降の各処理部での詳細な処理について以下に説明する。

第 1の顔抽出部 8 0 5で行う顔の抽出処理は、局所特徴抽出部 8 0 3や部分特徴抽出部 8 0 4での特徴抽出処理と同様である。ここでの顔抽出は、第 1の実施形態における顔抽出部 2 6のように、変動に対応した複数の顔抽出モジュールを持っておらず、 1つのモジュールのみで構成されている。また本実施形態では、第 1の実施形態とは異なり、画像内のどの位置に顔があるのかを検出するため、画像の中央付近においてのみ顔の抽出を行うのではなく、画像の各位置において顔抽出を行う。

ここで抽出処理に用いる、各顔検出ニューロンの部分特徴抽出部 8 0 4 において抽出された部分特徴抽出結果に結合する固有の重み分布は、様々な変動のある顔、つまり図 4の iから ivに示すような様々な変動を有する顔をテス卜データとして与えた学習によって設定を行っている。このように学習することで、顔でないものを顔と判定する可能性が高くなる等、精度としては低くなるが、単独のモジュールで様々な変動のある顔を抽出することが可能になる。この処理部では、上記のように学習した重み分布を用い特徴検出を行って、その結果を特徴統合層により統合する。顔候補存在判定部 8 0 6では、第 1の顔抽出部 8 0 5における顔抽出処理の結果に対して、所定の閾値以上の出力である部分を判定する。そして、判定された位置に顔の候補が存在するとして、その候補が存在する範囲において、肌色部分特徴分布判定部 8 0 7、及び部分特徴分布判定部 8 0 8 の処理を行うように起動命令を発する。

肌色領域抽出部 8 0 7は、顔候補存在判定部 8 0 6からの起動命令を受け、顔の候補が存在する範囲付近において、肌色領域の抽出を行う。本実施形態では、肌色領域の抽出を行う領域において、 R G Bカラ一入力画像を、 H S V表色系に変換し、特定の色相（H) の範囲の画素のみを肌色領域として抽出するようにする。肌色領域抽出の方法に関しては、これに限るものではなく、一般に知られたその他の方法でも構わない。例えば、彩度（S ) や輝度 (V) を利用して抽出するようにしてもよい。また、本実施形態では肌色領域を抽出したが、これ以外にも髪の毛の領域等を抽出するなどしてもよい。

部分特徴分布判定部 8 0 8は、第 1の実施形態における部分特徴分布判定部 2 5と同様の処理を行う。本実施形態では、肌色領域抽出部 8 0 7と同様に、顔候補存在判定部 8 0 6からの起動命令を受け、顔の候補が存在する範囲付近において、所定の特徴抽出結果の分布の分析を行う。そしてその結果に応じて、複数の特定の変動に対応した顔抽出モジュールから構成される、第 2の顔抽出部 8 0 9の所定の顔抽出モジュールを選択し、顔候補存在位置において顔抽出処理を行うように起動命令を与える。

部分特徴分布判定部 8 0 6により分析を行う特徴抽出結果は、部分特徴抽出部 8 0 4により抽出された目、口の抽出結果、及び肌色領域抽出部 8 0 7による肌色領域抽出結果である。ここで行う分析は、第 1の実施形態において説明したものと同様であり、第 2の顔抽出部 8 0 9を構成する、変動に対応した各モジュールが、顔が存在する場合に満足すべき必要条件を抽出する処理を行う。 6095

25

本実施形態では、第 1の実施形態とは異なり、肌色領域抽出結果を用いるので、その結果に対する分析のいくつかを挙げる。いちばん簡単な例としては、抽出された肌色領域の面積を分析するものがある。その他、肌色として抽出された領域の縦横比を分析したり、顔候補が存在すると判定された領域の、上半分の肌色抽出領域の重心位置と、下半分の肌色抽出領域の重心位置の相対位置関係を分析したりしてもよい。

例えば 1番目に挙げた例は、その面積に応じて、特定のサイズの顔抽出モジュールにおける必要条件の 1つになる。また、 2番目の例は、顔の横振りや縦振りに対応したモジュール、 3番目の例は、顔の面内回転に対応したモジュールにおける必要条件の 1つとして設定することができる。また、部分特徴抽出部 8 0 4により抽出された、部分特徴抽出結果を用い、目が抽出された領域の面積と、肌色領域の面積の比較や、逆に目が抽出されていない領域と肌色領域の面積の比較、さらに目が抽出されていない領域と肌色でない領域の面積の比較といった分析を行ってもよい。

上記のような面積等の分析においても、第 1の実施形態において述べたように、特定の領域内においてのみ分析をするようにしてもよい。例えば、髪の毛の位置と思われる領域で、肌色ではない領域の面積の分析を行うようにしてもよい。第 1の実施形態で行ったような、目、口の抽出結果に関する分析に加え、上記のような分析を追加することで、より精度の高い起動命令を発することが可能になる。

第 2の顔抽出部 8 0 9は、第 1の実施形態の顔抽出部 2 6と同様の処理部であり、特定の変動に対応した複数の顔抽出モジュールから構成されている。本実施形態では、第 1の実施形態とは異なり、部分特徴抽出部 8 0 4による目、口の抽出結果だけでなく、肌色領域抽出部 8 0 7による肌色抽出結果、第 1の顔抽出部 8 0 5による、様々な変動のある顔の抽出結果、及び局所特徴抽出部 8 0 3により抽出された特徴の内、目の上部や口唇上部に相当する特徴抽出結果を用いて、顔候補存在位置において顔抽出を行う。

このように、直前の階層の特徴抽出結果だけでなく、同レベルの特徴である、同階層内の特徴抽出結果（ここでは第 1の顔抽出結果）や、階層的特徴抽出の枠組みの外部から挿入した特徴抽出結果（ここでは肌色領域抽出結果）、直前の階層以前の階層における特徴抽出結果（ここでは目の上部や口唇上部に相当する特徴抽出結果）、さらに後述の第 3の実施形態において説明を行う、後段階層の特徴抽出結果等を、特徴抽出の際に補助的に用いることで、特徴抽出の精度を高めることができる。このようにすることにより、処理コストは増加するが、部分特徴分布判定部 8 0 8から起動命令を受けたモジュールの、顔候補が存在する位置でのみ、第 2の顔抽出部 8 0 9の特徴抽出処理を行うため、処理コストの増加は最低限で抑えることができる。

検出結果出力部 8 1 0は、第 1の実施形態における検出結果出力部 2 7 と同様の処理部であり、第 2の顔抽出部 8 0 9を構成する、複数の変動に対応した顔抽出モジュールの内、部分特徴判定部 8 0 8からの起動命令により特徴抽出処理を行つた結果から、画像中のどの位置に顔が存在するのかを判定して、その結果を出力する。ここでも、第 1の実施形態で説明したのと同様に、複数のモジュールの出力を統合することで、精度の高い検出が可能になる。

以上、第 2の実施形態は、入力デ一夕として 2次元画像データを用い、その画像内において、ある特定の対象を検出する方法において、顔を検出対象とする例を説明した。

<第 3の実施形態 >

本発明の第 3の実施形態は、上記第 2の実施形態の変形したものである。本実施形態も、第 2の実施形態と同様に、画像中の顔を検出するといぅ処理を行うが、これに限るものではなく、その他の画像パターンや音声デー 16095

27

夕にも適用可能である。また、複数のカテゴリの対象を検出するような場合にも適用可能である。

図 1 0は、本実施形態における処理部の構成を示したものである。また、図 1 1 A、 1 1 Bは、本実施形態における処理の流れを示したものである。本実施形態の基本的な処理の構成は第 2の実施形態において説明したものと同様である、以下、本実施形態における処理について、図 1 0を用いて説明する。

図 1 0の画像入力部 1 0 0 1から肌色領域抽出部 1 0 0 7までによる処理（ステップ S 1 1 0 1〜 1 1 0 9 ) は、第 2の実施形態のステップ S 9 0 1〜9 0 9とまったく同様のものであるので説明を省略する。

部分特徴分布判定部 1 0 0 8も第 2の実施形態における部分特徴分布判定部 8 0 8と同様の処理であるが、特徴抽出結果の分布の分析結果に応じて、第 2の顔抽出部 1 0 0 9の、複数の変動に対応した顔抽出モジュールに、顔候補存在位置において顔抽出処理を行うように起動命令を与えるとともに、複数の変動に対応した、部分特徴抽出モジュールから構成される、第 2の部分特徴抽出部 1 0 1 1に対しても、起動命令を発する。すなわち、顔候補存在位置座標に基づく範囲における部分特徴抽出結果の分布を判定し（ステップ S 1 1 1 0 ) 、及び起動する顔抽出モジュールのフラグをォンする（ステップ S 1 1 1 1 ) 。

第 2の部分特徴抽出部 1 0 1 1は、特定の変動に対応した部分特徴の抽出を行う複数のモジュールから構成されており、部分特徴分布判定部 1 0 0 8からの起動命令を受け、起動命令を受けたモジュールの、顔候補存在位置によって決まる特定の位置でのみ、部分特徴の再抽出を行う。すなわち、フラグがオンになっている顔抽出モジュールに対応した部分特徴抽出モジュールがあれば、顔候補存在位置座標によって定まる位置における部分特徴抽出処理を行う（ステップ S 1 1 1 3〜1 1 1 4 ) 。第 2の顔抽出部 1 0 0 9は、第 2の実施形態の第 2の顔抽出部 8 0 9とほぼ同様の処理部である。ただし、第 2の部分特徴抽出部 1 0 1 1により、ここで起動される顔抽出モジュールに対応した、部分特徴の再抽出が行われた場合は、部分特徴抽出部 1 0 0 4で抽出された特徴を用いて顔抽出を行う。すなわち、フラグがオンになっている顔抽出モジュールにより、顔候補存在位置で顔抽出を行い、顔抽出を実行した顔抽出モジュールのフラグをオフにする（ステップ S 1 1 1 5〜 1 1 1 6 ) 。

検出結果出力部 1 0 1 0は、第 2の実施形態の検出結果出力部 8 1 0とまったく同様であり、ステップ S 1 1 1 7〜 1 1 2 0は、第 2の実施形態のステップ S 9 1 5〜9 1 8とまったく同様のものであるので説明を省略する。 .

本実施形態における部分特徴分布判定部 1 0 0 8、第 2の部分特徴抽出部 1 0 1 1、及び第 2の顔抽出部 1 0 0 9での詳細な処理について以下に説明する。

部分特徴分布判定部 1 0 0 8は、前述のように、部分特徴の抽出結果の分布を分析する処理に関しては、第 2の実施形態と同様である。第 2の実施形態では、ここで複数の変動に対応した顔の抽出を行うモジュールに対して起動命令を発したが、さらに起動命令を発した顔抽出モジュールの変動に対応した部分特徴の抽出を行う第 2の部分特徴抽出部 1 0 1 1に対しても、起動命令を発する。具体的には、例えば時計回り面内回転変動に対応した顔抽出モジュールを起動するように起動命令を発したとき、同時に、同じ変動である時計回り面内回転変動に対応した部分特徴抽出モジュールに対しても、起動命令を発するというようにする。

第 2の部分特徴抽出部 1 0 1 1は、複数の変動に対応した部分特徴の抽出を行う複数のモジュールにより構成される。ここでは、部分特徴分布判定部 1 0 0 8からの起動命令を受けた、複数の変動に対応した顔の抽出を行うモジュールに対応した部分特徴抽出モジュールを起動し、顔候補存在判定部 1 0 0 6の結果として得られる顔候補存在位置によって決まる特定の範囲においてのみ、部分特徴の抽出を行う。特徴の抽出方法は、第 2の実施形態において説明したものと同様のものである。

各部分特徴モジュールは、基本的には第 2の顔抽出部.1 0 0 9を構成する、複数の変動に対応した顔抽出モジュールのそれぞれに対応しているが、 1対 1の対応でなくてもよい。例えば、正面向きの顔抽出モジュールに対応した、部分特徴抽出モジュールは存在しない、などとしてもよい。このようにした場合、正面向きの顔抽出モジュールに対して起動命令が発せられた場合は、第 2の部分特徴抽出部 1 0 1 1での処理は行わない、というようにすればよい。

さらに、複数種類の顔抽出モジュールに対して、 1つの部分特徴抽出モジュールを対応させるというようにしてもよい。例えば、時計回り 1 5度の面内回転変動に対応する顔抽出モジュールと、時計回り 3 0度の面内回転変動に対応する顔抽出モジュールとでは、 1つのモジュールで両方の変動を含めた抽出を行う部分特徴抽出モジュールを対応させるようにしたりする。

このように、上位の階層レベルの特徴抽出結果出力に基づいて、下位の階層レベルの特徴抽出モジュールの動作を制御するフィードパック機構を導入する。すなわち、第 2の顔抽出において起動される、特定の変動に対応する顔抽出モジュールに対応した部分特徴抽出モジュールにより、低次の特徴を再抽出することで、さらに高精度な特徴抽出が可能になる。特徴の再抽出により、処理コストは増加するが、起動命令を受けたモジュールの特定の位置のみで処理を行うため、処理コストの増加は最低限で抑えることができる。

本実施形態では、この処理部において口の抽出は行わず、変動に対した目の抽出のみを行っている。さらに高精度な特徴抽出を求めるのであれば、変動に対応した口の抽出を行ってもよいし、第 1の部分特徴抽出部 1 0 0 4で抽出した特徴以外の種類の特徴を抽出するようにしてもよい。さらに、ここでの特徴抽出は、第 1の部分特徴抽出部 1 0 0 4とは異なり、局所特徴抽出部 1 0 0 3で抽出された、局所特徴抽出結果に加えて、部分特徴抽出部 1 0 0 4において抽出された目、口等の部分特徴抽出結果、及び第 1の顔抽出 1 0 0 5において抽出された、第 1の顔抽出結果も利用して、目の抽出を行う。第 2の実施形態においても述べたように、同レべルの特徴である同階層内の特徴抽出結果や、上位レベルの特徴である上位階層の特徴抽出結果を補助的に利用することで、さらに精度の高い特徴抽出処理が可能になる。

第 2の顔抽出部 1 0 0 9は、基本的には、第 2の実施形態における、第 2の顔抽出部 8 0 9と同様の処理を行う。第 2の実施形態での第 2の顔抽出部 8 0 9との違いは、第 2の部分特徴抽出部 1 0 1 1において、起動される顔抽出モジュールに対応する、変動に対応した部分特徴抽出が行われた場合、第 1の部分特徴抽出部 1 0 0 4において抽出された部分特徴抽出結果を用いて顔抽出をするのではなく、第 2の部分特徴抽出部 1 0 1 1において抽出された変動に対応した部分特徴抽出結果を利用して、顔抽出を行う点にある。

本実施形態では、第 2の部分特徴抽出部 1 0 1 1においては、目のみの抽出を行っているため、口の抽出結果は、第 1の部分特徴抽出部 1 0 0 4 での抽出結果を用いる。上記の第 2の部分特徴抽出部 1 0 1 1において説明したように、例えば、正面向きの顔抽出モジュールに対応する部分特徴抽出モジュールが存在しないという場合、正面向きの顔抽出モジュールに対して起動命令が発せられた時は、第' 2の部分特徴抽出部 1 0 1 1における特徴の再抽出は行われない。

このような場合は、第 1の部分特徴抽出部 1 0 0 4の特徴抽出結果をそのまま用いるというようにすればよい。本実施形態では、起動される顔抽出モジュールに対応する、変動に対応した部分特徴抽出が行われた場合、第 1の部分特徴抽出部 1004により抽出された目の抽出結果は用いないが、さらなる精度向上のため、この特徴抽出結果も補助的に用いるというようにしてもよい。

以上、第 3の実施形態は、第 2の実施形態の変形として、入力データとして 2次元画像データを用い、その画像内において、ある特定の対象を検出する方法において、顔を検出する例として説明した。

図 12は、本発明を実現する情報処理装置のブロック構成例を示す図である。同図に示すように、この情報処理装置は、 CPU1201、 ROM 1202、 RAMI 203、 HD ひ、一ドディスク） 1204、 CD 12 05、 KB (キ一ポ一ド） 1206、 CRT 1207, カメラ 1208、ネットヮ一クのインタ一フェース ( I /¥) 1209が、パス 1210を介して互いに通信可能に接続されて構成されている。

CPU1201は、情報処理装置全体の動作制御を司るものであり、 H D (ハードディスク） 1204等から処理プログラム（ソフトウェアプログラム）を読み出して実行することで、情報処理装置全体を制御する。

ROM1202は、プログラムやプログラム内で用いられる各種データ等を記憶する。

RAMI 203は、 CPU1201での各種処理のために、一時的に処理プログラムや処理対象の情報を格納するための作業用エリア等として使用される。

HD 1204は、大容量記憶装置の一例としての構成要素であり、モデルデータなどの各種データ、あるいは各種処理の実行時に RAMI 203 等へ転送される処理プログラム等を保存する。

CD (CDドライブ） 1205は、外部記憶媒体の一例としての CD (C D-R) に記憶されたデータを読み込み、また、当該 CDへデ一タを書き出す機能を有する。キ一ポ一ド 1 2 0 6は、情報処理装置に対する各種指示等をユーザが入力するための操作部である。

C R T 1 2 0 7は、ユーザへの各種指示情報や、文字情報或いは画像情報等の各種情報の表示を行う。

カメラ 1 2 0 8は、識別対象画像を撮像して入力する。

インターフエ一ス 1 2 0 9は、ネットワークから情報を取り込んだり、ネットワークへ情報を発信したりするために用いられる。

<第 4の実施形態 >

図 1 3は、本発明の第 4の実施形態に係るパターン検出装置の構成を示す図である。図 1 3において、 1 3 0 0は信号入力部、 1 3 0 1は 1次特徵検出部、 1 3 1 1は 1次特徴検出フィル夕設定部、 1 3 0 2は 2次特徴検出部、 1 3 1 2は 2次特徴検出モデル設定部、 1 3 0 3は 3次特徴検出部、 1 3 1 3は 3次特徴検出モデル選択部、 1 3 2 3は 3次特徴検出モデル保持部、 1 3 0 4は 4次特徴検出部、 1 3 1 4は 4次特徴検出モデル選択部、そして、 1 3 2 4は 4次特徴検出モデル保持部を示す。尚、本実施形態では、上記のように示した各次数の特徴は、局所的に検出される局所特徴を示すものであって、上位の次数の特徴は下位の次数の特徴を含むものである。図 1 4に、 1次〜 4次特徴検出部 1 3 0 1〜4においてそれぞれ検出される特徴の例を示す

以下、図 1 3に示すパターン検出装置のそれぞれの構成要素の機能について説明する。信号入力部 1 3 0 0は、画像信号等の処理対象となる信号 (例えば、画像データ）を入力する。 1次特徴検出部 1 3 0 1は、信号入力部 1 3 0 0から入力された信号に対し、後述する 1次の特徴を検出する処理を行い、その検出結果を 2次特徴検出部 1 3 0 2に渡す。 1次特徴検出フィルタ設定部 1 3 1 1は、 1次特徴検出部 1 3 0 0で 1次の特徴を検出するためのフィル夕の特性を設定する。 2次特徴検出部 1 3 0 2は、 1次特徴検出部 1 3 0 1で検出された結果に対して、 2次特徴検出モデル設定部 1 3 1 2で設定された検出モデルを用いて、後述する 2次の特徴を検出する処理を行い、その検出結果を 3次特徴検出部 1 3 0 3及び 3次特徴検出モデル選択部 1 3 1 3に渡す。 2次特徴検出モデル設定部 1 3 1 2は、 2次特徴検出部 1 3 0 2で 2次の特徴を検出する際に使用される 2つの 1次特徴間の位置関係を示すモデルを設定する。このモデルは、所定の形状に関する属性を有し、最初から複数用意しておいても良いし、 2次特徴検出モデル設定部 1 3 1 2において、回転角度をパラメ一夕として、 1つのモデルに回転ァフィン変換等を行って作成しても良い。以下、 3次、 4次のモデルについても同様である。尚、本実施形態では、 2次特徴は 2つの 1次特徴間の位置関係を示すモデルとして説明しているが、 3つ以上であっても同様に適用することが可能である。

3次特徴検出部 1 3 0 3は、 3次特徴検出モデル選択部 1 3 1 3で選択した検出モデルを用いて、 2次特徴検出部 1 3 0 2で検出された結果に対して後述する 3次の特徴を検出する処理を行い、その検出結果を 4次特徴検出部 1 3 0 4及び 4次特徴検出モデル選択部 1 3 1 4に渡す。また、 3 次特徴検出モデル保持部 1 3 2 3は、 3次特徴検出モデル選択部 1 3 1 3 で選択される、回転角度の異なる（すなわち、傾きが異なる）複数のモデルを保持する。そして、 3次特徴検出モデル選択部 1 3 1 3は、 3次特徴検出部 1 3 0 3で特徴を検出する際に使用されるそれぞれの 2次特徴間の位置関係を示すモデルを、 3次特徴検出モデル保持部 1 3 2 3に保持されたモデルの中から 2次特徴検出部 1 3 0 2からの検出結果に基づいて選択し設定する。

4次特徴検出部 1 3 0 4は、 4次特徴検出モデル選択部 1 3 1 4で選択した検出モデルを用いて、 3次特徴検出部 1 3 0 3で検出された結果に対して後述する 4次の特徴を検出する処理を行い、その検出結果を出力する。また、 4次特徴検出モデル保持部 1 3 2 4は、 4次特徴検出モデル選択部 1 3 1 4で選択される、回転角度の異なる（すなわち、傾きが異なる）複数のモデルを保持する。そして、 4次特徴検出モデル選択部 1 3 1 4は、 4次特徴検出部 1 3 0 4で特徴を検出する際に使用されるそれぞれの 3次特徴間の位置関係を示すモデルを、 4次特徴検出モデル保持部 1 3 2 4に保持されたモデルの中から 3次特徴検出部 1 3 0 3からの検出結果に基づいて選択し設定する。

すなわち、本実施形態に係るパターン検出装置は、信号入力部 1 3 0 0 から入力された画像中の所定のパターンをパターンモデルである各次元ごとの検出モデルを用いて検出する。本パターン検出装置は、所定の下位モデル（例えば、 2次元特徴検出モデル）を組み合わせて構成される上位モデル（例えば、 3次元特徴検出モデル）を保持する各次元の検出モデル保持部（例えば、 3次元特徴検出モデル保持部 1 3 2 3 ) と、上記下位モデルと画像中のパターンの構成部分とを比較して、当該下位モデルの構成部分に対する特徴量を算出する各次元の特徴検出部（例えば、 2次元特徵検出部 1 3 0 2 ) と、上記検出モデル保持部に保持された上位モデルと画像中のパターンとを比較して、パターンのパターンモデル（例えば、 3次元特徴検出モデル）を設定する設定部であって、上位モデルを構成するそれぞれの下位モデルが所定の特徴量を有している場合、当該上位モデルをパターンのパターンモデルとして設定する設定部（例えば、 3次元特徴検出部 1 3 0 3 ) を備えることを特徴とする。

また、上記パターン検出装置は、信号入力部 1 3 0 0から入力された画像中からパターンの部分特徴（例えば、 1次特徴）を検出する検出部（例えば、 1次特徴検出部 1 3 0 1 ) と、所定の部分モデルを用いて上記下位モデル（例えば、 2次元特徴検出モデル）を設定する下位モデル設定部（例えば、 2次元検出モデル設定部 1 3 1 2 ) とをさらに備え、例えば、 2次元特徴検出部 1 3 0 2等の特徴検出部は、上記下位モデルに含まれる部分モデルと画像中のパターンの部分特徴とを比較して、特徴量を算出することを特徴とする。

さらに、上記パターン検出装置は、複数個の上位モデル（例えば、 3次元検出モデル）を羝み合わせて構成されるさらに上位のモデル（例えば、 4次元検出モデル）を保持する手段（例えば、 4次元特徴検出モデル保持部 1 3 2 4 ) と、当該モデルと画像中の所定のパターンとを比較して、複数個の上位モデルがすべて所定の特徴量を有している場合、そのモデルを所定のパターンのパターンモデルとして設定する手段（例えば、 4次元特徴検出部 1 3 0 4 ) とをさらに備え、階層的な構成を有するモデルを用いて画像中の所定のパターンのパターンモデルを設定することを特徴とする次に、上述したような図 1 3に示す搆成のパターン検出装置の動作例について説明する。図 1 5は、第 4の実施形態に係るパターン検出装置の動作例を説明するためのフローチャートである。ここで、説明を分かり易くするために、上述した本実施形態の構成において、画像を入力信号とし、その画像中の顔領域を検出する動作を例として、本実施形態に係るパターン検出装置の動作について説明する。

まず、画像入力部 1 3 0 0において画像信号が入力される（ステップ S 2 0 1 ) 。次いで、 1次特徴検出部 1 3 0 1において、入力された画像の各位置で 1次特徴（例えば、方向性を有するエッジ成分）が検出される（ステツプ S 2 0 2 ) 。

図 1 4は、第 4の実施形態のパターン検出装置における各特徴検出部（1 次〜 4次特徴検出部 1 3 0 1〜4 ) において検出される特徴の例を示す図である。すなわち、図 1 4に示すように、 1次特徴検出部 1 3 0 1では、縦特徴 1一 1、横特徴 1— 2、右上がり斜め特徴 1一 3、右下がり斜め特徴 1一 4といった、異なる 4方向成分の特徴を検出する。尚、本実施形態では、 1次特徴を上記 4方向の特徴として説明しているが、これは一例であっ、その他の特徴を 1次特徴として 2次特徴以降の検出に用いるようにしてもよい。

1次特徴検出部 1 3 0 1における 1次特徴の検出では、例えば、 4つの特徴を検出するために使用されるフィル夕の設定が、図 1 3の 1次特徴検出フィルタ設定部 1 3 1 1で行われる。このような特徴検出は、各方向のエッジ成分を強調するようなフィル夕、例えば、 S o b e lフィルタや G a b o r関数等を用いて強調処理を行うことによって行うことができる。また、ラプラシアンフィル夕等で方向性によらないエツジ強調処理を行つて、その後各方向の特徴をさらに強調するような処理を行ってもよい。尚、これらの特徴検出用フィルタは、最初から複数用意しておいても良いし、方向をパラメ一夕として、 1次特徴検出フィルタ設定部 1 3 1 1で作成するようにしても良い。

1次特徴検出部 1 3 0 1における検出結果は、各特徴毎に、入力画像と同等の大きさを有する検出結果画像という形として出力される。すなわち、図 1 4に示すような 1次特徴の場合、縦横斜めの 4種類のそれぞれの方向の特徴成分を有する 4つの検出結果画像が得られる。そして、それぞれの特徴に関する検出結果画像の各位置の値である 1次特徴量（例えば、当該画像中に含まれる一定値以上の画素値の個数等）を見て、入力画像のその位置に各特徴が存在するか否かを判断することができる。

また、図 1 4には、 1次特徴の他に、後述する 2次特徴検出部 1 3 0 2、 3次特徴検出部 1 3 0 3及び 4次特徴検出部 1 3 0 4で検出される 2次特徴、 3次特徴及び 4次特徴の例の一部も示されている。

図 1 4に示すように、 2次特徴としては、右空き V字特徴 2— 1— 1〜 2 - 1 - 4 , 左空き V字特徴 2— 2—1〜 2— 2— 4、水平平行線特徴 2 — 3— 1〜2— 3— 4、垂直平行線特徴 2— 4— 1〜2— 4— 4がある。尚、これらの特徴の名称は、画像に対して顔が正立している時の状態で決めたもので、顔の回転により特徴の名称と実際の画像中における各特徴の 2003/016095

37

向きが異なることが生じる。すなわち、本実施形態では、例えば、 2次特徴検出モデル設定部 1 3 1 1に代表される下位モデルの設定部が、同一形状を有する下位モデルのそれぞれについて複数の角度で回転させた形態の複数の下位モデルを設定することを特徵とする。

また、 3次特徴の例として、眼特徴 3— 1— 1〜3— 1一 4、口特徴 3 —2— 1〜3— 2— 4が示されている。さらに、 4次特徴の例の一部として、顔特徵 4一 1— 1〜 4一 1 _ 4、逆顔特徴 4一 2 - 1が示されている。尚、逆顔特徴として、図示はされていないが、顔特徴 4一 1— 2〜4一 1 一 4に対応するものも 4次特徴として存在する。

上述したように、本実施形態ではステップ S 2 0 2の処理により、 1次特徴検出部 1 3 0 1において、各位置において 4種類の 1次特徴が検出された後、 2次特徴検出部 1 3 0 2において 2次特徴の検出が行われる（ステツプ S 2 0 3 ) 。以下では一例として、図 1 4に示す右空き V字特徴 2 - 1 - 1を検出する場合について説明するが、その他の場合についても同様に実現することができる。

図 1 6 A、 1 6 Bは、 2次特徴のうち右空き V字特徴 2— 1一 1に関するモデルを説明するための図である。この右空き V字特徴 2— 1一 1には、図 1 6 Aに示すように、 1次特徴である右上がり斜め特徴 1一 3が上部に存在し、また右下がり斜め特徴 1—4が下部に存在している。すなわち、右空き V字特徴 2— 1一 1を検出するためには、ステップ S 2 0 2で求めた 1次特徴の検出結果を利用し、上部に右上がり斜め特徴 1一 3があり、下部に右下がり斜め特徴 1一 4がある位置を求めれば良く、その位置に右空き V字特徴 2— 1一 1が存在することとなる。このように、複数種類の 1次特徴を組み合わせて、 2次特徴を検出することができる。

しかしながら、画像中の顔のサイズは固定サイズではなく、また個人により眼や口の大きさが異なり、さらに眼や口は開閉動作をするので、 V字の大きさも変化しまた回転もする。また、エッジ等の抽出処理による誤差 T/JP2003/016095

38

等も発生する可能性がある。そこで、' 本実施形態では、図 1 6 Bに示すような、右空き V字検出モデル 4 0 0を考える。そして、この右空き V字検出モデル 4 0 0中の 4 0 3を右上がり斜め領域、 4 0 4を右下がり斜め領域とする。そして、右上がり斜め領域 4 0 3にステップ S 2 0 2で求めた 1次特徴のうち、右上がり斜め 1一 3のみ存在し、また右下がり斜め領域 4 0 4に右下がり斜め 1一 4のみが存在するような場合、その位置に右空き V次特徴 2— 1— 1が存在するものとする。このようにすることで、ある程度の大きさや形状の変化、回転に対して、ロバストな処理をすることが可能となる。

本実施形態では、図 1 6 Bの右上がり斜め領域 4 0 3内に右上がり斜め特徴を有する画像の中心が存在する場合、及び、右下がり斜め領域 4 0 4 内に右下がり斜め特徴を有する画像の中心が存在する場合に、右空き V字特徴 2— 1一 1が存在するものとする。尚、上述したように画像の中心が存在する場合だけに限らず、例えば、それぞれの領域内に 1次特徴を有する画像全体が含まれる場合に存在するようにしてもよい。また、右上がり斜め領域 4 0 3及び右下がり斜め領域 4 0 4は、図 1 6 Bに示すような矩形形状に限られず、任意の形状であってもよい。これは、他の領域についても同様である。

ここで、顔全体が大きく回転したような画像の場合（すなわち、画像の水平方向或いは垂直方向等の特定の方向から大きく傾いたような場合）は、上述したようなモデルであっても抽出することは困難である。そこで、本実施形態では、複数の回転角度用の検出モデルを用いて 2次特徴の検出を行うようにする。図 1 7 A〜1 7 Dは、 2次特徴を検出するための回転した検出モデルの一例を示す図である。例えば、図 1 7 Aに示す 4種類の 2 次特徴の検出モデルを反時計方向に 4 5度ずつ回転させて 4グループに分けた 2次特徴検出モデルを考える。図 1 7 Aは、正面正立顔を 0度としたときに、ほぼ 0度及び 1 8 0度回転した顔の 2次特徴を検出するための検出モデル群、図 1 7 Bは同様にほぼ 9 0度及び一 9 0度回転した顔の 2次特徴を検出するための検出モデル群、図 1 7 Cは同様にほぼ 4 5度及び— 1 3 5度回転した顔の 2次特徴を検出するための検出モデル群、図 1 7 Dは同様にほぼ一 4 5度及び 1 3 5 度回転した顔の 2次特徴を検出するための検出モデル群を示す。尚、各検出モデルにおいて、 1— 1〜1—4はそれぞれ図 1 4に示される同一符号の 1次特徴を有する画像が含まれる領域を示している。

また、図 1 7 A〜l 7 Dに示した各検出モデル群は、それぞれ右空き V 字特徴 2— 1— 1、左空き V字特徴 2— 2 _ 1、水平平行線特徴 2— 3 - 1、及び、垂直平行線特徴 2— 4一 1という 4種類の 2次特徴を検出するための 4種類の検出モデルから成立し、各検出モデルの番号がその検出モデルで検出する図 1 4に示した 2次特徴を示す。尚、これらの右空き V字特徴、左空き V字特徴、水平平行線特徴、及び垂直平行線特徴という特徴の名称は、顔が正立している時を基準にして付けられたものである。そのため、例えば、図 1 7 Aでは 2— 3 - 1に示すように水平平行線特徴は水平方向に伸びた 2本の線を示しており、その名称と一致する。しかし、図 1 7 Bのように、 9 0度回転した場合は水平平行線特徴という名前が示す特徴は、 2— 3— 2に示すように、実際には垂直方向に伸びた 2本の線を示すことになつてしまう。このように、回転により、特徴の名称と実際の特徴が示す形状が対応しなくなることがある。

尚、図 1 7 A〜l 7 D中の符号 1— 1〜1—4で示されるそれぞれの矩形領域は、上記ステップ S 2 0 2で検出された 1次特徴が存在する領域であり、それぞれの領域に付された符号及びその特徴は、図 1 4に示した 1 次特徴の符号のものと同一である。すなわち、これらの矩形領域に内に当該番号が示す 1次特徴のみが存在する時に、その検出モデルで検出する特徵が存在するということになる。従って、これらの全ての検出モデルを用 2003/016095

40

いて 2次特徴を検出することにより、回転した（傾いた）顔であってもその 2次特徴を検出することができる。

2次特徴検出モデルの設定は、図 1 3の 2次特徴検出モデル設定部 1 3 1 2で行われる。それ以外でも、最初からこのような複数の検出モデルを用意しておいても良いし、例えば、図 1 7 A〜l 7 D中に示したほぼ 0度又は 1 8 0度回転した顔の 2次特徴を検出するための検出モデルを用意し、これらのモデルに対して回転変換及び検出する 1次特徴の種類を変更する処理を行うことにより、 2次特徴検出フィルタ設定部 1 3 1 1で作成しても良い。尚、図 1 7 A〜l 7 Dに示した 2次特徴の検出モデルには同じものが存在しているが、これは説明を分かりやすくするために全て書いてあるためであり、実際の処理では同じ検出モデルを複数用意する必要はない。

2次特徵検出部 1 3 0 2は、上述したように、設定された検出モデルを用いて 2次特徴の検出を行う。すなわち、 2次特徴の検出は、 2次特徴を構成する各 1次特徴の値を用いて行い、検出モデルで設定される各領域の 1次特徴の値がしきい値以上であるかどうかで判断することができる。例えば、 0度用の右空き V字検出モデル 2— 1一 1を用いて、所定の位置の 2次特徴として右空き V字特徴を検出する場合について説明する。この場合は、図 1 6 Bに示すように、右上がり斜め領域 4 0 3中に存在する右上がり斜め特徴 1一 3の値の最大値がしきい値より高く、かつ右下がり斜め領域 4 0 4中に存在する右下がり斜め特徴 1—4の値の最大値がしきい値より高い場合に、当該位置に右空き V字特徴が存在するものとする。そして、その位置の値（2次特徴量）として、例えば、それらの最大値の平均とする。逆に、各領域における 1次特徴の値（1次特徴量）が、どちらか一方でもしきい値より低い場合は、この位置には 2次特徴が存在しないとして、その位置の値を 0とする。

このようにして求められた検出結果は、各 2次特徴毎に、入力画像と同等の大きさの検出結果画像という形で出力される。すなわち、各特徴の検出結果画像の各位置の値を見て、入力画像のその位置に各回転方向の各 2 次特徴が存在するか否かを判断することができる。

従って、このステップ S 2 0 3の処理では、 2次特徴検出モデルの各領域で再度 1次特徴を検出するのではない、ということが特徴である。すなわち、 2次特徴の一つである右空き V字特徴 2— 1—1の検出では、右上がり斜め領域と右下がり斜め領域内で、再度、それぞれ 1次特徴である右上がり斜め特徴 1一 3と右下がり斜め特徴 1一 4を検出するのではない。これらの 1次特徴の検出はステップ S 2 0 2の処理で既に終了しており、ステップ S 2 0 3では、それらの領域に各 1次特徴が存在するか否かをしきい値を使用して判断しているだけである。そして、複数の 1次特徴がそれぞれの領域に存在すると判断された場合に、その位置に 2次特徴が存在するとする処理を行っている。この特徴の検出の処理方法は、 3次特徴及び 4次特徴に関しても同様である。これによつて、処理コストの減少を図ることが可能となる。

2次特徴が検出された後、 3次特徴検出モデル選択部 1 3 1 3では、 3 次特徴検出モデルを選択する（ステップ S 2 0 4 ) 。ここで一例として、ステップ S 2 0 3で検出された 2次特徴から、眼特徴（図 1 4中の符号 3 — 1—：！〜 3— 1ー4) を検出することを考える。図 1 9 A、 1 9 Bは、 3次特徴検出部 1 3 0 3において眼特徴を検出するための眼検出モデルの —例を示す図である。

図 1 9 Aは顔が正立の時を 0度としたときに、回転がほぼ 0度又は 1 8 0度の眼特徴（図 1 4に示した符号 3— 1一 1 ) を検出するための眼検出モデル 7 0 0を示す。回転がほぼ 0度又は 1 8 0度の眼特徴は、回転が 0 度の 2次特徴量である右空き V字特徴 2— 1一 1が左側に、左空き V字特徴 2— 2— 1が右側に、そして水平平行線特徴 2— 3— 1及び垂直平行線特徴 2— 4一 1がそれら V字特徴の中間に存在するといつた組み合わせが満たされることによって検出することができる。従って、眼検出モデル 7 0 0も右空き V字特徴 2— 1一 1を検出する右空き V字領域 7 0 1が左側に、左空き V字特徴 2— 2一 1を検出する左空き V字領域 7 0 2が右側に、そして水平平行線特徴 2 - 3 - 1を検出する水平平行領域 7 0 3及び垂直平行線特徴 2— 4一 1を検出する垂直平行領域 7 0 4がそれら V字領域の中間に存在して成り立つている。

また同様に、図 1 9 Bは回転がほぼ 9 0度又は一 9 0度の眼特徴（図 1 4中の符号 3— 1— 2 ) を検出するための眼検出モデル 7 1 0を示す。回転がほぼ 9 0度又は一 9 0度の眼特徴は、回転が 9 0度の 2次特徴量である右空き V字特徴 2— 1一 2が上側に、左空き V字特徴 2— 2— 2が下側に、そして水平 ·垂直平行線特徴 2— 3〜 4一 2がそれら V字特徴の中間に存在する組み合わせが満たされることによって検出ができる。従って、眼検出モデル 7 1 0も右空き V字特徴 2 - 1 - 2を検出する右空き V字領域 7 1 1が上側に、左空き V字特徴 2— 2— 2を検出する左空き V字領域 7 1 2が下側に、そして水平 ·垂直平行線特徴 2 _ 3〜 4一 2を検出する水平平行領域 7 1 3及び垂直平行領域 7 1 4がそれら V字領域の中間に存在して成り立つている。尚、 4 5度及び 1 3 5度も同様にして実現することができる。

上述したように、ステップ S 2 0 4では、ステップ S 2 0 3で検出された 2次特徴の検出結果に基づいて、 3次特徴検出部 1 3 0 3において 3次特徴検出に使用される 3次特徴検出モデルが、 3次特徴検出モデル選択部 1 3 1 3で選択される。ここで、対象の回転を含んだ 3次特徴（すなわち、傾斜した 3次特徴）を検出するために、ステップ S 2 0 3で検出した全ての回転角度の 2次特徴 2— 1一 1〜2— 4— 4を使用して、図 1 4に示した全ての回転角度での 3次特徴 3—1— 1〜3— 2— 4を検出することも可能である。しかし、その方法では計算コストの増大が著しい。そこで、本実施形態では、ステップ S 2 0 3で検出した 2次特徴の検出結果に基づいて、検出に使用される 3次特徴モデルを 3次特徴検出モデル選択部 1 3 13で選択し、検出する 3次特徴の数（すなわち、対象とする回転角度）を制限することで、計算コストの増大を抑制する。すなわち、本実施形態に係るパターン検出装置には、 2次特徴検出部 1302によって算出された下位モデルの特徴量に基づいて、 3次特徴検出部 1303においてパ夕ーンと比較される上位モデル（3次元特徴検出モデル）の数を制限する 3 次元特徴検出モデル選択部 1313をさらに備えることを特徴とする。また、 4次特徴検出モデル選択部 1314についても同様である。

この選択は、 2次特徴の検出結果画像の各位置毎に、その位置での 2次特徴量である検出結果値（相関値）に基づいて行われる。図 18A、 18 Bは、 3次特徴検出モデル選択部 13 13におけるモデル選択の方法を示す模式図である。図 1 8Aのグラフは、ある位置での 2次特徴の検出結果値（相関値）を示し、横軸は正立時を 0度としたときの回転角度を、縦軸は相関値を示す。ここで、相関値の値域は 0 (相関無し）〜1 (相関最大）とする。また、横軸は、 0度を挟み、 —45度、 45度、及び 90度回転した 2次特徴の結果を示している。これは図 17A〜17Dに示したように 2次特徵を検出する時の回転角度を 45度毎としたためである。

角度 nでの相関値を Snとし、しきい値を S t hとすると、選択方法の例としては、まず、 Sn>S t hを満たす角度の中から最大の Snを S p とし、その時の角度 0 pを選択する。そして、 2番目に大きい Snを S q とし、 S Q>k · S pを満たす時に、その時の角度 Θ qも選択する。さらに、 3番目に大きい S nを S rとし、 S r〉k' * S Qを満たす時にその時の角度 0 rも選択する。ここで、 k、 k' は係数であり、例えば、 k' = k = 0. 7とする。

例えば、 k = k' =0. 7の場合、相関値がしきい値を越えており、かつ、最大相関値 S pの場合の角度 0 pを選択する。次に、さらに最大相関値 Spの 7割（0. 7 S p) よりも 2番目の相関値の方が高ければ、すなわち S q;>0. 7 S pであれば、 2番目の相関値の角度も選択する。尚、このときの相関値は S Qである。そして、さらに 2番目の相関値の 7割（0. 7 S q) よりも 3番目の相関値の方が高ければ、すなわち、 S r>0. 7 S Qであれば、 3番目の相関値の角度も選択する。このときの相関値は S rである。

本実施形態では、上述したような選択方法で、検出する 3次特徴の回転角を選択する。従って、しきい値を越えた角度が無い場合には選択する角度は 0個となり、またしきい値を越えた角度が存在する場合には、各角度の相関値の分布により選択する回転角度とその数が決定される。そして、その選択された回転角に対応した検出モデルを選択する。

尚、他の選択方法として、上述したような相関値に基づいて（すなわち、所定量以上の特徴量を有するもの） 3次特徴を検出する検出モデルの回転角度を選択するのではなく、相関値が上位の角度のモデルを所定数個選択するような選択方法を用いても良い。この場合の選択処理は、図 13に示すパターン検出装置の 3次特徴検出モデル選択部 1313で行われ、選択される検出モデルは、 3次特徴検出モデル保持部 1323に保持されている。

例えば、眼特徴を検出する検出モデルが 45度毎の回転角度で用意されていたとする。そして、図 18 Aが、ある位置での 2次特徴量の相関値を、各回転角度ごとに示しているとする。ここで、例えば、回転角度が一 45 度、 0度、 45度、及び 90度の相関値をそれぞれ 0. 5、 0. 9、 0. 8、及び 0. 3とし、しきい値 S t h = 0. 4、係数 k = k' =0. 7とする。このとき、回転角度一 45度、 0度、 45度で相関値はしきい値 S t hを越えており、 0度の相関値が最大であって、 S p = 0. 9、 0 p = 0度となる。また、 45度の相関値が 0度の相関値の 7割以上を示しているので、 S Q = 0. 8、度となる。よって、この時は、眼特徴を検出するための検出モデルは、 0度の検出モデル及び 45度の検出モデルが選択されることとなる。次に、 3次特徴検出部 1 3 0 3では、ステップ S 2 0 4で設定された 3 次特徴検出モデルを用いて 3次特徴が検出される（ステップ S 2 0 5 ) 。各 3次特徴の検出方法は、ステップ S 2 0 3と同様であり、ステップ S 2 0 4で選択された検出モデルの検出領域内にステップ S 2 0 3で検出された各 2次特徴が存在するか否かを調べることで 3次特徴の検出を行う。例えば、ステップ S 2 0 4の処理に関して上述した 3次特徴の一つである眼特徴の検出例では、その位置において、 0度及び 4 5度の 2種類の検出モデルを用いて、 3次特徴である眼特徴を検出する。

以下では、 3次特徴検出処理の一例として、 0度の検出モデルを用いた時の眼特徴の検出方法について説明する。 0度の眼特徴の検出モデルは、前述した図 1 9 Aに示す検出モデル 7 0 0で示した通りである。すなわち、検出モデル 7 0 0中の右空き V字領域 7 0 1において、（1 ) 2次特徴の 0度の右空き V字特徴 2— 1 - 1の検出結果の相関値がしきい値を越えており、また他の特徴の相関値が相対的に低く、かつ、（2 ) 左空き V字領 '域 7 0 2において 2次特徴の 0度の左空き V字特徴 2— 2— 1の検出結果の相関値がしきい値を越えており、また他の特徴の相関値が相対的に低く、かつ、（ 3 ) 水平平行領域 7 0 3において 2次特徴の 0度の水平平行線特徴 2— 3— 1の検出結果の相関値がしきい値を越えており、また他の特徴の相関値が相対的に低く、かつ、（4 ) 垂直平行領域 7 0 4において 2次特徴の 0度の垂直平行線特徴 2— 4— 1の検出結果の相関値がしきい値を越えており、また他の特徴の相関値が相対的に低い場合の上記 4つの条件を同時に満たすとき、その場所に 3次特徴である眼特徴が存在するものとする。

また、 4 5度の眼特徴の検出についても、同様に、 4 5度用の 2次検出モデルを用いて検出された 2次特徴の 4 5度の検出結果を用いて検出する。そして、これらの検出結果は、 4次特徴検出部 1 3 0 4及び 4次特徴検出モデル選択部 1 3 1 4に対して出力される ₉ 尚、これらの処理は、図 1 3 のパターン検出装置における 3次特徴検出部 1 3 0 3で行われる。

次いで、 4次特徴検出モデル選択部 1 3 1 4は、 4次特徴検出モデルを選択する（ステップ S 2 0 6 ) 。ここでの選択方法は、ステップ S 2 0 4 と同様に、相関値に基づいて選択するものである。例えば、ステップ S 2 0 5の処理の場合の説明で示した 0度及び 4 5度を選択した 3次特徴の検出結果が図 1 8 Bに示すようになったとし、回転角度 0度及び 4 5度の相関値をそれぞれ、 0 . 9及び 0 . 6とし、しきい値を S t h = 0 . 4とする。この場合、回転角度が 0度及び 4 5度ともにしきい値 S t hを越えており、 0度の相関値が最大で S p = 0 . 9、 0 p = O度となる。

ここで、 4 5度の相関値が 0度の相関値の 7割以下であるので、よってこの時は、顔特徴を検出するための検出モデルは、 0度の顔（図 1 4中の符号 4一 1— 1 ) 及び 1 8 0度の逆顔検出（図 1 4中の符号 4一 2— 1 ) を検出するための検出モデルが選択される。また、別の方法として、相関値が上位の角度を既定数選択する選択方法もある。これらの処理は、図 1 のパターン検出装置における 4次特徴検出モデル選択部 1 3 1 4で行われ、検出モデルは 4次特徴検出モデル保持部 1 3 2 4に保持されている。

4次特徴検出部 1 3 0 4は、ステップ S 2 0 6で選択された 4次特徴検出モデルを用いて 4次特徵を検出する（ステップ S 2 0 7 ) 。この場合の検出方法は、ステップ S 2 0 3、 S 2 0 5と同様である。また、 4次特徴である顔特徴を検出した場合、顔の回転角度とともに、両眼と口の位置から検出した顔のサイズも検出できる。これらの処理は、図 1 3のパターン検出装置の 4次特徴検出部 1 3 0 4で行われる。

上述したように、本実施形態に係るパターン検出装置によれば、各特徴を検出するための検出モデルを回転角度に応じて用意し、前段の特徴の検出結果に応じて、次段の特徴の検出に使用する検出モデルを選択している。そのため、各特徴の回転によらず計算コストの増大を抑制しながら検出精 ― P T/JP2003/016095

47

度が向上し、最終的に検出するパターンの検出精度が向上するという効果が得られる。また、眼や口は開閉動作や表情により形状が変化し、例えば、右空き V字特徴の回転角度と顔の回転角度が異なることもある。そのため、 2次特徴の相関値が最大となった回転角度だけで 3次特徴、 4次特徴の検出を行うのではなく、本実施形態で説明したように、相関値に基づいて次段に使用する回転角度の数を決定することにより、回転の検出精度も向上させることができるという効果が得られる。

次に、本実施形態の構成に係るパターン検出（認識）装置又はそれと同様の処理を行う処理手段を撮像装置に搭載させることにより、特定被写体へのフォーカシング、特定被写体の色補正、或いは露出制御を行う場合について説明する。図 2 0は、第 4の実施形態に係るパターン検出装置を用いた撮像装置の構成を示すプロック図である。

図 2 0に示す撮像装置 2 0 0 1は、撮影レンズ及びズ一ム撮影用駆動制御機構を含む結像光学系 2 0 0 2、 C C D又は CMO Sイメージセンサ 2 0 0 3、撮像パラメ一夕計測部 2 0 0 4、映像信号処理回路 2 0 0 5、記憶部 2 0 0 6、撮像動作の制御、撮像条件の制御等の制御用信号を発生する制御信号発生部 2 0 0 7、 E V F (Electronic View Finder) 等のファインダーを兼ねた表示ディスプレイ 2 0 0 8、ストロボ発光部 2 0 0 9、記録媒体 2 0 1 0等を具備し、更に上述したパターン検出装置を被写体検出装置 2 0 1 1として備える。

上記構成を備える撮像装置 2 0 0 1では、例えば、撮影された映像中から人物の顔画像の検出（すなわち、存在位置、サイズ、回転角度の検出）を被写体検出（認識）装置 2 0 1 1により行う。そして、検出された人物の位置情報等が被写体検出 (認識)装置 2 0 1 1から制御信号発生部 2 0 0 7に入力されると、制御信号発生部 2 0 0 7は、撮像パラメ一夕計測部 2 0 0 4からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御等を最適に行う制御信号を発生する。このように、上述したパターン検出（認識）装置を、上記のように撮像装置に用いることで、人物検出とそれに基づく撮影の最適制御を行うことができるようになる。尚、上記説明では、上述したパターン検出装置を被写体検出（認識）装置 2 0 1 1として備える撮像装置 2 0 0 1について説明したが、当然、上述したパターン検出装置のアルゴリズムをプログラムとして実装し、 C P Uで動作させるようにして、撮像装置 2 0 0 1に搭載することも可能である。

また、上記の説明では、検出すべきパターンの特徴を 4階層に分け、 1 次特徴から 4次特徴を順に検出し、最後に検出すべきパターンを確認したが、 4階層に限定されることはなく、例えば 3階層以下であっても、 5階層以上であっても良い。これは、第 2の実施形態や、後述する第 6の実施形態でも同様である。

<第 5の実施形態 >

図 2 1は、本発明の第 5の実施形態に係るパターン検出装置の構成を示すプロック図である。図 2 1において、 2 1 0 0は信号入力部、 2 1 0 1 は 1次特徴検出部、 2 1 1 1は 1次特徴検出フィルタ設定部、 2 1 0 2は 2次特徴検出部、 2 1 1 2は 2次特徴検出モデル設定部、 2 1 0 3は 3次特徴検出部、 2 1 1 3は 3次特徴検出モデル選択部、 2 1 2 3は 3次特徴検出モデル保持部、 2 1 3 3は 2次特徴計測部、 2 1 0 4は 4次特徴検出部、 2 1 1 4は 4次特徴検出モデル選択部、 2 1 2 4は 4次特徴検出モデル保持部、そして 2 1 3 4は 3次特徴計測部を示す。

図 2 1に示すパターン検出装置のそれぞれの構成要素について、上述した第 4の実施形態と異なる部分は、基本的に、 2次特徴計測部 2 1 3 3、 3次特徴計測部 2 1 3 4、及び 3次特徴検出モデル選択部 2 1 1 3、及び 4次特徴検出モデル選択部 2 1 1 4である。

上記第 4の実施形態では、パターン検出装置全体の動作として、 3次特徵検出モデル選択部 1 3 1 3は、 2次特徴検出部 1 3 0 2の出力値に基づいて 3次特徴を検出する際に使用する検出モデルを選択していた。また、 4次特徴検出モデル選択部 1 3 1 4は、 3次特徴検出部 1 3 0 3の出力値に基づいて 4次特徴を検出する際に使用する検出モデルを選択していた。これに対し、本実施形態では、 3次特徴検出モデル選択部 2 1 1 3は、 2 次特徴計測部 2 1 3 3の出力に基づいて 3次特徴を検出する際に使用する検出モデルを選択するという点で異なる。同様に、 4次特徴検出モデル選択部 2 1 1 4は、 3次特徴計測部 2 1 3 4の出力値に基づいて 4次特徴を検出する検出モデルを選択するという点で異なる。

次に、 2次特徴計測部 2 1 3 3及び 3次特徵計測部 2 1 3 4の動作について説明する。 2次特徴計測部 2 1 3 3は、 2次特徴検出部 2 1 0 2の出力に基づいて 2次特徴の回転角度を計測する。また、 3次特徵計測部 2 1 3 4は、 3次特徴検出部 2 1 0 3の出力に基づいて 3次特徴の回転角度を計測する。これらの回転角度 Θ aは、例えば、式（1 ) に示すようにして求められる。

0 式 (1)

ここで、 0 iは各角度、 S iはその角度の相関値を示す。この計算に使用する角度及び相関値は、 2次特徴検出部 2 1 0 2 (又は、 3次特徴検出部 2 1 0 3 ) で計算した全ての角度を用いても良いし、第 4の実施形態で説明したように、しきい値以上の角度を使用したり、またさらに最大の相関値の何割か以上ということで選択してもよい。また、同時に、 2次特徴計測部 2 1 3 3 (又は、 3次特徴計測部 2 1 3 4 ) は、その角度を計算するために使用した角度の中で相関値の上位 2つの角度も出力する。尚、上記式（1) は、 2次特徴又は 3次特徴の回転角度 Θ aを離散的な角度で検出した結果から推定するものであり、本実施形態では、特にこの計算式だけに限られることはなく、他の計算式を使用しても良い。

次に、 3次特徴検出モデル選択部 21 13、及び 4次特徴検出モデル選択部 21 14の動作について説明する。この 2つの特徴検出モデル選択部の動作は、基本的に同じであるので、以下では 3次特徴検出モデル選択部 2 1 1 3だけを例にとって説明する。

図 22は、第 5の実施形態に係るパターン検出装置の 3次特徴検出モデル選択部 21 13の動作を説明するためのフローチャートである。まず、 2次特徴計測部 2133で求められた回転角度 Θ a及びその回転角度 Θ aの計算に使用された前段の特徴を検出した回転角度の中で、検出結果の相関値の上位 2つの回転角度 0 b Θ c (0 b<0 cとする。）が 3次特徴検出モデル選択部 21 13に入力される（ステップ S 1001) 。尚、 2次特徴計測部 2133での計算の際に、選択された角度が 1つだった場合は、 1つの角度 6 b (=θ a) のみ入力される。

次に、 3次特徴検出モデル選択部 21 1 3では、 Θ cの入力が無いかどうかが判別される（ステップ S 1002)。その結果、 Θ cの入力が無く、 0 bのみが入力されていれる場合（Ye s) 、回転角度 0 bの 3次特徴を検出するための検出モデルが選択される（ステップ S 1003) 。一方、 2つの角度 0 b 0 cが入力されている場合（No) 3次特徴検出モデル選択部 21 13では、 0 a Θ b, Θ cに関する判別処理が行われる（ステツプ S 1004) 。この判別処理は、例えば、以下に示す式（2) に基づいて行われる。 f_{l Q} 2*6b+0c

0b≤0a≤ 式 (2)

3 ここで、 0 a、 Θ b 0 cが上記式（2) を満たす場合（Ye s) 、回転角度 0 bと（0 b + 0 c) 2の 2つの角度で 3次特徴を検出するための検出モデルが選択される（ステップ S 1005) 。一方、 Θ aが式（2) を満たす範囲にない場合（No) 、 Θ a, Θ b, 0 cに関する次の判別が行われる（ステップ S 1005)。この判別は、例えば、以下に示す式（3) に基づいて行われる。式（₃₎

Θ a, Θ b, 0 cが上記式（3) を満たす場合（Ye s) 、 3次特徴検出モデル選択部 2113は、回転角度 0 cと（0 b + 0 c) Z2の 2つの角度で 3次特徴を検出するための検出モデルを選択する（ステップ S 10 07) 。一方、 0 aが式 (3) で示す範囲にない場合（No) 、 3次特徴検出モデル選択部 2113は、回転角度 0 bと 0 cの 2つの角度を用いて 3次特徴を検出するための検出モデルを選択する（ステップ S 1008)。上述したように、 3次特徴検出モデル選択部 2113では、 2次特徴計測部 2133で求められた回転角度及び計算に使用された 2つの角度に基づいて、 3次特徴検出部 2103で 3次特徴を検出するための検出モデルを選択する。この動作は、 4次特徴検出モデル選択部 2114も同様である。

ここで、図 23は、第 5の実施形態における検出モデルの選択方法を説明するための模式図である。上述した図 22に示すフローチャートの動作を図 23の模式図を用いて説明すると、 2次特徴計測部 2133で求められた回転角度が、図 23における Aの範囲の時、 Bの範囲の時、 Cの範囲の時で、 3次特徴を検出するための検出モデルを変更するものである。例えば、図 23に示すように、 2次特徴計測部 2133で求めた回転角度が Bの範囲であれば、 3次特徴検出部 2 1 0 3で使用する検出モデルは、 0 度及び 4 5度回転した検出モデルとなる。一方、回転角度が Aの範囲であれば、検出モデルは、 0度及び 2 2 . 5度回転した検出モデルとなる。また Cの範囲であれば、 2 2 . 5度及び 4 5度回転した検出モデルとなる。このように、計算に使用した 2つの回転角度のいずれか一方に近ければ、 2つの検出予定の角度間隔を狭めることで、次段の特徴検出において回転角度の計算の精度が向上する。尚、そのためには、 3次特徴を検出するための検出モデルは、 2次特徴を検出するための検出モデルよりも細かい角度間隔で用意する必要がある。そして、 4次特徴を検出するための検出モデルは、さらに詳細な角度で用意する必要がある。

例えば、 2次特徴を 4 5度間隔で検出したときには、 3次特徴は 2 2 . 5度ずつ用意する必要がある。このようにすることで、被検出被写体にもよるが、図 2 4に示したように、 2次特徴、 3次特徴、 4次特徴と検出を進めていくことで、検出モデルの回転角度間隔が狭くなり、検出精度が向上することもある。すなわち、図 2 4は、第 5の実施形態での各階層における検出モデルの回転角度の変化を示す図である。

尚、選択された検出モデルの回転角度に対応した前段の検出結果が無い場合は、その回転角度を挟む 2つの回転角度での検出結果が使用される。例えば、 3次特徴検出部 2 1 0 3で使用する検出モデルとして 2 2 . 5度回転した検出モデルが選択されると、その検出モデルを用いた検出には、 2次特徴検出部 2 1 0 2で検出した 0度及び 4 5度回転した 2次特徴が使用される。

尚、上記式（2 ) 及び式 ( 3 ) は、 2次特徴計測部 2 1 3 3又は 3次特徴計測部 2 1 3 4で計測した 2次特徴又は 3次特徴の回転角度 0 aと、その前段の特徴を検出した時の回転角度 Q iとの比較を行い、計測した回転角度 Θ aが検出に使用した回転角度におけるある回転角度 Θ iに近いか否かを判別するために用いられるものである。従って、上記計算式だけに限定されるものではなく、別の判別方法を使用しても良い。

上述したように、本実施形態に係るパターン検出装置によれば、各特徵を検出するための検出モデルを、 ·高次特徴になるほど角度幅を小さくして用意し、前段の特徴の検出結果に応じて、次段の特徴の検出に使用する検出モデルを選択させる。従って、各特徴の回転によらず計算コストの増大を抑制しながら検出精度が向上し、高次特徴になるほど検出精度が向上するという効果が得られる。

また、第 5の実施形態の構成に係るパターン検出（認識）装置、及びパ夕一ン検出方法が動作する処理手段を撮像装置に搭載させることによって、第 4の実施形態と同様に、上記効果を有する撮像装置を実現することが可能である。

<第 6の実施形態 >

図 2 5は、本発明の第 6の実施形態に係るパターン検出装置の構成を示すブロック図である。図 2 5において、 2 5 0 0は信号入力部、 2 5 0 1 は 1次特徴検出部、 2 5 1 1は 1次特徴検出フィルタ設定部、 2 5 0 2は 2次特徴検出部、 2 5 1 2は 2次特徴検出モデル設定部、 2 5 0 3は 3次特徴検出部、 2 5 1 3は 3次特徴検出モデル設定部、 2 5 2 3は 3次特徴基準モデル保持部、 2 5 3 3は 2次特徴計測部、 2 5 0 4は 4次特徴検出部、 2 5 1 4は 4次特徴検出モデル^定部、 2 5 2 4は 4次特徴基準モデル保持部、及び 2 5 3 4は 3次特徴計測部を示す。

図 2 5に示すパターン検出装置中のそれぞれの構成要素において、第 5 の実施形態と異なる部分は、基本的に 3次特徴検出モデル設定部 2 5 1 3、 4次特徴検出モデ ^;ル設定部 2 5 1 4、 3次特徴基準モデル保持部 2 5 2 3、及び 4次特徴基準モデル保持部 2 5 2 4である。

上記第 5の実施形態では、 3次特徴検出モデル選択部 2 1 1 3においては、 2次特徴計測部 2 1 3 3の出力に基づいて 3次特徴を検出する際に使用する検出モデルを 3次特徴検出モデル保持部 2 1 2 3から選択していた。同様に、 4次特徴検出モデル選択部 2 1 1 4においては、 3次特徴計測部 2 1 3 4の出力に基づいて 4次特徴を検出する際に使用する検出モデルを 4次特徴検出モデル保持部 2 1 2 4から選択していた。

これに対し本実施形態に係るパターン検出装置では、 3次特徴検出モデル設定部 2 5 1 3おいて、 2次特徵計測部 2 5 3 3の出力に基づいて 3次特徴を検出する際に使用する検出モデルを 3次特徴基準モデル保持部 2 5 2 3に保持されている基準モデルから設定するという点で異なる。また、 4次特徴検出モデル設定部 2 5 1 4において 3次特徵計測部 2 5 3 4の出力に基づいて 4次特徴を検出する際に使用する検出モデルを 4次特徴基準モデル保持部 2 5 2 4に保持されている基準モデルから設定するという点で異なる。

次に、 3次特徴検出モデル設定部 2 5 1 3及び 4次特徴検出モデル設定部 2 5 1 4の動作について説明する。尚、この 2つの特徴検出モデル設定部の動作は基本的に同じであるので、以下では、 3次特徴検出モデル設定部 2 5 1 3を例にして説明する。 3次特徴検出モデル設定部 2 5 1 3は、まず、 2次特徴計測部 2 1 3 3の出力をパラメ一夕とし、以下に示す式（4 ) を使用して 0 dを計算する。

θ ά 式 (4)

ここで、 0 iは各角度、 S iはその角度の相関値であり、 0 aは第 5の実施形態で説明した式 ( 1 ) による回転角度である。次に、式（5 ) を使用して Θ eを求める。

式 ( 5 ) 上記式（5 ) において、 ηは階層を表し、例えば、ここでは 3次特徴の検出モデルを設定するので η = 3となる。また、ひは初期角度であり、例えば 4 5度とする。さらに、 Ρは任意の正の実数であり、例えば 2とする。次に、この 0 dと 0 eの値の大きい方を選択し、それを S f とする。そして、 0 a ± 0 fで求められる 2つの回転角度の検出モデルを設定する。図 2 6は、第 6の実施形態における 2つの回転角度 0 f 、 0 a土 0 fの概要を示す図である。

検出モデルの設定は、 3次特徴基準モデル保持部 2 5 2 3に保持されている基準モデルを求めた回転角度 0 a土 0 fで回転変換させて作成する。この動作は 4次特徴検出モデル選択部 2 1 1 4も同様である。尚、上記式 ( 4 ) は、 3次特徴又は 4次特徴の検出モデルの回転角度間隔を、回転角度 0 a及び離散的な角度で検出した結果から計算するものである。しかし、式（4 ) の計算角度が非常に小さくなると検出精度が劣化するため、本実施形態では上記式（5 ) を計算し、角度の設定時には、式（4 )又は式（5 ) の計算角度の大きい方を選択するようにしている。尚、本実施形態における検出モデルの設定は、上記方式だけに限定されるものではなぐ例えば、 3次特徴又は 4次特徴の検出モデルの適切な回転角度間隔が設定できれば、他の方式を用いても良い。

3次特徴検出部 2 5 0 3 (又は、 4次特徴検出部 2 5 0 4 ) では、上記 2つの回転角度で回転された検出モデルを用いて、 3次特徴（又は、 4次特徴）の検出を行う。尚、選択された検出モデルの回転角度に対応した前段の検出結果が無い場合は、第 5の実施形態と同様に、その回転角度を挟む 2つの回転角度での検出結果が使用される、又は一番近い回転角度での検出結果が使用される。上述したように本実施形態によれば、各特徴を検出するための検出モデルを前段の特徴の検出結果に基づいて、次段の特徴の検出に使用する検出モデルをその検出結果の角度を必ず挟むように設定した。また、その際に検出結果値に基づいて挟む角度も調整した。従って、各特徴の回転によらず計算コストの増大を抑制しながら検出精度が向上する。

尚、本実施形態で示したパターン検出（認識）装置及びパターン検出方法が動作する処理手段を、第 4、第 5の実施形態と同様に、撮像装置に搭載させることも可能である。

<第 7の実施形態 >

図 2 7に、第 7の実施形態のパターン認識装置の機能構成を示す。本実施形態のパターン検出装置は、撮像装置等に適用可能であり、対象画像中に存在する全ての認識対象（パターン）を検出するにあたり、対象画像から認識対象を構成する複数の特徴を階層的に検出するための基準デ一夕を複数保持し、当該基準データに基づき、前段の特徴の検出結果から求めたパラメ一夕を用いて、対象とする特徴検出のためのデータを設定する構成により、対象画像中にサイズの異なる複数の認識対象が存在する場合であっても、全ての認識対象を少ない処理コストで効率的に検出するようになされている。

本実施形態のパターン検出装置は、図 2 7に示すように、信号入力部 2 7 0 0、 1次特徴検出部 2 7 0 1、 1次特徴検出フィル夕設定部 2 7 1 1、 2次特徴検出部 2 7 0 2、 2次特徴検出モデル設定部 2 7 1 2、 2次特徴基準モデル保持部 2 7 2 2、 3次特徴検出部 2 7 0 3、 3次特徴検出モデル設定部 2 7 1 3、 3次特徴基準モデル保持部 2 7 2 3、 4次特徴検出部 2 7 0 4、 4次特徴検出モデル設定部 2 7 1 4、 4次特徴基準モデル保持部 2 7 2 4、パターン確認部 2 7 0 5、確認パターン設定部 2 7 1 5、及び基準確認パターン保持部 2 7 2 5を備えている。

信号入力部 2 7 0 0は、画像信号や音声信号等の処理対象となる信号（ここでは、対象画像の信号）を入力する。

1次特徴検出部 2 7 0 1は、信号入力部 2 7 0 0から入力された信号に対して、 1次の特徴を検出するための処理を施し、この処理結果（1次特徴検出結果）を 2次特徴検出部 2 7 0 2に供給すると共に、当該 1次特徴検出結果及びそのパラメータを 2次特徴検出モデル設定部 2 7 1 2に供給する。

このとき、 1次特徴検出フィル夕設定部 2 7 1 1は、 1次特徴検出部 2 7 0 1で 1次特徴を検出するためのフィル夕特性又はパラメ一夕を設定する。

2次特徴検出部 2 7 0 2は、 1次特徴検出部 2 7 0 1からの 1次特徴検出結果に対して、 2次特徴検出モデル設定部 2 7 1 2により設定された検出モデルを用いて、 2次の特徴を検出する処理を施し、この処理結果（2 次特徴検出結果）を 3次特徴検出部 2 7 0 3に供給すると共に、当該 2次特徴検出結果及びそのパラメータを 3次特徴検出モデル設定部 2 7 1 3に供給する。

このとき、 2次特徴検出モデル設定部 2 7 1 2は、 2次特徴検出部 2 7 0 2で 2次特徴を検出する際に使用する、 1次特徴それぞれの位置関係を示すモデルを、 2次特徴基準モデル保持部 2 7 2 2に保持された基準モデル、 1次特徴検出部 2 7 0 1からの 1次特徴検出結果、及びそのパラメ一夕を用いて設定する。

2次特徴基準モデル保持部 2 7 2 2は、 2次特徴検出モデル設定部 2 7 1 2で設定する検出モデルの基準モデルを保持する。

3次特徴検出部 2 7 0 3は、 2次特徴検出部 2 7 0 2からの 2次特徴検出結果に対して、 3次特徴検出モデル設定部 2 7 1 3により設定された検出モデルを用いて、 3次の特徴を検出する処理を施し、この処理結果（3 次特徴検出結果）を 4次特徴検出部 2 7 0 4に供給すると共に、当該 3次特徴検出結果及びそのパラメータを 4次特徴検出モデル設定部 2 7 1 4に供給する。

このとき、 3次特徴検出モデル設定部 2 7 1 3は、 3次特徴検出部 2 7 0 3で 3次特徴を検出する際に使用する、 2次特徴それぞれの位置関係を示すモデルを、 3次特徴基準モデル保持部 2 7 2 3に保持された基準モデル、及び 2次特徴検出部 2 7 0 2からの 2次特徴検出結果及びそのパラメ一夕とを用いて設定する。

3次特徴基準モデル保持部 2 7 2 3は、 3次特徴検出モデル設定部 2 7 1 3で設定する検出モデルの基準モデルを保持する。

4次特徴検出部 2 7 0 4は、 3次特徴検出部 2 7 0 3からの 3次特徴検出結果に対して、 4次特徴検出モデル設定部 2 7 1 4により設定された検出モデルを用いて、 4次の特徴を検出する処理を施し、この処理結果（4 次特徴検出結果）をパターン確認部 2 7 0 5に供給すると共に、当該 4次特徴検出結果及ぴそのパラメータを確認パターン設定部 2 7 1 5に供給する。

このとき、 4次特徴検出モデル設定部 2 7 1 4は、 4次特徴検出部 2 7 0 4で 4次特徴を検出する際に使用する、 3次特徴それぞれの位置関係を示すモデルを、 4次特徴基準モデル保持部 2 7 2 4に保持された基準モデル、及び 3次特徴検出部 2 7 0 3からの 3次特徴検出結果及びそのパラメ一夕とを用いて設定する。

4次特徴基準モデル保持部 2 7 2 4は、 4次特徴検出モデル設定部 2 7 1 4で設定する検出モデルの基準モデルを保持する。

パターン確認部 2 7 0 5は、信号入力部 2 7 0 0により入力された信号中に、確認パターン設定部 2 7 1 5で設定された確認パターンが存在するか否かを確認する。

確認パターン設定部 2 7 1 5は、基準確認パターン保持部 2 7 2 5に保持された基準パターン、 4次特徴検出部 2 7 0 4からの 4次特徴検出結果、及びそのパラメ一夕を使用して、パターン確認部 2 7 0 5で使用する確認パターンを設定する。

基準確認パターン保持部 2 7 2 5は、確認パターン設定部 2 7 1 5で設定する確認パターンの基準パターンを保持する。

図 2 8は、パターン認識装置 1 0 0の動作をフローチャートにより示したものである。

尚、ここではパターン認識処理の一例として、信号入力 1 3 0からは画像信号が入力され、その画像中の顔領域を検出するものとする。

信号入力部 2 7 0 0は、処理対象信号として画像信号を入力する（ステップ S 2 8 0 1 )。

1次特徴検出部 2 7 0 1は、例えば、 1次特徴検出フィル夕設定部 2 7 1 1により設定されたフィルタを用いて、信号入力部 2 7 0 0により入力された画像信号から構成される画像（対象画像）の各位置で 1次特徴を検出する（ステップ S 2 8 0 2 )。

具体的には、例えば図 1 4に示すように、 1次特徴検出部 2 7 0 1は、対象画像において、縦特徴大（ 1— 1— 1 )、横特徴大（ 1一 2— 1 )、右上がり斜め特徵大（1一 3— 1 )、右下がり斜め特徴大（1一 4一 1 )、縦特徴小（1一 1一 2 )、横特徴小（1— 2— 2 )、右上がり斜め特徴小（1 - 3 - 2 ) , 及び右下がり斜め特徴小（ 1一 4一 2 )等の異なる方向及び異なるサイズの特徴を検出し、この検出結果（1次特徴検出結果）を、各特徴毎に対象画像と同等の大きさの検出結果画像という形で出力する。

この結果、ここでは 8種類の 1次特徴の検出結果画像が得られることになる。これにより、各特徴の検出結果画像の各位置の値を参照することで、対象画像の該当する位置に各特徴が存在するか否かを判断できる。

尚、 1次特徴検出部 2 7 0 1で使用するフィルタは、最初から複数用意するようにしてもよいし、或いは、方向やサイズをパラメ一夕として、 1 次特徴検出フィル夕設定部 2 7 1 1で作成するようにしてもよい。

また、上記図 1 4に示すように、後述する処理で検出する 2次特徴は、右空き V字特徴（2 - 1 )、左空き V字特徴（2 2 )、水平平行線特徴（2 一 3 )、及び垂直平行線特徴（2— 4 ) であり、 3次特徴は、眼特徴（3— 1 ) 及び口特徴（3— 2 ) であり、 4次特徴は、顔特徴（4— 1 ) であるものとする。

2次特徴検出モデル設定部 2 7 1 2は、 2次特徴検出部 2 7 0 2で 2次特徴を検出するためのモデルを設定する（ステップ S 2 8 0 3 )。

具体的には、例えばまず、上記図 1 4に示す右空き V字特徴（2— 1 ) を検出するための検出モデルの設定を一例として挙げて考えるものとする。右空き V字特徴（2— 1 ) は、例えば、図 1 6 Aに示すように、 1次特徴である右上がり斜め特徴が上部に、右下がり斜め特徴が下部に存在している。すなわち、右空き V字特徴を検出するためには、ステップ S 2 8 0 2で求めた 1次特徴検出の結果を利用して、上部に右上がり斜め特徴が存在し、下部に右下がり斜め特徴が存在する位置を求めればよく、その位置に、右空き V字特徴 ( 2 - 1 ) が存在することになる。

このように、複数種類の 1次特徴を組み合わせて、 2次特徴を検出することができる。しかしながら、対象画像中に存在する顔のサイズは固定サィズではなく、また、個人によって眼や口の大きさが異なり、さらに、眼や口は開閉動作をするため、右空き V字の大きさも変化する。

そこで、本実施形態では、上記図 1 6 Bに示すような、右空き V字検出基準モデル 4 0 0を用いる。右空き V字検出基準モデル 4 0 0において、 4 0 3は右上がり斜め領域、 4 0 4は右下がり斜め領域である。右上がり斜め領域 4 0 3に対して、ステップ S 2 8 0 2で求めた 1次特徴のうち、右上がり斜め特徴大、若しくは右上がり斜め特徴小のみが存在し、また、右下がり斜め領域 4 0 4に対して、右下がり斜め特徴大、若しくは右下がり斜め特徴小のみが存在する場合に、その位置に右空き V次特徴（2— 1 ) が存在するとする。このような構成することで、右空き V字について、ある程度の大きさや形状の変化に対して、頑健な処理を施すことができる。しかしながら、例えば、図 2 9 A及び 2 9 Bに示すように、大きさがかなり異なる右空き V字特徴の検出のためには、同じ V字検出基準モデル 4 0 0を使用しても検出が困難である。もちろん、上記図 2 9 A及び 2 9 B に示すような、大きさがかなり異なる右空き V字特徴を同一の V字基準モデル 4 0 0を用いて検出するために、例えば、図 1 6 Bに示す右空き V字検出基準モデル 4 0 0を非常に大きく設定し、その結果右上がり斜め領域 4 0 3や右下がり斜め領域 4 0 4を非常に広く取るようにすれば、大小のサイズの異なる右空き V字特徴の検出は可能である。

しかしながら、各 1次特徴の探索範囲が大きくなるため、例えば、.右上がり斜め特徴のサイズは大であり、右下がり斜め特徴のサイズは小であり、さらに、それらの位置も大きくずれている、などという誤検出が起こりやすい。

すなわち、右空き V字特徴であれば、右上がり斜め特徴も、右下がり斜め特徴も、それぞれ右空き V字特徴の 1構成要素であり、これらの大きさは略同じであり、且つこれらは近傍に存在しており、右空き V字特徴のサィズが大きければ、右上がり斜め特徴のサイズも、右下がり斜め特徴のサィズも、大きくなる。

したがって、 2次特徴を検出するための基準モデルのサイズは、ステツプ S 2 8 0 2で検出された 1次特徴のサイズに合わせて適したものにする。また、 1次特徴である、右上がり斜め特徴や右下がり斜め特徴に関しても、常に同じフィルタサイズでの検出は困難である。

そこで、上記図 2 9 Aに示すように、対象画像における '顔のサイズが小さい場合、 1次特徴を小さいサイズのフィル夕で検出し、同図 2 9 Bに示すように、対象画像における顔のサイズが大きい場合、 1次特徴を大きいサイズのフィルタで検出し、上述したように 2次特徴である右空き V字特徴を検出するモデルのサイズをも、 1次特徴を検出したフィル夕のサイズに依存して変更する。上述のように、本ステップ S 2 8 0 3では、 1次特徴を検出したフィル夕のサイズをパラメ一夕として、各 2次特徴の検出のためのモデルを拡大或いは縮小して、各 2次特徴を検出するための 2次特徴の検出のためのモデルを設定する。

上記図 2 9 Cは、顔サイズが小さい場合の右空き V字検出用のモデルを示し、図 2 9 Dは、顔サイズが大きい場合の右空き V字検出用のモデルを示したものである。これらのモデルは、上記図 1 6 Bに示した右空き V次検出基準モデル 4 0 0を、それぞれ異なる倍率でサイズ変更したものである。

もちろん、 1次特徴を検出するために複数のサイズのフィルタを用意し、該当するサイズに合わせて複数の処理チャネルを用意し、それぞれのサイズの 2次特徴、さらに 3次特徴、 …を、それぞれの処理チャネルで検出する方法は有効である。

ただし、対象画像中の顔のサイズの変動が大きい場合、各顔サイズに合わせた処理チャネルを用意すると、処理チャネルの数が多くなる。すなわち、処理コスト量が多くなる。 '

そこで、本実施形態では、 2次特徴検出以降の特徴検出においては、検出モデルのサイズを、前段の階層の検出結果に応じて変更することで、上記の問題を解決している。

尚、上記図 1 6 Bに示したような、右空き V字検出基準モデル 4 0 0、右上がり斜め領域 4 0 3、及び右下がり斜め領域 4 0 4は、予め検出すベき特徴に合わせて設定され、 2次特徴基準モデル保持部 2 7 2 2に保持されているものとする。

また、上記図 1 4に示したような各特徴はそれぞれ、前ステップ処理で検出された特徴の組み合わせで検出が可能である。

例えば、 2次特徴に関しては、左空き V字特徴は右下がり斜め特徴及び右上がり斜め特徴から検出可能であり、水平平行線特徴は横特徴から検出可能であり、垂直平行線特徴は縦特徴から検出可能である。また、 3次特徴に関しては、眼特徴は右空き V字特徴、左空き V字特徴、水平平行線特徴、及び垂直平行線特徴から検出可能であり、口特徴は右空き V字特徴、左空き V字特徵、及び水平平行線特徴から検出可能であり、 4次特徴に関しては、顔特徴は眼特徴と口特徴から検出可能である。

2次特徴検出部 2 7 0 2は、ステップ S 2 8 0 3で設定された 2次特徵検出モデルを用いて、対象画像の 2次特徴を検出する（ステップ S 2 8 0 4 )。具体的には、例えば、まず 2次特徴の検出は、 2次特徴を構成する各 1次特徴の値を用いて行うが、例えば、各 1次特徴の値が、任意のしきい値以上であるか否かで判断する。

例えば、右空き V字検出モデルを用いて、所定の位置の 2次特徴の右空き V字特徴を検出する場合で、右上がり斜め領域中に存在する各右上がり斜め特徴の値の最大値がしきい値より高く、且つ右下がり斜め領域中に存在する各右下がり斜め特徴の値の最大値がしきい値より高い場合、その位置に右空き V字特徴が存在するものとする。そして、その位置の値を、それら最大値の平均とする。逆に、各 1次特徴の値がしきい値より低い場合、その位置には 2次特徴が存在しないとして、その位置の値を" 0 "とする。上述のようにして求めた 2次特徴検出結果は、各 2次特徴毎に、対象画像と同等の大きさの検出結果画像という形で出力される。すなわち、上記図 1 4に示すような 2次特徴であれば、 4種類の 2次特徴検出結果の画像が得られることになる。これらの検出結果画像の各位置の値を参照することで、対象画像の該当する位置に各 2次特徴が存在するか否かを判断できる。

ところで、本ステップ S 2 8 0 4の処理では、 2次特徴検出モデルの各領域で 1次特徴を検出するのではない、ということに注意する必要がある。すなわち、例えば、 2次特徴の 1つである右空き V字特徴の検出では、右上がり斜め領域と右下がり斜め領域でそれぞれ、 1次特徴である右上がり JP2003/016095

64

斜め特徴と右下がり斜め特徴を検出するのではない。これらの 1次特徴の検出はステップ S 2 8 0 2で終了しており、したがって、本ステップ S 2 8 0 4では、これら領域に各 1次特徴が存在するか否かを、しきい値を使用して判断している。

そして、この結果、複数の 1次特徴が、それぞれの領域に存在すると判断した場合に、その位置に 2次特徴が存在するとする処理を実行する。このような特徴検出の処理方法は、次の 3次特徴及び 4次特徴に関しても同様である。

また、本ステップ S 2 8 0 4の処理では、次の 3次特徴検出モデルを設定するために使用するパラメ一夕を求める。例えば、図 3 0に示すように、右空き V字特徴の検出と同時に、右上がり斜め特徴の最大値を示した点と、右下がり斜め特徴の最大値を示した点との距離をパラメ一夕として求めておく。そして、このパラメ一夕を、各 2次特徴検出結果と共に出力する。

3次特徴検出モデル設定部 2 7 1 3は、 3次特徴検出部 2 7 0 3で 3次特徴を検出する際に使用する、 2次特徴それぞれの位置関係を示すモデルを、 3次特徴基準モデル保持部 2 7 2 3に保持された基準モデル、及び 2 次特徴検出部 2 7, 0 2からの 2次特徴検出結果及びそのパラメータとを用いて設定する（ステップ S 2 8 0 5 )。

具体的には例えば、ここでは説明の簡単のため、上記図 1 4に示すような眼特徵（3— 1 ) を検出するための検出モデルの設定を考える。

図 1 9 Aは、眼を検出するための眼検出基準モデル 7 0 0の一例を示したものである。眼検出基準モデル 7 0 0では、 2次特徴量である、右空き V字特徴（図 1 4の（2— 1 ) 参照）の存在する右空き V字領域 7 0 1が左側に、左空き V字特徴（図 1 4の（2— 2 ) 参照）の存在する左空き V 字領域 7 0 2が右側に、そして水平平行線特徴（図 1 4の（ 2— 3 )参照）の存在する水平平行線領域 7 0 3及び垂直平行線特徴（図 1 4の（ 2 - 4 ) 参照）の存在する垂直平行線領域 7 0 4が、これら V字特徴の中間に存在している。

本ステップ S 2 8 0 5においても、ステップ S 2 8 0 3と同様に、サイズ変動に対応するために、この基準モデルを拡大或いは縮小して 3次特徴を検出するのに適した 3次特徴検出モデルを設定する。当該基準モデルの拡大或いは縮小に使用するのが、ステップ S 2 8 0 4で求めたパラメ一夕である。

例えば、右空き V字エッジを検出する際に求めた右上がり斜め特徴と右下がり斜め特徴の最大値を示す位置間の距離は、眼の大きさに依存する。そこで、この距離をパラメ一夕として、眼の基準モデルを基に眼特徴検出モデルを設定する。

上述のようにして、各 3次特徴に対して、各基準モデルを基に、 2次特徴のパラメ一夕を用いて各位置に応じた検出モデルを設定する。すなわち、例えば、図 3 1 Aに示すように、サイズが異なる（すなわち、眼のサイズが異なる）顔が対象画像中に存在する場合、上述したように 2次特徴である右空き V字特徴の大きさをパラメ一夕として、図 3 1 Bに示すように、各位置に適した眼特徴検出モデルを設定する。

上記図 3 1 Bでは、眼特徴検出モデル 8 0 1は、その位置の 2次特徴のパラメ一夕値から求めた大きさとなり、また、眼特徴検出モデル 8 0 2の位置の 2次特徴のパラメ一夕値から求めた大きさになることを概念的に示している。

3次特徴検出部 2 7 0 3は、ステップ S 2 8 0 5で設定された 3次特徴検出モデルを用いて 3次特徴を検出する（ステップ S 2 8 0 6 )。ここでの各 3次特徴の検出方法は、ステップ S 2 8 0 4と同様の方法であるため、その詳細な説明は省略する。また、パラメータに関しては、例えば、眼の検出でる場合、最大値を示した右空き V字特徴と左空き V字特徴間の距離 (眼の横幅に対応した距離）を求め、これをパラメータとする。

4次特徴検出モデル設定部 2 7 1 4は、 4次特徴検出部 2 7 0 4で 4次特徴を検出する際に使用する、 3次特徴それぞれの位置関係を示すモデルを、 4次特徴基準モデル保持部 2 7 2 4に保持された基準モデル、及び 3 次特徴検出部 2 7 0 3からの 3次特徴検出結果及びそのパラメ一夕とを用いて設定する（ステップ S 2 8 0 7 )。

具体的には例えば、顔特徴の検出の場合、顔のサイズと眼の横幅には一般的に関連があるため、上記図 1 4に示すような顔特徴（4—1 ) の基準モデルに対して、ステップ S 2 8 0 6で得られた、眼の横幅を示すパラメ —タを用いて、当該顔の基準モデルを基に、顔特徴検出モデルを設定する。

4次特徴検出部 2 7 0 4は、ステップ S 2 8 0 7で設定された 4次特徴検出モデルを用いて、 4次特徴を検出する（ステップ S 2 8 0 8 )。ここでの検出方法は、ステップ S 2 8 0 4及び S 2 0 6と同様の方法であるため、その詳細な説明は省略する。また、パラメ一夕に関しては、例えば、顔特徴の検出の場合、両眼と口の位置をパラメ一夕とする。このパラメ一夕は、次のステップ S 2 8 0 9で使用される。

確認パターン設定部 2 7 1 5は、基準確認パターン保持部 2 7 2 5に保持された基準パターン、 4次特徴検出部 2 7 0 4からの 4次特徴検出結果、及びそのパラメ一夕を使用して、パターン確認部 2 7 0 5で使用する確認パターンを設定する（ステップ S 2 8 0 9 )。

具体的には、まず、ステップ S 2 8 0 1〜ステップ S 2 8 0 8の処理で 4次特徴検出を行なうが、対象画像中の背景において、 4次特徴を構成する複数の 3次特徴に似た領域が存在し、かつそれらの位置関係も似ている場合、 4次特徴検出で誤検出を行う可能性がある。

例えば、顔の検出の場合、対象画像中の背景において、それぞれ両眼及び口と似た領域が存在し、また、これらの位置関係も似ている場合、顔特徴の検出で誤検出をする可能性がある。そこで、検出すべきパターンの一般的な基準パターンを用意し、このパターンの大きさや形状を、ステップ S 2 8 0 8で求めたパラメ一夕を基に修正することで、確認パターンを求め、この確認パターンを用いて、最終的に検出すべきパターンが対象画像中に存在するか否かを判断する。

ここでは一例として、顔を検出パターンとしているため、顔の一般的な基準パターンを用意し、この基準パターンを修正することで、顔確認パ夕 —ンを求め、この顔確認パターンを使用して、顔パターンが対象画像中に存在するかを判断する。

このため、本ステップ S 2 8 0 9では、先ず、基準パターンを基に、ステツプ S 2 8 0 8で求めたパラメ一夕を用いて、確認パターンを設定する。すなわち、顔パターンの設定においては、顔の基準パ夕一ンを基に、ステップ S 2 8 0 6で求めた両眼と口の位置を示すパラメータを用いて、顔確認パターンを設定する。

図 3 2 A及び 3 2 Bは、確認パ夕一ンの一例を示したものである。図 3 2 Aは、顔基準パターンを示したものであり、この顔基準パターンは、例えば、複数の顔を用意し、これらの大きさを正規化した後で輝度値の平均を取ったものである。

図 3 2 Aの顔基準パターンに対して、ステップ S 2 8 0 8で求められたパラメ一夕、すなわち両眼の位置及び口の位置を使用して、図 3 2 Bに示すように、サイズや回転の変換を行なう。具体的には例えば、両眼間の距離や、両眼間の中点と口の距離を用いて、サイズの変換を行ない、また、両眼間の傾きを用いて、回転変換を行なうことで、顔確認パターンを設定する。

尚、確認パターンの設定方法としては、上述した方法に限られることはなく、例えば、サイズや回転量が異なった複数の基準パターンを用意しておき、これらの基準パターンの中から 1つを、ステップ S 2 8 0 6のパラメ一夕を用いて選択するようにしてもよい。或いは、パラメ一夕を使用して、上記複数の基準パターンをモ一フィングの技術等により合成して設定するようにしてもよい。パ夕一ン確認部 2 7 0 5は、ステップ S 2 8 0 9で設定された確認パ夕 —ンを用いて、対象画像から検出パターンを求める（ステップ S 2 8 1 0 )。具体的には例えば、対象画像において、ステップ S 2 8 0 8で 4次特徴が検出された位置で、ステップ S 2 8 0 9で求めた確認パターンと、対象画像中の該当する位置の部分領域との相関を求め、その値が任意のしきい値を越えた場合に、その位置に検出パターンが存在するものとする。

上述したように、本実施形態では、各特徴を検出するための基準モデルを用意し、前段の特徴の検出結果から求めたパラメータを用いて、基準モデルを基に検出モデルを設定するように構成したので、各特徴の検出精度が向上し、最終的に検出するパターンの検出精度が向上する。また、最後の確認処理として、平均パターンとの相関を見る際に、それまでに求めた各特徴の位置に応じて、その平均パターンに対して、回転やサイズの変更等の変形を行なうことで、確認精度が向上する、という効果が得られる。更に、上記図 2 7に示したパターン認識（検出）装置の機能を、例えば、図 2 0に示すような撮像装置に搭載させることで、特定被写体へのフォーカシングゃ、特定被写体の色補正、或いは露出制御を行う際に利用できる。すなわち、撮影して得られた映像中の人物検出と、これに基づく撮影の最適制御を行うことができる。

尚、本実施形態では、対象画像から検出すべきパターンの特徴を 4階層に分けて、 1次特徴〜 4次特徴を順に検出し、最後に検出すべきパターンを確認するように構成したが、この 4階層に限られることはなく、 3階層や 5階層等の任意の階層を適用可能である。これは、以下に説明する第 8 の実施形態及び第 9の実施形態でも同様に実施可能である。

また、本実施形態では一例として、顔パターンを検出パターンとして、対象画像から顔領域を求めるものとしたが、本発明は、顔検出のみに限定されるわけではない。例えば、図 3 3 Aに示すような " 2 4 " という数字列を対象画像中から検出することも可能である。上記の数字列検出の場合、図 33 Bに示すように、 "2"は、横方向線分と右斜め下方向線分からなる 2次特徴（上部特徴）と、縦方向線分と右斜め上方向線分からなる 2次特徴（中間部特徴）と、右斜め上方向線分と横方向線分からなる 2次特徴（下部特徴）とから構成され、さらに、これらの 2次特徴は、上記図 14に示したような 1次特徴から構成されている。したがって、先ず、対象画像から 1次特徴を検出し、当該 1次特徴の検出結果から 2次特徴を検出し、そして、当該 2次特徴検出結果を用いて、 3次特徴としての "2" を検出する。これと同様に "4" に関しても、 2 次特徴検出結果から 3次特徴として検出する。

次に、 "2" と "4" の 3次特徴検出結果から、 4次特徴として "24" を求める。そして、 3次特徴として検出した "2" と "4" の位置関係をパラメ一夕として、 "24"を示す数字列の基準パターンを基に、当該パラメ一夕を用いて "24" の確認パターンを設定し、最終的に "24" を示す数字列を検出する。

<第 8の実施形態]

本発明は、えば、図 34に示すような情報処理装置 1200に適用される。本実施形態の情報処理装置 1200は、特に、図 27に示したパ夕ーン認識装置 100の機能を有するものである。

情報処理装置 1200は、上記図 34に示すように、制御部 1270、演算部 1210、重み設定部 1220、基準重み保持部 1230、パラメ —夕検出部 1240、入力信号メモリ 1250、入力信号メモリ制御部 1 251、中間結果メモリ 1260、及び中間結果メモリ制御部 1261を含む構成としている。，

上述のような情報処理装置において、まず、制御部 1270は、情報処理装置全体の動作制御を司る。特に、制御部 1270は、演算部 1210、重み設定部 1220、基準重み保持部 1230、パラメータ検出部 124 0、入力信号メモリ制御部 1251、及び中間結果メモリ制御部 1261 を制御することで、パターン認識動作を実施する。

演算部 1 2 1 0は、入力信号メモリ 1 2 5 0又は中間結果メモリ 1 2 6 0からのデ一夕と、重み設定部 1 2 2 0からの重みデータとを用いて、これらの積和演算及び口ジスティック関数等による非線形演算を行ない、その結果を中間結果メモリ 1 2 6 0に保持する。

重み設定部 1 2 2 0は、基準重み保持部 1 2 3 0からの基準重みデータを基に、パラメータ検出部 1 2 4 0からのパラメータを用いて、重みデ一タを設定し、その重みデータを演算部 1 2 1 0に供給する。

基準重み保持部 1 2 3 0は、入力信号中の各特徴を検出するための基準となる基準重みデータを、各特徴それぞれに対して保持しており、その基準重みデ一夕を重み設定部 1 2 2 0に供給する。

パラメ一夕検出部 1 2 4 0は、重み設定部 1 2 2 0で重みデータを設定する際に使用するパラメ一夕を、中間結果メモリ 1 2 6 0のデータを用いて検出し、当該パラメ一夕を重み設定部 1 2 2 0に供給する。

入力信号メモリ 1 2 5 0は、画像信号や音声信号等の処理対象となる入力信号を保持する。入力信号メモリ制御部 1 2 5 1は、入力信号を入力信号メモリ 1 2 5 0に保持する際、また、入力信号メモリ 1 2 5 0に保持されている入力信号を演算部 1 2 1 0に供給する際に、入力信号メモリ 1 2 5 0を制御する。 '

中間結果メモリ 1 2 6 0は、演算部 1 2 1 0で得られた演算結果を保持する。中間結果メモリ制御部 1 2 6 1は、演算部 1 2 1 0からの演算結果を中間結果メモリ 1 2 6 0に保持する際、また、中間結果メモリに保持されている中間結果を演算部 1 2 1 0やパラメ一夕検出部 1 2 4 0に供給する際に、中間結果メモリ 1 2 6 0を制御する。

ここでは情報処理装置の動作の一例として、並列階層処理により画像認識を行う神経回路網を形成した場合の動作について説明する。すなわち、第 1の実施形態と同様に、処理対象となる入力信号を画像信号とする。まず、図 3 5を参照して、神経回路網の処理内容を詳細に説明する。神経回路網は、入力信号中の局所領域において、対象又は幾何学的特徴等の認識 (検出）に閧与する情報を階層的に扱うものであり、その基本構造は、所謂 Convolut ionalネットワーク構造（LeCim, Y. and Bengio, Y.， 1995， "Convolut ional Networks for Images Speech, and Time Series in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed. ) , MIT Press, pp. 255-258)である。最終層（最上位層）からの出力は、認識結果としての認識された対象のカテゴリ、及びその入力デ一夕上の位置情報である。上記図 3 5において、データ入力層 3 5 0 1は、 CMO Sセンサ或いは C C D素子等の光電変換素子からの局所領域データを入力する層である。最初の特徴検出層 3 5 0 2 ( 1 , 0 )は、データ入力層 3 5 0 1から入力された画像パターンの局所的な低次の特徴（特定方向成分や特定空間周波数成分等の幾何学的特徴の他、色成分特徴等を含む特徴でもよい）を全画面の各位置を中心として、局所領域 (或いは、全画面にわたる所定のサンプリング点の各点を中心とする局所領域）において、同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数のみ検出する。

特徴統合層 3 5 0 3 ( 2 , 0 )は、所定の受容野構造 (以下、「受容野」とは、直前の層の出力素子との結合範囲を意味し、「受容野構造」とは、その結合荷重の分布を意味する）を有し、特徴検出層 3 5 0 2 ( 1 , 0 )からの同一受容野内にある複数のニューロン素子出力の統合（局所平均化や最大出力検出等によるサブサンプリング等の演算による統合）を行う。

上記の統合処理は、特徴検出層 3 5 0 2 ( 1 , 0 ) からの出力を空間的にぼかすことで、位置ずれや変形等を許容する役割を有する。また、特徴統合層内のニューロンの各受容野は、同一層内のニューロン間で共通の構造を有している。

尚、一般的に特徴検出層内のニューロンの各受容野も同一層内のニューロン間で共通の構造を有しているが、その受容野構造をサイズに関して、前段のニューロンの出力結果（検出結果）に応じて変更するというのが、本実施形態の主旨である。

後続の層である各特徴検出層 3502 ((1， 1)、（1， 2)、 ···、（Ι,Μ)) 及び各特徴統合層 3503 ((2， 1)、（2， 2)、 ···、（2，Μ)) は、上述した各層と同様に、前者（（1， 1)、 …）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行ない、後者（（2， 1)、 …）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行なう ₉

但し、前者の特徴検出層は、同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。特徴統合層で行う処理であるサブサンプリングは、同一特徴カテゴリの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化等を行なうものである。

図 36は、情報処理装置の動作の具体例として、第 7の実施形態と同様に、対象画像から顔パターンを認識する場合の動作を、フローチャートにより示したものである。

入力信号メモリ制御部 1251は、制御部 1270により入力された信号（ここでは画像信号）を入力信号メモリ 1250に入力する（ステップ S 1401)。本ステップ S 1401が、図 35に示したデータ入力層 35 01による処理に対応する。

重み設定部 1220は、例えば、基準重み保持部 1230に保持されている、上記図 14に示したような 1次特徴の検出重みデータ（各方向や各サイズのエッジ抽出を行なうための重みデータ）を演算部 1210に対して設定する（ステップ S 1402)。尚、サイズや方向をパラメータとしては、 1次特徴検出重みデータを重み設定部 1220で生成するようにしてもよい。また、次の 2次特徴、 3次特徴、及び 4次特徴に関しても、例えば、第 1の実施形態で述べた特徴と同様のものを使用することが可能である。演算部 1210は、 1次特徴を検出する（ステップ S 1403)。すなわち、本ステップ S 1403での 1次特徴検出は、上記図 35に示した特徴検出層 3502 (1, 0)の処理に対応し、演算部 12 10は、それぞれの特徴 f の検出モジュール 3504に相当する処理を実行する。

具体的には、ステップ S 1402で設定された各 1次特徴検出重みデ一夕は、各特徴 f を検出する受容野 3505の構造に相当し、演算部 121 0は、入力画像メモリ 1250から画像信号を取得し、当該画像信号の各位置の局所領域（受容野 3505に対応する領域）と、各 1次特徴検出重みデータとの積和演算を実行する。

ここで、演算処理部 1210で実行される特徴検出層ニューロンの入出力特性の一例を、下記の式（6) で示す。すなわち、第 L段目の第 k番目の特徴を検出する細胞面の位置 nにあるニューロンの出力 u_SL (n, k) は、

^CL-l

u_SL (n,k) = f( _t w^v.K^-u^ n+v, κ))

なる式（6) で表される。

上記式（6) において、 u_CL (η， κ) は、第 L段目の特徴統合層の第 κ番目の細胞面の位置 nにあるニューロンの出力を示す。 K_CIjは、第 L段目の特徴統合層の種類の数を示す。 wL (V, κ, k) は、第 L段目の特徵検出細胞層の第 k番目の細胞面の位置 nにあるニューロンの、第 L一 1 段目の特徴統合層の第 κ番目の細胞面の位置 n + _vにあるニューロンからの入力結合である。また、 W_Lは、検出細胞の受容野であり、その大きさは有限である。

本ステップ S 1403の処理は、 1次特徴検出であるため、 Lは " 1" であり、したがって、は、データ入力層に相当するため、前段の特徴数は 1種類となる。そして、検出する特徴が 8種類であるため、 8種類の結果が得られることになる。

また、上記式（6 ) において、 f 0 は、積和演算の結果に対しての非線形処理を示す。例えば、この非線形処理には、

/ ( ） = 1/(1+0

なる式（7 ) で表されるロジスティック関数を使用する。

上記非線形処理された結果は、中間結果メモリ 1 2 6 0に保持される。ここでは、上述したように 8種類の特徴を検出しているため、これら全ての特徴の検出結果が、中間結果メモリ 1 2 6 0に保持されることになる。重み設定部 1 2 2 0は、基準重み保持手段 1 2 3 0に保持されている 1 次特徴統合重みデータを演算部 1 2 1 0に対して設定する（ステップ S 1 4 0 4 )。ここでの 1次特徴統合重みデ一夕は、ステップ S 1 4 0 3で検出された 1次特徴の局所的な平均化や最大値の検出等の処理を行なうための重みデータである。

演算部 1 2 1 0は、中間結果メモリ 1 2 6 0に保持されている各 1次特徴の検出結果と、ステップ S 1 4 0 4で設定された各 1次特徴統合重みデ一夕との積和演算を行なう処理（各 1次特徴の検出結果の統合処理）を実行する（ステップ S 1 4 0 5 )。

本ステップ S 1 4 0 5における処理は、上記図 3 5に示した特徴統合層 3 5 0 3 ( 2， 0 )の処理に対応し、各特徴 fの統合モジュールに相当する処理である。具体的には、特徴検出層 3 5 0 2 ( 1， 0 )からの同一受容野内に存在する複数のニューロン素子出力の統合（局所平均化、最大出力検出等によるサブサンプリングなどの演算）に相当する。

すなわち、演算部 1 2 1 0は、各 1次特徴の検出結果毎に、局所領域で平均化や最大値検出等の処理を実行する。例えば、演算部 1 2 1 0は、 JP2003/016095

75

u_CL (n₇ k) （v) ' w ( + v，ん）

なる式（8 ) で示される、局所領域での平均化を実行する。

上記式（8 ) において、 ( V ) は、第 L段目の特徴検出層のニューロンから、第 L段目の特徴統合細胞層の細胞面に存在する二ュ一ロンへの入力結合であり、 I V I に関して単純に減少する関数である。また、は、統合細胞の受容野を示し、その大きさは有限である。

演算部 1 2 1 0は、上記式（8 ) による積和演算の結果を中間結果メモリ 1 2 6 0に保持する。このとき、演算部 1 2 1 0は、上記積和演算の結果に対して、さらに非線形処理を施し、この結果を中間結果メモリ 1 2 6 0に保持するようにしてもよい。

本ステップ S 1 4 0 5までの処理で、中間結果メモリ 1 2 6 0は、 1次特徴検出結果を各特徴毎に局所領域で統合した、各サイズ及び各方向の 1 次特徴の統合結果を保持していることになる。

重み設定部 1 2 2 0は、 2次特徴検出重みデータを設定する（ステップ S 1 4 0 6 ) ₀ ここでの 2次特徴検出重みデータは、上述したように、第 7 の実施形態で用いた図 1 4に示した各 2次特徴を検出するための重みデー夕である。

第 7の実施形態においても説明したように、 2次特徴以降の各特徴の大きさはそれ以前に求めた特徴の大きさと相関がある。このため、重み設定部 1 2 2 0は、 2次特徴以降の各特徴を検出する際に、前段の階層で検出された特徴の大きさに依存して、特徴検出重みデータを設定する。

具体的には、先ず、重み設定部 1 2 2 0は、予め設定された、パラメ一夕検出部 1 2 4 0により各 1次特徴を検出した 1次特徴検出重みデ一夕が示す受容野サイズを、パラメ一夕として設定する。そして、重み設定部 1 2 2 0は、基準重み保持部 1 2 3 0に保持されている基準 2次特徴検出重みデータを、上記受容野サイズに関して、先にパラメータ検出部 1 2 4 0 により設定したパラメータを用いて修正し、この結果を 2次特徴検出重みデータとする。

すなわち、例えば、基準 2次特徴検出重みデータが、図 1 4に示したような 1次特徴のサイズが大きい方（受容野サイズが大きい方）に対して設定されているものとすると、重み設定部 1 2 2 0は、受容野サイズが小さい重み係数で検出した 1次特徴検出結果に対して、 2次特徴を検出する際に、例えば、図 3 7に示すように、 2次特徴検出重みデータの受容野サイズを小さくする。

演算部 1 2 1 0は、 2次特徴の検出を行なう。これは、図 3 5に示した特徴検出層 3 5 0 2 ( 1， 1 )の処理に対応する（ステップ S 1 4 0 7 )。本ステップ S 1 4 0 7での処理自体は、ステップ S 1 4 0 3における 1次特徴検出処理と同様である。

例えば、演算部 1 2 1 0は、上記式（1 ) を用いた積和演算、 ¾びその結果に対する非線形演算の処理を実行する。ただし、演算部 1 2 1 0は、ステップ S 1 4 0 6で設定された 2次特徴検出重みデ一夕、及び中間結果メモリ 1 2 6 0に保持されている 1次特徴の統合結果を、積和演算に使用し、当該演算結果に対して非線形演算を行ない、当該演算結果（2次特徴検出結果）を中間結果メモリ 1 2 6 0に保持する。

重み設定部 1 2 2 0は、基準重み保持部 1 2 3 0に保持されている 2次特徴統合重みデータを演算部 1 2 1 0に対して設定する。ここでの 2次特徴統合重みデータは、ステップ S 1 4 0 7で検出した 2次特徴結果の局所的な平均化や最大値の検出等の処理を実行するための重みデ一夕である (ステップ S 1 4 0 8 )。

演算部 1 2 1 0は、各 2次特徴の検出結果を統合する。これは、上記図 1 3に示した特徴統合層 1 3 0 3 ( 2， 1 )の処理に対応する（ステップ S 1 4 0 9 )。

具体的には、演算部 1 2 1 0は、中間結果メモリ 1 2 6 0に保持されている各 2次特徴の検出結果と、ステップ S 1 4 0 8で設定された各 2次特徴統合重みデータとの積和演算を、例えば、上記式（8 )に従って実行し、当該積和演算の結果を中間結果メモリ 1 2 6 0に保持する。このとき、演算部 1 2 1 0は、上記積和演算の結果に対して、さらに非線形処理を施し、当該処理結果を中間結果メモリ 1 2 6 0に保持するようにしてもよい。重み設定部 1 2 2 0は、 3次特徴検出重みデ一夕を演算部 1 2 1 0に対して設定する（ステップ S 1 4 1 0 )。ここでの 3次特徴検出重みデ一夕は、上述したように、上記図 1 4で示した各 3次特徴を検出するための重みデ —夕である。

具体的には、先ず、重み設定部 1 2 2 0は、パラメ一夕検出部 1 2 4 0 で、中間結果メモリ 1 2 6 0に保持されている各 1次特徴検出結果及び各 2次特徴検出結果から、 2次特徴の大きさに基づいた値をパラメ一夕として設定する。このパラメータとしては、例えば、第 1の実施形態で説明したように、右空き V字特徴の場合、右上がり斜め特徴と右下がり斜め特徴間の垂直距離を使用することができる。

そして、重み設定部 1 2 2 0は、基準重み保持部 1 2 3 0に保持されている基準 3次特徴検出重みデータを、その受容野サイズに関して、パラメ —夕検出部 1 2 4 0で求めたパラメータを用いて修正し、この結果を 3次特徴検出重みデータとする。

演算部 1 2 1 0は、 3次特徴検出を行なう。これは、上記図 1 3に示した特徴検出層 3 5 0 2 ( 1 , 2 )の処理に対応する（ステップ S 1 4 1 1 )。具体的には、演算部 1 2 1 0は、ステップ S 1 4 1 0で設定された 3次特徴検出重みデ一夕と、中間結果メモリ 1 2 6 0に保持されている 2次特徴の統合結果との積和演算、及びその結果に対する非線形演算を実行し、当該演算結果（3次特徴検出結果）を中間結果メモリ 1 2 6 0に保持する。重み設定部 1 2 2 0は、基準重み保持部 1 2 3 0に保持されている 3次特徴統合重みデータを演算部 1 2 1 0に対して設定される（ステップ S 1 412)。ここでの 3次特徴統合重みデータは、ステップ S 1411で検出した 3次特徴結果の局所的な平均化や最大値検出等の処理を行なうための重みデータである。

演算部 1210は、各 3次特徴の検出結果を統合する。これは、上記図 13に示した特徴統合層 3503 (2, 2)の処理に対応する（ステップ S 1413)。具体的には、演算部 1210は、中間結果メモリ 1260に保持されている各 3次特徴の検出結果と、ステップ S 1412で設定された各 3次特徴統合重みデータとの積和演算を実行し、当該積和演算の結果を中間結果メモリ 1260に保持する。このとき、演算部 1210は、当該積和演算の結果に対して、さらに非線形処理を行い、当該処理結果を中間結果メモリ 1260に保持するようにしてもよい。

重み設定部 1220は、 4次特徴検出重みデ一夕を演算部 1210に対して設定する（ステップ S 1414)。ここでの 4次特徴検出重みデータは、上述したように、上記図 14に示した各 4次特徴を検出するための重みデ一夕である。

具体的には、先ず、重み設定部 1220は、パラメ一夕検出部 1240 で、中間結果メモリ 1260に保持されている各 2次特徵検出結果及び各 3次特徴検出結果から、 3次特徴の大きさに基づいた値をパラメータとして設定する。このパラメ一夕としては、例えば、第 1の実施形態で説明したように、眼特徴の場合、右空き V字特徴と左空き V字特徴間の水平距離を使用することができる。

そして、重み設定部 1220は、基準重み保持部 1230に保持されている基準 4次特徴検出重みデータを、その受容野サイズに関して、パラメ —夕検出部 1240で求めたパラメ一夕を用いて修正し、この結果を 4次特徵検出重みデータとする。

演算部 1210は、 4次特徴検出を行なう。これは、上記図 35に示した特徴検出層 3502 (1， 3)の処理に対応する（ステップ S 1415)。具体的には、演算部 1 2 1 0は、ステップ S 1 4 1 4で設定された 4次特徴検出重みデータと中間結果メモリ 1 2 6 0に保持されている 3次特徴の統合結果との積和演算、及びその結果に対する非線形演算を実行し、当該演算結果（4次特徴検出結果）を中間結果メモリ 1 2 6 0に保持する。重み設定部 1 2 2 0は、基準重み保持手段 1 2 3 0に保持されている 4 次特徴統合重みデータを演算部 1 2 1 0に対して設定する（ステップ S 1

4 1 6 )。ここでの 4次特徴統合重みデ一夕は、ステップ S 1 4 1 5で検出した 4次特徴結果の局所的な平均化や最大値の検出等の処理を行なうための重みデ一夕である。

演算部 1 2 1 0は、 4次特徴の検出結果を統合する。これは、上記図 3 5に示した特徴統合層 3 5 0 3 ( 2， 3 )の処理に対応する（ステップ S 1 1 7 )。具体的には、演算部 1 2 1 0は、中間結果メモリ 1 2 6 0に保持されている 4次特徴の検出結果と、ステップ S 1 4 1 6で設定された 4次特徴統合重みデータとの積和演算を実行し、当該積和演算の結果を中間結果メモリ 1 2 6 0に保持する。このとき、演算部 1 2 1 0は、当該積和演算の結果に対して、さらに非線形処理を行い、当該処理結果を中間結果メモリ 1 2 6 0に保持するようにしてもよい。

演算部 1 2 1 0は、パターン確認重みデ一夕を設定する（ステップ S 1 4 1 8 )。具体的には、まず、上述したステップ S 1 4 1 7までの処理により、 4次特徴が検出されるが、第 1の実施形態で説明したように、対象画像（入力画像）中の背景に 4次特徴を構成する複数の 3次特徴に似た領域があり、また、これらの位置関係をも似ている場合、 4次特徴の検出で誤検出する可能性がある。すなわち、例えば、顔の検出の場合、入力画像中の背景に、それぞれ両眼及び口と似た領域が存在し、また、その位置関係をも似ている場合、顔特徴の検出で誤検出する可能性がある。

このため、本実施形態では、検出すべきパ夕一ンにおいて典型的なタイプ（サイズや向き等）を検出するための基準パターン確認重みデータを用意し、当該重みデータを修正し、当該修正後のパターン確認重みデータを設定し、当該設定パターン確認重みデ一夕を用いて、最終的に検出すべきパターンが入力画像中に存在するか否かを判断する。

ここで一例として、顔を検出パターンとしているので、典型的な顔を検出する基準顔パタ一ン確認重みデータを用意し、これを修正し、当該修正後の顔パターン確認重みデータを設定し、当該設定顔パターン確認重みデ一夕を使用して、顔パターンが入力画像中に存在するかを判断する。

従って、本ステップ S 1 4 1 8では、先ず、演算部 1 2 1 0は、パラメ —夕検出部 1 2 4 0で、中間結果メモリ 1 2 6 0に保持されている各 3次特徴検出結果及び 4次特徴検出結果から、検出した 4次特徴の各位置において、 3次特徴検出結果に基づいた値をパラメ一夕として設定する。このパラメ一夕としては、例えば、第 1の実施形態で説明したように、顔特徴である場合、眼特徴と口特徴の位置を使用することができる。

そして、演算部 1 2 1 0は、基準重み保持部 1 2 3 0に保持されている基準パターン確認重みデータを、その受容野サイズ及び回転に関して、パラメ一夕検出部 1 2 4 0で求めたパラメ一夕を用いて修正し、当該修正結果をパターン確認重みデータとする。

演算部 1 2 1 0は、検出パターンの確認を行なう（ステップ S 1 4 1 9 )。具体的には、演算部 1 2 1 0は、ステップ S 1 4 1 8で設定された確認パターン重みデータと、入力信号メモリ 1 2 5 0に保持されている入力信号との積和演算、及びその結果に対する非線形演算を実行し、当該演算結果を中間結果メモリ 1 2 6 0に保持する。この中間結果メモリ 1 2 6 0に保持された結果が、検出すべきパターンの検出最終結果となる。

以上説明したように、本実施形態では、各特徴を検出するための基準重みデ一夕を用意し、前段の検出結果から求めたパラーメータを用いて、当該基準重みデータを基に、検出重みデ一夕を設定するように構成したので、各特徴の検出精度が向上し、最終的に検出するパターンの検出精度が向上するという効果がある。

また、演算部 1 2 1 0では、検出重みデータ又は統合重みデータと、中間結果メモリ 1 2 6 0又は入力信号メモリ 1 2 5 0からのデータとの積和演算及びその結果の非線形変換を行い、当該積和演算に使用する重みデー夕を、毎回設定するように構成したので、同じ演算部 1 2 1 0を繰り返し使用できるという効果がある。さらに、入力信号と中間結果の両方を保持する構成としているので、最後の確認処理をも容易に行えるという効果がある。

尚、本実施形態では、その一例として、統合処理に使用する統合重みデ一夕に対して、検出結果に応じた設定を行なっていないが、例えば、検出重みデータ同様に、受容野サイズの設定を行なうことも可能である。また、上記図 3 6に示したステップ S 1 4 1 6及び S 1 4 1 7の 4次特徴に対する統合処理は、省略することも可能である。

<第 9の実施形態 >

本実施形態の情報処理装置を図 3 8に示す。本装置は、図 2 7に示したパターン認識装置の機能を有するものである。

具体的には、この情報処理装置は、図 3 8に示すように、制御部 1 6 7

0、演算部 1 6 1 0、基準重み保持部 1 6 3 0、パラメータ検出部 1 6 4

0、入力信号メモリ 1 6 5 0、入力信号メモリ制御部 1 6 5 1、中間結果メモリ 1 6 6 0、及び中間結果メモリ制御部 1 6 6 1を含む構成としている。

ここで、本実施形態における情報処理装置は、基本的には第 2の実施形態における情報処理装置（図 3 4参照）と同様の機能を有するものであるが、これと異なる点は、重み設定部 1 2 2 0に相当する機能を持たず、ノ° ラメ一夕検出部 1 6 4 0で求めたパラメータを中間結果メモリ制御部 1 6 6 1及び演算部 1 6 1 0に供給するように構成したことにある。

すなわち、第 2の実施形態では、前段の処理結果からパラメ一夕を求め、そのパラメ一夕から特徴を検出するための重みデータを設定するように構成したが、本実施形態では、重みデータとして、基準重み保持手段 1 6 3 0に保持されている基準重みデータをそのまま使用し、代わりに受容野に相当する、中間結果メモリ 1 6 6 0に保持されている前段の検出結果を、補間等を用いてサイズ変更するように構成する。

このため、例えば、 3次特徴である眼特徴を検出する場合、情報処理装置は、図 3 9に示すように、入力画像 1 7 0 0に対する通常の受容野に対して、サイズ変更することで、サイズ変更後局所画像 1 7 1 0を生成し、この変更後局所画像 1 7 1 0と、基準重み保持部 1 6 3 0に保持されている基準重みデータとの積和演算を実行する。

尚、 3次特徴を求める場合、中間結果メモリ 1 6 6 0に保持されている 2次特徴検出結果を使用するが、上記図 3 9では、説明を簡単にするため、入力画像 1 7 0 0の局所画像のサイズ変更を示している。実際には、 2次特徴検出結果画像の局所領域をサイズ変更して使用する。

以上説明したように、本実施形態では、前段の検出結果から求めたパラ一メータを用いて、特徴を検出する際に使用する前段の検出結果のサイズを変更して再設定するように構成したので、各特徴の検出精度が向上し、最終的に検出するパターンの検出精度が向上する、という効果を得られる。また、検出結果のサイズを変更は、メモリから読み出す領域の変更と補間処理で良いため、容易に実現できる、という効果をも得られる。

<ソフトウェアなどによる他の実施形態 >

本発明は、複数の機器（例えばホストコンピュータ、インタ一フェース機器、リーダ、プリン夕等）から構成されるシステムの一部として適用しても、ひとつの機器（たとえば複写機、ファクシミリ装置）からなるものの一部に適用してもよい。

また、本発明は上記実施形態を実現するための装置及び方法及び実施形態で説明した方法を組み合わせて行う方法のみに限定されるものではなく、上記システムまたは装置内のコンピュータ（C P Uあるいは M P U) に、上記実施形態を実現するためのソフトウェアのプログラムコードを供給し、このプログラムコードに従って上記システムあるいは装置のコンピュータが上記各種デバィスを動作させることにより上記実施形態を実現する場合も本発明の範疇に含まれる。

またこの場合、前記ソフトウェアのプログラムコード自体が上記実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。

この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（R) ディスク、ハードディスク、光ディスク、光磁気ディスク、 C D— R OM、磁気テープ、不揮発性のメモリカード、 R OM等を用いることができる。

また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働している O S (オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して上記実施形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。

更に、この供給されたプログラムコードが、コンピュータの機能拡張ポードゃコンピュータに接続された機能拡張ュニットに備わるメモリに格納された後、そのプログラムコ一ドの指示に基づいてその機能拡張ポードゃ機能格納ュニッ卜に備わる C P U等が実際の処理の一部または全部を行い、その処理によって上記実施形態が実現される場合も本発明の範疇に含まれる。以上説明した実施形態によれば、入力パターンの変動に対して頑健な識別が可能であり、誤識別が生じる可能性を低減させながら、より処理コストの少ないパターン認識を行うことが可能となる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することがでさる。

本発明は上述した実施例に限定されるものでなく種々の変更や修正が考えられる。よって、本願発明の技術的範囲は、以下の請求の範囲に基づいて決定される。

Claims

請求の範囲

1 . 入力データの特徴を階層的に抽出して当該入力データのパターンを識別するパターン識別方法において、

第 1の階層の特徴を抽出する第 1の特徴抽出工程と、

前記第 1の特徴抽出工程における特徴抽出結果に基づいて前記第 1の階層より上位の第 2の階層の特徴を抽出する方式を決定する決定工程と、前記決定工程で決定された方式に基づいて前記第 2の階層の特徴を抽出する第 2の特徴抽出工程とを有することを特徴とするパターン識別方法。

2 . 前記決定工程では、前記第 1の特徴抽出工程における特徴抽出結果の分布を分析し、当該分析された分布に基づいて前記方式を決定することを特徴とする請求項 1に記載のパターン識別方法。

3 . 前記決定工程では、前記分布に基づいて前記第 2の階層の複数の特徴の尤度を算出し、算出された尤度が所定値以上の特徴を抽出対象として決定することを特徴とする請求項 2に記載のパターン識別方法。

4. 前記第 1または第 2の特徴抽出工程において、所定の特徴に所定の変換を与えて得られる特徴を抽出することを特徴とする請求項 1に記載のパターン識別方法。

5 . 前記第 2の特徴抽出工程における上位の階層の特徴抽出結果に基づいて、下位の階層の特徴を再抽出する再抽出工程を有することを特徴とする請求項 1に記載のパターン識別方法。

6 . 前記決定工程では、複数の前記特徴抽出結果の各々の分布を分析し、それぞれの分析結果の相対関係を分析することを特徴とする請求項 1 に記載のパターン識別方法。

7 . 前記決定工程では、少なくとも 1つの前記特徴抽出結果の特定の範囲内での分布を分析することを特徴とする請求項 1に記載のパターン識別方法。

8 . 前記決定工程では、少なくとも 1つの前記特徴抽出結果の分布において、所定の範囲内に前記特徴が抽出されている、もしくは抽出されていないことを分析することを特徴とする請求項 1に記載のパターン識別方法。

9 . 前記決定工程では、少なくとも 1つの前記特徴抽出結果の分布の重心位置を分析することを特徴とする請求項 1に記載のパターン識別方法。

1 0 . 前記決定工程では、少なくとも 1つの前記特徴抽出結果の分布において、前記特徴が抽出されている範囲もしくは抽出されていない範囲の大きさを分析することを特徴とする請求項 1に記載のパターン識別方法。

1 1 . 前記決定工程では、少なくとも 1つの前記特徴抽出結果の尤度もしくは特徴検出レベルの累計を分析することを特徴とする請求項 1に記載のパターン識別方法。

1 2 . 前記第 2の特徴抽出工程ではモデルを設定して特徴を抽出し、前記決定工程では、前記第 2の特徴抽出工程で設定すべきモデルを決定することを特徴とする請求項 1に記載のパターン識別方法。

1 3 . 前記第 1の特徴抽出工程ではモデルを設定して特徴を抽出しており、前記第 2の特徴抽出工程で使用されるモデルは、前記第 1の特徴抽出工程で使用される所定のモデルを組み合わせて構成されており、

前記第 1の検出工程では、当該第 1の検出工程で使用されるモデルと前記パターンの構成部分とを比較して、該モデルの前記構成部分に対する特微量を算出し、

前記決定工程では、特定のモデルを構成するモデルの特徴量に基づいて、該特定のモデルを設定すべきモデルに決定することを特徴とする請求項 1 2に記載のパターン識別方法。

1 4. 前記決定工程では、特定のモデルを構成するモデルがすべて所定の特徴量を有している場合、該特定のモデルを設定すべきモデルに決定することを特徴とする請求項 1 3に記載のパターン識別方法。

1 5 . 前記決定工程では、同一のモデルをそれぞれ複数の角度で回転させた形態の複数のモデルを設定すべきモデルに決定することを特徴とする請求項 1 2に記載のパターン識別方法。

1 6 . 前記決定工程では、モデルに対して算出された特徴量に基づいて、設定すべきモデルの数を制限することを特徴とする請求項 1 2に記載のパターン識別方法。

1 7 . 前記決定工程では、算出された下位モデルの特徴量のうち、所定量以上の特徴量を有する下位モデルの回転角度を選択し、選択された回転角度に対応する上位モデルを設定すべきモデルに決定することを特徴とする請求項 1 5に記載のパターン識別方法。

1 8 . 算出された下位モデルの特徴量のうち、該特徴量の順で上位となる下位モデルの回転角度を選択し、選択された回転角度に対応する上位モデルを設定することを特徴とする請求項 1 5に記載のパターン識別方法。

1 9 . 算出された前記下位モデルの特徴量に基づいて、当該下位モデルの回転角度を計測し、当該計測された回転角度を用いて、前記上位モデルの数を制限することを特徴とする請求項 1 6に記載のパターン識別方法。

2 0 . 複数の角度で回転させた形態の複数のモデルが設定される際の該複数の角度の回転間隔を変更する変更工程をさらに有し、

該変更工程では、より高次な階層におけるモデルの回転間隔をより狭くすることを特徴とする請求項 1 5に記載のパターン識別方法。

2 1 . 所定の基準モデルが保持されており、

前記決定工程では、前記基準モデルを算出された前記特徴量を用いて変換することによつて得られるモデルを設定すべきモデルに決定することを特徴とする請求項 1 3に記載のパターン識別方法。

2 2 . 所定の基準データが保持されており、前記決定工程では、前記基準データと前記第 1の特徴抽出工程における特徴抽出結果とに基づいて前記第 2の特徴抽出工程で使用するデータを決定することを特徴とする請求項 1に記載のパターン識別方法。

2 3 . 前記決定工程では、入力信号の空間的位置毎に、使用するデー夕を決定することを特徴とする請求項 2 2記載のパターン識別方法。

2 4. 前記基準データは、前記所定パターンの典型的なパターンを構成する複数の特徴を検出するためのデータであり、

前記決定工程では、前記第 1の特徴抽出工程で得られた複数の特徴の位置関係に基づいて、保持された前記基準データを変換し、

前記第 2の特徴抽出工程では、変換後の前記基準データと、前記入力信号との相関に基づいて、当該入力信号に含まれる所定パターンの有無を判別することを特徴とする請求項 2 2記載のパターン識別方法。

2 5 . 前記決定工程では、前記第 1の特徴抽出工程における特徴検出に使用する前階層の検出結果からの入力範囲の大きさを、前記第 1の特徴抽出工程における特徴抽出結果に基づき決定することを特徴とするパターン識別方法。

2 6 . 前記決定工程では、前記入力範囲の大きさを入力信号の空間的位置毎に決定することを特徴とする請求項 2 5記載のパターン識別方法。

2 7 . 前記第 1の特徴抽出工程における特徴検出結果を保持する結果保持工程と、

前記結果保持工程において保持された検出結果に基づきパラメ一夕を求めるパラメータ取得工程と、

上記パラメ一夕取得工程で得られたパラメ一夕に基づいて、前記第 2の特徴抽出工程において読み出すべき特徴検出結果を変更する変更工程とを更に有することを特徴とする請求項 1に記載のパターン識別方法。

2 8 . 前記入力データは画像であり、前記第 1及び第 2の特徴抽出ェ程では、顔を構成する特徴を抽出することを特徴とする請求項 1に記載のパターン識別方法。

2 9 . 入力データの特徴を階層的に抽出して当該入力データのパターンを識別するパターン識別装置であって、

第 1の階層の特徴を抽出する第 1の特徴抽出手段と、

前記第 1の特徴抽出工程における特徴抽出結果に基づいて前記第 1の階層より上位の第 2の階層の特徴を抽出する方式を決定する決定手段と、前記決定手段により決定された方式に基づいて前記第 2の階層の特徴を抽出する第 2の特徴抽出手段とを有することを特徴とするパターン識別装

3 0 . 前記入力データとして画像を撮像して入力する撮像手段を備えたことを特徴とする請求項 2 9に記載のパターン識別装置。

3 1 . コンピュータに、入力データの特徴を階層的に油出させて当該入力データのパターンを識別させるパターン識別プログラムであって、第 1の階層の特徴を抽出する第 1の特徴抽出手順と、

前記第 1の特徴抽出手順における特徴抽出結果に基づいて前記第 1の階層より上位の第 2の階層の特徴を抽出する方式を決定する決定手順と、前記決定手順で決定された方式に基づいて前記第 2の階層の特徴を抽出する第 2の特徴抽出手順とを実行させるためのコンピュータ読み取り可能なパターン識別プログラム。