JP5385759B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、入力画像に含まれるオブジェクトを識別するためのオブジェクト識別技術に関するものである。

入力された画像（入力画像）を予め登録された複数の画像（登録画像）と比較することにより、入力画像に含まれるオブジェクトが、登録画像に含まれるオブジェクトにより規定されるカテゴリの何れに属するかを識別するオブジェクト識別技術が知られている。また、当該オブジェクト識別技術の応用分野として、例えば、入力画像に含まれる顔オブジェクトから、人物を特定する顔オブジェクト識別技術が知られている。

顔オブジェクト識別技術において、カテゴリとは、人物を特定するための名前やＩＤであり、登録画像とは、名前やＩＤが付与された複数の顔画像（顔オブジェクトが含まれる画像）である。そして、顔オブジェクトの識別処理においては、撮影条件が異なっていても、同一人物が写っている登録画像は、同一カテゴリに分類されることが必要である。

なお、以下、本明細書にて用いられる用語のうち、「オブジェクトの識別」とは入力画像に含まれるオブジェクトの個体の違い（例えば、人物の違い）を判定すること（つまり、オブジェクトが何れのカテゴリに属するかを識別すること）を意味するものとする。また、「オブジェクトの検出」とは、入力画像に含まれるオブジェクトについて個体を区別せず、同じ範疇に入るオブジェクトを判定する（例えば、人物を特定せず、顔オブジェクトを検出する）ことを意味するものとする。

ここで、上記顔オブジェクト識別技術の分野においては、画像に含まれる顔オブジェクトの特徴的な領域（部分特徴領域）における特徴量（部分特徴量）を用いて識別処理を行う方法が一般的に知られている（例えば、特許文献１参照）。

当該方法では、まず、登録画像中のいくつかの部分特徴領域から部分特徴量を抽出しておき、識別対象となる入力画像が入力された場合に、当該登録画像中の部分特徴領域に対応する、入力画像中の部分特徴領域から部分特徴量を抽出する。そして、入力画像と登録画像とで対応する部分特徴量同士を比較することで得られるスコアを統合し、入力画像と登録画像との間の類似度を算出する。更に、これらの処理を各カテゴリについて行い、最終的にもっとも高い類似度が算出されたカテゴリに、入力画像を分類する。

このように部分特徴領域における部分特徴量を用いて入力画像に含まれるオブジェクトを識別することにより、入力画像を分類する方法の場合、撮影条件の影響を低減させ、識別性能を向上させることができるという効果がある。

なお、このような識別処理において部分特徴量を抽出する際に用いられる部分特徴領域は、例えば、非特許文献１に開示されたＡｄａＢｏｏｓｔ法のような機械学習手法を用いて、事前に求めることができる。更に、このような事前学習に適した技術として、例えば、識別処理の運用中に学習データを逐次追加しながら識別性能を向上させていく逐次学習法が広く知られている（例えば、非特許文献２参照）。

特開２００３−３２３６２２号公報

Shen, L., Bai, L., Bardsley, D., Wang, Y., Gabor "feature selection for face recognition using improved adaboost learning." Proceedings of International Workshop on Biometric Recognition System, in conjunction with ICCV '05, 2005 Glenn Fung, O.L. Mangasarian, "Incremental support vector machine classification", Proceedings of Second SIAM International Conference on Data Mining, 2002.

ここで、顔オブジェクト識別技術の分野では、上述したように撮影条件の変化による顔オブジェクトの見た目の変動に対応することに加え、更に、類似するカテゴリ間の小さな違いをも的確に判断し、精度よく識別することが重要となってくる。

具体的には、顔オブジェクトの識別に際しては、人種・年齢・性別を問わず、顔の向き・表情・照明の状態といった撮影条件の変化の影響を受けることがないようにすることが不可欠である。加えて、親子・兄弟のような非常に類似した顔オブジェクト間においても、的確に識別することが重要である。

しかしながら、上記先行技術文献に開示された方法を適用した場合、撮影条件の影響を低減させることはできるものの、違いが極めて小さい２つのカテゴリに対して（例えば、双子のカテゴリ等に対しては）、十分な識別性能を得ることができない。これは、上述した方法の場合、複数のカテゴリ全体の識別性能を向上させることを目的として構成されており、特定の２つのカテゴリ間の識別性能の向上に着目して構成されていないからである。

一方で、顔オブジェクトの識別の場合、非常に類似した顔オブジェクト間においても的確に識別することも重要である。つまり、顔オブジェクトの識別においては、撮影条件の変化に対するロバスト性を保ちつつ、相互の違いが極めて小さい２つのカテゴリに対しても、十分な識別性能が得られることが望ましい。

本発明は上記課題に鑑みてなされたものであり、入力画像に含まれるオブジェクトを識別し複数のカテゴリに分類するオブジェクト識別装置において、全体の識別性能を保ちつつ、類似する特定の２つのカテゴリ間の識別性能を向上させることを目的とする。

上記の目的を達成するために本発明に係る画像処理装置は以下のような構成を備える。即ち、
登録画像に基づいて入力画像を分類する画像処理装置であって、
複数の登録画像を、それぞれの画像に含まれるオブジェクトの属性によって複数のカテゴリに分類して記録する記録手段と、
前記複数の登録画像のうちの処理対象の登録画像と入力画像とのそれぞれから、各画像を前記複数のカテゴリに分類するための特徴量を抽出するのに用いられるオブジェクト内の所定の領域を、標準部分特徴領域として抽出する第１の抽出手段と、
前記複数のカテゴリのうち、前記処理対象の登録画像が分類されている注目カテゴリを除く他のカテゴリのそれぞれに対して、当該注目カテゴリと当該他のカテゴリとの２つのカテゴリのいずれかに属する登録画像を、該２つのカテゴリに分類するための特徴量を抽出するのに用いられる前記オブジェクト内の所定の領域を、適応部分特徴領域として、前記処理対象の登録画像と前記入力画像とのそれぞれから抽出する第２の抽出手段と、
前記入力画像より抽出された前記標準部分特徴領域における特徴量と、前記処理対象の登録画像より抽出された前記標準部分特徴領域における特徴量との相関を表す第１の相関値と、前記入力画像より抽出された前記適応部分特徴領域における特徴量と、前記処理対象の登録画像より抽出された前記適応部分特徴領域における特徴量との相関を表す第２の相関値とを、それぞれ算出する相関値算出手段と、
前記相関値算出手段により算出された第１及び第２の相関値に基づいて、前記処理対象の登録画像に含まれるオブジェクトと前記入力画像に含まれるオブジェクトとの間の類似度を、前記処理対象の登録画像が分類されている注目カテゴリと前記他のカテゴリのそれぞれとの組に対応して算出する類似度算出手段と、
前記類似度算出手段により前記注目カテゴリと前記他のカテゴリのそれぞれとの組に対応して算出された複数の類似度を統合することで、前記入力画像と前記処理対象の登録画像との統合類似度を出力する出力手段とを備える。

本発明によれば、入力画像に含まれるオブジェクトを識別し、複数のカテゴリに分類するオブジェクト識別装置において、全体の識別性能を保ちつつ、互いに類似する特定の２つのカテゴリ間の識別性能を向上させることが可能となる。

本発明の第１の実施形態に係るオブジェクト識別装置の全体構成を示す図である。 本発明の第１の実施形態に係るオブジェクト識別装置における入力画像の分類及び登録処理の流れを示す図である。 オブジェクト識別部の機能構成を示す図である。 オブジェクト識別部によるオブジェクト識別処理の流れを示すフローチャートである。 部分特徴量抽出部の機能構成を示す図である。 部分特徴領域を説明するための図である。 適応部分特徴領域と対応するカテゴリとの関係、ならびに特徴ベクトルを説明するための図である。 類似度算出部の機能構成を示す図である。 部分特徴量比較部における処理、ならびに相関値ベクトルの構成を説明するための図である。 画像登録部の機能構成を示す図である。 画像登録部による画像登録処理の流れを示すフローチャートである。 所定の特徴量空間における２つのカテゴリの部分特徴量の分布を示す図である。 特定の適応部分特徴領域の部分特徴量を用いて、同一のカテゴリに分類される登録画像同士の相関値と、異なるカテゴリに分類される登録画像同士の相関値とを算出した場合の各相関値のヒストグラムを示した図である。 特徴ベクトル生成用データ更新部における特徴ベクトル生成用データ更新処理の流れを示すフローチャートである。

以下、図面を参照しながら、本発明の各実施形態について説明する。

［第１の実施形態］
＜１．オブジェクト識別装置の全体の構成＞
図１は、本発明の第１の実施形態に係るオブジェクト識別装置１００の全体構成を示す図である。図１に示すように、オブジェクト識別装置１００は、画像入力部１０１と、登録画像記録部１０２と、オブジェクト識別部１０３と、画像登録部１０４と、外部出力部１０５とを備え、互いに接続バス１０６を介して通信可能に接続されている。

画像入力部１０１は、分類対象の画像データ（入力画像）を入力する。画像入力部１０１としては、光学レンズと映像センサを備えた撮像装置や、画像データを読み出し可能に保持する半導体メモリ等が含まれる。

登録画像記録部１０２は、画像入力部１０１より入力された入力画像のうち、所定の画像（名前やＩＤが付与されて人物が特定された画像）を登録画像として記録・保持する。なお、登録画像は、同一の属性（人物）を表すオブジェクトによって同一のカテゴリが規定されるように対応するカテゴリに分類して保持されているものとする。

登録画像記録部１０２は、典型的には、繰り返し書き換えが可能な半導体メモリであって、登録画像を数十枚もしくはそれ以上保持できるだけの容量を有していることが望ましい。ただし、オブジェクト識別部１０３がオブジェクト識別処理を実行する際に、処理対象の登録画像のみを保持する構成をとる場合にあっては、小容量であってもよい。

オブジェクト識別部１０３は、画像入力部１０１より入力された入力画像と、登録画像記録部１０２に保持された登録画像とに基づいて、入力画像に含まれるオブジェクトを識別する。なお、オブジェクト識別部１０３における処理の詳細については後述する。

画像登録部１０４は、登録画像記録部１０２に登録画像を記録する処理を行ったり、既に登録画像記録部１０２に保持されている登録画像を削除する処理を行ったりする。なお、登録画像記録部１０２における処理の詳細については後述する。

なお、オブジェクト識別部１０３および画像登録部１０４は、例えば、専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）により構成されるものとする。あるいは単一の専用回路および汎用回路（ＰＣ用ＣＰＵ）内部においてプログラムが実行可能となるように構成されているものとする。

外部出力部１０５は、画像入力部１０１より入力された入力画像を所定の出力形態により外部に出力する。あるいは、オブジェクト識別部１０３における分類結果である、該入力画像が分類されたカテゴリを、所定の出力形態により外部に出力する。なお、入力画像と分類結果とは、重畳して出力されるように構成してもよい。

外部出力部１０５には、例えば、ＣＲＴやＴＦＴ液晶モニタ等、表示出力を行う任意の装置が含まれるものとするが、出力形態はこれに限定されるものではない。例えば、外部の記憶媒体へのデータ出力や、紙媒体への印刷出力等、他の出力形態であってもよい。

＜２．オブジェクト識別装置における全体処理の流れ＞
図２は、オブジェクト識別装置１００において実行される入力画像の分類及び登録処理の流れを示すフローチャートである。図２を参照しながら、オブジェクト識別装置１００において実行される入力画像の分類及び登録処理の流れについて説明する。なお、以下では、識別対象となる入力画像に含まれるオブジェクトが顔オブジェクトである場合について説明するが、識別対象となる入力画像に含まれるオブジェクトは、顔オブジェクトに限定されるものでない。

ステップＳ２０１では、画像入力部１０１が分類対象の入力画像を取得する。続いて、ステップＳ２０２では、オブジェクト識別部１０３が、取得した入力画像に対して、オブジェクトの検出処理を行う。なお、入力画像から顔オブジェクトを検出するにあたっては、公知の技術が用いられるものとする。具体的には、特許３０７８１６６号公報や特開２００２−８０３２号公報において開示された方法が用いられるものとする。

オブジェクトの検出処理が完了すると、ステップＳ２０３に進み、オブジェクト識別部１０３が、分類対象となる入力画像中にオブジェクトが存在していたか否かを判定する。存在していたと判定した場合には、ステップＳ２０４に進み、オブジェクト識別処理を行う。一方、存在していなかったと判定した場合には、処理を終了する。

ステップＳ２０５では、画像登録部１０４が、オブジェクト識別処理により、分類対象となる入力画像がいずれかのカテゴリに分類され、該入力画像に含まれるオブジェクトが表す人物を特定できたか否かを判断する。つまり、入力画像に含まれる顔オブジェクトが表す人物と同じ人物であると識別された顔オブジェクトが含まれる登録画像が分類されているカテゴリが存在し、かつ、当該カテゴリに人物を特定するための名前やＩＤ（属性）が登録されているか否かを判断する。

ステップＳ２０５において、いずれかのカテゴリに分類され、該入力画像に含まれるオブジェクトが表す人物が特定できたと判断した場合には、ステップＳ２０９に進む。一方、いずれのカテゴリにも分類されなかったか、あるいは該入力画像に含まれるオブジェクトが表す人物が特定できなかったと判断した場合には、ステップＳ２０７に進む。ステップＳ２０７では、当該入力画像を、登録画像として登録画像記録部１０２に記録するか否かを、ユーザに問い合わせる。

問い合わせの結果、当該入力画像を登録画像として登録画像記録部１０２に記録する旨の指示が入力された場合には、ステップＳ２０８に進む。一方、当該入力画像を登録画像として登録画像記録部１０２に記録する旨の指示が入力されなかった場合には、ステップＳ２０９に進む。ただし、ステップＳ２０７におけるユーザへの問い合わせ処理は常に実行される必要はなく、当該入力画像が登録画像として自動的に登録画像記録部１０２に記録されるように構成してもよい。

ステップＳ２０８では、画像登録部１０４が画像登録処理を行う。ステップＳ２０９では、オブジェクト識別部１０３が、ステップＳ２０２において分類対象となる入力画像より検出された全てのオブジェクトについて、ステップＳ２０４〜Ｓ２０８までの処理を実行したか否かを判断する。ステップＳ２０９において未処理のオブジェクトがあると判断した場合には、ステップＳ２０４に戻る。一方、全てのオブジェクトについてステップＳ２０４〜Ｓ２０８までの処理を実行したと判断した場合には、ステップＳ２１０に進む。

ステップＳ２１０では、外部出力部１０５が、オブジェクト識別部１０３における分類結果を出力する。

なお、上記画像登録処理（ステップＳ２０８）では、入力画像に含まれる未登録のオブジェクトが多数あった場合に、ユーザの操作が煩雑になることが考えられる。このため、画像登録部１０４は、入力画像に含まれる未登録のオブジェクトが多数あった場合に、そのうちの大きく写っているオブジェクト数個のみを対象に、画像登録処理を実行するように構成してもよい。

また、上記説明では、画像登録処理は、入力画像に含まれる未登録のオブジェクトがあると判定された場合にのみ実行されることとしたが、本発明はこれに限定されない。たとえば、オブジェクト識別部１０３におけるオブジェクト識別処理とは無関係に実行されるように構成してもよい。更に、上記説明では、画像登録処理は、画像登録部１０４によって実行されることとしたが、本発明はこれに限定されず、ユーザが、画像入力部１０１を介して直接、登録画像記録部１０２に記録できるように構成してもよい。

＜３．オブジェクト識別部について＞
＜３．１ オブジェクト識別部の機能構成及び処理の流れ＞
次に、オブジェクト識別部１０３の機能構成、及び、オブジェクト識別部１０３において実行されるオブジェクト識別処理の流れについて説明する。

図３は、オブジェクト識別部１０３の機能構成を示す図である。図３に示すように、オブジェクト識別部１０３は、部分特徴量抽出部３０１と、部分特徴量比較部３０２と、類似度算出部３０３と、識別結果統合部３０４とを備える。

部分特徴量抽出部３０１では、画像入力部１０１から取得した入力画像に含まれるオブジェクトと、登録画像記録部１０２から取得した登録画像に含まれるオブジェクトとに対して同じ処理を行う。具体的には、入力画像に含まれるオブジェクトを識別するのに必要な部分特徴量を入力画像および登録画像に含まれるオブジェクトよりそれぞれ抽出する。

部分特徴量比較部３０２では、部分特徴量抽出部３０１で入力画像及び登録画像に含まれるオブジェクトよりそれぞれ抽出された部分特徴量を比較し、入力画像に含まれるオブジェクトと登録画像に含まれるオブジェクトとの部分特徴量ごとの相関値を算出する。つまり、部分特徴量比較部３０２は、相関値算出手段として機能する。

類似度算出部３０３では、部分特徴量比較部３０２により算出された部分特徴量ごとの相関値を統合し類似度を算出するとともに、登録画像が分類されている何れのカテゴリに入力画像が分類されるのかを判断するために統合類似度を算出する。

識別結果統合部３０４は、各カテゴリに分類されている登録画像と入力画像との間で算出されたそれぞれの類似度から、入力画像が分類されるべきカテゴリを最終的に判断し、分類結果を出力する。

図４は、図２のステップＳ２０４においてオブジェクト識別部１０３が実行するオブジェクト識別処理の詳細な処理の流れを示すフローチャートである。

ステップＳ４０１では、画像入力部１０１から取得した分類対象の入力画像に含まれるオブジェクトを取得する。ステップＳ４０２では、登録画像記録部１０２から取得した登録画像のうち、処理対象の登録画像に含まれるオブジェクトを取得する。

ステップＳ４０３では、部分特徴量抽出部３０１が、取得した入力画像に含まれるオブジェクトに対して、部分特徴量抽出処理を行う。また、取得した登録画像に含まれるオブジェクトに対して部分特徴量抽出処理を行う。

ステップＳ４０４では、部分特徴量比較部３０２が、処理対象の登録画像に含まれるオブジェクトから抽出された部分特徴量と、入力画像に含まれるオブジェクトから抽出された部分特徴量とを比較し、部分特徴量ごとに相関値を算出する。

ステップＳ４０５では、類似度算出部３０３が、ステップＳ４０２において算出された相関値に基づいて類似度算出処理を行い、入力画像と登録画像との統合類似度を算出する。

ステップＳ４０６では、登録画像記録部１０２から取得された全ての登録画像について、ステップＳ４０１〜ステップＳ４０３の処理が完了したか否かを、識別結果統合部３０４にて判断する。ステップＳ４０４において、完了していないと判断した場合には、ステップＳ４０１に戻る。一方、完了したと判断した場合には、ステップＳ４０７に進む。

ステップＳ４０７では、識別結果統合部３０４が、ステップＳ４０５において、それぞれの登録画像ごとに算出された統合類似度のうち、最も大きい統合類似度が算出された登録画像が分類されているカテゴリに、分類対象の入力画像を分類する。更に、分類結果を、オブジェクト識別処理における分類結果として、外部出力部１０５に出力する。

なお、分類結果には、最も大きい統合類似度が算出された登録画像と、その類似度の値とが含まれるものとする。ただし、本発明はこれに限定されず、最も大きい統合類似度が算出された登録画像が分類されているカテゴリを示す識別子が更に含まれていてもよい。また、最も大きい統合類似度が算出された登録画像が複数ある場合には、その全てが含まれていてもよい。

＜３．２ 部分特徴量抽出部における処理の流れ＞
次に、オブジェクト識別部１０３を構成する各部の処理について説明する。はじめに、部分特徴量抽出部３０１における処理の詳細について説明する。図５は、部分特徴量抽出部３０１の機能構成を示す図である。図５に示すように、部分特徴量抽出部３０１は、特徴ベクトル抽出部５０１と、特徴ベクトル変換部５０２と、特徴ベクトル生成用データ保持部５０３とを備える。

上述したように、部分特徴量抽出部３０１では、入力画像に含まれるオブジェクトおよび登録画像に含まれるオブジェクトに対して同じ処理を施す。具体的には、オブジェクトから部分特徴領域を切り出し、該切り出した部分特徴領域から部分特徴量を抽出した後、所定の処理を施したうえで特徴ベクトルとして出力する。なお、オブジェクト識別処理を高速化するために、登録画像については予め部分特徴量抽出部３０１における処理を行っておき、別途用意した記録媒体に繰り返し利用できるように保存しておいてもよい。以下、上記処理を行う部分特徴量抽出部３０１について、各部ごとに詳細を説明する。

（１）特徴ベクトル抽出部５０１について
特徴ベクトル抽出部５０１では、まず、オブジェクトから特徴点を検出する。顔オブジェクトの場合、目、口、鼻などの構成要素の端点を特徴点として検出する。なお、端点を検出するアルゴリズムとしては、例えば、特許３０７８１６６号公報に記載された畳み込み神経回路網を用いた方法などが用いられるものとする。

続いて、特徴点として検出した端点との相対的な位置関係に基づいて、所定の数・形状・大きさの領域を顔オブジェクト上に設定し、顔オブジェクトから、当該設定した領域を部分特徴領域として切り取る。なお、部分特徴領域を設定する際に基準となる端点は、左右の目、口の両端点、鼻など、人物の特徴を表すと考えられる部位の中から予め選択した点が用いられるものとする。

続いて、切り取ったそれぞれの部分特徴領域における部分特徴量を一列に並べ、特徴ベクトルとして抽出する。本明細書では、以降、部分特徴領域を顔オブジェクト上に設定される小さな領域と定義し、特徴ベクトルを部分特徴領域から抽出される複数の部分特徴量のセットと定義する。なお、部分特徴領域の数や大きさは任意であるが、本実施形態では、例えば、大きさは目とほぼ等しい大きさで、数は数十個であるものとし、これらは、後述する特徴ベクトル生成用データ保持部５０３に基づいて、設定されるものとする。

ここで、特徴ベクトルを構成する部分特徴量として、例えば、輝度値を抽出した場合、当該部分特徴量は、わずかな照明の変化などでその値が大きく変化してしまうことから、識別に有効でない部分特徴量となってしまうことが考えられる。そこで輝度値については、直接、特徴ベクトルとして用いるのではなく、ガボアフィルタ、Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ（ＬＢＰ）など何らかのフィルタ演算を施したうえで特徴ベクトルとして出力することが望ましい。

なお、上記ＬＢＰについては、例えば、Ｔ．Ａｈｏｎｅｎ．，Ａ．Ｈａｄｉｄ，Ｍ．Ｐｉｅｔｉｋ ａｉｎｅｎ，（２００４）の“Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎｓ”，Ｐｒｏｃ． ｏｆ ８ｔｈ Ｅｕｒｏｐｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｓｅｒ．Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， ｖｏｌ．３０２１”などに開示されているため、詳細は当該文献を参照されたい。

（２）特徴ベクトル変換部５０２について
特徴ベクトル変換部５０２では、特徴ベクトル抽出部５０１より出力された特徴ベクトルに所定の変換処理を施す。特徴ベクトルの変換処理としては、例えば、主成分分析（ＰＣＡ）による次元圧縮や、独立成分分析（ＩＣＡ）による次元圧縮などが挙げられる。

なお、特徴ベクトルの変換処理としてＰＣＡを用いた場合には、その基底数（特徴ベクトルの次元削減数）や、どの基底を用いるか、等のパラメータが存在するが、基底数の代わりに、基底ベクトルに対応する固有値の和、即ち、累積寄与率を指標としてもよい。更に、これらのパラメータや変換方法は、部分特徴領域ごとに異なったものとしてもよい。

（３）特徴ベクトル生成用データ保持部５０３について
特徴ベクトル生成用データ保持部５０３は、オブジェクト識別処理の実行以前に予め定められている、「特徴ベクトルを生成するために必要なデータ」を保持している。具体的には登録画像と入力画像とに設定されるべき部分特徴領域（部分特徴領域の数・位置・形状）や、特徴ベクトルの変換方法、変換行列などのパラメータ等を保持している。特徴ベクトル抽出部５０１および特徴ベクトル変換部５０２では、それぞれ必要なパラメータを特徴ベクトル生成用データ保持部５０３から取得して処理を実行する。

ところで、本実施形態において、特徴ベクトル生成用データ保持部５０３が保持する部分特徴領域は大きく分けて２種類存在する。図６は、特徴ベクトル生成用データ保持部５０３に保持される２種類の部分特徴領域の一例を示す図である。

図６に示すように、部分特徴領域には、標準部分特徴領域と適応部分特徴領域とが含まれる（換言すると、特徴ベクトル抽出部５０１は、標準部分特徴領域を抽出する第１の抽出手段及び適応部分特徴領域を抽出する第２の抽出手段として機能する）。標準部分特徴領域とは、予め定められ、登録画像記録部１０２に登録画像が新たに追加されたか否かに関わらず、常に固定された部分特徴領域である。一方、適応部分特徴領域とは、登録画像が登録画像記録部１０２に新たに追加されるごとに逐次設定しなおされる部分特徴領域である。

標準部分特徴領域は人種・性別・年齢を問わず、全てのカテゴリ間の識別に有効である部分特徴領域から構成されている。なお、標準部分特徴領域はオブジェクト識別装置１００が運用開始される段階で、特徴ベクトル生成用データ保持部５０３において変更不可能な形式で設定されているものとする。

一方、適応部分特徴領域は、特定の２つのカテゴリ間の識別に有効な部分特徴領域から構成されるよう、オブジェクト識別装置１００の運用中に逐次、設定しなおされるものとする。なお、適応部分特徴領域は、登録画像記録部１０２に保持されている登録画像を学習データとして学習処理を行うことによって求められる。例えば、人物の顔オブジェクトの場合、人物に特有に表れるほくろや傷跡が含まれる部分特徴領域が適応部分特徴領域として設定されることが望ましい。なお、具体的な適応部分特徴領域の求め方については後述する。

なお、標準部分特徴領域も適応部分特徴領域も典型的にはそれぞれひとつではなく数十個から構成される。このため、以降、複数の標準部分特徴領域からなる組を、標準部分特徴領域セットと、複数の適応部分特徴領域からなる組を適応部分特徴領域セットと称することとする。

なお、適応部分特徴領域セットは、各カテゴリごとに個別に設定されているものとする。つまり、本実施形態においては、入力画像及び登録画像にそれぞれ含まれるオブジェクトに対して、カテゴリと等しい数の適応部分特徴領域セットが設定されることとなる。また、１つの適応部分特徴領域セットは、いくつかのサブセットに分割することができる。１つのサブセットに含まれる適応部分特徴領域は、当該適応部分特徴領域セットが設定されるカテゴリと、他のカテゴリのうちのいずれか１つのカテゴリとの識別に有効な適応部分特徴領域により構成される。つまり、１つの適応部分特徴領域セットには、このサブセットが、最大で他のカテゴリの数だけ含まれることとなる。

（４）標準部分特徴領域セット及び適応部分特徴領域セットの構成例
次に、標準部分特徴領域セット及び適応部分特徴領域セットの具体的な構成例を図７を用いて説明する。図７は、カテゴリがＡからＤまで４つある場合において、カテゴリＡに設定される標準部分特徴領域セット７０１及び適応部分特徴領域セット７１０の一例を示した図である。

図７に示すように、カテゴリがＡからＤまである場合、適応部分特徴領域セット７１０には、カテゴリＡとＢとの間の識別に有効な適応部分特徴領域からなるサブセット（７１１）が含まれる。更に、カテゴリＡとＣ、及びカテゴリＡとＤとの間の識別にそれぞれ有効な適応部分特徴領域からなるサブセット（７１２、７１３）が含まれる（つまり、サブセットは全部で３つとなる）。

なお、適応部分特徴領域セット７１０に含まれるサブセットのうちの１つのサブセットと、標準部分特徴領域セット７０１との組み合わせを、以下では、「拡張部分特徴領域」と称することとする。具体的には、標準部分特徴領域セット７０１と適応部分特徴領域サブセット７１１との組み合わせや、標準部分特徴領域セット７０１と適応部分特徴領域サブセット７１２との組み合わせが拡張部分特徴領域に該当する。また、標準部分特徴領域セット７０１と適応部分特徴領域サブセット７１３との組み合わせが拡張部分特徴領域に該当する。

なお、部分特徴量抽出部３０１では、部分特徴量抽出処理時に、取得した処理対象の登録画像が分類されているカテゴリごとに、使用する適応部分特徴領域セットを切り替える。一例として、入力画像に含まれるオブジェクトと、カテゴリＡに分類されている登録画像に含まれるオブジェクトとに対して、部分特徴量抽出処理を実行し、特徴ベクトルを抽出する場合について説明する。この場合、部分特徴量抽出部３０１では、標準部分特徴領域セット７０１と適応部分特徴領域セット７１０に含まれるカテゴリＡ、Ｂ間に対応する適応部分特徴領域サブセット７１１とに基づいて、特徴ベクトル７２１、７３１を抽出する。

また、標準部分特徴領域セット７０１と適応部分特徴領域セット７１０に含まれるカテゴリＡ、Ｃ間に対応する適応部分特徴領域サブセット７１２とに基づいて、特徴ベクトル７２２、７３２を抽出する。

更に、標準部分特徴領域セット７０１と適応部分特徴領域セット７１０に含まれるカテゴリＡ、Ｄ間に対応する適応部分特徴領域サブセット７１３とに基づいて、特徴ベクトル７２３、７３３を抽出する。

なお、図７の例では、説明の簡略化のために、標準部分特徴領域セットとして３つの部分特徴領域を図示し、適応部分特徴領域セットとして３つの部分特徴領域を図示したが、実際には、それぞれ数十の部分特徴領域が含まれるものとする。

＜３．３ 部分特徴量比較部における処理の流れ＞
次に、部分特徴量比較部３０２について説明する。部分特徴量比較部３０２では、入力画像に含まれるオブジェクトと登録画像に含まれるオブジェクトとの間で、対応する拡張部分特徴領域から抽出された特徴ベクトル同士を比較し、相関値を求める。上述したように、拡張部分特徴領域は複数の部分特徴領域から構成されるため、複数の相関値が算出されることとなる。

そして、部分特徴量比較部３０２では、算出された全ての相関値を束ねることにより、相関値ベクトルを生成する。なお、特徴ベクトル同士の相関値の定義としては様々なものが考えられるが、本実施形態では、一例として、特徴ベクトル同士の成す角度のコサイン値とする。各相関値ベクトルの次元数は、各拡張部分特徴領域に含まれる部分特徴領域の数と一致する。

ここで、当該部分特徴量比較部３０２における処理の具体例について図９を用いて説明する。図９は、部分特徴量比較部３０２において、特徴ベクトル７２１〜７２３及び特徴ベクトル７３１〜７３３に基づいて、相関値ベクトルを生成する処理例を示している。

相関値ベクトルは、標準部分特徴領域セットそれぞれにおいて登録画像と入力画像とを比較することにより得られた相関値（第１の相関値）の成分が含まれる。更に、適応部分特徴領域サブセットそれぞれにおいて登録画像と入力画像とを比較することにより得られた相関値（第２の相関値）の成分が含まれる。

具体的には、図９に示すように、カテゴリがＡからＤまで４つあった場合、まず、特徴ベクトル７２１と特徴ベクトル７３１とを比較することで、相関値が求められる。上述したように、特徴ベクトル７２１は、拡張部分特徴領域（つまり、標準部分特徴領域セット７０１と適応部分特徴領域サブセット７１１）の部分特徴量を構成要素として含んでいる。また、特徴ベクトル７３１も、拡張部分特徴領域（つまり、標準部分特徴領域セット７０１と適応部分特徴領域サブセット７１１）の部分特徴量を構成要素として含んでいる。つまり、特徴ベクトル７２１及び７３１は、ともに複数の構成要素を含んでいるため、特徴ベクトル７２１と特徴ベクトル７３１とを比較することで生成される相関値ベクトル９０１は、複数の相関値を構成要素として含むこととなる。

同様に、特徴ベクトル７２２と特徴ベクトル７３２とを比較することで、複数の相関値を含む相関値ベクトル９０２が生成される。更に、特徴ベクトル７２３と特徴ベクトル７３３とを比較することで、複数の相関値を含む相関値ベクトル９０３が生成される。

＜３．４ 類似度算出部における処理の流れ＞
次に、類似度算出部３０３について説明する。図８は、類似度算出部３０３の機能構成を示す図である。図８に示すように、類似度算出部３０３は、相関値ベクトル統合部８０１と相関値ベクトル統合用データ保持部８０２とを備える。

相関値ベクトル統合部８０１では、部分特徴量比較部３０２で得られた相関値ベクトルから、分類対象の入力画像と処理対象の登録画像とが同じカテゴリに分類されるのか否かを判断するために、まず、類似度を算出する。そして、算出した類似度を統合し、統合類似度を算出する。

相関値ベクトル統合用データ保持部８０２は、相関値ベクトルの成分のどれが該当するサブセットに対応するのか、あるいは、どの標準部分特徴領域に対応する相関値を抽出するのかに関する設定が格納されている。このため、相関値ベクトル統合部８０１では、相関値ベクトル統合用データ保持部８０２を参照しながら、統合類似度の算出を行う。

ここで、類似度算出部３０３における類似度算出処理の具体例について図９を参照しながら説明する。相関値ベクトル統合部８０１では、まず、相関値ベクトルから、標準部分特徴領域セットに対応する相関値の一部と、適応部分特徴領域サブセットのひとつに対応する相関値の全てとを抽出する。続いて、抽出された相関値の中で相対的に大きい上位何割かの相関値（大きい順に所定数の相関値）の平均値を、類似度として算出する。

図９の例では、相関値ベクトル９０１から、標準部分特徴領域セット７０１に対応する相関値の一部と、適応部分特徴領域サブセット７１１に対応する相関値の全てとを抽出する。続いて、抽出された相関値の中で相対的に大きい上位何割かの相関値の平均値を、類似度として算出する。なお、ここでは、これをｓｃｏｒｅ（Ａ，Ｂ）と定義する。

同様に、相関値ベクトル９０２から、標準部分特徴領域セット７０１に対応する相関値の一部と、適応部分特徴領域サブセット７１２に対応する相関値の全てとを抽出する。続いて、抽出された相関値の中で相対的に大きい上位何割かの相関値の平均値を、類似度として算出する。なお、ここでは、これをｓｃｏｒｅ（Ａ，Ｃ）と定義する。

同様に、相関値ベクトル９０３から、標準部分特徴領域セット７０１に対応する相関値の一部と、適応部分特徴領域サブセット７１３に対応する相関値の全てとを抽出する。続いて、抽出された相関値の中で相対的に大きい上位何割かの相関値の平均値を、類似度として算出する。なお、ここでは、これをｓｃｏｒｅ（Ａ，Ｄ）と定義する。

相関値ベクトル統合部８０１では、このようにして得られた複数の類似度を統合し統合類似度を算出する。なお、本実施形態では、各類似度のうち最小値の類似度を処理対象の登録画像と入力画像との統合類似度（ｓｃｏｒｅ）として採用し、識別結果統合部３０４に出力する。つまり、それぞれの相関値ベクトルから抽出される相関値に基づいて算出されたｓｃｏｒｅ（Ａ，Ｂ）、ｓｃｏｒｅ（Ａ，Ｃ）、ｓｃｏｒｅ（Ａ，Ｄ）を用いて、下式により統合類似度を算出する。
統合類似度ｓｃｏｒｅ＝ａｒｇｍｉｎ（ｓｃｏｒｅ（Ａ，Ｂ）、ｓｃｏｒｅ（Ａ，Ｃ）、ｓｃｏｒｅ（Ａ，Ｄ））
なお、上述のように、類似度を算出する際に、標準部分特徴領域セットと適応部分特徴領域セットから得られる相関値を組み合わせて用いるのは、以下のような理由による。

上述したように標準部分特徴領域セットは、事前の学習により、撮影条件の変化によるオブジェクトの見た目の変動に影響されにくい部分特徴領域から構成されている。

一方、適応部分特徴領域セットは、特定の２つのカテゴリ間の違いを識別するのに有効な部分特徴量が抽出される部分特徴領域から構成されている。このため、これら２つの部分特徴領域を組み合わせることで、撮影条件の変化に対するロバスト性を保ちつつ、特定の２つのカテゴリ間の識別において高い識別性能を得ることができる。

なお、統合類似度を算出する際に、各類似度の最小値を選択するのは、同一カテゴリに分類される画像間において算出される統合類似度と、異なるカテゴリに分類される画像間において算出される統合類似度との差をより大きくするためである。後述する画像登録部１０４で適応部分特徴領域セットを求めるための学習を行うとき、例えばカテゴリＡ、Ｂ間に対応するサブセットは以下の２つの性質を持つように学習される。

１つ目の性質は、サブセットを用いてカテゴリＡに分類される画像同士あるいはカテゴリＢに分類される画像同士を比較する際には高い類似度が得られるという性質である。２つ目の性質は、カテゴリＡとカテゴリＢに分類される画像同士を比較する際には、際立って低い類似度が得られるという性質である。

この２つの性質を踏まえて、図９の例に従ってカテゴリＡに分類される登録画像と入力画像とを識別する場合について考えると、以下の３つの結果が期待できる。

第１は、カテゴリＡに分類されるべき入力画像から得られる類似度ｓｃｏｒｅ（Ａ，Ｂ）、ｓｃｏｒｅ（Ａ，Ｃ）、ｓｃｏｒｅ（Ａ，Ｄ）はそれぞれ高い値となる。このため、これらの類似度から最小値を選んでも統合類似度は十分に高い値となる。

第２は、カテゴリＢに分類されるべき入力画像から得られる各類似度の中では、ｓｃｏｒｅ（Ａ，Ｂ）が際立って低い値となり最小値となる。

第３は、登録されたカテゴリ外の入力画像から得られる類似度ｓｃｏｒｅ（Ａ，Ｂ）、ｓｃｏｒｅ（Ａ，Ｃ）、ｓｃｏｒｅ（Ａ，Ｄ）はそれぞれ際立って低い値ではないが、その中から最小値が選択されることとなる。

これら３つの結果から、同一カテゴリに分類される画像間において算出される統合類似度と、異なるカテゴリに分類される画像間において算出される統合類似度との差が大きくなることがわかる。

＜３．６ 識別結果統合部における処理の流れ＞
次に、識別結果統合部３０４について説明する。識別結果統合部３０４では、全ての登録画像についての統合類似度が得られた後、それぞれの統合類似度から入力画像が分類されるべきカテゴリを決定する。具体的には各登録画像について得られた統合類似度を比較し、最も大きい統合類似度を持つ登録画像が分類されているカテゴリを、入力画像が分類されるべきカテゴリと判断する。

ただし、カテゴリを判断するにあたっては、所定の閾値以上であることを条件とし、最も大きい統合類似度が当該所定の閾値を超えていない場合には、入力画像が分類されるべきカテゴリは無いものとして分類結果を出力する。

なお、当該所定の閾値の大きさは任意であるが、大きすぎれば多くの入力画像がどのカテゴリにも分類されないと判断されることとなる。一方、小さすぎれば、本来、どのカテゴリにも分類されるべきでない入力画像が、いずれかのカテゴリに分類されるものと判断されることとなる。このため、当該所定の閾値は、あらかじめ調整を重ねたうえで決定されるものとし、また、ユーザが任意に設定変更できるように構成されているものとする。

＜４．画像登録部について＞
＜４．１ 画像登録部の機能構成及び処理の流れ＞
次に、画像登録部１０４の機能構成について説明する。図１０は、画像登録部１０４の機能構成を示す図である。図１０に示すように、画像登録部１０４は、登録画像更新部１００１と、登録画像情報取得部１００２と、登録画像評価部１００３と、特徴ベクトル生成用データ更新部１００４と、相関値ベクトル統合用データ更新部１００５とを備える。

登録画像更新部１００１は、登録画像記録部１０２に対して、登録画像を新規に記録したり、既に保持されている登録画像を削除したり、差し替えを行ったりする。

登録画像情報取得部１００２は、登録画像記録部１０２に保持されている登録画像についての諸々の情報を抽出し算出する。

登録画像評価部１００３は、登録画像情報取得部１００２において取得された諸々の情報に基づき、適応部分特徴領域セットの更新が必要か否かを判断する。

特徴ベクトル生成用データ更新部１００４および相関値ベクトル統合用データ更新部１００５は、登録画像情報取得部１００２において取得された諸々の情報を用いて適応部分特徴領域セットを選択する。そして、部分特徴量抽出部３０１内の特徴ベクトル生成用データ保持部５０３の内容、および類似度算出部３０３内の相関値ベクトル統合用データ保持部８０２の内容を更新する。

次に、画像登録部１０４における画像登録処理の流れについて説明する。図１１は、画像登録部１０４で行われる画像登録処理の流れを示すフローチャートである。

ステップＳ１１０１では、登録画像更新部１００１が、画像入力部１０１において取得された登録画像を、登録画像記録部１０２に記録する。あるいは、すでに登録画像記録部１０２に保持されている登録画像を差し替える。あるいは、ユーザの指示に基づいて、すでに登録画像記録部１０２に保持されている登録画像を削除する。

ステップＳ１１０２では、登録画像情報取得部１００２が、登録画像記録部１０２に保持されている全ての登録画像を対象として、撮影日時や画像解像度など諸々の情報を取得する。

ステップＳ１１０３では、登録画像評価部１００３が、ステップＳ１１０２において取得された情報を用いて、適応部分特徴領域セットの更新が必要か否かを判断する。ステップＳ１１０３において更新が必要であると判断された場合には、ステップＳ１１０４に進む。

ステップＳ１１０４では、特徴ベクトル生成用データ更新部１００４が、適応部分特徴領域セットを選択し、当該選択結果に基づいて、特徴ベクトル生成用データ保持部５０３の内容を更新する。

ステップＳ１１０５では、相関値ベクトル統合用データ更新部１００５が、適応部分特徴領域セットを選択し、当該選択結果に基づいて、相関値ベクトル統合用データ保持部８０２の内容を更新する。

一方、ステップＳ１１０３において更新が必要でないと判断された場合には、画像登録処理を終了する。

なお、画像登録部１０４における画像登録処理は、登録画像記録部１０２が更新されるたびに実行されるように構成してもよいし、所定枚数以上の登録画像が更新された場合に実行されるように構成してもよい。あるいは、オブジェクト識別装置１００が起動されるたびに実行されるように構成してもよい。

＜４．２ 登録画像情報取得部における処理の流れ＞
次に、画像登録部１０４を構成する各部の処理について説明する。はじめに、画像登録部１０４内の登録画像情報取得部１００２における処理の詳細について説明する。

登録画像情報取得部１００２では、登録画像記録部１０２に保持されている登録画像それぞれについて、情報の抽出・算出を行う。なお、登録画像情報取得部１００２において取得される情報は、３種類に大別することができる。具体的には、登録画像単体についての情報と、カテゴリごとの登録画像についての統計情報と、全ての登録画像についての統計情報である。以下、それぞれの情報について詳説する。

登録画像単体についての情報とは、例えば、登録画像として保持されている画像の撮影時からの経過時間や画像解像度などである。これらの情報は、登録画像がデジタルカメラで撮影された画像であった場合には、ＥＸＩＦ情報から取得されうる。

更に、登録画像単体についての情報には、登録画像に対して所定の処理を行うことで得られた情報も含まれる。具体的には、登録画像に対して、適応部分特徴領域セットを使用せずに（つまり、逐次学習していない初期状態において）識別処理を行うことで得られた分類結果（カテゴリの識別子）が含まれる。また、当該分類結果と、登録画像更新部１００１における登録画像更新処理の際に当該登録画像に付与されたカテゴリの識別子との差異を算出することで、標準部分特徴領域セットのみを用いて識別処理を行った場合の信頼度を得ることができる。この場合に得られた信頼度も、上記登録画像単体についての情報に含まれることとなる。

更に、登録画像に対して特徴ベクトル抽出部５０１が端点検出処理を行うことにより、各端点の尤度が得られる。具体的には、畳み込み神経網を用いる手法など複数の端点検出法を用いて得られた端点位置の差異量の逆数を、端点検出の尤度として取得することができる。この場合に取得された尤度も、上記登録画像単体についての情報に含まれることとなる。なお、上記の端点検出手法に何を用いるかは任意であり、公知の方法が用いられるものとする。

一方、カテゴリごとの登録画像についての統計情報には、当該各カテゴリに分類されている登録画像の枚数や、登録画像単体についての情報をカテゴリごとに統計処理した結果得られた情報等が含まれる。例えば、撮影からの経過時間のカテゴリごとの平均や最大値等が含まれる。

全ての登録画像についての統計情報には、全ての登録画像の枚数や、登録画像単体についての情報を、全ての登録画像について統計処理した結果得られた情報が含まれる。例えば、撮影からの経過時間の全登録画像についての平均や最大値等が含まれる。

なお、登録画像情報取得部１００２において取得される情報のうち、登録画像単体についての情報は、別途用意した記録媒体などに記録するように構成してもよい。

＜４．３ 登録画像評価部における処理の流れ＞
次に、登録画像評価部１００３における処理の詳細について説明する。登録画像評価部１００３では、登録画像情報取得部１００２において取得された情報に基づいて、適応部分特徴領域セットを更新すべきか否か、および適応部分特徴領域の数が適切か否かなどについて判断する。更に、当該判断結果を特徴ベクトル生成用データ更新部１００４に出力する。

ここで、適応部分特徴領域セットを更新すべきか否かの判断基準の例（第１〜第３の判断基準）について、以下に説明する。

第１の判断基準の場合、新しいカテゴリの登録画像がオブジェクト識別装置１００に記録された場合、無条件で適応部分特徴領域セットを更新する。ただし、このとき既存の適応部分特徴領域サブセットは更新しない。また、既存のカテゴリと新しく追加されたカテゴリとの間を識別する適応部分特徴領域サブセットのみを、後述する特徴ベクトル生成用データ更新処理を実行することにより求め、各カテゴリの適応部分特徴領域セットに追加する。

第２の判断基準では、登録画像の収集履歴、つまり登録画像の撮影日時に基づいて判断する。識別すべきオブジェクトの性質によっては、時間経過によって外見が変化する場合がある。このような場合、ある時点で取得した登録画像に基づいて選択した適応部分特徴領域セットが正しく識別に寄与しない可能性があるからである。そこで、既に保持されている登録画像の撮影日時からの経過時間が、所定値以上であった場合に（つまり、所定時間経過していた場合に）、特徴ベクトル生成用データ保持部５０３の内容を更新する必要があると判断する。

具体的には、撮影されてからの経過日数が所定の日数を超過した登録画像の占める割合が登録画像全体に対して所定値以上となった場合に、予め定められた日数以前に撮影された登録画像を対象として、特徴ベクトル生成用データ保持部５０３の内容を更新する。なお、このとき撮影からの経過時間が短く、対象となる登録画像があらかじめ定められた数以下であった場合には、特徴ベクトル生成用データ保持部５０３の内容を更新しないように構成してもよい。

第３の判断基準では、登録画像の枚数に基づいて判断する。具体的には、前回、登録画像に基づいて適応部分特徴領域セットを学習した時点から現在に至るまでの間に、所定数以上の登録画像が追加された場合に、特徴ベクトル生成用データ保持部５０３の内容を更新する必要があると判断する。登録画像が追加されたことで、登録画像が持つオブジェクトの撮影条件に、以前より多くのバリエーションが含まれることになるものと期待される。様々な撮影条件を含む複数の登録画像に基づいて学習することで、撮影条件の変動に強く、かつ、よりカテゴリ間の識別に有効な適応部分特徴領域セットが得られるからである。

続いて、各適応部分特徴領域サブセットに含まれる数を決定する基準（第１、第２の基準）を以下に説明する。

第１の基準では、サブセットに対応する２つのカテゴリに分類されている登録画像の枚数に基づいて判断する。後述する特徴ベクトル生成用データ更新処理では、あるサブセットを学習するために、そのサブセットに対応する２カテゴリに分類されている登録画像を、学習データとして用いる。このとき登録画像の枚数が予め定められた枚数より少ない場合には、学習結果が信頼できないとして、サブセットを構成しない、つまり、サブセットの数をゼロにする。

第２の基準では、サブセットに対応する２つのカテゴリ間の類似性に基づいて判断する。２つのカテゴリが、例えば親子・兄弟間である場合、特に似ているとして適応部分特徴領域を増やすことが望ましい。一方、サブセットに対応する２つのカテゴリが他人である場合には、似ていないので適応部分特徴領域を減らし、オブジェクト識別処理の負荷を下げることが望ましい。

なお、カテゴリ間の類似性は、例えば、図１２に示すＦｉｓｈｅｒ判別分析に基づいて測ることができる。図１２は、ある２つのカテゴリＡ、Ｂに分類されている登録画像の、あるひとつの部分特徴領域から得られる部分特徴量の、特徴量空間上での分布を示している。そこで、図１２を用いて、当該部分特徴量の特徴量空間上での分離の度合を示す分離度ｓｅｐａｒａｔｉｏｎ（Ａ，Ｂ）を測ることで、２カテゴリＡ、Ｂ間の類似性を測ることができる。

このようにして測ることが可能な分離度を、標準部分特徴領域セット全てについて算出し平均化することで得られた平均値の逆数を、カテゴリ間の類似性ｓｉｍｉｌａｒｉｔｙ（Ａ，Ｂ）と定義する。この類似性は親子・兄弟など似たカテゴリ間では大きくなり、他人のようなカテゴリ間では小さくなる。

そして、当該類似性を予め定められた基準値ｓｉｍｉｌａｒｉｔｙ’と比較し、２つのカテゴリＡ、Ｂ間に対応するサブセットに含まれる適応部分特徴領域の数ｎｕｍｂｅｒ（Ａ，Ｂ）を、既定の初期値ｎｕｍｂｅｒ’から増減させる。
ｎｕｍｂｅｒ（Ａ，Ｂ）＝ｎｕｍｂｅｒ’×（ｓｉｍｉｌａｒｉｔｙ（Ａ，Ｂ）／ｓｉｍｉｌａｒｉｔｙ’）
＜４．４ 特徴ベクトル生成用データ更新部における処理の流れ＞
次に、特徴ベクトル生成用データ更新部１００４における処理の詳細について説明する。特徴ベクトル生成用データ更新部１００４では、登録画像記録部１０２に保持されている登録画像と登録画像情報取得部１００２において取得された情報とを用いて、カテゴリそれぞれに対して専用の適応部分特徴領域セットを生成する。そして、生成された各適応部分特徴領域セットを、部分特徴量抽出部３０１内の特徴ベクトル生成用データ保持部５０３に設定する。

ここでは先に示した図７の例に従って、カテゴリがＡからＤの４つからなる場合において、カテゴリＡ専用の適応部分特徴領域セットを生成する処理について説明する。上述したように、適応部分特徴領域セットは、いくつかのサブセットから構成される。カテゴリがＡからＤの４つの場合、カテゴリＡとＢとに分類される画像間を識別し得る適応部分特徴領域を含むサブセットが含まれることとなる。更に、カテゴリＡとＣ、およびカテゴリＡとＤに分類される画像間をそれぞれ識別し得る適応部分特徴領域を含むサブセットが含まれることとなる。このうち、以下では、カテゴリＡ、Ｂ間に対応するサブセットを生成する具体的な方法について説明する。

サブセットを構成する適応部分特徴領域を求める際には、カテゴリＡとＢに分類されている１枚以上の登録画像を用いて、予め用意されている典型的には数百から数千の部分特徴領域候補をそれぞれ評価する。その中で特にカテゴリＡ、Ｂに分類される画像間の識別に有効と評価された、典型的には数十の部分特徴領域候補を取り出し、カテゴリＡ、Ｂ間に対応するサブセットとする。

２つのカテゴリに分類されている登録画像間を識別し得る適応部分特徴領域セットとは、同一カテゴリに分類される登録画像間において、撮影条件（顔画像の場合に典型的には、顔向き、表情、照明、化粧等）による変動が少ない部分特徴領域である。なおかつ、２つのカテゴリに分類される登録画像間において、似ていない部分特徴領域である。

このような部分特徴領域を用いてオブジェクト識別処理を行うと、同一カテゴリに分類される登録画像間を識別した場合の類似度はより高く、２つのカテゴリに分類される登録画像間を識別した場合の類似度をより低くできる。このため、より高い識別性能を期待することができる。

このような性質を持つ適応部分特徴領域候補を選択する基準およびアルゴリズムとしては任意のものを用いることができるが、以下ではそのうちの一例について説明する。

適応部分特徴領域候補を選択する一基準として、同一カテゴリに分類されている登録画像同士を比較したときの相関値ヒストグラムと、２つのカテゴリに分類されている登録画像同士を比較したときの相関値ヒストグラムが分離している度合が挙げられる。図１３は、当該ヒストグラムの概念を示したものである。

図１３に示す２つの分布が離れているほど有効な適応部分特徴領域である。ここではＡｄａＢｏｏｓｔ法と呼ばれるブースティングアルゴリズムの１つを用いて有効な部分特徴領域を選択する方法について述べる。なお、ＡｄａＢｏｏｓｔ法の詳細な説明は、文献「Ｖｉｏｌａ＆Ｊｏｎｅｓ（２００１）“Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．」などに記載されているため、ここでは概要のみを説明する。

ブースティングアルゴリズムとは、単体では十分な識別性能を有しない弱判別器を複数組み合わせて、十分な識別性能を持つ強判別器を作り上げる機械学習手法の一種である。典型的には、部分特徴領域と特徴ベクトル変換方法の組み合わせひとつが弱判別器にあたり、複数の部分特徴領域を使用して識別処理を行うことが強判別器を用いて識別することにあたる。

続いて、ＡｄａＢｏｏｓｔ法における学習の流れについて図１４を用いて説明する。ステップＳ１４０１では、学習データである登録画像を取得し、ステップＳ１４０２では、学習データである登録画像それぞれに重みを与える。ステップＳ１４０３では、弱判別器それぞれについて、学習データに対する損失を計算する。この損失とは、その弱判別器で正しく識別できなかった学習データの重みの総和である。

ステップＳ１４０４では、損失が最も小さい弱判別器を１つ選択し、ステップＳ１４０５では、その弱判別器で正しく識別できなかった学習データの重み付けを大きくする。

重み付けが変更された条件で再び各弱判別器の損失を計算し、損失が最小の弱判別器を選択する処理を繰り返す。

ステップＳ１４０６では、所定の回数だけ繰り返したか否かを判定し、所定の回数だけ繰り返したと判定した場合には処理を終了する。これにより、任意の数の弱判別器が得られる。

オブジェクト識別装置１００では、登録画像２枚の組み合わせひとつが学習データひとつに対応し、部分特徴候補ひとつが弱判別器ひとつに対応する。弱判別器が全学習データついて適応部分特徴領域候補における相関値を得ることにより、図１２に示すような相関値ヒストグラムが求められる。そしてヒストグラム１３０１と１３０２とが交差する位置の相関値を閾値に設定したうえで、登録画像２枚の相関値が閾値より高ければ学習データを「同一カテゴリ」に分類し、低ければ「異なるカテゴリ」に分類する。

識別できなかった学習データの重みの総和が弱判別器の損失であるため、その損失は、閾値より右側にあるヒストグラム１３０１の領域の面積と、閾値より左側にあるヒストグラム１３０２の領域の面積とを、学習データで重み付けしたものに等しい。つまり、結果として、２つのヒストグラムがより分離している適応部分特徴領域候補が優先的に選択されることとなる。

ＡｄａＢｏｏｓｔ法を行った結果、典型的には数百あるいは数千個の適応部分特徴領域候補から上位に選択された数十個の適応部分特徴領域候補が、識別に有効であるとして選択される。

一方、適応部分特徴領域候補から最も下位に選択されるはずであったいくつかの適応部分特徴領域候補は、識別に適していない部分特徴領域であるといえる。この下位の適応部分特徴領域候補が標準部分特徴領域と重複している場合には、該当する標準部分特徴領域を使用することなく類似度が算出されるよう、特徴ベクトル生成用データ保持部５０３の設定を変更する。

以上の処理により、カテゴリＡに対応する適応部分特徴領域セットと標準部分特徴領域セットとを組み合わせた、拡張部分特徴領域が生成される。同様に、カテゴリＢに対応する拡張部分特徴領域も生成される。そのとき、適応部分特徴領域セットのカテゴリＢ、Ａ間に対応するサブセットは、上述したカテゴリＡ、Ｂ間に対応するサブセットと識別の対象が同じであり、学習データも同じである。このため等しいものが得られる。従って後者の学習を省き、前者の学習結果を流用するようにしてもよい。

適応部分特徴領域セットを選択においては、様々な撮影条件を含む登録画像を十分な数だけ学習データとして用いることで、撮影条件による影響に対して強く、かつ２つのカテゴリに分類される画像間の識別に有効な適応部分特徴領域セットの選択が可能となる。

しかしながら、オブジェクト識別装置１００の運用初期や運用条件によっては、十分な数の登録画像が得られないという問題が生じえる。そのため、例えば、登録画像に変動を加えた画像を生成することで、学習データとなる登録画像を増やすようにしてもよい。

具体的な変動としては、例えば、ノイズの付加、オブジェクトのモデルを用いた回転などの画像処理が挙げられる。なお、変動画像の生成方法については公知の文献に開示されているため、ここでは説明を省略する。

更に、上述のようにＡｄａＢｏｏｓｔ法をはじめとするいくつかの機械学習手法を用いた場合、計算負荷が大きくなってしまうという問題も生じえる。このため、オブジェクト識別装置の計算性能や電源の仕様によっては、オブジェクト識別装置内で処理を行うことが難しい場合も生じえる。そこで、例えば、あらかじめ適応部分特徴領域候補の数を絞っておくことで、オブジェクト識別装置における必要な計算量を減らし、処理負荷を軽減させるようにしてもよい。更に、適応部分特徴領域セットを選択するにあたっては、適応部分特徴領域候補自体を、あらかじめオブジェクト識別装置外でＡｄａＢｏｏｓｔ法などを用いて選択しておき、数を絞っておくようにしてもよい。

なお、標準部分特徴領域セットを予め選択する場合にも、ここで紹介したＡｄａＢｏｏｓｔ法を用いるのがよい。標準部分特徴領域セットを選択する際には、学習データとして登録画像ではなく、事前に用意された大量の画像データを用いるのが良い。その学習データの中には様々なカテゴリ（顔画像ならば、人種・性別・年齢など）や撮影条件（顔画像ならば、顔向き、表情、照明条件など）が含まれていることが望ましい。

そのような学習データを用いることで、カテゴリや撮影条件を問わず、一定の識別性能を実現できる標準部分特徴領域セットが得られることが期待できる。ただし、大量の学習データによるＡｄａＢｏｏｓｔ法は大きな計算量を要するため、当該学習は予めオブジェクト識別装置１００外で行われることが望ましい。

＜４．５ 相関値ベクトル統合用データ更新部における処理の流れ＞
次に、相関値ベクトル統合用データ更新部１００５について説明する。相関値ベクトル統合用データ更新部１００５では、特徴ベクトル生成用データ更新部１００４で学習された適応部分特徴領域セットに基づいて、特徴ベクトルの統合に必要な情報を類似度算出部３０３内の相関値ベクトル統合用データ保持部８０２に設定する。

具体的には、部分特徴量比較部３０２から得られる相関値ベクトルそれぞれの成分が、どの適応部分特徴領域サブセットあるいは標準部分特徴領域セットに対応するのかを示す情報を設定する。また、どの標準部分特徴領域セットに対応する相関値を、類似度の算出において不使用とするのかを示す情報を設定する。

以上の説明から明らかなように、本実施形態に係るオブジェクト識別装置では、複数のカテゴリに分類される画像間を識別するのに有効な標準部分特徴領域セットを抽出する構成とした。更に、特定の２つのカテゴリに分類される画像間を識別するのに有効な適応部分特徴領域セットとを抽出する構成とした。そして、抽出した標準部分特徴領域セットと適応部分特徴領域セットとを用いて、入力画像と登録画像との相関値を求めることにより、入力画像と登録画像との類似度を求める構成とした。

この結果、撮影条件の変化に対するロバスト性を保ちつつ、特定の２つのカテゴリ間の識別において高い識別性能を実現することが可能となった。

［第２の実施形態］
上記第１の実施形態では登録画像に基づいて適応部分特徴領域セットを選択する際、部分特徴領域における部分特徴量の相関値ヒストグラムの分離度を基準に、ＡｄａＢｏｏｓｔ法を用いて行うこととした。しかしながら、本発明はこれに限定されず、部分特徴領域における部分特徴量からなる特徴ベクトルの分布がカテゴリ間で分離している度合を基準に選ぶようにしてもよい。

以下、本実施形態に係るオブジェクト識別装置において、適応部分特徴領域セットを選択する処理について具体的に説明する。なお、以下では、上記第１の実施形態における説明と重複する説明については省略する。また、本実施形態に記載されていない各部の機能については上記第１の実施形態と同一であるため、各部の機能についての説明は第１の実施形態の説明を参照されたい。

＜特徴ベクトル生成用データ更新部における処理の流れ＞
画像登録部１０４内の特徴ベクトル生成用データ更新部１００４について、上記第１の実施形態との差異点について説明する。上記第１の実施形態では登録画像に基づいて適応部分特徴領域サブセットを生成する際、部分特徴領域における部分特徴量の相関値ヒストグラムの分離度を基準として、ＡｄａＢｏｏｓｔ法を用いて行うこととしていた。

これに対して本実施形態では、以下に述べる方法で適応部分特徴領域サブセットを生成する。なお、以下では、カテゴリがＡからＤの４つの場合において、カテゴリＡ専用の適応部分特徴領域セットを生成する場合について説明する。

上述したように、２つのカテゴリに分類される画像間を識別し得る適応部分特徴領域セットとは、同一カテゴリに分類されている登録画像間において、撮影条件による変動が少ない部分特徴領域である。なおかつ、２つのカテゴリに分類されている登録画像間において、似ていない部分特徴領域である。かかる部分特徴領域を用いてオブジェクト識別処理を行うことで、同一カテゴリに分類されている登録画像間において算出される類似度をより高くし、２つのカテゴリに分類されている登録画像間において算出される類似度をより低くすることができるからである。

一方、本実施形態では、２つのカテゴリに分類されている登録画像から得られる部分特徴量が、特徴量空間上で分離している度合（分離度）を評価する。具体的には、図１２に示すＦｉｓｈｅｒ判別分析の基準に従って評価する。

これは、第１の実施形態の登録画像評価部１００３において用いた基準と同一である。図１２に示す式に従えば、ある部分特徴領域から得られる部分特徴量は、同一カテゴリ間において分布の分散が小さくほど、また、カテゴリＡ、Ｂ間において分布の分散が大きくなるほど、分離度が大きくなる。この性質は先ほど述べた識別に有効な部分特徴領域の性質と合致している。

サブセットを生成するにあたっては、適応部分特徴領域候補それぞれについて、この分離度ｓｅｐａｒａｔｉｏｎ（Ａ，Ｂ）を算出する。そして、分離度が相対的に高い部分特徴領域から順に、任意の数の部分特徴領域を抽出し、カテゴリＡ、Ｂ間に対応するサブセットとする。なお、上記第１の実施形態と同様に、分離度が低い下位の部分特徴領域のうち、標準部分特徴領域と重複するものは、該当する標準部分特徴領域を使用することなく類似度が算出されるよう、特徴ベクトル生成用データ保持部５０３の設定を変更するものとする。

上記第１の実施形態において述べた相関値ヒストグラムの分離を基準とする場合、一旦学習データを相関値に落とし込むことでカテゴリ間の違いを間接的に観測していた。これに対して本実施形態の場合、特徴量空間における部分特徴量の分布を見ることで、カテゴリ間の違いを直接的に観測することができる。また、ＡｄａＢｏｏｓｔ法のように各部分特徴領域について繰り返し損失を求める計算も無いため、学習の負荷が比較的小さいという効果もある。

［第３の実施形態］
上記第１の実施形態では、類似度を統合して統合類似度を算出する際、標準部分特徴領域セット及び適応部分特徴領域セットそれぞれを用いて算出した類似度を統合することにより、統合類似度を算出することとした。しかしながら、本発明はこれに限定されず、標準部分特徴領域セットのみを用いて算出した相関値を統合した類似度も、類似度の統合において用いられるようにしてもよい。

以下、本実施形態の詳細を説明する。なお、上記第２の実施形態と同様、説明の重複を避けるため、以下では、上記第１または第２の実施形態における説明と重複する説明については省略する。また、本実施形態の以下の説明に記載していない各部の機能についての説明は、上記第１の実施形態と同一であるため、各部の機能についての説明は上記第１の実施形態を参照されたい。

＜類似度算出部における処理の流れ＞
オブジェクト識別部１０３内の類似度算出部３０３について、上記第１の実施形態との差異点を説明する。上記第１の実施形態では、標準部分特徴領域セットに対応する相関値の一部と、適応部分特徴領域サブセットの１つに対応する相関値全てとを統合し、類似度としていた。また、当該類似度を、適応部分特徴領域サブセットの数だけ求めていた。具体的には、３つの類似度ｓｃｏｒｅ（Ａ，Ｂ）、ｓｃｏｒｅ（Ａ，Ｃ）、ｓｃｏｒｅ（Ａ，Ｄ）を求めていた。そして、得られた類似度の中から最小値を、登録画像と入力画像の統合類似度ｓｃｏｒｅとして識別結果統合部３０４に出力していた。

しかしながら、上記第１の実施形態において説明した当該統合方法の場合、入力画像として、既に登録されているカテゴリ以外のオブジェクトを含む画像が入力された場合に、過学習の問題が起こる可能性を内包している。なお、過学習とは、学習データに基づいて識別器を用いて学習する機械学習手法において、一般に、少ない学習データに対して識別器が過剰適合してしまう事象をいう。

過学習が起こると、識別器が当該学習データに特化してしまい、学習データに無い性質の入力画像に対しては、その識別性能を保証することができなくなってしまう。オブジェクト識別装置１００の場合、既に登録されているカテゴリ以外のオブジェクトが含まれた入力画像は、全ての適応部分特徴領域セットにおいて学習データ外である。

そのため、適応部分特徴領域サブセットを統合した類似度が、予期せぬ高い値になってしまう可能性がある。もし全ての類似度が予期せぬ高い値になってしまった場合、類似度の中から最小値を採用したとしても期待される統合類似度は得られない。

そこで本実施形態では、標準部分特徴領域セットに対応する相関値のみを用いた類似度ｓｃｏｒｅ（ｓｔａｎｄａｒｄ）についても算出する。標準部分特徴領域セットは、登録済み・登録外に関わらずオブジェクトを識別できるよう予め学習されているものである。このため、登録されたカテゴリ以外のオブジェクトが含まれた画像が入力された場合であっても、ｓｃｏｒｅ（ｓｔａｎｄａｒｄ）が予期せぬ高い値になることは少なくなるものと考えられる。

そして、本実施形態ではこのようにして算出された類似度と、上記第１の実施形態で算出した３つの類似度とを合わせて、その中から最小値を統合類似度として採用することとする（下式参照）。
ｓｃｏｒｅ＝ａｒｇｍｉｎ（ｓｃｏｒｅ（ｓｔａｎｄａｒｄ），ｓｃｏｒｅ（Ａ，Ｂ），ｓｏｃｒｅ（Ａ，Ｃ），ｓｃｏｒｅ（Ａ，Ｄ））
このような処理を行うことにより、適応部分特徴領域サブセットを用いた３つの類似度全てが過学習の問題により予期せぬ値になった場合であっても、識別性能を維持することが可能となる。

なお、類似度ｓｃｏｒｅ（ｓｔａｎｄａｒｄ）は、上記第１の実施形態と同じように、標準部分特徴領域セットに対応する相関値の上位何割かの相関値の平均値を算出することにより求められるものとする。

［第４の実施形態］
上記第１の実施形態では、得られた類似度が高い場合に、登録画像と入力画像とが同一のカテゴリに分類される可能性が高いと判断していた。しかしながら、本発明はこれに限定されず、得られた類似度が低いほど登録画像と入力画像とが異なるカテゴリに分類される可能性が高いと判断するようにしてもよい。以下、本実施形態の詳細について説明する。

なお、以下では、上記第３の実施形態と同様、重複した説明を避けるため、上記第１乃至第３の実施形態と重複する説明については説明を省略する。また、本実施形態において記載されていない各部の機能についての説明は、上記第１の実施形態において記載した各部の機能と同一であるため、各部の機能についての説明は、上記第１の実施形態を参照されたい。

＜部分特徴量比較部における処理の流れ＞
部分特徴量比較部３０２における処理について上記第１の実施形態との差異点を説明する。上記第１の実施形態で説明したとおり、部分特徴量比較部３０２では、入力画像と登録画像との間で対応する拡張部分特徴領域から抽出された特徴ベクトル同士を比較し、相関値を求める。そして全ての相関値を束ねることで、相関値ベクトルを生成する。

このとき、上記第１の実施形態では登録画像の特徴ベクトルと入力画像の特徴ベクトルとの間のなす角度のコサイン値を類似度としていたが、本実施形態では、角度そのものを類似度とする。

＜類似度算出部における処理の流れ＞
次に、類似度算出部３０３における処理について上記第１の実施形態との差異点を説明する。上記第１の実施形態において説明したとおり、類似度算出部３０３では類似度を求める際、相関値ベクトルから、標準部分特徴領域セットに対応する相関値の一部と、適応部分特徴領域サブセットひとつに対応する相関値全てとを抽出する。そして、抽出された相関値の中で相対的に大きい上位何割かの相関値の平均値を類似度としていた。これに対して本実施形態では、抽出された相関値の中で相対的に小さい下位何割かの相関値の平均値を類似度とする。

また、第１の実施形態では得られた各類似度を統合するにあたり、最小値を採用することとしていた。これに対して、本実施形態では、各類似度を統合するにあたり、最大値を採用する。以下、第１の実施形態にならい、図９を参照しながら説明する。

上記第１の実施形態と同様に、３つの拡張部分特徴領域に基づいて、類似度ｓｃｏｒｅ（Ａ，Ｂ）、ｓｃｏｒｅ（Ａ，Ｃ）、ｓｃｏｒｅ（Ａ，Ｄ）が得られる。そして、得られた類似度の中から、最大値を登録画像と入力画像との統合類似度ｓｃｏｒｅとして識別結果統合部３０４に出力する（下式）。
ｓｃｏｒｅ＝ａｒｇｍａｘ（ｓｃｏｒｅ（Ａ，Ｂ）、ｓｃｏｒｅ（Ａ，Ｃ）、ｓｃｏｒｅ（Ａ，Ｄ））
ここで、上記第１の実施形態では、得られた類似度の中の最小値を統合類似度として出力していたため、出力値は、登録画像と入力画像とが異なるカテゴリに分類される場合に最も低い値を示していた。これに対して、本実施形態の場合、得られた類似度の中の最大値を統合類似度として出力するため、出力値は、登録画像と入力画像とが異なるカテゴリに分類される場合に最も高い値を示すこととなる。

［他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 登録画像に基づいて入力画像を分類する画像処理装置であって、
   複数の登録画像を、それぞれの画像に含まれるオブジェクトの属性によって複数のカテゴリに分類して記録する記録手段と、
   前記複数の登録画像のうちの処理対象の登録画像と入力画像とのそれぞれから、各画像を前記複数のカテゴリに分類するための特徴量を抽出するのに用いられるオブジェクト内の所定の領域を、標準部分特徴領域として抽出する第１の抽出手段と、
   前記複数のカテゴリのうち、前記処理対象の登録画像が分類されている注目カテゴリを除く他のカテゴリのそれぞれに対して、当該注目カテゴリと当該他のカテゴリとの２つのカテゴリのいずれかに属する登録画像を、該２つのカテゴリに分類するための特徴量を抽出するのに用いられる前記オブジェクト内の所定の領域を、適応部分特徴領域として、前記処理対象の登録画像と前記入力画像とのそれぞれから抽出する第２の抽出手段と、
   前記入力画像より抽出された前記標準部分特徴領域における特徴量と、前記処理対象の登録画像より抽出された前記標準部分特徴領域における特徴量との相関を表す第１の相関値と、前記入力画像より抽出された前記適応部分特徴領域における特徴量と、前記処理対象の登録画像より抽出された前記適応部分特徴領域における特徴量との相関を表す第２の相関値とを、それぞれ算出する相関値算出手段と、
   前記相関値算出手段により算出された第１及び第２の相関値に基づいて、前記処理対象の登録画像に含まれるオブジェクトと前記入力画像に含まれるオブジェクトとの間の類似度を、前記処理対象の登録画像が分類されている注目カテゴリと前記他のカテゴリのそれぞれとの組に対応して算出する類似度算出手段と、
   前記類似度算出手段により前記注目カテゴリと前記他のカテゴリのそれぞれとの組に対応して算出された複数の類似度を統合することで、前記入力画像と前記処理対象の登録画像との統合類似度を出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 前記第２の抽出手段は、前記２つのカテゴリにそれぞれ分類されている登録画像を学習データとして、ＡｄａＢｏｏｓｔ法により、前記適応部分特徴領域を抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の抽出手段は、前記２つのカテゴリにそれぞれ分類されている登録画像のうち、同一のカテゴリに分類されている登録画像から抽出される特徴量の分散が小さく、かつ、２つのカテゴリにそれぞれ分類されている登録画像から抽出される特徴量の分散が大きくなるように、前記適応部分特徴領域を抽出することを特徴とする請求項１に記載の画像処理装置。
4. 前記記録手段に新たに登録画像が記録された場合に、前記オブジェクト内の所定の領域が変更されることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記記録手段に記録されている登録画像のうち、生成されてからの経過時間が所定値以上の登録画像の占める割合が所定値以上となった場合に、前記オブジェクト内の所定の領域が変更されることを特徴とする請求項１または２に記載の画像処理装置。
6. 前記記録手段に記録されている登録画像のうち、前回、抽出する前記適応部分特徴領域が変更されてから新たに記録された登録画像の数が所定数以上となった場合に、前記オブジェクト内の所定の領域が変更されることを特徴とする請求項１または２に記載の画像処理装置。
7. 前記類似度算出手段は、第１及び第２の相関値として算出された複数の相関値のうち、値の大きい順に所定数の相関値を抽出し、該抽出した相関値の平均値を求めることで、前記類似度を算出することを特徴とする請求項１に記載の画像処理装置。
8. 前記出力手段は、前記類似度算出手段により算出された複数の類似度のうち、最小の類似度を前記入力画像と前記処理対象の登録画像との統合類似度として出力することを特徴とする請求項７に記載の画像処理装置。
9. 前記第１の抽出手段は、前記記録手段に記録された登録画像を学習データとして、ＡｄａＢｏｏｓｔ法により、前記標準部分特徴領域を抽出することを特徴とする請求項１に記載の画像処理装置。
10. 複数の登録画像を、それぞれの画像に含まれるオブジェクトの属性によって複数のカテゴリに分類して記録する記録手段を備える画像処理装置において、登録画像に基づいて入力画像を分類する画像処理方法であって、
    第１の抽出手段が、前記複数の登録画像のうちの処理対象の登録画像と入力画像とのそれぞれから、各画像を前記複数のカテゴリに分類するための特徴量を抽出するのに用いられるオブジェクト内の所定の領域を、標準部分特徴領域として抽出する第１の抽出工程と、
    第２の抽出手段が、前記複数のカテゴリのうち、前記処理対象の登録画像が分類されている注目カテゴリを除く他のカテゴリのそれぞれに対して、当該注目カテゴリと当該他のカテゴリとの２つのカテゴリのいずれかに属する登録画像を、該２つのカテゴリに分類するための特徴量を抽出するのに用いられる前記オブジェクト内の所定の領域を、適応部分特徴領域として、前記処理対象の登録画像と前記入力画像とのそれぞれから抽出する第２の抽出工程と、
    相関値算出手段が、前記入力画像より抽出された前記標準部分特徴領域における特徴量と、前記処理対象の登録画像より抽出された前記標準部分特徴領域における特徴量との相関を表す第１の相関値と、前記入力画像より抽出された前記適応部分特徴領域における特徴量と、前記処理対象の登録画像より抽出された前記適応部分特徴領域における特徴量との相関を表す第２の相関値とを、それぞれ算出する相関値算出工程と、
    類似度算出手段が、前記相関値算出工程において算出された第１及び第２の相関値に基づいて、前記処理対象の登録画像に含まれるオブジェクトと前記入力画像に含まれるオブジェクトとの間の類似度を、前記処理対象の登録画像が分類されている注目カテゴリと前記他のカテゴリのそれぞれとの組に対応して算出する類似度算出工程と、
    出力手段が、前記類似度算出工程において前記注目カテゴリと前記他のカテゴリのそれぞれとの組に対応して算出された複数の類似度を統合することで、前記入力画像と前記処理対象の登録画像との統合類似度を出力する出力工程と
    を備えることを特徴とする画像処理方法。
11. 請求項１０に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
12. 請求項１０に記載のオブジェクト識別方法の各工程をコンピュータに実行させるためのプログラムを記憶した記憶媒体。

Images