JP4796356B2 - 判別分析を行う方法、プログラム及び装置 - Google Patents

Description

本発明は、所与の基準に基づいて分類された複数の画像群からなる画像データベースから提示された画像が属する画像群を判別するための方法、プログラム及び装置に関する。

ここ数年のブロードバンド・ネットワークの急速な普及に伴い、ネットワーク上における画像データベースから、個人が趣味で製作した画像コンテンツや広告などに用いられる商業用の画像コンテンツなど、種々の画像コンテンツにアクセスすることが可能となってきた。

そのため、大量の画像コンテンツを含む画像データベースから顧客が望む画像を正確かつ迅速に検索できるシステムが必要となるが、多くの画像データベースでは、このような目的を達成するために、画像データベースに含まれる画像を画像の類似性や画像から受ける印象などの観点から複数のカテゴリ（複数の画像群）に分類し、顧客により指定されたカテゴリ（画像群）に属する画像を提示することが可能とされている。

しかし、画像のカテゴリへの分類作業の負荷は画像データベースに含まれる画像数に比例して増大するために、画像データベースの大きさによってはこのような作業を人手によって行うことが実質的に不可能な場合がある。

また画像データベースによっては、「ナチュラルな印象」、「フレッシュな印象」など、画像から受けるイメージによって画像の分類がなされる場合があるが、このような分類は、分類者の感性に依存する部分が大きいために、分類の統一性を維持するためには、分類者を任意には変更できない制約が生じることになり、それ故に画像データの分類作業が一層困難となる。

このような問題を解決するため、画像のカテゴリ分類の作業をコンピュータ上で実行することを可能とするための種々の試みが行われている。

例えば、特許文献１（特開２００３−２５６４２９号公報）では、ある程度の数の画像を画像の類似性や画像から受ける印象など何らかの基準に基づいて複数の画像群に分類し、この分類された画像群を教師データとして用いて分類が行われた基準をコンピュータに学習させ、この基準に従って、提示された画像（判別対象の画像／対象画像）がどの画像群に属するべきかをコンピュータ上で自動的に判別分析（提示された画像がどの画像群に帰属するかの判断）するための手法が提案されている。

また、本発明者らは、上記特許文献１に記載される手法を更に前進させ、各画像群に属する画像を分割した基本領域から抽出される特徴量ベクトルの分布が近似する基本領域を統合することにより、分類者が分類に際して着目したと考えられる領域を注目領域として特定するとともに、当該注目領域から抽出される特徴量ベクトルの各画像群に属する画像間での分散の程度から上記分類の際に当該注目領域がどの程度重視されたかについての指標として注目度を導出し、各注目領域についての各カテゴリに属する画像群と対象画像との類似性を示す指標（領域間距離）を注目度に応じた重み付けを加えて積算した値に基づいて対象画像の各カテゴリへの帰属を判別することで、分類者の知覚作用をより正確に反映させたより精度の高い判別分析を行いうる手法を提案している（特願２００４−５６２９０号）。
特開２００３−２５６４２９号公報

本発明は、何らかの基準に基づいて分類された複数の画像群を教師データとし、当該教師データを用いて当該教師データの分類に用いられた基準をコンピュータに学習させ、この基準に従って、提示された画像の判別分析をコンピュータ上で自動的に実行するための新たな方法、プログラム乃至装置を提供することをその目的とする。

また本発明は、コンピュータ上での画像の判別分析を行うための方法、プログラム乃至装置であって、特願２００４−５６２９０号に記載される手法と同等乃至それ以上に精度の高い判別分析を行いうる方法、プログラム乃至装置を提供することをその目的とする。

また本発明は、「ナチュラルな印象」、「フレッシュな印象」など、画像から受ける印象（イメージ）により分類された複数の画像群からなる画像データベースに特に好適に適用することができる判別分析の方法、プログラム乃至装置を提供することをその課題とする。

本発明は、上記課題を解決したものであり、所与の基準に基づいて分類された複数の画像群のいずれかの画像群に対象画像を判別するための方法又は装置であって、一の画像群に含まれる画像である帰属画像のそれぞれを所定数の基本領域に分割し、当該基本領域から特徴量ベクトルを抽出する第１のステップ又は手段と、前記一の画像群について、特徴量ベクトルの分布が近似する基本領域を統合することにより構図領域を特定する第２のステップ又は手段と、各帰属画像の各構図領域から、帰属特徴量ベクトルとして、特徴量ベクトルを抽出する第３のステップ又は手段と、各構図領域について、帰属特徴量ベクトルの前記一の画像群における分散度に対して逆相関の関係にある指数である注目度を導出する第４のステップ又は手段と、画像データベースに含まれる画像のうちの前記一の画像群に属する画像以外の画像である非帰属画像のそれぞれを構図領域と同一の領域である第１対応領域に分割し、非帰属特徴量ベクトルとして、各非帰属画像の各第１対応領域から特徴量ベクトルを抽出する第５のステップ又は手段と、各構図領域について、構図領域から抽出された各帰属特徴量ベクトルが帰属する第１のクラスと、当該構図領域に対応する第１対応領域から抽出された各非帰属特徴量ベクトルが帰属する第２のクラスとを識別するＳＶＭに基づく第１の識別関数を導出する第６のステップ又は手段と、対象画像を構図領域と同一の領域である第２対応領域に分割し、対象特徴量ベクトルとして、各第２対応領域から特徴量ベクトルを抽出する第７のステップ又は手段と、各第２対応領域から抽出された対象特徴量ベクトルを、対応する構図領域について導出された第１の識別関数に適用することにより、対象特徴量ベクトルの識別を行う第８のステップ又は手段と、前記第８のステップ又は手段において第１のクラスに識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度に基づいて対象画像を前記一の画像群に判別するか否かを決定するステップ又は手段とを有することを特徴とする方法又は装置、或いは、上記各ステップをコンピュータに実行させることを特徴とするプログラムである。

図１は、本発明の構成の概略を概念的に示す説明図であり、本発明は、図１に示されるように、以下の３つの特徴点を有している。

即ち、一の画像群（比較対象の画像群／図では画像群Ａと表示されている）に分類された各画像（Ｃ_ｉ（ｉ＝１，２，・・・ＮＡ））を所定数の基本領域に分割し（図では縦横５×５の２５個の基本領域に分割した例が示されている）、この基本領域を所定の基準に基づいて統合することで、画像群の分類に際して着目されたであろう構図を構図領域Ｐ_ｋ（図では、２つの構図領域Ｐ_１、Ｐ_２が特定された例が示されている）として抽出するとともに、分類の際に各構図領域がどの程度重視されたかについての指標として注目度ｚ_ｋを導出する第１の特徴点、
この構図領域Ｐ_ｋ毎に、ＳＶＭに基づく第１の識別関数ｆ_ｋ（ｘ）を導出するとともに、対象画像Ｃ^Ｏ（提示された画像）を構図領域Ｐ_ｋと同一の領域（第２対応領域Ｐ^Ｏ _ｋ）に分割し、各第２対応領域Ｐ^Ｏ _ｋから抽出される特徴量ベクトル（対象特徴量ベクトルｘ^Ｏ _ｋ）を、対応する構図領域Ｐ_ｋから導出された第１の識別関数ｆ_ｋ（ｘ）に適用する（代入する）ことにより、対象特徴量ベクトルｘ^Ｏのクラスの識別を行う第２の特徴点、及び、
第１のクラスに識別された第２対応領域Ｐ^Ｏ _ｋに対応する構図領域Ｐ_ｋの注目度ｚ_ｋに基づいて対象画像の判別を行う第３の特徴点、
の３つの特徴点である。

そして本発明では、上記第１、第３の特徴点を有するが故に、特願２００４−５６２９０号に記載される手法と同様に、分類の際における分類者の知覚作用をより正確に反映させた精度の高い判別分析が可能となるという作用効果が達成される。

更に、本発明では、上記第２の特徴点を有するが故に、一の画像群に対する対象画像の判別分析を、当該一の画像群から特定される構図領域に基づいて行うことが可能となり、従って、特願２００４−５６２９０号に記載される手法に比して更に精度が高い判別分析が可能となるという作用効果が達成され、また、特定の構図領域を一の画像群に判別し、他の構図領域を他の画像群に判別するなど、構図領域毎の判別（構図領域毎の意味づけ）を行うことが可能となるという作用効果が達成される。

ここで、本発明は、所与の基準に基づいて分類された複数の画像群からなる画像データベースに対して対象画像の判別分析を行うものであるが、ここに言う所与の基準としては、画像の類似性に基づく基準や、画像から受ける印象に基づく基準を挙げることができる。

そして、所与の基準として、画像の類似性に基づく基準が用いられる場合には、与えられた複数の画像を、任意の分類者の個人的な感覚（類似度判断基準）に基づいて、類似するもの毎に画像群に分類して画像データベースを構築することが可能であり、この場合は、本発明により、当該分類者の個人的な類似度判断基準を反映させた判別分析が計算機上で実行されることになる。

また、商標や意匠の類似判断のように、統一的な指針により客観化された類似度判断基準が所与の基準として用いられる場合には、例えば、当該所与の基準に従って過去に類似すると判断された複数の画像群から画像データベースを構築することが可能であり、この場合は、本発明により、与えられた統一的な指針を反映させた判別分析が計算機上で実行されることになる。

また、本発明では、「ナチュラルな印象」、「フレッシュな印象」など、画像から分類者（鑑賞者）が受ける印象を所与の基準として用い、各画像から分類者が受ける印象の種類毎に分類された画像群（印象グループ）から画像データベースを構築することも可能であり、この場合には、画像が分類者に与えるであろう印象を反映させた判別分析が計算機上で実行されることになる。

この場合、例えば、単一の画像から分類者が複数の印象を受けること（例えば、単一の画像から「ナチュラルな印象」を受けるとともに、「フレッシュな印象」も受けるような場合）は通常生じうることであるため、ここでの画像データベースでは、単一の画像を複数の画像群（印象グループ）に重複して分類することを許容することが便宜であると考えられるが、本発明では、上記第２の特徴点を有するが故に、このような重複して分類された画像群に対しての対象画像の判別分析を好適に行うことができる。

また、本発明における帰属画像（一の画像群に含まれる画像）の基本領域への分割は、任意の方法で行うことが可能であるが、各基本領域が相互に重複する部分を生じず、余白を生じない態様で分割することが好ましい。なお、分割数を増加させると計算量の増大を生じることから、例えば、各画像が方形である場合には、４×４〜６×６程度の升目状に分割することが考えられる。

また、本発明で使用する特徴量ベクトルとしては、画像中の任意の領域の画像的な特徴を表示する複数の特徴量を要素とする任意の多次元ベクトルを使用することが可能であるが、所与の基準に基づく分類が行われる際における分類者の視覚的な知覚作用を好適に反映させた特徴量ベクトルを使用することが特に好ましく、例えば、全域的特徴量や近傍画素間の局所的な関係を表現する局所的特徴量から、ノイズや環境光の変化に影響を受けにくい特徴量を選択し、また、側抑制効果（視覚の知覚過程において、ある点が刺激を受けて興奮作用を起こすと、その周辺の点が逆に抑制作用を起こす機構）など、人の知覚作用の特性を反映させるための重み付けを加えるなどにより特徴量ベクトルを設計することが好ましい。

また、本発明の構図領域は、一の画像群において特徴量ベクトルの分布が近似する基本領域を統合することにより特定されるものであり、この構図領域は、ユーザが画像データベース中の画像を画像群に分類する際に注目した構図に相当すると考えられる。

ここで、特徴量ベクトルの分布の近似性をどのような手法により判断するか、或いは、どの程度の近似性をもって基本領域の統合を行うかなどは任意であり、例えば、最終的に抽出される構図領域の個数を既知として、ある評価基準の下で逐次修正に基づき分類を行うＫ−ｍｅａｎｓ法や、情報量基準を用いて構図領域の個数を決定するＸ−ｍｅａｎｓ法などを使用することが可能であるが、Ｋ−ｍｅａｎｓ法は、構図領域の個数を事前に決定する方法が問題となり、また、両法とも基本領域の形成方法によってどのような構図領域が抽出されるかに影響を及ぼしやすく、また、局所解に陥りやすいという問題がある。

この点、モデルのパラメータの記述長と、モデルを用いてデータを記述したときの記述長の和が最小となるモデルを選択していくＭＤＬ基準には上記のような欠点はなく、ＭＤＬ基準に基づいて基本領域の統合を行うことで構図領域を特定することが特に好ましい。

なお、構図領域の特定の際、例えば、全ての基本領域（或いは、統合された領域）から選ばれる２つの領域の全ての組み合わせについて、それぞれの領域から抽出される特徴量ベクトルを用いてマハラノビス汎距離を計算し、これが最小となる２つの領域について、ＭＤＬ基準に基づく統合の判断を行うようにすることが可能であり、これにより、構図領域の抽出のための計算の高速化を図ることができる。

また、更に、主成分分析によりこの計算に使用する特徴量ベクトルを次元圧縮することが可能であり、これにより、計算の高速化が実現されるとともに、計算に含まれるべき乗計算などにより計算値が発散し、或いは、ゼロに収束して有意な結果を得ることができないなどの不都合を回避することが可能となる。

また、本発明における注目度は、一の画像群の各構図領域から抽出される特徴量ベクトル（帰属特徴量ベクトル）の当該一の画像群における分散度に対して逆相関の関係にある指数であり、例えば、帰属特徴量ベクトルの共分散行列の行列式を分散度を示す指標として使用し、当該行列式の逆数、当該行列式の対数の逆数、或いは、これらを任意の量により規格化した数値などを注目度とすることが可能である。

このような注目度は、各画像群への分類の際に、各構図領域がどの程度注目されたか、乃至、どの程度重視されたかを示すものと考えられる。

なぜなら、ある画像群における構図領域から抽出された帰属特徴量ベクトルの分散が小さければ、その構図領域では、その画像群に分類する際の基準が一貫していると考えることができ、その分散が大きければ、その画像群に分類する際の基準が一貫していないと考えることができるからである。

また、本発明におけるＳＶＭ（サポートベクターマシン／Support Vector Machine）は、例えば、赤穂昭太郎、津田宏治，「サポートベクターマシン−基本的仕組みと最近の発展−」，数理科学，Ｎｏ４４４，５２〜５８頁，（２０００年）などに詳述される２クラス識別器であり、一の画像群のある特定の構図領域についてのＳＶＭに基づく第１の識別関数は以下のようにして導くことができる。

即ち、帰属画像（一の画像群に含まれる画像）の各構図領域から特徴量ベクトル（帰属特徴量ベクトル）を抽出するとともに、非帰属画像（一の画像群以外の画像軍に含まれる画像、即ち画像データベースに含まれる全ての画像のうちの帰属画像以外の画像）のそれぞれを、構図領域と同一の領域である第１対応領域に分割し、各非帰属画像の各第１対応領域から特徴量ベクトル（非帰属特徴量ベクトル）を抽出する。

そして、各帰属画像の上記特定の構図領域から抽出された帰属特徴量ベクトル、及び、各非帰属画像の上記特定の構図領域に対応する第１対応領域から抽出された非帰属特徴量ベクトルからなるテストサンプルをｘ＝（χ_１，・・・、χ_ｌ）^Ｔとした場合、第１の識別関数ｆ（ｘ）は、式（１）で示される。

ここで、帰属特徴量ベクトルが帰属するクラスを第１のクラス、非帰属特徴量ベクトルが帰属するクラスを第２のクラスとして、ＳＶＭの学習用のクラスラベルをｙと表記し、テストサンプルが第１のクラスに属していればｙ＝１、第２のクラスに属していればｙ＝−１とする。

この場合、識別平面とテストサンプルの間のマージンを最大化することができる第１の識別関数は、以下の最適化問題を解くことにより求めることが可能である。

また、本発明における対象画像の一の画像群に対する判別分析（対象画像を一の画像群に判別するか否かについての決定）は、当該一の画像群について特定された個々の構図領域について上記により導出された第１の識別関数を用いた識別の結果に基づいて行われる。

即ち、対象画像は、一の画像群について特定された構図領域と同一の領域である第２対応領域に分割され、対象画像の第２対応領域のそれぞれから、特徴量ベクトル（対象特徴量ベクトル）が抽出される。

続いて、各第２対応領域から抽出された対象特徴量ベクトルを、当該第２対応領域に対応する構図領域について導出された第１の識別関数に適用することにより、各対象特徴量ベクトルが第１、第２のクラスのいずれに帰属するかの識別が行われる。

そして、対象画像の一の画像群に対する判別分析は、第１のクラスに帰属すると識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域の注目度に基づいて行われる。

また、上記本発明に係る判別分析のための方法、プログラム又は装置では、ＳＶＭに基づく識別に、更に１クラスＳＶＭに基づく識別を併用することにより、判別の精度を更に高めることが可能である。

即ち、ＳＶＭは２クラスの識別器であるため、どのようなデータであっても必ずどちらかのクラスに識別されることになり、本来いずれの画像群にも判別されるべきでない外れ点（例えば、画像から鑑賞者が受ける印象を所与の基準として複数の画像群への分類が行われた画像データベースに本発明を適用する場合であれば、どの画像群についての印象も喚起されないような画像）が一の画像群に識別される恐れがあるが、このような外れ点を１クラスＳＶＭにより検出することが可能である。

１クラスＳＶＭは、非線形な写像Φ_２であって、写像Φ_２による写像先での内積が元の空間におけるガウシアンカーネル関数の値と一致する写像Φ_２を用いて写像を行うと、元の空間の外れ点は原点近くに写像されるという性質を利用して外れ点の識別を行うものである（１クラスＳＶＭについての詳細は、例えば、麻生英樹、津田宏治、村田昇著，「統計化学のフロンティア６ パターン認識と学習の統計学」，岩波書店，２００３年に記載されている）。

いま、一の画像群Ａ＝{Ｃ_１，・・・Ｃ_ＮＡ} に属する画像Ｃ_ｉ （ｉ＝１，・・・ＮＡ） のある構図領域Ｐ_ｋから抽出した特徴量ベクトル（帰属特徴量ベクトル）をｘ_ｉ，ｋ （ｉ＝１，・・・ＮＡ） とすると、１クラスＳＶＭに基づく第２の識別関数は、式（５）により与えられる。

上記写像Φ_２による帰属特徴量ベクトルの写像ベクトルΦ_２（ｘ_ｉ，ｋ ）を原点側の写像ベクトルであって、予め定められた割合νの写像ベクトルと、それ以外の写像ベクトルとに分けるような超平面を定める第２の識別関数は、以下の式（６）に示される最適化問題を解くことにより導くことができる。

従って、第１の識別関数により第１のクラスに識別される対象特徴量ベクトルであって、かつ、当該対象特徴量ベクトルの上記写像Φ_２による写像ベクトルである対象写像ベクトルが、対応する構図領域について導出された第２の識別関数により原点側に識別されない対象写像ベクトルについての対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域の注目度に基づいて判別分析を行うことにより外れ点を除外することが可能となり、従って、より精度の高い判別分析を行うことが可能となる。

また、本発明における対象画像の一の画像群に対する判別分析は、第１の識別関数により第１のクラスに識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度を積算した値である確信値が、予め定められた閾値を越えているか否かに基づいて行うものとすることが可能であり、これにより、判別分析の画一化、容易化を図ることができる。

同様に、上述の１クラスＳＶＭを併用する場合には、第１の識別関数により第１のクラスに識別された対象特徴量ベクトルであって、かつ、第２の識別関数により原点側に識別されなかった対象写像ベクトルについての対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度を積算した値である確信値が、予め定められた閾値を越えているか否かにより、対象画像の一の画像群に対する判別分析を行うことが可能であり、これにより、判別分析の画一化、容易化を図ることができる。

また、本発明において、各帰属画像、各非帰属画像及び対象画像のそれぞれから複数種類の解像度の帰属画像、非帰属画像及び対象画像を生成し、それぞれの解像度の帰属画像、非帰属画像及び対象画像について上記本発明に従う判別分析を行うことが可能であり、これにより、分類者が分類の際に注目するオブジェクトや模様のサイズの多様性にも対応した判別分析を行うことが可能となり、更に、上記した確信値に基づいて判別分析を行うのであれば、各解像度について上記により導出された確信値を積算した値が、予め定められた閾値を越えているか否かにより判別分析を行うことが可能であり、これにより、判別分析の画一化、容易化を図ることができる。

また、上記においては、ＳＶＭに基づく第１の識別関数を、各構図領域から抽出された各帰属特徴量ベクトルが帰属する第１のクラスと、当該構図領域に対応する第１対応領域から抽出された各非帰属特徴量ベクトルが帰属する第２のクラスとを識別するものとして導出したが、ＳＶＭは、２つのクラス（第１、第２のクラス）が線形分離可能であるときには高い認識率を期待できるが、非線形で複雑な問題に対してはその限りではない。

そこで、非線形な写像Φ_１であって、写像Φ_１による写像先での内積が、元の空間におけるカーネル関数（カーネル関数の一例としては、ガウシアンカーネルを挙げることができる）の値と一致する写像Φ_１により、各帰属特徴量ベクトル及び各非帰属特徴量ベクトルを写像し、ＳＶＭに基づく第１の識別関数を、各帰属特徴量ベクトルを写像Φ_１により写像したベクトルが帰属する第１のクラスと、各非帰属特徴量ベクトルを写像Φ_１により写像したベクトルが帰属する第２のクラスとに識別するものとして導出することにより、線形分離性を高めることが可能である。

なお、この場合には、本発明の第８のステップにおける識別又は帰属クラス識別手段による識別は、対象画像の各第２対応領域から導出される対象特徴量ベクトルを上記写像Φ_１により写像したベクトルを、上記第１の識別関数に適用することにより行われることになる。

本発明では、互いに類似する画像群を統合することによって、元の画像群数より少ない複数の大グループを形成する第１１のステップと、前記複数の大グループのいずれかの大グループに対象画像を判別する第１２のステップと、前記第１２のステップにおいて対象画像が判別された大グループに属する画像群である大グループ内画像群が複数である場合には、そのいずれかの大グループ内画像群に対象画像を判別する第１３のステップとを有し、前記第１２のステップが、前記複数の大グループを前記複数の画像群として前記第１〜第８のステップ及び前記判別決定ステップを実行するものであり、前記第１３のステップが、前記大グループ内画像群を前記複数の画像群として前記第１〜第８のステップ及び前記判別決定ステップを実行するものとすることが好ましい（請求項１０）。

本発明における第１の識別関数は、一の画像群の構図領域から抽出される帰属特徴量ベクトルが帰属する第１のクラスと、一の画像群以外の画像群に属する画像の第１対応領域から抽出される非特徴量ベクトルが帰属する第２のクラスとを識別する関数として導出されるが、真に第１のクラスと第２のクラスとを識別できる適切な第１の識別関数の導出を可能とするには、帰属特徴量ベクトルの個数と非帰属特徴量ベクトルの個数に大きな隔たりがないこと、換言すれば、一の画像群に属する画像数と、それ以外の画像群に属する画像数に大きな隔たりがないことが必要である。

従って、仮に個々の画像群に属する画像数が同程度であったとしても、画像群数が多い場合（例えば１０個以上）や、画像群数がさほど多くなくても、一の画像群に属する画像数が、全体の画像数と比較して極端に少ない場合には、真に第１のクラスと第２のクラスとを識別できる適切な第１の識別関数を導出することができず、そのために、妥当性のある判別分析が実行できなくなる。

請求項１０の発明は、複数の画像群を統合することで大グループを形成し、対象画像の判別を、大グループ間での判別と、大グループに属する画像群である大グループ内画像群間での判別の２段階で行うことにより、帰属特徴量ベクトルの個数と非帰属特徴量ベクトルの個数に大きな隔たりを生じないようにし、より多くの場合に妥当性のある判別分析が行われるようにしたものである。

なお、請求項１０の発明では、互いに類似する大グループを統合することで更に上位の大グループを形成し、対象画像の判別を、３以上の多段階で行うようにすることも可能である。

ここで、複数の画像群から構成される一般的な画像データベースを考えると、ある画像群と他の画像群が何らかの意味で類似しており、ある画像群と更に他の画像群とは全く類似しない、といったように画像群間にも類似度が存在しているケースが多いと考えられるが、そのような場合には、画像群間の類似度を大グループの形成において考慮することにより、判別精度の向上を図ることが可能となる。

そして、画像群間の類似度を考慮した大グループの形成を行うについては、ＭＤＬ基準を用いることが好ましい。

即ち、Ｋ−ｍｅａｎｓ法やＸ−ｍｅａｎｓ法に基づいて画像群間の類似度を考慮した大グループの形成を行うことも可能であるが、Ｋ−ｍｅａｎｓ法は、大グループの個数を事前に決定する方法が問題となり、また、両法とも局所解に陥りやすいという問題があり、このような欠点を有さないＭＤＬ基準に基づいて大グループの形成を行うことが好ましい。

本明細書は、第２の発明として、所与の基準に基づいて分類された複数の画像群のいずれかの画像群に対象画像を判別するための方法又は装置であって、互いに類似する画像群を統合することにより、元の画像群数よりも少ない複数の大グループを形成する第１のステップ又は手段と、前記複数の大グループのいずれかの大グループに対象画像を判別する第２のステップ又は手段と、前記第２のステップにおいて対象画像が判別された大グループに属する画像群である大グループ内画像群が複数である場合には、そのいずれかの大グループ内画像群に対象画像を判別する第３のステップ又は手段とを有することを特徴とする方法又は装置、或いは上記各ステップをコンピュータに実行させるプログラムを開示する。

３以上の画像群の識別を２クラス識別器を用いて行う手法には、大きく分けて、
（１）「画像群Ａとそれ以外」という２クラス識別をｎ回行う方法（ｏｎｅ−ｖｓ−ａｌｌ方法）、
（２）「画像群Ａと画像群Ｂ」という２クラス識別をｎ×ｎ回行う方法（ｐａｉｒｗｉｓｅ方法）、
（３）２分木を用いて２クラス識別を行う方法（２分木法）
の３種類があるが、画像群数が多い場合には、上記のいずれの手法によっても、多数の識別器の学習と多数回の識別の実行が必要であり、この識別器数及び識別回数の低減が一つの課題となっている。

本願第２の発明は、この課題を解決したものであり、２クラス識別器を用いて３以上の画像群の識別を行う判別分析における識別器数及び識別回数の低減を達成し、或いは更に判別精度の向上をも達成するものである。

複数の画像群から構成される画像データベースでは、画像群間になんらか意味での類似度が存在するケースが多いことは上記の通りであり、本願第２の発明では、この点に注目し、ある程度類似したクラスを統合することで大グループを形成し、対象画像の判別を、大グループ間での判別と、大グループに属する画像群である大グループ内画像群間での判別の２段階で行うことにより、識別器数及び識別回数の低減を達成した。

図２は、本願第２の発明による効果を従来の２分木法と対比して示す説明図である。

図２左側は、ＳＶＭに基づく２クラス識別器を従来の２分木法に基づいて配置したものである。図中のＡ／Ｂは画像群Ａと画像群Ｂの識別器を表す。Ａ〜Ｆの６つの画像群に対して、１５個の識別器を用意（学習）する必要があり、かつ、Ａ〜Ｆのいずれかの画像群に対象画像を判別するには、５回の識別が必要となる。

図２右側は、ＳＶＭに基づく２クラス識別器を本願第２の発明に従って配置したものである。ここでは、Ａ〜ＦのうちＡ、Ｂ、Ｃをまとめて大グループαを、Ｄ、Ｅ、Ｆをまとめて大グループβを生成している。Ａ〜Ｆの６つ画像群に対して、７個の識別器しか用意（学習）する必要がなく、かつ、わずか３回の識別でＡ〜Ｆのいずれかの画像群に対象画像を判別することができる。

また本願第２の発明では、類似する画像群同士を統合することにより大グループを形成するものとしたため、ランダムに大グループを生成する場合と比べ高い判別精度が期待できる。

第２の発明では、互いに類似する大グループを統合することで更に上位の大グループを形成し、対象画像の判別を、３以上の多段階で行うようにすることも可能である。

第２の発明における互いに類似する画像群を統合することによる大グループの形成は、請求項１０の発明について上記したと同様の理由により、ＭＤＬ基準に基づいて行うことが好ましい。

第２の発明は、ＳＶＭに基づく識別関数を用いて２クラス識別を行う方法、プログラム、装置に好適に適用することができるが、ＳＶＭ以外の手法による２クラス識別を行う方法、プログラム、装置にも同様に適用することができる。

以下、本発明の画像検索方法を実行するためのプログラム、及び、本発明の画像検索装置の一実施形態（第１の実施形態）を、添付の図面を参照して説明する。

プロの写真家により撮影された人物画像から、コンテンツ業務に携わる専門家１０名の合議により、「フレッシュ＆クリーン」の印象を感じると判断された画像１５４枚よりなる画像群Ａ（印象グループＡ）、「ナチュラル＆リラックス」の印象を感じると判断された画像１６９枚よりなる画像群Ｂ（印象グループＢ）、及び、「モダン＆アーバン」の印象を感じると判断された画像１０８枚よりなる画像群Ｃ（印象グループＣ）を抽出し、中央処理装置（ＣＰＵ）、ＲＯＭ、ＲＡＭ、ハードディスクなどの各種の記憶装置を備えるパーソナルコンピュータを用い、以下の手順で判別分析を行い、その有効性の確認を行った。

（１）画像データベースの構築
上記画像群Ａ〜Ｃの各画像のイメージデータを３種類の解像度（１／１、１／４、１／１６）でハードディスクに取り込み、これを画像データベース（教師データ）とした。

（２）特徴量ベクトルの導出法
本実施の形態では、任意の領域における特徴量ベクトルとして、下記の８４種類の局所的特徴量と、６種類の全域的特徴量から構成される９０次元のベクトルを使用するものとした。

（ａ）局所的特徴量
局所的特徴量としては、式（７）に従って、輝度値（（Ｒ＋Ｇ＋Ｂ）／３）についての３点間コントラスト値Ｃｏｎｔを導出した。

ここで、ｒは参照点であり、ａ_１ ^（ｉ）ａ_２ ^（ｉ）は変位であり、ｆ（ｒ）は参照点、変位点における輝度値である。

式（７）において、分子は視神経への刺激の差分であり、これを分母の刺激強度で正規化することで、式（７）のコントラスト値には、刺激強度に対してスケール不変であり、また、ノイズに強いという特性が与えられている。

また、参照点と２つの変位点についての３点間コントラスト値とすることにより、画像の直線的な変化の方向性だけでなく、曲線的な変化にも対応することができるようにされている。

また、式（７）において、変位ａ_１ ^（ｉ）ａ_２ ^（ｉ）の取り方は無数に考えられるが、ここでは、近接画素間の関係を重視して参照点ｒの周りの局所的な３×３の画素に限定し、図３に示す２８種類のパターンでの３点間コントラスト値を計算した。なお、図中の「＋」は参照点ｒを、「＊」は変位ａ_１ ^（ｉ）ａ_２ ^（ｉ）を示している。

そして、式（７）で求められるコントラスト値から、信号強度に対するスケール不変性を維持しつつ、入力信号間の相対的な信号の強弱を強調するために、式（８）のγ値を導出した。

更に、γ値をＬ段階（λ_１，・・・，λ_Ｌ）にレベル分けし、式（９）で示されるγ’値を導入した。なお、本実施形態では計算の簡明のため、Ｌ＝３とした。

そして、式（１０）に示されるｗ_ｌ（γ値がλ_ｌのレベルである信号が全信号に占める割合）を用いて式（１１）に示されるｇ値を求め、これを局所的特徴量とした。

ここで、Ｐ_ｋは任意の画像において特徴量ベクトルの抽出の対象となる任意の画像領域であり、式（１１）のｇ値は、ｗ_ｌによる重み付けを行うことにより、対象となる画像領域中でどの信号が相対的に強く反応しているかが強調され、また、入力された信号の取捨選択が行われており、これにより、人の知覚作用における側抑制の機構の再現が図られている。

ｇ値としては、２８パターン×３レベルについて、合計８４の値が導出される。

（ｂ）全域的特徴量
全域的特徴量としては、輝度値及び２種類の色差（Ｒ−Ｇ、及び、Ｙ−Ｂ）についての領域Ｐ_ｋにおける信号強度の平均値、及び、分散の６つの値を使用した。

（３）構図領域の特定
上記３種類の解像度についての３つの画像群Ａ〜Ｃについて、以下の手順により構図領域を抽出した。

（ａ）全ての解像度の全ての画像群の各画像の画像平面を５×５のメッシュに分割し、これを基本領域Ｐ_ｋ，ρ（ｋ＝１〜２５，ρ＝１〜３）とした。

（ｂ）そして、それぞれの基本領域から（２）の方法により９０次元の特徴量ベクトルｘ_ｋ，ρを抽出し、これに主成分分析を適用して次元圧縮を行い、低次元特徴量ベクトルｙ_ｋ，ρを導出し、更に、ｙ_ｋ，ρの各類似画像群の各解像度についての重心ベクトルを導出した。

（ｃ）続いて、基本領域Ｐ_ｋ，ρから得た重心ベクトルと、基本領域Ｐ_ｌ，ρから得た重心ベクトルの間のマハラノビス汎距離Ｄ^２ _ｋ，ｌを式（１２）により導出した。

ここで、ｙ_ｋ，ρ、ｙ_ｌ，ρの上部にバーが付されている記号は、それぞれ、基本領域Ｐ_ｋ，ρ、Ｐ_ｌ，ρから得た上記重心ベクトルであり、Σ^−１は共分散行列の逆行列である。

（ｄ）続いて、全ての基本領域の組み合わせのうち、マハラノビス汎距離Ｄ^２ _ｋ，ｌが最小となる２つの基本領域Ｐ_ｋ，ρ、Ｐ_ｌ，ρを統合した場合の統合モデルのＭＤＬ（ＭＤＬ_{（ｕｎｉ）}）と統合しない場合の分割モデルのＭＤＬ（ＭＤＬ_{（ｄｉｖ）}）を以下の方法により導出した。

まず、基本領域Ｐ_ｋ，ρから抽出される特徴量ベクトルｘ_ｋ，ρが、当該類似画像群において式（１３）に示されるｎ変量正規分布に従うものと仮定する。

ここで、θ_ｋ＝（μ_ｋ，Σ_ｋ）は、ｎ変量正規分布のパラメータであり、μ_ｋは期待値ベクトル、Σ_ｋは共分散行列であり、この場合の基本領域Ｐ_ｋ，ρのＭＤＬは式（１４）により表すことができる。

ここで、θ_ｋ上の「＾」が付された記号はθ_ｋの最ゆう推定量であり、Ｊは自由度であり、Ｉ（θ_ｋ）はｐ（ｘ｜θ_ｋ）のＦｉｓｈｅｒ情報行列であり、｜・｜は、「・」の行列式である。また、Ｌ（・）は、「・」のゆう度関数であり、Ｌ（・）＝Πｐ（・）である。

いま、基本領域Ｐ_ｋ，ρ、Ｐ_ｌ，ρを統合した統合領域Ｐ_ｋｌ，ρから抽出される特徴量ベクトルｘ_ｋｌ，ρが類似画像群内でパラメータをθ_ｋｌ＝（μ_ｋｌ，Σ_ｋｌ）とするｎ変量正規分布をしていると仮定すると、統合領域Ｐ_ｋｌ，ρのＭＤＬ_{（ｕｎｉ）}は、式（１５）で表すことができる。

ここで、Ｊ_{（ｕｎｉ）}は統合モデルの自由度である。

また、統合しない場合の基本領域Ｐ_ｋ，ρ、Ｐ_ｌ，ρの特徴量ベクトルｘ_ｌ，ρ、ｘ_ｌ，ρにパラメータθ＝（θ_ｋ，θ_ｌ）を持つ式（１６）で表される確率分布を仮定する。

ここで、ｐ（ｘ｜θ_ｋ）、ｐ（ｘ｜θ_ｌ）は、それぞれ、パラメータθ_ｋ、θ_ｌを持つ確率密度関数である。

この時の分割モデルのＭＤＬ_{（ｄｉｖ）}は、式（１７）で表される。

そして導出された両ＭＤＬが、ＭＤＬ_{（ｕｎｉ）}≦ＭＤＬ_{（ｄｉｖ）}となる場合には、その２つの基本領域を統合して新たな基本領域とする処理を行った。ＭＤＬ_{（ｕｎｉ）}≧ＭＤＬ_{（ｄｉｖ）}となる場合には、統合は行われない。

（ｅ）上記の（ｃ）及び（ｄ）の手順を繰り返して実行し、最終的に残された基本領域、及び、基本領域の統合により生じた基本領域のそれぞれが構図領域として特定された。

（５）注目度の導出
画像から受ける印象に基づく分類を行う際、鑑賞者は、画像中の各特徴を同列に評価せず、画像中の一部の（興味を引かれた）オブジェクトや背景を重点的に評価していると考えられるが、上記（４）において抽出した各構図領域がどの程度の重みをもって評価されたかを、当該構図領域から抽出される特徴量ベクトルが画像群内においてどの程度分散しているかにより推定することが可能である。

即ち、特徴量ベクトルの各画像群内における分布の分散が大きければ、分類者はさほどその構図領域には注目していないと考えられ、逆に、その分散が小さければ、その構図領域に対する注目度は高いと考えることが可能である。

本実施形態では、この考えに基づき、各画像群について、解像度ρの構図領域Ｐ_ｋ，ρにおける注目度ｚ_ｋ，ρを下記の式（１８）により導出した。

ただし、

であり、Σ_ｋ，ρは、対象となる画像群の解像度ρの構図領域Ｐ_ｋ，ρから抽出される特徴量ベクトルｘ_ｋ，ρの共分散行列であり、｜・｜は行列式である。また、Σ_ρΣ_ｋｚ_ｋ，ρ＝１である。

（６）識別関数の導出
ＳＶＭに基づく第１の識別関数及び１クラスＳＶＭに基づく第２の識別関数は、一の画像群（比較対象の画像群）毎に、各解像度の各構図領域について導出される。なお、ここでは、説明の便宜上、一の画像群である画像群Ａのある解像度ρのある構図領域Ｐ_ｋについて第１、第２の識別関数を導出する場合について説明する。
（ａ）帰属特徴量ベクトル、非帰属特徴量ベクトル、対象特徴量ベクトルの導出
解像度ρの画像群Ａに属する各画像の構図領域Ｐ_ｋから、（２）の手順に従って特徴量ベクトル（帰属特徴量ベクトル）を導出する。

同様に、解像度ρの画像群Ａ以外の画像群（即ち、画像群Ｂ及びＣ）に属する各画像の上記構図領域Ｐ_ｋに対応する領域（第１対応領域）から、（２）の手順に従って特徴量ベクトル（非帰属特徴量ベクトル）を導出する。

同様に、解像度ρの対象画像の構図領域Ｐ_ｋに対応する領域（第２対応領域）から、（２）の手順に従って、特徴量ベクトル（対象特徴量ベクトル）を導出する。

なお、以下では、上記により求めた帰属特徴量ベクトル及び非帰属特徴量ベクトルをｘ_ｉ，ｋ（ｉ＝１，・・・，Ｎ）と表記する。ここで、Ｎは、画像群Ａ〜Ｃに属する画像の総数である。

また、ＳＶＭの学習用のクラスラベルをｙ_ｉ（ｉ＝１，・・・，Ｎ）と表記し、画像ｃｉが画像群Ａに属する場合はｙ＝１とし、画像群Ａに属しない場合はｙ＝−１とする。
（ｂ）第１の識別関数の導出
上記した通り、本発明のＳＶＭに基づく第１の識別関数は、各帰属特徴量ベクトルが帰属するクラス（第１のクラス）と、各非帰属特徴量ベクトルが帰属するクラス（第２のクラス）とを識別するものとして導出することもできるが、本実施例では、より高い識別性を得るために、非線形な写像Φ_１であって、写像Φ_１による写像先での内積（Φ_１（ｘ）・Φ_１（ｘ′））が、元の空間で定義されるカーネル関数Ｋ（ｘ，ｘ′）の値と一致する写像Φ_１を用い、各帰属特徴量ベクトル及び非帰属特徴量ベクトルを写像したベクトルΦ_１（ｘ_ｋ）を用いて第１の識別関数が導出される。

なお、上記カーネル関数Ｋ（ｘ，ｘ′）としては、式（２０）のガウシアンカーネルを用いることができる。

この場合、第１の識別関数ｆ_Ａ（Φ_１（ｘ_ｋ））は、下記式（２１）となる。

ここで、ｓｇｎ（ｕ）はｕ＞０のときには１、ｕ≦０のときには−１となる符号関数であり、ｗは重みベクトルである。

この第１の識別関数ｆ_Ａ（Φ_１（ｘ_ｋ））は、以下式（２２）に示される最適化問題を解くことにより導出することができる。

（ｃ）第２の識別関数の導出
上記した通り、本発明の判別分析は、ＳＶＭに基づく第１の識別関数による識別の結果にのみ基づいて行うことも可能であるが、本実施形態では、外れ点が第１のクラスに識別されることにより、誤った判別がなされる可能性を低減するために、ＳＶＭに基づく第１の識別関数による識別に１クラスＳＶＭに基づく第２の識別関数による識別を併用する。

１クラスＳＶＭに基づく第２の識別関数は、各帰属特徴量ベクトルを、非線形な写像Φ_２であって、Φ_２による写像先での内積が元の空間における上記式（２０）に示すガウシアンカーネル関数Ｋ（ｘ，ｘ′）の値と一致する写像Φ_２により写像することにより得られる写像ベクトルΦ_２（ｘ_ｋ）を、原点側の写像ベクトルであって、予め定められた割合νの写像ベクトルと、それ以外の写像ベクトルとに識別する超平面として求められる。

上記に従い、ある解像度ρの画像群Ａに属する帰属画像ｃ_ｉ（ｉ＝１，・・・ＮＡ）の構図領域Ｐ_ｋから得られる帰属特徴量ベクトルをｘ_ｉ，ｋ（ｉ＝１，・・・，ＮＡ）とすれば、第２の識別関数ｆ_{（１ｓｖｍ），Ａ}（Φ_２（ｘ_ｋ））は、下記式（２３）で表される。

ここで、ｓｇｎ（ｕ）はｕ＞０のときには１、ｕ≦０のときには−１となる符号関数であり、ｗは重みベクトルである。

予め定められた割合ν（ν∈（０，１］）の写像ベクトルΦ_２（ｘ_ｋ）が原点側に残る（外れ点とされる）ような超平面は、下記式（２４）に示される最適化問題を解くことにより求められる。

（７）判別分析
本実施の形態では、以下の式（２５）で定義される確信値Ｄ_Ａを導出し、Ｄ_Ａが閾値である０．５を越える場合に対象画像を一の画像群である画像群Ａに判別した。

ここで、式（２５）中のδ_ｋ，ρ、δ^{（１ｓｖｍ）} _ｋ，ρは、それぞれ、以下の式（２６）、（２７）により定義されるデルタ関数である。

また、式（２６）、（２７）中のｘ_ｋ，ρは、解像度ρの画像群Ａについて特定される構図領域Ｐ_ｋと同一の領域である第２対応領域から抽出される、解像度ρの対象画像の対象特徴量ベクトルであり、ｚ_ｋ，ρは解像度ρの画像群Ａの構図領域Ｐ_ｋについて上記（５）の手順で導出された注目度である。

（８）判別分析の精度の評価
以下の手順により判別分析を行い、その判別精度を評価した。

（ａ）評価１
本発明により教師データの学習がどの程度正しく行われているかを確かめるため、ＬＯＯ法による評価を実行した。

この評価では、上記画像群Ａに分類された画像１５４枚、画像群Ｂに分類された画像１６９枚、画像群Ｃに分類された画像１０８の合計４３１枚の画像を使用し、この４３１枚の画像のうちの１枚を抜き取って対象画像とし、残りの４３０枚の画像から構成される画像データベースを教師データとして上記（１）〜（７）の手順による判別分析を実行し、対象画像が当初に分類されていた画像群に正しく判別されるか否かを判定し、この作業を、順次対象画像を変更して全ての画像について実行した時の判別精度を評価した。

上記評価の結果は図４（ａ）に示す通りであり、いずれの画像群についても７０％以上の極めて高い精度で専門家の分類を再現できていることが確認された。

（ｂ）評価２
続いて、未分類の写真画像７３２９枚をテストデータとして使用し、これを順次対象画像として上記（１）〜（７）の手順を実行することにより上記画像群Ａ〜Ｃに対する判別分析を実行し、各対象画像が正しい画像群に判別された場合を成功、正しい画像群に判別されなかった場合を失敗として、成功率を評価した。

なお、７３２９枚のテストデータ中、事前の目視によるチェックにより、画像群Ａに属すると判定されたものは５３３枚、画像群Ｂに属すると判定されたものは１２０２枚、画像群Ｃに属すると判定されたものは２８２枚である。

上記評価の結果は図４（ｂ）に示す通りであり、いずれの画像群についても７０％以上の極めて高い精度で正しい画像群への判別を再現できていることが確認された。

続いて、本願第２の発明に対応する第２の実施形態として、１１個の画像群ｃ（ｃ＝１〜１１）からなる画像データベースに対する対象画像の判別を行う手法について説明する。

まず、判別に使用される２クラス識別器の個数及び２クラス識別の回数を低減させることを目的として、１１個の画像群ｃを、１１よりも小さい数（２〜１０個）の大グループに統合する。

画像群間の類似度を評価するための画像特徴量としては、各画像群の各画像から抽出される任意の特徴量ベクトルを使用することができるが、ここでは、上記（２）の手順において説明したと同様の９０次元の特徴量ベクトルを使用する。ただし簡単のため、各画像を基本領域に分割することはせず、各画像群に属する各画像の画像平面Ｐ全体から抽出した画像特徴量ｘを用いる。
（α）そして、全ての画像群の全ての画像から画像特徴量ｘを抽出し、これに主成分分析を適用して次元圧縮を行うことで低次元特徴量ベクトルｙを導出し、各画像群ｃについて、低次元特徴量ベクトルｙの重心ベクトルｙ_ｗを導出する。
（β）続いて、重心ベクトルｙ_ｗを用い、各画像群ｃから選ばれる２つの画像群ｃ_１、ｃ_２間のマハラノビス距離Ｄ^２ _ｃ１、_ｃ２を算出する。マハラノビス距離Ｄ^２ _ｃ１、_ｃ２の算出は、上記（３）（ｃ）の手順と同様にして行うことができる。
そして、各画像群ｃから選ばれるすべての組み合わせの画像群ｃ_１、ｃ_２の中で、マハラノビス距離Ｄ^２ _ｃ１、_ｃ２が最小となる画像群ｃ_１、ｃ_２を統合した場合の統合モデルのＭＤＬ（ＭＤＬ_{（ｕｎｉ）}）と統合しない場合の分割モデルのＭＤＬ（ＭＤＬ_{（ｄｉｖ）}）を導出する。
このＭＤＬ_{（ｕｎｉ）}及びＭＤＬ_{（ｄｉｖ）}の導出は、上記手順（３）（ｄ）において述べた手順を、式（１３）〜（１７）におけるｋ及びｌをｃ_１及びｃ_２に置き換えてそのまま実行することにより行うことができる。
導出された両ＭＤＬが、ＭＤＬ_{（ｕｎｉ）}≦ＭＤＬ_{（ｄｉｖ）}となる場合には、その２つの画像群を統合して新たな画像群とし、ＭＤＬ_{（ｕｎｉ）}≧ＭＤＬ_{（ｄｉｖ）}となる場合には、統合は行わない。
（γ）上記（α）及び（β）の手順を繰り返して実行し、最終的に残された画像群、及び画像群の統合により生じた画像群のそれぞれを大グループとする。

上記（α）〜（γ）により大グループが形成されたならば、大グループ間における対象画像の判別分析を実行する。この判別分析は、第１の実施形態における画像群Ａ〜Ｃを上記により形成された大グループに置き換えて実行することにより行うことができる。

そして、対象画像が判別された大グループに２以上の画像群（グループ内画像群）が含まれている場合には、第１の実施形態と同様にして、グループ内画像群間における対象画像の判別分析を実行する。対象画像が判別された大グループに属するグループ内画像群が１つであれば、対象画像はそのグループ内画像群に判別される。

本発明の概略を概念的に示す説明図。 本発明による効果を従来の２分木法と対比して示す説明図。 ３点間コントラストの導出に使用される隣接画素の配置を示す説明図。 本発明の一実施形態に係る判別分析の精度についての評価結果を示す説明図。

Claims (11)

1. 所与の基準に基づいて分類された複数の画像群のいずれかの画像群に対象画像を判別するための方法であって、
   コンピュータに、
   前記複数の画像群のうちの一の画像群に含まれる画像である帰属画像のそれぞれを所定数の基本領域に分割し、当該基本領域から特徴量ベクトルを抽出する第１のステップと、
   前記一の画像群について、特徴量ベクトルの分布が近似する基本領域を統合することにより構図領域を特定する第２のステップと、
   各帰属画像の各構図領域から、帰属特徴量ベクトルとして、特徴量ベクトルを抽出する第３のステップと、
   各構図領域について、帰属特徴量ベクトルの前記一の画像群における分散度に対して逆相関の関係にある指数である注目度を導出する第４のステップと、
   前記一の画像群以外の画像群に属する画像である非帰属画像のそれぞれを構図領域と同一の領域である第１対応領域に分割し、非帰属特徴量ベクトルとして、各非帰属画像の各第１対応領域から特徴量ベクトルを抽出する第５のステップと、
   各構図領域について、構図領域から抽出された各帰属特徴量ベクトルが帰属する第１のクラスと、当該構図領域に対応する第１対応領域から抽出された各非帰属特徴量ベクトルが帰属する第２のクラスとを識別するＳＶＭに基づく第１の識別関数を導出する第６のステップと、
   対象画像を構図領域と同一の領域である第２対応領域に分割し、対象特徴量ベクトルとして、各第２対応領域から特徴量ベクトルを抽出する第７のステップと、
   各第２対応領域から抽出された対象特徴量ベクトルを、対応する構図領域について導出された第１の識別関数に適用することにより、対象特徴量ベクトルの識別を行う第８のステップと、
   前記第８のステップにおいて第１のクラスに識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度に基づいて対象画像を前記一の画像群に判別するか否かを決定する判別決定ステップと、
   各構図領域について、構図領域から抽出された各帰属画像の帰属特徴量ベクトルを、非線形な写像であって、当該写像による写像先での内積が元の空間におけるガウシアンカーネル関数の値と一致する当該写像により写像することにより得られる写像ベクトルを、原点側の写像ベクトルであって、予め定められた割合νの写像ベクトルと、それ以外の写像ベクトルとに識別する１クラスＳＶＭに基づく第２の識別関数を導出する第９のステップと、
   各第２対応領域から抽出される対象特徴量ベクトルを前記写像により写像することにより得られる写像ベクトルである対象写像ベクトルに、対応する構図領域について導出された第２の識別関数を適用することにより、各対象写像ベクトルが原点側に識別されるか否かを判定する第１０のステップとを実行させ、
   前記判別決定ステップにおいて、
   前記第８のステップにおいて第１のクラスに識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度を積算した値である確信値、又は、
   前記第８のステップにおいて第１のクラスに識別された対象特徴量ベクトルであって、かつ、前記第１０のステップにおいて原点側に識別されないと判定された対象写像ベクトルについての対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度を積算した値である確信値が、予め定められた閾値を越えている場合に対象画像を前記一の画像群に判別させることを特徴とする方法。
2. コンピュータに、各帰属画像、各非帰属画像及び対象画像のそれぞれから複数種類の解像度の画像を生成させ、
   各解像度の各帰属画像、各非帰属画像及び対象画像について、前記第１〜第１０のステップが実行され、
   前記判別決定ステップにおいて、各解像度について導出された前記確信値が、予め定められた閾値を越えている場合に対象画像を前記一の画像群に判別されることを特徴とする請求項１に記載の方法。
3. 前記第６のステップにおいて、
   非線形な第２の写像であって、当該第２の写像による写像先での内積が元の空間におけるカーネル関数の値と一致する当該第２の写像による各帰属特徴量ベクトル及び各非帰属特徴量ベクトルの写像が実行され、
   各構図領域についての第１の識別関数は、構図領域から抽出された各帰属特徴量ベクトルを前記第２の写像により写像したベクトルが帰属する第１のクラスと、当該構図領域に対応する第１対応領域から抽出された各非帰属特徴量ベクトルを前記第２の写像により写像したベクトルが帰属する第２のクラスとを識別する関数として導出され、
   前記第８のステップにおける識別は、前記第２の写像により対象特徴量ベクトルを写像したベクトルを第１の識別関数に適用することにより行われることを特徴とする請求項１又は２に記載の方法。
4. 解像度ρの構図領域Ｐ_ｋにおける特徴量ベクトルの共分散行列をΣ_ｋ，ρとして、
   

   

   ただし、
   

   

   により前記注目度ｚ_ｋ，ρ が導出されることを特徴とする請求項１〜３のいずれか一項に記載の判別方法。
5. 前記第２のステップにおいて、特徴量ベクトルの分布の近似性がＭＤＬ基準に基づいて判断されることを特徴とする請求項１〜４のいずれか一項に記載の方法。
6. 前記第２のステップにおいて、各基本領域から抽出される特徴量ベクトルの、比較対象の画像群、又は、比較対象の画像群の各解像度における重心ベクトルが導出され、当該重心ベクトル間のマハラノビスの汎距離が最小となる２つの基本領域を統合の対象として、ＭＤＬ基準に基づく判定が行われることを特徴とする請求項５に記載の方法。
7. 各基本領域から抽出される特徴量ベクトルを主成分分析により次元圧縮し、次元圧縮された低次元特徴量ベクトルを用いて前記重心ベクトルの導出が行われることを特徴とする請求項６に記載の方法。
8. コンピュータに、
   互いに類似する画像群を統合することによって、元の画像群数より少ない複数の大グループを形成する第１１のステップと、
   前記複数の大グループのいずれかの大グループに対象画像を判別する第１２のステップと、
   前記第１２のステップにおいて対象画像が判別された大グループに属する画像群である大グループ内画像群が複数である場合には、そのいずれかの大グループ内画像群に対象画像を判別する第１３のステップとを更に実行させ、
   前記第１２のステップが、前記複数の大グループを前記複数の画像群として前記第１〜第８のステップ及び前記判別決定ステップを実行するものであり、
   前記第１３のステップが、前記複数の大グループ内画像群を前記複数の画像群として前記第１〜第８のステップ及び前記判別決定ステップを実行するものであることを特徴とする請求項１〜７に記載の方法。
9. 前記第１１のステップにおける画像群の統合が、ＭＤＬ基準に基づいて実行されることを特徴とする請求項８に記載の方法。
10. 所与の基準に基づいて分類された複数の画像群のいずれかの画像群に対象画像を判別するためのプログラムであって、
    コンピュータに、
    前記複数の画像群のうちの一の画像群に含まれる画像である帰属画像のそれぞれを所定数の基本領域に分割し、当該基本領域から特徴量ベクトルを抽出する第１のステップと、
    前記一の画像群について、特徴量ベクトルの分布が近似する基本領域を統合することにより構図領域を特定する第２のステップと、
    各帰属画像の各構図領域から、帰属特徴量ベクトルとして、特徴量ベクトルを抽出する第３のステップと、
    各構図領域について、帰属特徴量ベクトルの前記一の画像群における分散度に対して逆相関の関係にある指数である注目度を導出する第４のステップと、
    前記一の画像群以外の画像群に属する画像である非帰属画像のそれぞれを構図領域と同一の領域である第１対応領域に分割し、非帰属特徴量ベクトルとして、各非帰属画像の各第１対応領域から特徴量ベクトルを抽出する第５のステップと、
    各構図領域について、構図領域から抽出された各帰属特徴量ベクトルが帰属する第１のクラスと、当該構図領域に対応する第１対応領域から抽出された各非帰属特徴量ベクトルが帰属する第２のクラスとを識別するＳＶＭに基づく第１の識別関数を導出する第６のステップと、
    対象画像を構図領域と同一の領域である第２対応領域に分割し、対象特徴量ベクトルとして、各第２対応領域から特徴量ベクトルを抽出する第７のステップと、
    各第２対応領域から抽出された対象特徴量ベクトルを、対応する構図領域について導出された第１の識別関数に適用することにより、対象特徴量ベクトルの識別を行う第８のステップと、
    前記第８のステップにおいて第１のクラスに識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度に基づいて対象画像を前記一の画像群に判別するか否かを決定する判別決定ステップと、
    各構図領域について、構図領域から抽出された各帰属画像の帰属特徴量ベクトルを、非線形な写像であって、当該写像による写像先での内積が元の空間におけるガウシアンカーネル関数の値と一致する当該写像により写像することにより得られる写像ベクトルを、原点側の写像ベクトルであって、予め定められた割合νの写像ベクトルと、それ以外の写像ベクトルとに識別する１クラスＳＶＭに基づく第２の識別関数を導出する第９のステップと、
    各第２対応領域から抽出される対象特徴量ベクトルを前記写像により写像することにより得られる写像ベクトルである対象写像ベクトルに、対応する構図領域について導出された第２の識別関数を適用することにより、各対象写像ベクトルが原点側に識別されるか否かを判定する第１０のステップとを実行させ、
    前記判別決定ステップにおいて、
    前記第８のステップにおいて第１のクラスに識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度を積算した値である確信値、又は、
    前記第８のステップにおいて第１のクラスに識別された対象特徴量ベクトルであって、かつ、前記第１０のステップにおいて原点側に識別されないと判定された対象写像ベクトルについての対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度を積算した値である確信値が、予め定められた閾値を越えている場合に対象画像を前記一の画像群に判別させることを特徴とする方法。
    ることを特徴とするプログラム。
11. 所与の基準に基づいて分類された複数の画像群のいずれかの画像群に対象画像を判別するための装置であって、
    前記複数の画像群のうちの一の画像群に含まれる画像である帰属画像のそれぞれを所定数の基本領域に分割し、当該基本領域から特徴量ベクトルを抽出する第１特徴量ベクトル抽出手段と、
    前記一の画像群について、前記第１特徴量ベクトル抽出手段により抽出された特徴量ベクトルの分布が近似する基本領域を統合することにより構図領域を特定する構図領域特定手段と、
    各帰属画像の各構図領域から、帰属特徴量ベクトルとして、特徴量ベクトルを抽出する第２特徴量ベクトル抽出手段と、
    各構図領域について、帰属特徴量ベクトルの前記一の画像群における分散度に対して逆相関の関係にある指数として、注目度を導出する注目度導出手段と、
    前記一の画像群以外の画像群に属する画像である非帰属画像のそれぞれを構図領域と同一の領域である第１対応領域に分割し、非帰属特徴量ベクトルとして、各非帰属画像の各第１対応領域から特徴量ベクトルを抽出する第３特徴量ベクトル抽出手段と、
    各構図領域について、構図領域から抽出された各帰属特徴量ベクトルが帰属する第１のクラスと、当該構図領域に対応する第１対応領域から抽出された各非帰属特徴量ベクトルが帰属する第２のクラスとを識別するＳＶＭに基づく第１の識別関数を導出する第１識別関数導出手段と、
    対象画像を構図領域と同一の領域である第２対応領域に分割し、対象特徴量ベクトルとして、各第２対応領域から特徴量ベクトルを抽出する第４特徴量ベクトル抽出手段と、
    各第２対応領域から抽出された対象特徴量ベクトルを、対応する構図領域について導出された第１の識別関数に適用することにより、対象特徴量ベクトルの識別を行う第１クラス識別手段と、
    前記第１クラス識別手段により第１のクラスに識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度に基づいて対象画像を前記一の画像群に判別するか否かを決定する判別決定手段と、
    各構図領域について、構図領域から抽出された各帰属画像の帰属特徴量ベクトルを、非線形な写像であって、当該写像による写像先での内積が元の空間におけるガウシアンカーネル関数の値と一致する当該写像により写像することにより得られる写像ベクトルを、原点側の写像ベクトルであって、予め定められた割合νの写像ベクトルと、それ以外の写像ベクトルとに識別する１クラスＳＶＭに基づく第２の識別関数を導出する第２識別関数導出手段と、
    各第２対応領域から抽出される対象特徴量ベクトルを前記写像により写像することにより得られる写像ベクトルである対象写像ベクトルに、対応する構図領域について導出された第２の識別関数を適用することにより、各対象写像ベクトルが原点側に識別されるか否かを判定する判定手段とを有し、
    前記判別決定手段は、
    前記第１クラス識別手段により第１のクラスに識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度を積算した値である確信値、又は、
    前記第１クラス識別手段により第１のクラスに識別された対象特徴量ベクトルであって、かつ、前記判定手段により原点側に識別されないと判定された対象写像ベクトルについての対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度を積算した値である確信値が、予め定められた閾値を越えている場合に対象画像を前記一の画像群に判別することを特徴とする装置。

Images