JP5414416B2 - 情報処理装置及び方法 - Google Patents

Description

本発明は、入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択する情報処理装置および、情報処理方法などに関する。

外観検査などの情報処理装置において、検査対象物を撮影した画像から画素値の平均や分散といった多数の特徴量群を抽出し、良否判定（良品と不良品の２クラス判別）するといった手法がある。しかし、多数の特徴量を全て使うと、特徴の次元が高次になってしまい、特有の次元において発生する問題（次元の呪い等）や、冗長な特徴量を抽出することによる処理時間の増大が発生してしまう。

よって、適切な特徴量を選択することにより、特有の次元において発生する問題を起りにくくし、演算処理を高速化させることができる手法が重要視されつつある。

以下に、非特許文献１に開示されている手法について説明する。非特許文献１では、特徴量それぞれに対して分離度を評価するための評価値を求め、その評価値の良い順に特徴量を選ぶ手法が開示されている。具体的には、ベイズ誤り確率推定値やクラス内分散・クラス間分散比を用いて、選択基準を決定する特徴選択手法がある。

ベイズ誤り確率推定値について詳細に述べる。例えば２クラス問題の場合、２つのクラスをｗ_１、ｗ_２とし、観測される特徴をｘ０＝［ｘ_１，ｘ_２，・・・，ｘ_Ｋ，・・・，ｘ_Ｎ］とするときｘ_Ｋがｗ_１、ｗ_２に属する確率をそれぞれＰ（ｗ_１｜ｘ_Ｋ）、Ｐ（ｗ_２｜ｘ_Ｋ）と表す。このときベイズ誤り確率推定値は

で表され、これを全ての特徴量に関して求める。ベイズ誤り確率推定値は小さいほど、２クラスをより分離できる。よって、ベイズ誤り確率推定値が小さい順に特徴量を選択する。

次に、クラス内分散・クラス間分散比について詳細に述べる。例えば２クラス問題の場合、２つのクラスをｗ_１、ｗ_２とし、観測される特徴をｘ０＝［ｘ_１，ｘ_２，・・・，ｘ_Ｋ，・・・，ｘ_Ｎ］とするとき、特徴量ｘ_ｋに関するクラス内分散・クラス間分散比を求める。またクラスｗ_ｉに属するパターンの集合をＡ_ｉとし、Ａ_ｉに含まれるパターン数をｎ_ｉ、クラスｗ_ｉに属するパターンのｘ_ｋの平均をｍ_ｉとする。さらに、全パターン数をｎ、全パターンのｘ_ｋの平均をｍとする。このとき

は、

のように表せるので、クラス内分散・クラス間分散比は

で表すことができる。このようにしてクラス内分散・クラス間分散比を求め、値が大きい順に特徴量を選択する。

また非特許文献２に示されている手法は、遺伝子選択の分野において、特徴量を２個ずつ組合せて、２次元の特徴空間で評価して、特徴量を２個ずつ選択する手法である。２個ずつ特徴量を組合せる手法は、１個ずつ特徴量を選択するより精度の良い特徴選択が可能であると述べられている。

石井健一郎，上田修功，前田英作，村瀬洋，"わかりやすいパターン認識"，オーム社，東京，１９９８． Ｔｒｏｎｄ Ｈｅｌｌｅｍ Ｂｏ ａｎｄ Ｉｎｇｅ Ｊｏｎａｓｓｅｎ，"Ｎｅｗ ｆｅａｔｕｒｅ ｓｕｂｓｅｔ ｓｅｌｅｃｔｉｏｎ ｐｒｏｃｅｄｕｒｅｓ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｅｘｐｒｅｓｓｉｏｎ ｐｒｏｆｉｌｅｓ，"Ｇｅｎｏｍｅ Ｂｉｏｌｏｇｙ ２００２年，第３巻（ｖｏｌ．３），ｎｏ．４：ｒｅｓｅａｒｃｈ．

しかしながら、前記のベイズ誤り確率推定値や一次元のクラス内分散・クラス間分散比により１個ずつ特徴選択を行う非特許文献１の手法は、特徴量間の組合せの相性を考慮して特徴量を評価しているわけではない。よって、結果として特有の次元において発生する問題を引き起こしやすくし、冗長な特徴量を抽出することによって演算処理速度を落とすことになるという課題があった。同様に、非特許文献２の手法は、あらかじめ組合せる数を設定し、特徴量の組合せを選択するものであり、特徴量間の組合せの相性を考慮して特徴量を評価しているわけではない。

そこで本発明は、前述した課題を鑑みてなされたものであり、入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理装置において、特徴量間の組合せの相性を考慮し、入力データの分類に適した特徴量を選択することを目的とする。

上述の目的の課題を解決するために、本発明の情報処理装置は、入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理装置であって、前記複数の特徴量を組合せることにより複数の組合せを生成する生成手段と、前記複数の組合せそれぞれに対して前記入力データの分類への適合を評価する第一の評価値を算出する第一の算出手段と、前記第一の評価値に基づき、前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を得る第二の算出手段とを有することを特徴とする。

本発明によれば、特徴量間の組合せの相性を考慮し、入力データの分類に適した特徴量を選択することが出来る。

第一の実施形態における情報処理装置の構成を示した図である。 第一の実施形態における情報処理装置１０１の情報処理を示すフローチャートである。 表面粗し加工を施したゴム板の表面を撮影し切り出した１２８×１２８画素のグレースケール画像の例を示す図である。 第二の実施形態における複数の特徴量を抽出する具体的な処理を示した図である。 ｎ＝２の場合における第二の評価値算出のアルゴリズムの概念を示した図である。 ｎ＝３の場合における第二の評価値算出のアルゴリズムの概念を示した図である。 第一の実施形態におけるスコア算出の処理フローチャートを示した図である。 第二の実施形態における情報処理装置１０１の情報処理を示すフローチャートである。 第二の実施形態におけるスコア算出の処理フローチャートを示した図である。 第三の実施形態における情報処理装置１０１の情報処理を示すフローチャートである。 第三の実施形態における第二の評価値を算出する処理の概要を示す図である。 第四の実施形態における処理フローを示す図である。 第四の実施形態におけるステップ１２０３の処理の詳細を示す図である。 １クラスｗ_１のパターンがプロットされた特徴空間を示す図である。

（第一の実施形態）
以下、図面を用いて第一の実施形態を詳細に説明する。

図１は、第一の実施形態における情報処理装置の構成を示した図である。

１０１は、本実施形態における外観検査のための情報処理を行う情報処理装置１０１である。情報処理装置１０１は、ＣＰＵ（セントラルプロセッシングユニット）、ＲＡＭ（ランダムアクセスメモリ）、ＨＤＤ（ハードディスクドライブ）などから構成される。ＣＰＵは、外観検査のためのコンピュータプログラムを実行し、ＨＤＤ、ＲＡＭには、外観検査のためのコンピュータプログラムおよびデータが格納される。

１０２は、本実施形態において外観検査の対象となる検査対象物１０２である。検査対象物１０２は、例えば、工業製品に利用されるゴム板などである。ゴム板の表面には、凹凸やキズがあることがあり、外観検査によってこれらが検出され、良品と不良品とに分別される。

１０３は、本実施形態において検査対象物１０２を撮像するための撮像装置１０３である。撮像装置１０３は、検査対象物１０２の表面のビデオ映像（画像パターン）を取得可能なビデオカメラなどから構成され、取得したビデオ映像を情報処理装置１０１に送信する。情報処理装置１０１は、送信されたビデオ映像を用いて外観検査のための情報処理を行う。

１０４は、外観検査の検査結果を表示するための表示装置１０４である。表示装置１０４はモニタなどから構成され、情報処理装置１０１から送信される外観検査の結果を表示する。

図２は、本実施形態における情報処理装置１０１の情報処理を示すフローチャートである。本実施形態では検査対象物１０２を撮影した画像を用いてパーツの良否判定（良品と不良品との２クラス判別）を行う外観検査において説明する。

本実施形態における外観検査では、良品と不良品とを分別する２クラスが存在し、入力画像パターンから複数の階層画像を生成し、生成された複数の階層画像から複数の特徴量を抽出し、抽出された複数の特徴量から外観検査に適した特徴量を選択する。

以下に図２のフローの概要を示す。なお、図２のフローで示す各処理は、情報処理装置１０１によりなされるものである。また、各処理の詳細については後述する。
（ステップ２０１）ステップ２０１では、撮像装置１０３から取得された入力画像パターンから、外観検査に用いる複数の特徴量の抽出を行う。
（ステップ２０２）ステップ２０２では、情報処理装置１０１が複数の組合せを生成する生成手段として機能し、ステップ２０１で抽出された複数の特徴量を用いて、ｎ個（ｎ≧２）ずつの特徴量の組合せを生成する。
（ステップ２０３）ステップ２０３では、情報処理装置１０１が入力画像データの分類への適合を評価する第一の評価値を算出する第一の算出手段として機能し、ステップ２０２において設定されたｎ個ずつの特徴量による複数の組合せそれぞれに対して第一の評価値を算出する。本実施形態における第一の評価値は、外観検査に適していることを示すものである。このとき、それぞれの特徴量に対して、その特徴量において第一の評価値が最も良い特徴量の組合せ（ｎ個の特徴量からなる組合せ）を決定する。
（ステップ２０４）ステップ２０４では、情報処理装置１０１が第二の算出手段として機能し、複数の第一の評価値同士を比較することにより、入力画像データの分類への適合を評価する第二の評価値を計算する。
（ステップ２０５）ステップ２０５では、第二の評価値に基づくスコアを算出し、特徴選択基準を決定する。
（ステップ２０６）ステップ２０６では、さらにスコアが最も良い特徴量とステップ２０４で組合せた特徴量の組合せ（ｎ個の特徴量の組合せ）を選択し、選択した以外の特徴量に対しては特徴選択基準で特徴選択を繰り返す。

以下に図２の各処理の詳細について述べる。

（ステップ２０１の処理の詳細（複数の特徴量の抽出））
ステップ２０１の処理の詳細について述べる。

図３は、検査対象物１０２の一例である表面粗し加工を施したゴム板の表面を撮影し切り出した１２８×１２８画素のグレースケール画像の例を示す図である。

図３（ａ）から（ｅ）に正常なゴム板の表面を示し、（ｆ）から（ｊ）に異常なゴム板の表面を示す。（ａ）から（ｅ）のような画像パターンを正常パターンとし、（ｆ）から（ｊ）のような画像パターンを異常パターンとする。（ｆ）と（ｇ）は、黒いスポット状のムラがあるパターンであり、（ｈ）は、全体的にグラデーションがあるパターンであり、（ｉ）は、白いスポット状のムラがあるパターンであり、（ｊ）は、コントラストが一部低くなっているパターンである。本ステップでは、このようなパターンの特徴を表した複数の特徴量を算出する。

図４は、本実施形態における複数の特徴量を抽出する具体的な処理を示した図である。

本実施形態では、入力画像パターンとしてｐｎ個の画像パターンを用いるが、これらの画像パターンに対し欠陥を強調するために、周波数ドメインへの変換手法であるウェーブレット変換を用いる。

特に、図４は、ウェーブレット変換ひとつであるハール・ウェーブレット変換を示したものである。まず変換前の入力パターンに対して四種類のフィルターを用いて内積演算を行う。その結果、四種類のパターン、縦方向高周波成分抽出パターン（ＨＬ）、対角方向高周波成分抽出パターン（ＨＨ）、横方向高周波成分抽出パターン（ＬＨ）、低周波成分抽出パターン（ＬＬ）が生成される。縦方向高周波成分抽出パターンの生成方法を具体的に示す。図４のように入力パターンの４つの画素

を縦方向高周波成分抽出パターンの画素の値とする。このような計算を４画素ずつすべての画像領域においてこれをオーバーラップすることなく行い、縦方向高周波成分抽出パターンを作る。対角方向高周波成分抽出パターンでは、

を、横方向高周波成分パターンでは

を、低周波成分抽出パターンでは

をフィルターとして用いる。

結果的に四種類のパターンを解像度二分の一で作り出す。さらに低周波成分抽出パターンから次のレベルのハール・ウェーブレット変換を行い、さらに解像度二分の一にした四種類のパターンを作り出すというように階層的に低い周波数へと変換していく。変換前のパターンは１２８×１２８画素なので、１回の変換で６４×６４画素、２回目の変換で、３２×３２画素、以降、１６×１６画素、８×８画素、４×４画素、２×２画素となり、最後の７回目の変換で１×１画素のパターンが生成される。つまり、最後に１×１画素の、縦方向高周波成分抽出パターン、対角方向高周波成分抽出パターン、横方向高周波成分抽出パターン、低周波成分抽出パターンが得られる。よって変換前のパターンを含めて１＋４×７＝２９種類のパターンが得られる。

このようにして得られた各階層のパターンそれぞれから、全画素値の最大値、平均、分散、尖度、歪度、相乗平均、といった６種類のマクロな特徴量を抽出する。マクロな特徴量として、画素値の平均を式５に、分散を式６に、尖度を式７に、歪度を式８、相乗平均を式９に示す。ただし、画像のサイズは縦ａ画素、横ｂ画素の画像の縦ｉ番目。横ｊ番目の画素値をｐ（ｉ，ｊ）とし、ｐをヒストグラムで表したときのそれぞれのビンにおける番号をｋ、値をＸ_ｋ、度数をＭ_ｋで表す。

ハール・ウェーブレット変換を行っていない変換前の入力パターン、ハール・ウェーブレット変換をかけた各階層画像の２９種類の画像から、最大値、及び式５から式９で示した６つの特徴量を抽出する。つまり計２９種類の画像からマクロな特徴量を６種類ずつ抽出する。結果的に入力パターンごとに２９×６＝１７４個（以下Ｎ個とする）の特徴量を抽出する。なお入力パターンとして用いるｐｎ個の全パターンからＮ個ずつの特徴量を抽出する。

今回はハール・ウェーブレット変換を用いる手法について述べたが、その他のウェーブレット変換、エッジ抽出、フーリエ変換、ガボール変換といったその他の変換手法を用いても良い。またマクロな特徴量としてコントラスト、最大から最小を引いた値、標準偏差といったその他の統計量を用いても良い。以上の処理により、入力画像パターンから複数の特徴量を抽出することが出来る。

（ステップ２０２：ｎ個ずつ特徴量を組合せる）
ステップ２０２では、特徴量を１個ずつではなく、ｎ個ずつ特徴量を組合せて選ぶ。組合せる個数ｎは、ユーザーの指示などに基づき決定してもよいし、また、検査対象物１０２ごとにあらかじめ設定しておいてもよい。入力画像パターンから抽出した特徴量の数がＮ個である場合、ｎ個ずつ特徴量を組合せるので、_ＮＣ_ｎ通りの組合せを生成する。

（ステップ２０３：ｎ個の特徴量の組合せそれぞれに対して第一の評価値を算出）
ステップ２０３の詳細について説明する。ステップ２０３では、ステップ２０２で生成された_ＮＣ_ｎ通りの組合せそれぞれに対して、第一の評価値を算出する。

本実施形態における第一の評価値とは、当該ｎ個の特徴量の組合せが、入力データの分類の判定に適しているか否かを評価するための評価値である。例えば、第一の評価値は、検査対象物１０２が良品か不良品かを判定する際に用いる特徴量の組合せとして適しているか否かを示している。

本実施形態における良品と不良品の２クラス問題の場合、第一の評価値の一つとしてｎ次元のベイズ誤り確率推定値がある。ここで２つのクラスそれぞれをｗ_１、ｗ_２とし、ｎ個の特徴をもつベクトルをＸ＝［ｘ_１，・・・，ｘ_ｎ］^ｔとするときｘがｗ_１、ｗ_２に属する確率の分布、つまりｗ_１とｗ_２におけるｎ次元のヒストグラムを生成し、このヒストグラムをそれぞれＰ（ｗ_１｜ｘ）、Ｐ（ｗ_２｜ｘ）と表す。よってベイズ誤り確率推定値は、

で表される。この確率推定値の計算をｎ個の特徴量の組合せそれぞれに対して行う。ここで算出されるベイズ誤り確率推定値は、一次元の場合と同様に、値が低いほど良品と不良品との分類に適している組合せとみなすことが出来る。

なお、以上の説明では、２クラス問題の場合について述べたが、ベイズ誤り確率推定値は多クラスについても適用可能である。

次に、第一の評価値の別の例として、ベイズ誤り確率推定値の代わりにクラス内分散・クラス間分散比を用いる場合についても説明する。例えば２クラス問題の場合、２つのクラスをｗ_１、ｗ_２とし、観測される特徴をＸ＝［ｘ_１，・・・，ｘ_ｎ］^ｔとするとき、特徴ベクトルｘに関するクラス内分散・クラス間分散比を求める。ここでクラスｗ_１に属するパターンの集合をＡ_ｉとし、Ａ_ｉに含まれるパターン数をｐｎ_ｉ、クラスｗ_１に属するパターンのｘの平均をｍ_ｉとする。また、全パターン数をｐｎ、全パターンのｘの平均ベクトルをｍとする。よって、

は、

のように表すことができる。よって、クラス内分散・クラス間分散比は

で表すことができる。このようにしてクラス内分散・クラス間分散比を求め、第一の評価値とする。

なお、以上の説明では、２クラス問題の場合について述べたが、クラス内分散・クラス間分散比は多クラスについても適用可能である。本実施形態では、分類間の分離度を評価できるベイズ誤り確率推定値、クラス内分散・クラス間分散比を第一の評価値として用いたが、分類への適合を評価することができる評価値であれば、どのような評価値を用いてもよい。

（ステップ２０４：第一の評価値同士の比較結果（判定結果）から第二の評価値を算出）
ステップ２０４では、複数の特徴量の組合せにおける第一の評価値同士を比較することにより、複数の特徴量それぞれに対して、入力データの分類に適しているか否かを評価するための第二の評価値を算出する。

以下に、第二の評価値の算出について詳細に説明する。

まず、１つの特徴量に注目し、その特徴量を含む組合せの中で第一の評価値が最も良い組合せを求める。第一の評価値としてベイズ誤り確率推定値を用いている場合、ベイズ誤り確率推定値が最も低い特徴量の組合せを求める。

そして、第一の評価値が最も良い組合せの特徴量の第二の評価値に対して、所定の値を加算する。そして他の特徴量に対しても順に注目し、第一の評価値が最も良い組合せの特徴量の第二の評価値に対して、所定の値を加算する。このように、全ての特徴量に対して注目し、注目した特徴量に対して最も良い組合せの特徴量の第二の評価値に、所定の値を加算する。
図５は、ｎ＝２の場合における第二の評価値算出の概念を示した図である。
図６は、ｎ＝３の場合における第二の評価値算出の概念を示した図である。

まず、図５を用いてｎ＝２における第二の評価値算出のアルゴリズムの概念について説明する。図５では、例として、特徴量がＡ、Ｂ、Ｃ、Ｄの４種類である場合について説明する。

最初に、特徴量Ａに注目した場合、特徴量Ａとの組合せでＢ、Ｃ、Ｄの中、最も第一の評価値が低くなる（Ｂａｙｅｓ＝０．０８）（良品と不良品との分類に適している）特徴量は、Ｂである。よって、特徴量Ｂは他の特徴量よりも特徴量Ａとの組合せにおいて良品と不良品との分類に適しているとみなせるため、特徴量Ｂの第二の評価値に対して値１を加算する。

同様に、特徴量Ｂに注目した場合、特徴量Ｃは他の特徴量よりも特徴量Ｂとの組合せにおいて、良品と不良品との分類に適しているとみなせる（Ｂａｙｅｓ＝０．００３）ため、特徴量Ｃの第二の評価値に対して値１を加算する。

同様の処理を、特徴量Ｃについて行うと、特徴量Ｂの第二の評価値に対して値１が加算される。最後に、特徴量Ｄに注目すると、特徴量Ｂと、特徴量Ｃとに組合せた場合の第一の評価値が最も低い（Ｂａｙｅｓ＝０．０５）。つまり、特徴量Ｄに関しては、良品と不良品との分類に最も適している組合せが、特徴量Ｂと特徴量Ｃとの二種類あるため、特徴量Ｂと特徴量Ｃとの第二の評価値それぞれに対して値０．５が加算される。また、特徴量Ｄに対し特徴量ＢとＣを組合せて、３個の特徴量の組合せとしてもよい。以上の処理により、第二の評価値については、特徴量Ａは０、特徴量Ｂは２．５、特徴量Ｃは１．５、特徴量Ｄは０、となる。つまり、分類に最も適している組合せと判定された回数が多いほど第二の評価値が高くなる。

次に、図６を用いてｎ＝３における第二の評価値算出のアルゴリズムの概念を説明する。基本的には、ｎ＝２のときの場合と同様の処理がなされる。特徴量Ａに注目した場合、図６に示すように、特徴量Ａとの組合せにおいて最も良品と不良品との分類に適している特徴量は、特徴量Ｄ、特徴量Ｆである（Ｂａｙｅｓ＝０．００１）。従って、特徴量Ｄの第二の評価値に対して、値１を加算し、特徴量Ｆの第二の評価値に対して値１を加算する。同様の処理をすべての特徴量の組合せに対して行うことにより、すべて特徴量の対して第二の評価値が算出される。

（ステップ２０５：第二の評価値に基づく関数でスコアを算出し、選択基準を決定）
ステップ２０５では、第二の評価値（Ｌｎとする）に基づく関数で、特徴量を選択する基準となるスコアを求める。このとき本実施形態では、
ｓｃｏｒｅ＝Ｌｎ （式１３）
のような関数でスコアを算出するが、第二の評価値が大きくなればなるほどスコアが大きくなるような関数であれば良い。なおこのスコアの算出はＮ個（選択対象となっている特徴量の種類）の特徴量ごとに求める。

（ステップ２０６：ｎ個ずつ特徴量を選択）
ステップ２０６では、ステップ２０５で求めたスコアが最も良い、つまりスコアが最も大きい特徴量とステップ２０４で組合せとした特徴量の組合せでｎ個の特徴量を選択し、選択した以外の特徴量に対して先に述べた特徴選択基準で選択を繰り返す。
例えば、図５で示した例の場合、第二の評価値はそれぞれ特徴量Ａでは０、Ｂでは２．５、Ｃでは１．５、Ｄでは０であるので最も第二の評価値の高い特徴量Ｂを最初に選ぶ。
また、特徴量Ｂとの組合せに対応する特徴量Ｃも同時に選ぶ。

次に、第二の評価値が２番目に高い特徴量Ｃを選ぶが、既に選ばれているため、次の特徴量を選ぶ。特徴量Ｃと組合せとした特徴量はＢを選ぶが、既に選ばれているため、次の特徴量を選ぶ。次の第二の評価値は０となるため、第一の評価値、つまりベイズ誤り確率推定値が低い順に特徴量を選ぶ。特徴量Ａに注目すると、第一の評価値が最も低いのは特徴量Ｂの０．０８である。また特徴量Ｄに注目すると、第一の評価値が最も低いのは特徴量ＢとＣとの０．０５である。特徴量Ａに注目したときのほうが、第一の評価値が低いので、特徴量Ａを先に選び、その次に特徴量Ｄを選ぶ。

このようにして最終的に組合せの良い予め定めた所定のｍ個の特徴量を選択する。

入力パターンからのＮ個の特徴抽出はトレーニングパターンを用いるのでオフラインで行うことが可能で、オンラインの処理では、テストパターンに対してｍ個の特徴量抽出のみ行えば良いので、演算処理を高速化させることができる。また、特徴量の組合せを考慮したｍ個の特徴量を選択しているので、従来の第一の評価値のみを考慮した特徴選択手法と比べて、最終的に選択するｍ個の特徴量の数を減らして同等の性能を維持することができる。

上述のようなスコア算出方法により、多様な特徴量群から特徴量の組合せ間を考慮した特徴量の選択をオフラインで選択できる。この結果、特有の次元において発生する問題を起りにくくし、演算処理を高速化させることができる。

最後に、これまで述べた本実施形態におけるスコア算出の処理について説明する。図７は、本実施形態におけるスコア算出の処理フローチャートを示した図である。図７の処理は、Ｎ個（選択対象となる特徴量の種類）の特徴量から２個ずつ特徴量を選択するときについて述べたものである。

（ステップ７０１：Ｂａｙｅｓ_ｉｊを算出，Ｌｎ_ｉ＝０（ｉ＝１，・・・，Ｎ，Ｊ＝ｉ＋１，・・・，Ｎ））
最初に、ステップ７０１では、全ての組合せの第一の評価値、つまりベイズ誤り確率推定値Ｂａｙｅｓを求める。Ｎ個の特徴量から２個ずつ特徴量を選択する。ベイズ誤り確率推定値Ｂａｙｅｓ_ｉｊのｉは一つ目の特徴量を示し、ｊは二つ目の特徴量を示す。ｉは１からＮに変え、ｊはｉと同じ特徴量を選ばないようにｉ＋１からＮの間に変える。よって_ＮＣ_２通りの組合せが生成される。またこのとき全ての第二の評価値の初期値をＬｎ_ｉ＝０（ｉ＝１，・・・，Ｎ）に設定する。

（ステップ７０２：初期値ｉの設定）
ステップ７０２では、一つ目の特徴量ｉ＝１に設定し、徐々に値を変えて特徴量をかえる。

（ステップ７０３：

とｋを算出）

ステップ７０３では、特徴量ｉを固定し特徴量ｊを可変として、第一の評価値、つまりベイズ誤り確率推定値の最小値とベイズ誤り確率推定値が最小となるときのｊを求める。このときのｊをｋとする。ここで特徴量ｉと特徴量ｋを２つの特徴量のセットとする。

（ステップ７０４：Ｌｎ_ｋ＝Ｌｎ_ｋ＋１）
ステップ７０４では、特徴量ｋの第二の評価値Ｌｎ_ｋに対して１加える。

（ステップ７０５：ｉ＝Ｎ、ステップＳ１６：ｉ＝ｉ＋１）
ｉの値がＮとなれば、ステップ７０７に進み、ｉの値がＮより小さければ、ステップＳ７０６に進む。

（ステップ７０６：ｉ＝ｉ＋１）
ステップ７０６では、ｉに１加え、ステップ７０３に戻る。

（ステップ７０７：ｓｃｏｒｅ_ｉ＝Ｌｎ_ｉ（ｉ＝１，・・・，Ｎ））
ステップ７０７では、それぞれの特徴の第二の評価値Ｌｎをスコアとし、これを基にステップＳ１３で決めたセットごとに特徴量を選択する。

（第２の実施形態）
本実施形態の処理の流れを図８のフローチャートで説明する。本実施形態が第一の実施形態と異なる点は、第一の実施形態における図２のステップ２０５が、図８のステップ８０５に変更されていることである。よって、第一の実施形態と異なる点であるステップ８０５の処理のみ説明する。なお、第一の実施形態と同様、本実施形態の処理は、図１の情報処理装置１０１が行うものである。

（ステップ８０５：第一の評価値と第二の評価値に基づくスコアを算出し特徴選択基準を決定）
ステップ８０５では、第一の実施形態と異なり、第二の評価値だけでなく、第一の評価値と第二の評価値との両方に基づいて特徴選択基準を決定する。第一の評価値と第二の評価値に基づく関数でスコアを求め、特徴選択基準を決定する。このとき、以下に示す式１４のような関数でスコアを算出するが、ベイズ誤り確率推定値が小さくなればなるほどスコアが大きくなり、第二の評価値が大きくなればなるほどスコアが大きくなるような関数であれば他の関数を用いてもよい。

式１４では第一の評価値であるベイズ誤り確率推定値Ｂａｙｅｓと第二の評価値Ｌｎが０になることがあるので、非零値ａ、ｂを加えている。例えば特徴量の数が１０００個存在するとすると、特徴量ごとの第一の評価値Ｂａｙｅｓは最小で０、最大で１であり、また第二の評価値Ｌｎは最小で０、最大で１０００であり、この場合、ａ＝１程度、ｂ＝０．００１程度が適当である。

本実施形態におけるスコア算出関数により、特徴量の評価と特徴量間の組合せの評価を考慮した特徴選択が可能になる。よって、必要な特徴量のみの選択が可能になり、特有の次元において発生する問題を起りにくくし、演算処理を高速化させることができる。

最後にこれまで述べた本実施形態のスコア算出アルゴリズムを図９に示す。図７と同様に図９はＮ個の特徴量から２個ずつ特徴量を選択するときについて述べたものである。ここでも、図７とフローチャートと異なるステップ９０８のみを説明する。

（ステップ９０８：

）

ステップ９０８では、ステップ９０３で求めた第一の評価値Ｂａｙｅｓと第二の評価値Ｌｎを用いた関数をスコアとし第一の実施形態と同様にステップ９０３で求めた特徴量のセットごとに特徴量を選択する。

（第３の実施形態）
本実施形態における処理を図１０のフローチャートで説明する。本実施形態が第二の実施形態と異なる点は、第２の実施形態を示す図８のステップ８０４がステップ１００４に変更されていることである。よって、第二の実施形態と異なる点であるステップ１０００４のみを説明する。また第一の実施形態にも第３の実施形態の手法を適用できるが、ここでは説明を省略する。なお、第二の実施形態と同様、本実施形態の処理は、図１の情報処理装置１０１が行うものである。

（ステップ１００４）
本実施形態では、複数の第一の評価値それぞれに対してあらかじめ設定された評価基準との適合度合いを判定する。そして、当該適合度合いがより大きい第一の評価値の前記組合せ特徴を構成する特徴量の第二の評価値に対してより多く所定の値の加算を行い、第二の評価値を算出する。

図１１は、本実施形態における第二の評価値算出のアルゴリズムの概要を示した図である。

本実施形態では、第一の実施形態および第二の実施形態と同様に、全ての特徴量の組合せに対して第一の評価値（ここではベイズ誤り確率推定値）を求める。

例えば、第一の実施形態の図５と同様に、特徴量Ａ、Ｂ、Ｃ、Ｄがある場合、特徴量を少なくとも２個以上同時に組合せるが、特徴量ＡからＤに対して第一の評価値が最も良い特徴量に第二の評価値に値１加算する。特徴量Ａに注目した場合、特徴量Ａを含む組合せに対して第一の評価値が最も良い、つまりベイズ誤り確率推定値最も低い（Ｂａｙｅｓ＝０．０８）のは特徴量Ｂである。よって特徴量Ｂに対して第二の評価値に値１加算する。第１の実施形態、第２の実施形態と同様に、以上の処理を全ての特徴量に対して行う。

本実施形態では、第一の実施形態および、第二の実施形態と異なり、特徴量ＡからＤに対して第一の評価値が二番目に良い特徴量に対して第二の評価値に値ｗ（０＜ｗ＜１）加算する。特徴量Ａに注目した場合、特徴量Ａを含む組合せに対して特徴量Ａの第一の評価値が二番目に優れた、つまりベイズ誤り確率推定値が二番目に低い（Ｂａｙｅｓ＝０．１）特徴量は特徴量Ｃである。よって特徴量Ｃに対して第二の評価値に値ｗ加算する。第一の評価値が悪くなるにつれて第二の評価値に対して加算する値を小さくしても良い。図１１では二番目に優れた特徴量に対して第二の評価値に加算していく。次に特徴量Ｂに注目した場合、特徴量Ｂを含む組合せに対して特徴量Ｂの第一の評価値が二番目に優れた、つまりベイズ誤り確率推定値が二番目に低い（Ｂａｙｅｓ＝０．０５）特徴量は特徴量Ｄである。よって特徴量Ｄに対して第二の評価値に値ｗ加算する。また特徴量Ｃに注目した場合、特徴量Ｃを含む組合せに対して特徴量Ｃの第一の評価値が二番目に優れた、つまりベイズ誤り確率推定値が二番目に低い（Ｂａｙｅｓ＝０．０５）特徴量は特徴量Ｄである。よって特徴量Ｄに対して第二の評価値に値ｗ加算する。なお特徴量Ｄに注目した場合、特徴量Ｄを含む組合せに対して第一の評価値が最も良い、つまりベイズ誤り確率推定値最も低い（Ｂａｙｅｓ＝０．０５）特徴量は特徴量ＢとＣの二つである。よって第一の評価値が二番目に良い特徴量に関して第二の評価値に所定の値を加算しない。結果的に加算した値の第二の評価値合計値は、特徴量Ａでは０、Ｂでは２．５、Ｃでは１．５＋ｗ、Ｄでは２ｗとなる。これにより、精度の高い第二の評価値の算出が可能となる。

以上説明したように、本実施形態における第二の評価値算出方法により、精度の良い第二の評価値が算出可能になり、より組合せ相性の良い特徴選択が可能になる。必要な特徴量のみを選択することが可能になり、その結果、特有の次元において発生する問題を起りにくくし、演算処理を高速化させることができる。

（第四の実施形態）
上記実施形態では、クラスｗ_１とｗ_２のパターンの値が既知な２クラス問題において、クラスｗ_１、ｗ_２とをより分離できる評価値を選択した。

しかし、実際には、クラスｗ_１のパターンの値のみが既知で、クラスｗ_２のパターンの値が未知である場合が考えられる。例えば、良品検査において、不良品のパターンの値は未知であり、良品のパターン値のみが既知である場合である。そこで、本実施形態では、クラスｗ_１のパターンのみで算出可能な分離度合いを示す評価値を用いた処理を行う。

以下では、クラスｗ_１のパターンのみで算出可能な評価値について説明する。
クラスｗ_２に対するクラスｗ_１の分離度合い示す評価値として、クラスｗ_１の分布密度が考えられる。仮に、クラスｗ_１の分布が密である場合、特徴空間内でクラスｗ_１の分布が発散する範囲が狭くなり、クラスｗ_１とクラスｗ_２の分布が重なる可能性は低くなる。逆に、特徴空間内でクラスｗ_１の分布が発散する範囲が広くなり、クラスｗ_１とクラスｗ_２の分布が重なる可能性が高くなる。

以上説明したように、ｗ_１の分布密度に応じて重なるパターン数は変化するが、クラスｗ_１の分布が密である場合でも、重なりがある場合には、クラスｗ_１が密であるため分布内の多くのパターンが重なる。また、クラスｗ_１の分布が疎である場合でも、もし重なりがある場合には、クラスｗ_１の分布が疎であるため重なるパターンは少ない。

しかしながら、一般的には、ｗ_１の分布が密であるほうが、クラスｗ_１とクラスｗ_２とで重なるパターン数は少なくなる。よって、クラスｗ_１のパターンの分布がより密になる特徴量の方が、クラスｗ_１とクラスｗ_２とを分離する特徴量として優れていることになる。

本実施形態では、クラスｗ_１のパターンの分布を表す評価値として、クラスｗ_１のパターンの重心から最も離れているパターンのユークリッド距離を用いる。また、重心からのすべてのパターンへのユークリッド距離の標準偏差を評価値として用いることも可能である。また、マンハッタン距離等の他の距離概念を用いても良い。

以下で、本実施形態における処理フローを説明する。

図１２は、本実施形態における処理フローを示す図である。本実施形態が第二の実施形態と異なる点は、第二の実施形態を示す図８のステップ８０３がステップ１２０３に変更されていることである。よって、第二の実施形態と異なる点であるステップ１２０３のみを説明する。なお、第二の実施形態と同様、本実施形態の処理は、図１の情報処理装置１０１が行うものである。

図１３は、本実施形態におけるステップ１２０３の処理の詳細を示す図である。以下で、図１３に沿って、ステップ１２０３における処理の詳細を説明する。尚、ステップ１３０１はステップ１２０２に対応するので説明を省く。

（ステップ１３０２：特徴量ごとに所定のクラスｗ_１のみの全パターンを正規化）
ステップ１３０２では、各特徴量の標準偏差でクラスｗ_１のパターンすべてを特徴量ごとに正規化する。本実施形態では、ｎ次元の特徴空間におけるユークリッド距離で特徴量を評価する必要があるためである。

（ステップ１３０３：ｎ個の特徴量の組合せそれぞれに対してｎ次元の特徴空間に所定の１クラスｗ_１のパターンのみをプロット）
次に、ステップ１３０３では、生成されたｎ個の特徴量の組合せそれぞれに対して、ｎ次元の特徴空間に１クラスｗ_１のパターンをプロットする。

図１４は、ｎ＝２である場合に、１クラスｗ_１のパターンがプロットされた特徴空間を示す図である。

（ステップ１３０４：所定の１クラスｗ_１のパターンの重心を算出）
ステップ１３０４では、特徴空間にプロットされたパターンの重心Ｇを求める。

（ステップ１３０５：発散度を第一評価値とし、ｎ個の特徴量の組合せそれぞれに対しても第一評価値を算出）
ステップ１３０５では、ｎ次元の特徴空間において、ステップ１３０４で求めた重心Ｇから最も離れているパターンとのユークリッド距離ｄ_ｍａｘを求め、このユークリッド距離を発散度とする。もしくは重心Ｇからの各パターンへのユークリッド距離ｄ_ｉのすべてのパターンへのｄ_ｉの標準偏差を発散度とする。以上の処理で算出された発散度を、上記実施形態と同様に第一の評価値とする。

尚、発散度はベイズ誤り確率推定値と同様に小さいほどクラスを分離する特徴量として優れている。よって、ｎ次元の特徴空間におけるユークリッド距離を発散度として、ベイズ誤り確率推定値と同様に、第一の評価値として扱うことが可能である。本実施形態によれば、１クラスのみのデータから、特徴量選択が可能となる。

尚、以上の説明では、１クラス問題について述べたが、本実施形態は多クラス問題にも適用可能である。あるクラスが他のクラスとの分離している度合いを示すのにｎ次元の特徴空間において重心から最も離れているパターンのユークリッド距離、を発散度として利用することが可能である。

（他の実施形態）
上記実施形態では外観検査においての利用を述べたが、本発明は、顔認識や動画像を含むマルチモーダル多次元データ等のパターン識別問題において用いる特徴量を、多様な特徴量の中から選択する場合にも用いることができる。なお、その他のパターン認識やデータマイニングの分野で用いることも可能である。

また、上記実施形態では，ベイズ誤り確率推定値などを用いて各特徴量を評価し、特徴量を選択した。このようにあらかじめ識別器を通す前に特徴量を評価するという手法はフィルター法と呼ばれる。これに対し，実際に良品不良品などを識別する識別器を通してその性能を評価して特徴量を用いるか用いないかを決める手法はワッパー法と呼ばれる。ワッパー法は識別結果を見ているためにフィルター法と比べて性能は良いが、計算時間が膨大にかかるという欠点がある。そこで、膨大な特徴量数に対してワッパー法を効率的に行うために，計算が高速なフィルター法で特徴量を絞り込んでおく手法が提案されている。特徴量を絞り込んでおくことにより、ワッパー法のみを用いる場合よりも計算時間を短縮することが出来る。上記実施形態の手法は、ワッパー法を第二の選択手段として、ワッパー法と組合せて行うことも可能である。

また、上記実施形態における処理は、ＣＤＲＯＭ等の記録媒体に記録されたコンピュータプログラムをコンピュータによって処理することにより、実現することが可能である。

Claims (15)

1. 入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理装置であって、
   前記複数の特徴量を組合せることにより複数の組合せを生成する生成手段と、
   前記複数の組合せそれぞれに対して前記入力データの分類への適合を評価する第一の評価値を算出する第一の算出手段と、
   前記第一の評価値に基づき、前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を得る第二の算出手段とを有することを特徴とする情報処理装置。
2. 更に、前記第二の評価値に基づき、前記複数の特徴量から前記入力データの分類に用いる特徴量を選択する選択手段を有することを特徴とする請求項１に記載の情報処理装置。
3. 更に、前記第二の評価値に基づき、前記複数の特徴量から前記入力データの分類に用いる特徴量を選択するための選択基準を設定する設定手段を有することを特徴とする請求項１に記載の情報処理装置。
4. 前記入力データは、外観検査の対象である検査対象物を撮像した入力画像データであり、
   前記第一の評価値と前記第二の評価値とは、前記検査対象物が良品であるか否かを評価するための評価値であることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記第一の評価値は、前記入力データの分類の分離度を評価する評価値であることを特徴とする請求項２に記載の情報処理装置。
6. 前記第一の評価値は、前記入力データの分類のベイズ誤り確率推定値であることを特徴とする請求項５に記載の情報処理装置。
7. 前記第二の算出手段は、前記複数の組合せそれぞれに対する前記第一の評価値同士を比較することにより、
   前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を算出することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記第一の評価値は、前記入力データの分類のクラス内分散・クラス間分散比であることを特徴とする請求項５に記載の情報処理装置。
9. 前記第二の算出手段は、
   前記第一の評価値に基づき、前記組合せごとに前記入力データの分類に適している特徴量を抽出し、
   前記抽出された回数に基づき、前記複数の特徴量それぞれに対して前記第二の評価値を算出することを特徴とする請求項１に記載の情報処理装置。
10. 前記設定手段は、前記第一の評価値と前記第二の評価値とに基づいて、前記選択基準を設定することを特徴とする請求項３に記載の情報処理装置。
11. 前記第二の算出手段は、
    前記第一の評価値それぞれに対してあらかじめ設定された評価基準との適合度を判定し、当該判定結果に基づき、前記第二の評価値を算出することを特徴とする請求項１に記載の情報処理装置。
12. 前記第一の評価値は、前記複数の特徴量の特徴空間における前記入力データの発散度であることを特徴とする請求項１に記載の情報処理装置。
13. 更に、前記選択手段により選択された特徴量から、前記入力データの識別器を用いて特徴量を選択する第二の選択手段を有することを特徴とする請求項２に記載の情報処理装置。
14. 入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理方法であって、
    生成手段が、前記複数の特徴量を組合せることにより複数の組合せを生成する生成工程と、
    第一の算出手段が、前記複数の組合せそれぞれに対して前記入力データの分類への適合を評価する第一の評価値を算出する第一の算出工程と、
    第二の算出手段が、前記第一の評価値に基づき、前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を算出する第二の算出工程とを有することを特徴とする情報処理方法。
15. コンピュータを、
    入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理装置であって、
    前記複数の特徴量を組合せることにより複数の組合せを生成する生成手段と、
    前記複数の組合せそれぞれに対して前記入力データの分類への適合を評価する第一の評価値を算出する第一の算出手段と、
    前記第一の評価値に基づき、前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を算出する第二の算出手段とを有する情報処理装置として機能させるためのコンピュータプログラム。