JP5777390B2 - 情報処理方法及び装置、パターン識別方法及び装置 - Google Patents

Description

本発明は、データ中の複数の特徴からパターン識別に有用な特徴を選択する情報処理方法及び装置に関する。また、そのような情報処理方法及び装置によって選択された特徴を用いて、入力された複数の特徴からなる識別対象データを所定のクラスに分類するパターン識別方法及び装置に関する。

複数の特徴からなるデータ中の、部分的な特徴を用いてデータの属性を同定し、その同定された情報を統合することによって、データを所定のクラスに分類するパターン識別方法が提案されている。このようなパターン識別方法には、データの欠損に強い、変動に対する頑健性が高い等の利点がある。そのため、例えば、特許文献１や、非特許文献１等、様々な手法が提案されている。

このようなパターン識別方法の識別性能は、一般的に、データ中のどの部分的な特徴を識別に用いるかに依存するため、利用するべき部分的な特徴をデータ中から適切に選択する必要がある。例えば、特許文献１に提案されている手法では、用いる部分的な特徴を変更しつつ、その都度、パターン識別方法の識別精度を評価し、その評価結果に基づき、パターン識別方法の識別精度が高くなるような部分的な特徴を選択する。また、非特許文献１では、画像データから所定のKeypointを多数検出し、それらのKeypointの内、様々な変動を与えた状況であっても安定的に検出できる可能性の高いKeypointを部分的な特徴として選択する。

特許文献１に記載の手法における部分的な特徴の選択手法は、特徴選択の技術分野において、Wrapper法と呼ばれる手法である。Wrapper法は、識別精度を評価するのに充分な検定データが存在する場合に適切な特徴を選択できる可能性が高いことが知られている。しかし、Wrapper法は、特徴選択のための処理コストが非常に高いという課題がある。また、充分な検定データが存在しない場合には、いわゆる過学習を起こしてしまうという課題もある。

一方、非特許文献１に記載の部分的な特徴の選択手法は、パターン識別手法の最終的な識別精度ではなく、別途、定義した評価尺度を用いて特徴を評価し、その評価値に基づいて特徴を選択している。このような手法は、特徴選択の技術分野において、Filter法と呼ばれる手法である。Filter法は、Wrapper法と比較して、一般的に、処理コストが低いというメリットがある。しかし、Filter法では、特徴を評価するための評価尺度を、別途、定義する必要があり、この定義が適切でないと、適切な特徴選択ができない場合があるという課題がある。例えば、非特許文献１の手法では、特徴の評価尺度として、上述のように、安定的に検出できる可能性の高さを用いているが、これらの特徴が、他の特徴と区別可能かどうかは考慮されていない。しかし、非特許文献１のパターン識別手法では、これらの特徴が、該当する特徴として正しく分類されるか否かが、最終的な識別精度に関わる。そのため、対象となるデータに、安定的に検出することはできるが、他の特徴との区別が困難な特徴が多数存在するような場合、最終的な識別精度が高くなるような特徴選択が実現できなくなる可能性が高くなってしまう。

非特許文献２に記載されている、AdaBoostを用いたフレームワークも、部分的な特徴の選択手法の１つと考えられる。AdaBoostを用いたフレームワークは、最終的なパターン識別手法に用いる識別器を構成する、要素識別器（いわゆるWeak Learner）の識別精度を評価に用いるため、Wrapper法の枠組みに近い。そのため、通常のWrapper法と比べると処理コストは低いものの、依然、高い処理コストが要求される。また、Wrapper法と同様に、要素識別器を評価するための検定データが充分に存在しない場合、過学習を起こしてしまうという課題がある。

このように、検定データが充分に存在しないような場合でも、データ中の特徴の中から、パターン識別に適した特徴を、少ない処理コストで選択できる手法が望まれている。

特開２００９−４３２８０号公報

Vincent Lepetit and Pascal Fua, "Keypoint Recognition Using Randomized Trees", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 28, No. 9, pp.1465-1479, September 2006 Paul Viola and Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", Proceedings IEEE Conference on Computer Vision and Pattern Recognition, Vol. 1, pp. 511-518, December 2001 Mustafa Ozuysal, Michael Calonder,Vincent Lepetit and Pascal Fua, "Fast Keypoint Recognition using Random Ferns", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 32, No. 3, pp. 448-461, March 2010 L. Breiman, "Bagging Predictors", Machine Learning26, pp.123-400, 1996

本発明は、上述した課題に鑑みてなされたものであり、検定データが充分に存在しないような場合でも、データ中に含まれている特徴からパターン識別に適した特徴を、少ない処理コストで選択できる情報処理方法及び装置を提供することを目的とする。また、そのような情報処理方法及び装置により選択された特徴を用いて、識別対象データを所定のクラスに分類するパターン識別方法及び装置を提供することを目的とする。

上記の目的を達成するための本発明の一態様による情報処理方法は、
抽出手段が、学習用のデータから複数の部分データを抽出する抽出工程と、
第１の取得手段が、前記複数の部分データそれぞれから特徴量を取得する第１の取得工程と、
第２の取得手段が、前記取得された特徴量に基づいて、前記抽出工程で抽出された前記複数の部分データの各々を識別器によって処理させることにより、前記複数の部分データに対する複数の識別値と、前記識別値それぞれが前記特徴量の変動に対して安定している度合いを表す識別度を取得する第２の取得工程と、
評価手段が、前記第２の取得工程で取得された前記識別度に基づいて、前記複数の部分データの各々を評価する評価工程と、
選択手段が、前記評価工程における評価の結果に基づいて、前記複数の部分データから、前記識別器の学習に用いるべき部分データを選択する選択工程と、を有する。

本発明によれば、検定データが充分に存在しないような場合でも、データ中に含まれている特徴からパターン識別に適した特徴を、少ない処理コストで選択することができる。また、そのように選択された特徴を用いて、識別対象データを所定のクラスに分類することにより、適切な部分的な特徴を用いたパターン識別を行うことが可能になる。

第１及び第３実施形態における特徴選択方法の処理構成図。 第１及び第３実施形態における特徴選択方法の処理を示すフローチャート。 実施形態における識別処理の処理構成図。 実施形態における識別処理を示すフローチャート。 実施形態における登録姿勢画像を示す図。 実施形態における要素識別度を説明する図。 第２実施形態における特徴選択方法の処理構成図。 第２実施形態における特徴選択方法の処理を示すフローチャート。 第４実施形態における特徴選択方法の処理構成図。 第４実施形態における特徴選択方法の処理を示すフローチャート。 第１実施形態における、識別空間を模式的に示す図。 各実施形態の処理を実施可能な情報処理装置の構成例を示すブロック図。

以下、添付図面を参照しながら、本発明の好適な実施形態のいくつかを説明する。
各実施形態を説明する前に、各実施形態の識別処理や特徴選択処理を実行可能な情報処理装置の構成について説明する。

図１２は情報処理装置の構成例を示すプロック図であり、１２０１はアプリケーションプログラムによって処理中のデータの情報、各種メッセージメニューなどを表示するＣＲＴを示している。１２０２はＣＲＴ１２０１の画面に表示されるイメージを展開するビデオＲＡＭ（以下、ＶＲＡＭ）を示している。１２０３及び１２０４は、画面上の所定欄に文字などを入力したり、アイコンやＧＵＩにおけるボタンなどを指し示すためなどに用いられるキーボード及びポインティングデバイスをそれぞれ示す。１２０５は本装置全体の制御を司るＣＰＵである。

１２０６はＣＰＵ１２０５の動作処理手順（プログラム）を記憶しているＲＯＭである。なおこのＲＯＭ１２０６にはデータ処理に係るアプリケーションプログラムやエラー処理プログラムをはじめ、後述するフローチャートに係るプログラムも記憶されている。１２０７は上述した各種プログラムをＣＰＵ１２０５が実行する時のワークエリア、エラー処理時の一時退避エリアとして用いられるＲＡＭを示している。

１２０８はハードディスクドライプ（以下、ＨＤＤ）、１２０９はフロッピー（登録商標）ディスクドライプ（以下、ＦＤＤ）をそれぞれ示し、それぞれのディスクはアプリケーションプログラムやデータ、ライプラリなどの保存及び読み込み用に用いられる。また、ＦＤＤの替わりに、あるいは追加してＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の光（磁気）ディスクドライブや、テープストリーマ、ＤＤＳなどの磁気テープドライブ等を設けてもよい。１２１０は装置をネットワークに接続するためのネットワークインターフェイスである。１２１１は上述した各ユニット間を接続する１／０バス（アドレスバス、データバスおよび制御バスからなる）である。

（第１実施形態）
第１実施形態として、特定の物体（以下、物体Ａ）を撮像した１０００×１０００画素のグレースケール画像をとして入力し、その画像中のどの位置にどのような姿勢で、物体Ａが存在するのかを識別する識別器に用いる部分的な特徴選択方法の例を示す。本特徴選択方法の説明のため、まず、上記識別器の動作について、識別処理の処理構成図を示した図３、及び、識別処理の処理フローを示した図４を用いて説明する。なお、以下の各実施形態で説明する識別処理および特徴選択処理は、上述した情報処理装置（例えばコンピュータ）がメモリに格納された所定のプログラムを実行することで実現される。また、情報処理装置において、以下に説明する処理の一部もしくはすべてを専用のハードウエアでもって実現するようにしてもよいことは当業者には明らかである。

まず、ステップＳ４０において、画像入力部３０は、識別処理対象である１０００×１０００画素のグレースケール画像（以下、入力画像）を、識別対象データとして入力する。ここで入力された入力画像に対し、後段の処理を行い、この入力画像中の、どの位置にどのような姿勢で、物体Ａが存在するのかを識別する。

ステップＳ４１において、前処理部３１は、画像入力部３０で入力した入力画像に対し、エッジ抽出等の前処理を行い、その結果である前処理済み画像を生成する。本識別処理における前処理では、ノイズ抑制を目的としたガウシアンフィルタによる平滑化処理、及び、Ｓｏｂｅｌフィルタによるエッジ強度抽出処理を行う。そして、エッジ強度抽出処理において得られた各画素位置のエッジ強度マップを前処理済み画像とし、この前処理済み画像に対して、後段の識別処理を行っていく。

ステップＳ４２において、識別器設定部３３は、メモリにより構成された識別器情報データベース３２に予め記録されている複数の識別器から、順次１つの識別器を選択し、選択した識別器の識別規則に関する情報を読み込む処理を行う。本識別処理では、識別器として、非特許文献３に記載されているようなＦｅｒｎ型識別器を用いる。Ｆｅｒｎ型識別器とは、複数の要素識別器を直列に並べた識別器である。Ｆｅｒｎ型識別器では、一般に、比較的単純な、２値の要素識別器が用いられる。つまり、何らかの単純な識別規則に基づきデータを識別して、｛０、１｝の結果を出力するような要素識別器を用いるのが一般的である。本識別処理で用いる要素識別器も、基準位置からの相対位置が異なる２点（以下、参照点１、及び、参照点２）の値を比較し、その大小関係を識別して、｛０、１｝の結果を出力するという、比較的単純な２値の要素識別器を用いる。Ｆｅｒｎ型識別器を構成する要素識別器の個数は任意の個数でよいが、ここでは、１個につき１６個の上記要素識別器で構成されるＦｅｒｎ型識別器を用いる。本識別処理では、このようなＦｅｒｎ型識別器を５０個用い、それらが予め識別器情報データベース３２に記録されている。尚、用いられるＦｅｒｎ型識別器の個数を本識別処理では５０個としているが、これも任意の個数で構わない。多くのＦｅｒｎ型識別器を用いる方が、高い識別性能を実現できる可能性は高くなる。

識別器設定部３３では、５０個のＦｅｒｎ型識別器から１個のＦｅｒｎ型識別器を順次選択し、そのＦｅｒｎ型識別器を構成する１６個の要素識別器の情報、即ち、それぞれの識別規則の情報を読み込む。具体的には、１６個の要素識別器それぞれについて、値を比較する参照点１、及び、参照点２それぞれの、処理基準位置（後述）からの相対位置を読み込むことになる。なお、識別器を構成する複数の要素識別器は同一の識別規則のものを用いてもよいし、異なる識別規則のものを組み合わせてもよい。例えば、上述の要素識別器と、第４実施形態で用いるような線形二値識別器とを含むようにしてもよい。

続いて、ステップＳ４３において、処理基準位置設定部３４は、後段の識別処理部３５での処理における基準位置を、前処理部３１で生成された前処理済み画像内から、順次１箇所ずつ選択し、その選択した位置を処理基準位置として設定する。ここで設定された処理基準位置は、詳細については後述するが、後段の識別処理部３５におけるＦｅｒｎ型識別器を用いた識別処理での処理の基準となる位置である。なお、この処理基準位置の選択の順は任意で構わず、例えば、画像の左上からラスタスキャン的に画像の右下まで、順次１画素ずつ選択していけば良い。

次に、ステップＳ４４において、識別処理部３５は、識別器設定部３３で選択したＦｅｒｎ型識別器を用いて、前処理部３１で生成した前処理済み画像に対し、処理基準位置設定部３４で設定された処理基準位置における識別処理を行う。より具体的には、識別処理部３５は、Ｆｅｒｎ型識別器を構成する各要素識別器での識別処理を、前処理済み画像の処理基準位置において行い、それらの識別結果（識別値）を順に並べた識別結果列を求める処理を行う。各要素識別器は、前述の通り、処理基準位置からの相対位置が異なる２つの参照点１、及び、参照点２の位置の、前処理済み画像の値を比較して、その大小関係に基づき｛０、１｝の識別値を出力する。つまり、参照点１の位置における前処理済み画像の値の方が、参照点２の位置における前処理済み画像の値より大きい場合に１を出力し、そうでない場合に０を出力する。

本識別処理における、要素識別器による識別処理について具体的に説明する。例えば、処理基準位置設定部３４において、処理基準位置が、前処理済み画像の位置（ｘ，ｙ）に設定されているとする。そして、要素識別器の識別規則情報、即ち、２つの参照点１、及び、参照点２の、処理基準位置からの相対位置座標が、それぞれ（ｘ_１，ｙ_１）、及び、（ｘ_２，ｙ_２）であるとする。この時、参照点１に対応する値ｖ_１は、前処理済み画像の位置（ｘ＋ｘ_１，ｙ＋ｙ_１）の値、同様に、参照点２に対応する値ｖ_２は、前処理済み画像の位置（ｘ＋ｘ_２，ｙ＋ｙ_２）の値となる。そして、この要素識別器による識別処理では、前処理済み画像のそれぞれの位置を参照して上記ｖ_１、及び、ｖ_２の値を読み込み、このｖ_１とｖ_２の値を比較して、ｖ_１＞ｖ_２であれば１、ｖ_１≦ｖ_２であれば０を出力する処理を行う。

本識別処理では、前述のように、１６個の要素識別器からなるＦｅｒｎ型識別器を用いるので、１つの処理基準位置に対して、上記要素識別器での識別処理を、１６個の要素識別器それぞれで行う。そして、各要素識別器の識別値｛０、１｝の出力を、予め定められた所定の順で１６個並べた識別結果列を求める。そのため、１つの処理基準位置に対して、２進数で、００００００００００００００００から、１１１１１１１１１１１１１１１１までの、２^１６＝６５５３６通りのいずれかの識別結果列が得られることになる。識別処理部３５では、上記のように、処理基準位置設定部３４で設定された処理基準位置において、６５５３６通りのいずれかを示す識別結果列を求める処理を行うことになる。

次いで、ステップＳ４５において、識別結果記録部３６は、識別処理部３５で求めた識別結果列に基づき、識別器情報データベース３２に記録されている仮説個数、及び、その仮説個数分の位置姿勢仮説情報を参照して、その情報を累積的に記録する。この位置姿勢仮説情報とは、物体Ａが、どの位置にどのような姿勢で存在するかに関する仮説である（以下、単に仮説情報と記載する）。ここで、仮説情報の内、位置に関する情報は、処理基準位置設定部３４で設定した処理基準位置に対する、相対位置の情報となっている。より具体的には、仮説情報は、姿勢情報θと相対位置情報（ｘ_ｒ，ｙ_ｒ）を１セットとした情報である。例えば、処理基準位置が（ｘ，ｙ）であった場合、姿勢θの物体Ａが、物体Ａの中心位置が（ｘ＋ｘ_ｒ，ｙ＋ｙ_ｒ）となる位置に存在するという仮説と解釈される。識別器情報データベース３２には、複数の識別器それぞれについて、各識別結果列に対応する仮説個数と、その個数分の、その識別結果列に対応する仮説情報が記録されている。１つの識別結果列に対応する仮説個数は、１セットの仮説情報のみの場合や、複数セットの仮説情報が対応する場合、逆に、１つも対応する仮説情報が無い場合もあっても構わない。

この識別結果記録部３６の具体的な処理では、まず、識別器情報データベース３２に記録されている、識別器設定部３３により選択された識別器を用いて、識別処理部３５が求めた識別結果列に対応する仮説個数が参照される。例えば識別器設定部３３で、Ｃ番目の識別器を選択しているとし、識別処理部３５で求めた識別結果列がＲであったとすると、識別器情報データベース３２に記録されている、Ｃ番目の識別器の識別結果列Ｒに対応する仮説個数を参照することになる。この際、対応する仮説個数が０である場合は、仮説情報を記録せずに、この識別結果記録部３６での処理が終了となる。対応する仮説個数が１以上存在する場合は、存在する個数分の仮説情報をそれぞれ参照し、それらの情報を累積的に記録する処理が行われる。具体的には、上記説明したように、現在の処理基準位置が（ｘ，ｙ）であり、１セットの仮説情報が、姿勢θ、相対位置（ｘ_ｒ，ｙ_ｒ）であった場合に、位置（ｘ＋ｘ_ｒ，ｙ＋ｙ_ｒ）に、姿勢θの物体Ａが存在するという仮説のスコアを増加させる。ここで増加させるスコアの値は、所定の定数としても構わないが、対応する仮説個数に反比例する値とするのが好ましく、例えば、仮説個数がＮ個であったなら、１／Ｎだけスコアを増加させるようにする。これを、対応する仮説個数分の仮説情報について行うことで、この識別結果記録部３６での処理が終了となる。

上記説明した、識別処理部３５、及び、識別結果記録部３６における処理を、前処理済み画像上の全ての位置を処理基準位置として処理するまで繰り返し行う。つまり、識別結果記録部３６での処理が終了すると、まだ、処理基準位置設定部３４で選択していない前処理済み画像上の位置があるかどうかが判定される（ステップＳ４６）。処理基準位置設定部３４で選択していない前処理済み画像上の位置があるならば（Ｓ４６でＮＯ）、処理基準位置設定部３４による処理（Ｓ４３）に戻り、識別処理部３５、及び、識別結果記録部３６での処理が繰り返し実行される。このループ処理により、前処理済み画像上の全ての位置で、識別器設定部３３で選択した１つの識別器による、識別処理部３５、及び、識別結果記録部３６での処理を行うことになる。このため、１つの処理基準位置について、得られた識別結果列に対応する仮説個数分の仮説情報が記録されるので、大量の仮説情報（［平均的な仮説個数］×［処理基準位置数］のオーダとなる）が、累積的に記録されることになる。本識別処理の例では、画像中の全位置を処理基準位置として設定するので、処理基準位置数＝１０００×１０００＝１００万であり、［平均的な仮説個数］×１００万という大量の仮説情報が、累積的に記録されることになる。

更に、上記説明したループ処理を、今度は、識別器情報データベース３２に記録されている全ての識別器について繰り返し行う。つまり、上記１つの識別器でのループ処理が終了した後、まだ、識別器設定部３３において選択していない識別器があるか否かが判定される（ステップＳ４７）。識別器設定部３３において選択していない識別器があるならば（Ｓ４７でＮＯ）、識別器設定部３３での処理（Ｓ４２）に戻り、新たな識別器を選択して、再度、上記１つの識別器でのループ処理を繰り返し行う。これにより、識別器情報データベース３２に記録されている全ての識別器について、上記１つの識別器でのループ処理を行うことになる。こうして、全体として、［平均的な仮説個数］×［処理基準位置数（上記の例では１００万個）］×［識別器数（上記の例では５０個）］という膨大な仮説情報が、累積的に記録されることになる。

最後にステップＳ４８において、識別結果出力部３７は、上記説明した処理により、累積的に記録された多数の仮説情報に基づき、画像入力部３０で入力した入力画像中の、どの位置に、どのような姿勢で物体Ａが存在するのかを識別し、その結果を出力する。具体的には、累積的に記録された多数の仮説情報の中で、最大のスコアである仮説情報を検出し、その仮説情報の位置、及び、姿勢で、物体Ａが存在すると識別する。つまり、累積的に記録された多数の仮説情報の中で、例えば、位置（ｘ_ｍａｘ、ｙ_ｍａｘ）に、姿勢θ_ｍａｘの物体Ａが存在するという仮説情報のスコアが最大であったならば、この位置、及び、姿勢で、物体Ａが存在すると識別することになる。

上記説明した処理により、画像入力部３０で入力した入力画像中の、どの位置に、どのような姿勢で、特定の物体が存在するのかを識別することが可能になる。尚、上記説明した処理では、スコアが最大の仮説情報に対応する結果のみを出力するため、入力画像中に複数の特定物体があったとしても、１つの識別結果しか得られない。しかし、スコアが最大の仮説情報だけではなく、例えば、スコアが所定の閾値を超えた仮説情報を複数選択するようにし、それらを識別結果として出力することで、容易に、入力画像中に複数の特定物体が存在する場合にも対応できる。以上の処理により、入力された画像に識別器を適用して取得された識別値と仮説情報（特徴）との比較により、その画像を所定のクラスに分類することができる。

上記識別処理の識別性能を決める１つの要因として、どのような特徴と仮説情報を、各識別器の識別結果列に対応させるかという点が挙げられる。以下、どのような特徴と仮説情報を用いるのかを選択する方法について説明する。

図１に、第１実施形態における特徴選択方法、つまり、識別器の識別結果列に対応させる仮説情報を選択する方法を実現するための機能構成図を示す。また、図２は、第１実施形態における特徴選択方法の処理フローを示した図である。以下、図１、及び、図２を用いて、第１実施形態による特徴選択方法について説明する。

登録姿勢画像データベース１０は、学習用のデータとして、識別対象である特定物体（物体Ａ）を様々な方向から撮像した画像を記録しているデータベースである。登録姿勢画像データベース１０に登録されている画像は、たとえば図５に示したような複数のグレースケール画像である。本実施形態では、各画像は、物体Ａの中心位置が、画像の中心になるようにアライメントされている、２００×２００画素の画像である。また、この登録姿勢画像データベース１０には、各画像において撮像されている物体Ａが撮像部に対してどのような姿勢であるのかを示す相対姿勢情報も記録されている。本実施形態では、このような、様々な方向から撮像した物体Ａの画像、及び、それぞれの相対姿勢情報が１０００セット分、登録姿勢画像データベース１０に記録されている。以降、１０００枚の画像それぞれを、Ｐ_１、Ｐ_２、・・・、Ｐ_１０００とし、対応する相対姿勢情報をθ_１、θ_２、・・・、θ_１０００とする。尚、本実施形態では、１０００個の相対姿勢情報の内、同一とみなせるものは存在しない。つまり、１０００枚の画像は、全て異なる相対姿勢で物体Ａを撮影した画像であるとする。

ステップＳ２０において、識別器生成部１１は、識別器に識別規則（参照点１及び参照点２の位置座標）を設定することによりＦｅｒｎ型識別器を生成する。本実施形態では、前述のように、１６個の要素識別器からなるＦｅｒｎ型識別器を用いるので、１６個の上記説明した要素識別器を生成し、それらを連結したＦｅｒｎ型識別器を生成する。各々の要素識別器は、本実施形態では、横方向に−１０から＋１０、縦方向にも−１０から＋１０の、２１×２１画素の範囲の中で、ランダムに参照点１、及び、参照点２の位置を選択することによって生成する。

このように、本実施形態における識別器は、［要素識別器の個数］×［要素識別器で参照するデータ数］という、元々の２００×２００画素の画像と比較して、非常に限られたデータのみを用いた識別を行う。つまり、この識別器では、元々の全特徴（本実施形態では２００×２００＝４００００）の内の、非常に限られた特徴のみに基づいた識別を行うことになる。尚、各要素識別に設定される２つの参照点の位置は、上記２１×２１画素の範囲（部分データ）の中で、ランダムに選択すれば良いが、２つの参照点の位置が同一の位置にならないようにするのが好ましい。なぜなら、本実施形態の場合、同一の位置の値を比較するとその結果は必ず等号になるため、その要素識別器は必ず０を出力することになり、無意味な要素識別器となってしまうためである。また、１つのＦｅｒｎ型識別器の中に、２つの参照点位置の組み合わせが同一な要素識別器が複数あると、それらの要素識別器は同じ結果を出力してしまう。より厳密には、参照点位置が入れ替わっている状況の場合、２点の値が一致する時のみ出力される結果が変わるが、２点の値が一致しない場合は同じ結果を出力してしまう。そのため、これらの要素識別器の内、１つの要素識別器以外は、無意味な要素識別器となってしまう。そこで、１つのＦｅｒｎ型識別器を構成する複数の要素識別器（本実施形態では、１６個の要素識別器）は、各参照点の組み合わせが、それぞれ異なる２点の組み合わせになるようにすることが好ましい。

尚、本実施形態では、ランダムに２つの参照点を選択することにより、要素識別器を生成しているが、本発明の特徴選択方法における識別器の生成方法は、これに限られるものではない。重要なのは、様々なバリエーションの要素識別器が生成できることである。そのため、例えば、非特許文献４のバギングのように、登録姿勢画像データベース１０に記録されている画像データから、適当なデータをサンプリングして、そのデータを用いた学習により、識別器を生成するようにしても構わない。

次に、ステップＳ２１において、画像入力部１２は、登録姿勢画像データベース１０に記録されている画像データを、順次１つずつ入力する。入力する順序は任意で構わないが、本実施形態においては、Ｐ_１から順に、Ｐ_１０００までを順次１つずつ入力するものとする。

次に、ステップＳ２２において、前処理部１３は、上記説明した識別処理における図４のステップＳ４１の処理と同様に、画像入力部１２で入力した画像に対し、平滑化等の前処理を行って、前処理済み画像を生成する。また、ステップＳ２３において、処理基準位置設定部１４は、上記説明した識別処理における図４のステップＳ４３の処理と同様の処理を行う。すなわち、処理基準位置設定部１４は、後段の識別処理部１５での処理における処理基準位置を、前処理部１３で生成された前処理済み画像内から、順次１箇所ずつ選択し、その選択した位置を処理基準位置として設定する処理を行う。

ステップＳ２４において、識別処理部１５は、上記説明した識別処理における図４のステップＳ４４の処理と同様の処理を行うとともに、各要素識別器での識別処理における要素識別度を算出する。要素識別度とは、要素識別器の出力（本実施形態では、｛０、１｝の出力）の確信度のようなものであり、本実施形態では、この要素識別度として、要素識別器において比較する２点の値の差分絶対値が用いられる。つまり、識別処理部１５は、各要素識別器の出力を求め、それらを順に並べた識別結果列を求めると共に、各要素識別器の要素識別度、即ち、各要素識別器で比較した２点の値の差分絶対値を求める処理も行う。この処理により、処理基準位置設定部１４で選択された１つの処理基準位置について、１つの識別結果列と、要素識別器の個数分の、要素識別度の値が得られることになる。

この識別処理部１５で求める要素識別度について、図６を用いて説明する。図６中、ｖ_１軸６２は、ある要素識別器の参照点１の位置における値を表す軸であり、ｖ_２軸６３は、参照点２の位置における値を表す軸である。ある処理基準位置での、当該要素識別器の処理において、参照点１の位置の値がｖ_１−０、参照点２の位置の値がｖ_２−０であった場合、対応するデータは、図中の点６００にプロットされることになる。同様に、参照点１の位置の値がｖ_１−１、参照点２の位置の値がｖ_２−１の場合、点６１０にプロットされることになる。本実施形態の要素識別器では、ｖ_１＞ｖ_２であれば１を出力するので、図中の境界線６４を境にして、右下の領域（点６１０が存在する領域）にプロットされるデータに対しては１が出力される。また、境界線６４上を含む境界線６４の左上の領域（点６００が存在する領域）にプロットされるデータに対しては０が出力されることになる。つまり、この要素識別器では、点６１０に対応するデータでは１が出力され、点６００に対応するデータでは０が出力される。

ここで、各データの参照点の位置における値が、何らかの要因によって変動してしまう状況を考える。この場合、図中の各点は、その変動に応じて、プロットされる位置が変動し、場合によっては、境界線６４を飛び越え、要素識別器での出力が変化してしまう状況が発生する。もし、各データに対する変動要因が、同程度であると仮定すると、図中の点６００に比べて、点６１０の方が、要素識別器の出力が変化してしまう可能性が高いと考えられる。つまり、点６００の方が、要素識別器の出力が変化しづらく、出力に対する確信度が高いといえる。このような確信度の高さは、各データに対する変動要因が同程度であると仮定すると、各データのプロット点から、境界線６４までの距離に対応すると考えることができる。例えば、点６００から境界線６４までの距離６０１は、点６１０から境界線６４までの距離６１１と比べて長い。そのため、点６００に対応するデータに対する要素識別器の出力の方が、点６１０に対応するデータに対する要素識別器の出力に比べて、確信度が高いと推定できる。各プロット点から、境界線６４までの距離は、各参照点の位置における値の差分絶対値に比例する。そこで、本実施形態では、この差分絶対値を、境界線６４までの距離として代用し、この値を、そのデータに対する、その要素識別器の判定の確信度、即ち、要素識別度として用いるようにしている。

ステップＳ２５において、識別度記録部１６は、識別処理部１５で取得された、各要素識別器に対する要素識別度を統合した識別度を算出し、識別データ保持部１７に、対応する識別結果列と共に記録する。この識別度は、複数の要素識別器からなるＦｅｒｎ型識別器全体の確信度を表すようなものであり、本実施形態においては、単純に、各要素識別度の総和を識別度とする。

ここで求める識別度、つまり、要素識別度の総和は、識別器生成部１１において生成したＦｅｒｎ型識別器により定義される識別空間に、識別処理部１５で識別処理を行ったデータを写像した点と、当該識別空間の原点とのマンハッタン距離と解釈できる。この識別度の解釈について、図１１を用いて説明する。本実施形態の特徴選択方法における識別空間とは、識別処理における中間処理結果を表現する空間である。識別処理では、この中間処理結果を用いて識別結果を決定する。例えば、最も単純な識別器の１つである最近傍識別器であれば、複数のプロトタイプとの距離の中で、最も距離が近いプロトタイプに対応するというように識別結果を決定する。そのため、最近傍識別器では、各プロトタイプとの距離が中間処理結果になり、識別空間は、各プロトタイプとの距離の値により張られる空間となる。本実施形態において用いるＦｅｒｎ型識別器では、前述のように、１つの要素識別器において２点の値の大小比較を行う。これは、２点の値の差分値に基づき、要素識別器での結果を決定しているといえる。そのため、この２点の値の差分値（ｖ_１−ｖ_２）に対応する軸を、当該識別空間の１つの軸と考えることができる。本実施形態のＦｅｒｎ型識別器は、１６個の要素識別器で構成されるので、当該識別空間は、各要素識別器が参照する２点の値の差分値に対応する軸により張られる１６次元の空間と定義することができる。

図１１は、この識別空間を模式的に示した図であり、軸１１１は、１つの要素識別器ξが参照する２点の値の差分値（ｖ_１−ｖ_２）_ξを表す軸である。また、もう１つの軸１１２は、その他の要素識別器ζが参照する２点の値の差分値（ｖ_１−ｖ_２）_ζを表す軸である。識別処理部１５で識別処理を行った各データは、各々の差分値に応じて、当該識別空間の１点にマッピングされることになる。例えば、図１１に示したように、要素識別器ξが参照する２点の値の差分値がξ_１、要素識別器ζが参照する２点の値の差分値がζ_１であるデータは、点１１３の位置にマッピングされる。同様に、各差分値がξ_２、ζ_２であるデータは、点１１４の位置にマッピングされる。ちなみに、点１１３に対応するデータでは、ξ_１＞０、ζ_１＞０であるので、要素識別器ξ、ζとも、１を出力することになり、点１１４では、ξ_２≦０、ζ_２＞０であるので、要素識別器ξは０、要素識別器ζは１を出力することになる。また、点１１３と軸１１２との距離１１３１は、点１１３に対応するデータにおける、要素識別器ξの要素識別度（＝ξ_１）、点１１３と軸１１１との距離１１３２は、要素識別器ζの要素識別度（＝ζ_１）に対応する。同様に、距離１１４１、及び、距離１１４２は、点１１４に対応するデータにおける、要素識別器ξ、ζそれぞれの要素識別度（＝ξ_２、ζ_２）に対応することになる。各要素識別器の出力が変化する境界は、図中の各軸であり、この軸を境にした領域ごとに、それぞれの要素識別器の、出力の組み合わせ、つまり、１つの識別結果列が対応している。

ここで、図１１に示した当該識別空間の原点１１５は、全ての領域の境界上にあるため、原点１１５の近傍の領域は、最も識別結果列が不安定な領域であるといえる。そこで、この原点１１５からの距離を用い、識別結果列に対する確信度を評価する。本実施形態の識別度は、各要素識別度の総和であり、これは、当該識別空間の原点と、この識別空間にマッピングされた点とのマンハッタン距離となっている。つまり、本実施形態では、識別空間の原点までのマンハッタン距離＝要素識別度の総和＝識別度としていることに他ならない。

なお、識別度の算出方法は、Ｆｅｒｎ型識別器が出力する識別結果列の確信度を表すようなものであれば、その他の方法で求めてもよく、例えば、この識別度を、各要素識別度の最小値とするような方法でも構わない。この場合、図１１に示した識別空間での解釈では、マッピングされた点と、識別結果列が変化してしまう最も近い境界までの距離を求めていることに対応する。識別度記録部１６は、このような識別度、及び、識別処理部１５で取得された識別結果列を、識別データ保持部１７に記録するが、この際に、この結果（識別度、及び、識別結果列）が得られたデータ自体の情報も関連付けて記録する。データ自体の情報とは、具体的には、例えば、識別処理部１５で識別処理を行った画像データに対応する相対姿勢情報、及び、処理基準位置である。例えば、画像Ｐ_ｎの位置（ｘ_ｍ，ｙ_ｍ）を処理基準位置として識別処理部１５での識別処理を行った結果であれば、対応する相対姿勢情報θ_ｎ、及び、（ｘ_ｍ，ｙ_ｍ）を、求めた識別結果列、及び、識別度と共に識別データ保持部１７に記録することになる。この識別度記録部１６での処理により、識別データ保持部１７に、識別結果列、識別度、相対姿勢情報、処理基準位置を１セットとしたデータ（以下、識別データ）が記録されることになる。

上記説明した、識別処理部１５、及び、識別度記録部１６での処理を、前述の識別処理と同様、前処理部１３で生成した前処理済み画像上の全ての位置を処理基準位置として処理するまで繰り返し行う。つまり、識別度記録部１６での処理が終了し、まだ、処理基準位置設定部１４で選択していない前処理済み画像上の位置があるならば、処理基準位置設定部１４での処理に戻り、識別処理部１５、及び、識別度記録部１６での処理を繰り返し行う。ここでの繰り返し処理は、図２のＳ２６によるループ処理に対応する。このループ処理により、前処理済み画像上の全ての位置で、識別器生成部１１で生成した識別器による、識別処理部１５、及び、識別度記録部１６での処理を行うことになる。すなわち、学習用のデータから抽出された複数の部分データの各々に、ステップＳ２０で生成した識別器によって処理させて識別値を得て、これをそれら複数の部分データの各々の特徴とする。このため、１つの処理基準位置（部分データ）について、１セットの識別データが記録されるので、全画素数分（本実施形態では、２００×２００＝４００００）の識別データが、識別データ保持部１７に記録されることになる。このように、本実施形態の特徴選択方法では、識別器生成部１１で生成した識別器を用い、処理基準位置を１画素ずつ変えながら、各位置における識別度の算出を行う。前述のように、本実施形態の特徴選択方法において用いる識別器は、限られた特徴のみに基づいた識別を行うので、処理基準位置を変えることにより、元々のデータ中の、異なる特徴セットを用いた処理を行って、それぞれの識別度を求めることになる。

更に、上記説明したループ処理を、今度は、登録姿勢画像データベース１０に記録されている全ての画像について繰り返し行う。つまり、上記１つの画像に対するループ処理が終了し、まだ、画像入力部１２において入力していない画像があるならば、まず、画像入力部１２での処理に戻り、新たな画像を入力する。そして、前処理部１３で、その新たな入力画像に対応する前処理済み画像を生成後、再度、上記１つの画像でのループ処理を繰り返し行う。ここでの更なる繰り返し処理は、図２のＳ２７によるループ処理に対応する。これにより、登録姿勢画像データベース１０に記録されている全ての画像について、上記１つの画像に対するループ処理を行うことになる。このため、本実形態では、登録姿勢画像データベース１０に画像が１０００枚あるので、全体として、１０００×［１枚の画像の全画素数］という多数の識別データが、識別データ保持部１７に記録されることになる。本実施形態では、１枚の画像の全画素数は４００００なので、１０００×４００００＝４０００万の識別データが識別データ保持部１７に記録される。

次に、ステップＳ２８において、特徴評価部１８は、識別データ保持部１７に記録された多数の識別データ対し、それぞれの識別データの、特徴としての有用度を求める。具体的には、本実施形態では、各識別データの特徴としての有用度を、各識別データの中の、識別度記録部１６で求めた識別度を、対応する識別結果列に該当する全ての識別データの個数で除することにより求める。例えば、識別データ保持部１７に記録されている、識別結果列がｒである識別データの個数をＬ（ｒ）個とし、ある識別データの識別結果列がＲで識別度がαである場合、この識別データに対する特徴としての有用度は、α／Ｌ（Ｒ）となる。ここで求める特徴としての有用度は、単純に、識別度そのものを用いても構わないが、上記のように、同一の識別結果列であった識別データの個数を考慮することで、各識別データのユニークネスも評価することができる。具体的には、同一の識別結果列であった識別データが多数存在する場合、つまり、ユニークでない識別データは、ここで求める特徴としての有用度が相対的に低く評価されることになる。逆に、同一の識別結果列であった識別データが少ないユニークな識別データは、特徴としての有用度が相対的に高く評価される。つまり、ここで求める特徴としての有用度は、その識別結果列の純度が高い（同一の識別結果列であったものが少ない）場合には高く、純度が低い（同一の識別結果列であったものが多い）場合には低く評価されることになる。換言すれば、特異性の高い識別結果列の有用度は高く評価され、特異性の低い識別結果列の有用度は低く評価される。ここでの処理により、識別データ保持部１７に記録されている、全ての識別データに対して、識別度の高さ、及び、そのユニーク性に応じた、特徴としての有用度が求められることになる。

ステップＳ２９において、特徴選択部１９は、特徴評価部１８で求めた、各識別データの、特徴としての有用度に基づき、それぞれの識別結果列に対応させる仮説情報として、どの識別データを用いるのかを選択する。本実施形態では、特徴選択部１９は、登録姿勢画像データベース１０に記録されている全画像データそれぞれについて、特徴評価部１８で求めた、特徴としての有用度が高い上位５０個の識別データを選択する。本実施形態では、登録姿勢画像データベース１０に、１０００枚の画像が記録されているので、ここでの処理により、各画像に対して５０個の、１０００×５０＝５００００個の識別データが選択されることになる。ここで選択された識別データは、前述のように、それぞれが異なる特徴セットに対して処理を行った結果に対応する。そのため、この特徴選択部１９における識別データの選択は、元々のデータ中の、どの特徴セットに対する結果を用いるのかの選択であると解釈できる。

最後に、ステップＳ２１０において、結果出力部１１０は、まず、特徴選択部１９で選択した識別データに基づき、識別器生成部１１で生成したＦｅｒｎ型識別器の各識別結果列に対応する仮説情報を求める。そして、結果出力部１１０は、これらの仮説情報と、識別器生成部１１で生成したＦｅｒｎ型識別器の情報とをセットにして識別器情報データベース３２へ出力する。

特徴選択部１９で選択した識別データに基づいた仮説情報は、具体的には、以下のように求める。例えば、選択した１つの識別データが、識別結果列がＲ_ｓで、相対姿勢情報がθ_ｓ、処理基準位置が（ｘ_ｓ、ｙ_ｓ）であったとする。この時、この識別データに対応する仮説情報は、姿勢情報θ_ｓで、相対位置情報が（１００−ｘ_ｓ、１００−ｙ_ｓ）となる。この相対位置情報は、上記識別処理の説明で述べたように、処理基準位置から物体Ａの中心位置への相対位置を意味している。そのため、本実施形態では、登録姿勢画像データベース１０に記録されている画像中の物体Ａの中心位置は（１００，１００）であるので、処理基準位置から物体Ａの中心位置への相対位置は（１００−ｘ_ｓ，１００−ｙ_ｓ）となる。そして、このように求めた仮説情報が、識別器生成部１１で生成したＦｅｒｎ型識別器の、識別結果列Ｒ_ｓに対応する仮説情報の１つになる。これを、特徴選択部１９で選択した全ての識別データ（本実施形態では、１０００×５０＝５００００個分）に対して行い、求めた仮説情報を各識別結果列に対応させる。そして、その結果を、識別器生成部１１で生成したＦｅｒｎ型識別器の情報と共に出力することで、この結果出力部１１０での処理が終了となる。尚、ある識別結果列に対応する識別データが１つも選択されなかった場合、その識別結果列には、対応する仮説情報が無いとすれば良い。

以上の処理により、前述の識別処理において用いるＦｅｒｎ型識別器の、各識別結果列に対応する仮説情報を選択することが可能になる。このように、本実施形態の特徴選択方法では、予め所定の識別器を生成し、その識別器を用いた各特徴の評価を行うため、実際の識別手法を考慮した特徴の評価を行うことになり、特徴の評価尺度が、実際の識別手法に適した評価尺度となる可能性が高くなる。そのため、結果として、最終的な識別精度が高くなるような特徴選択が実現できる可能性が高くなるという効果がある。また、本実施形態のように、検定データが充分に無い（画像は多数あるが、１つの姿勢については、１つの画像しか存在しない）場合には、Wrapper法やAdaBoostを用いた特徴選択は困難である。しかし、本実施形態の特徴選択方法では、このような場合でも、実際の識別手法を考慮した特徴選択が可能である。

また、本実施形態の特徴選択方法により選択した特徴を用いたパターン識別方法では、上記説明した、結果出力部１１０において出力されたＦｅｒｎ型識別器を用い、上述の識別処理（図３に示した処理構成での識別処理）を行えば良い。ここで、このＦｅｒｎ型識別器の各識別結果列に対応する仮説情報として、本実施形態の特徴選択法により選択した識別データから求めた仮説情報を用いるようにする。なお、上述の識別処理では、複数（上記例では５０個）のＦｅｒｎ型識別器を用いるので、上記説明した本実施形態の特徴選択方法を、繰り返し行い、必要な数のＦｅｒｎ型識別器を生成し、それらを用いるようにすれば良い。これにより、実際に使用する識別器を考慮して選択された仮説情報を用いた識別処理が可能となるため、結果として、実際に使用する識別器を考慮せず選択した仮説情報を用いた識別処理に比べ、最終的な識別精度が向上する可能性が高くなる。

（第２実施形態）
第２実施形態では、第１実施形態で示した特徴選択方法の別形態として、複数の識別器の中から、１つの識別器と、その識別器に用いる特徴を選択する特徴選択方法の例を示す。尚、第２実施形態の構成、処理のうち第１実施形態と同様のものについて適宜、説明を省略する。

図７に、第２実施形態における特徴選択方法の処理構成図を示す。本実施形態も、第１実施形態と同様に、識別器の識別結果列に対応させる仮説情報を選択する特徴選処理を行う。また、図８は、第２実施形態における、本特徴選択方法の処理フローを示した図である。以下、図７、及び、図８を用いて、本実施形態の特徴選択方法の例について説明する。

図７の登録姿勢画像データベース７０から、特徴選択部７９までの処理部は、第１実施形態における、図１の登録姿勢画像データベース１０から、特徴選択部１９までの処理部と同様の処理部であるので説明を省略する。ここまでの処理により、第１実施形態と同様に、識別器生成部７１で生成したＦｅｒｎ型識別器と、そのＦｅｒｎ型識別器の各識別結果列に対応する仮説情報が選択されることになる。ここまでの処理は、図８のステップＳ８０（識別器生成）からステップＳ８９（特徴選択）までの処理に対応し、ステップＳ２０〜Ｓ２９と同様である。

ステップＳ８１０において、識別器評価部７１０は、特徴選択部７９で選択した識別データに対応する、特徴評価部７８で求めた、特徴としての有用度（＝識別度／当該識別結果列となった識別データの個数）の総和を求める。本実施形態でも、登録姿勢画像データベース７０に記録されている画像枚数は１０００枚であり、１枚の画像について、特徴としての有用度が高い上位５０個の識別データが選択される。そのため、識別器評価部７１０は、特徴選択部７９で選択した１０００×５０＝５００００個の識別データに対応する、特徴としての有用度の総和を求めることになる。ここで求めた、特徴としての有用度の総和は、特徴としての有用度が高い識別データが、どれだけ選択できたかを示しているため、その識別器の評価値として用いることができる。そのため、後の識別器選択部７１１では、この識別器の評価値を用いて識別器を選択することにより、より良い識別器を選択するようにする。

識別器評価部７１０での処理が終了した後、予め定めた所定の候補数Ｍ（例えば、Ｍ＝１００など）に達するまで、識別器生成部７１での処理に戻り、新たな識別器を生成して、同様に、識別器評価部７１０までの処理を繰り返し行う。ここでの繰り返し処理は、図８の「候補数＝Ｍ」か否かによる分岐処理である、ステップＳ８１１によるループ処理に対応する。このループ処理により、全部でＭ個のＦｅｒｎ型識別器と、それぞれに対応して選択された識別データ、及び、識別器評価部７１０でそれぞれの識別器について求めた識別器の評価値が取得されることになる。ここで、識別器の評価値とは、選択された識別データに対応する、特徴としての有用度の総和となる。

次に、ステップＳ８１２において、識別器選択部７１１は、上記処理により取得されたＭ個の識別器の評価値に基づき、１つの識別器を選択する処理を行う。ここでは単純に、識別器の評価値が最も高かった識別器を、Ｍ個の識別器から選択する処理を行う。なお、本実施形態では１つの識別器を選択するが、選択する識別器の個数は２個以上としてもよい。すなわち、評価値の高い順に所定数（＜Ｍ）の識別器を選択するようにしてもよい。

最後に、ステップＳ８１３において、結果出力部７１２は、識別器選択部７１１で選択された識別器について、識別器選択部７１１で選択されたＦｅｒｎ型識別器の各識別結果列に対応する仮説情報を求める。この処理は、第１実施形態における結果出力部１１０による処理と同様である。そして、結果出力部７１２は、これらの仮説情報と、識別器選択部７１１で選択されたＦｅｒｎ型識別器の情報をセットにして出力する。

以上の処理により、複数のＦｅｒｎ型識別器の中から、１つのＦｅｒｎ型識別器と、そのＦｅｒｎ型識別器の各識別結果列に対応する仮説情報を選択することができる。このように、第２実施形態の特徴選択方法では、選択された特徴に対する評価値を用いることで、その識別器に対する評価を行うことも可能になる。そのため、結果として、最終的な識別精度が高くなるような特徴選択が実現できる可能性が高くなる。また、本実施形態における識別器の選択は、別の見方をすると、識別器において参照する点の位置を選択していることになり、どのような参照点を用いるか、つまり、どの位置の値を特徴として用いるのかを選択しているとも解釈できる。

第２実施形態の特徴選択方法により選択した特徴を用いたパターン識別方法では、上記説明した結果出力部７１２で出力されたＦｅｒｎ型識別器を用いて第１実施形態と同様の識別処理が行なわれる。無論、このＦｅｒｎ型識別器の各識別結果列に対応する仮説情報として、本実施形態の特徴選択法により選択した識別データから求めた仮説情報を用いるようにする。上記説明した本実施形態の特徴選択方法を繰り返し行い、必要な数のＦｅｒｎ型識別器を生成し、それを用いる部分も、第１実施形態と同様である。これにより、第１実施形態と同様、実際に使用する識別器を考慮して選択された仮説情報を用いた識別処理が可能となる。また、より良い特徴が選択できた識別器を用いるようにするため、結果として、最終的な識別精度が向上する可能性が高くなる。

（第３実施形態）
第３実施形態では、１つの識別器に用いる仮説情報を選択する、第１実施形態で説明した方法の変形例について説明する。尚、本実施形態は、第１実施形態と比較して、図１の特徴選択部１９での処理が異なるのみである。そこで、第３実施形態の説明では、この差異部分のみ説明し、その他の部分については説明を省略する。また、本実施形態における特徴選択方法の処理構成図、及び、処理フローは、第１実施形態における特徴選択方法と同様であるので、図１、及び、図２を用いて、本実施形態の特徴選択方法の例について説明する。

登録姿勢画像データベース１０から特徴評価部１８までの処理部は、第１実施形態と全く同様である。ここまでの処理により、第１実施形態と同様に、識別データ保持部１７に多数の識別データが記録され、記録された全識別データそれぞれの、特徴としての有用度が求められることになる。ここまでの処理は、図２の識別器生成ステップＳ２０から特徴評価ステップＳ２８までの処理に対応する。

ステップＳ２９において、特徴選択部１９は、第１実施形態と同様に、特徴評価部１８で求めた、各識別データの、特徴としての有用度に基づき、それぞれの識別結果列に対応させる仮説情報として、用いるべき識別データを選択する。ただし、第１実施形態では、登録姿勢画像データベース１０に記録されている全画像データそれぞれについて、所定個数の識別データを選択したが、第３実施形態においては、各識別結果列それぞれに対して、識別データの選択を行う。具体的には、全識別結果列それぞれについて、同一の識別結果列であった識別データの内、特徴評価部１８で求めた、特徴としての有用度が最も高かったものを、当該識別結果列に対応する識別データとして選択する。本実施形態のＦｅｒｎ型識別器も、１６個の要素識別器からなるので、２^１６＝６５５３６種類の識別結果列それぞれについて、対応する識別データが選択されることになる。６５５３６種類の識別結果列の中には、識別データ保持部１７に、１つも対応する識別データが記録されていない場合もあるので、ここでの処理により、最大で６５５３６個の識別データが選択されることになる。ここでの処理は、図２の特徴選択ステップＳ２９に対応する。

本実施形態のように、各識別結果列に対して識別データを選択することで、全識別結果列に対してバランス良く識別データが選択されることになり、結果として、情報効率の高いＦｅｒｎ型識別器を生成することが可能になる。尚、本実施形態では、特徴としての有用度が最大である識別データのみを、当該識別結果列に対応する識別データとして選択した。しかし、例えば、特徴としての有用度が、上位所定個までの識別データを選択しても良いし、最大であった特徴としての有用度に対し、所定割合以上（例えば０．８倍以上等）の特徴としての有用度であった識別データを選択する等しても構わない。

最後に、ステップＳ２１０において、結果出力部１１０は、第１実施形態と同様に、特徴選択部１９で選択した識別データに基づき、Ｆｅｒｎ型識別器の各識別結果列に対応する仮説情報を求める。そして、結果出力部１１０は、これらの仮説情報と、Ｆｅｒｎ型識別器の情報をセットにして出力する。

以上の処理により、第３実施形態によれば、第１実施形態と同様、Ｆｅｒｎ型識別器の、各識別結果列に対応する仮説情報を選択することが可能になる。第３実施形態でも、予め生成した識別器を用いて、各特徴の評価を行うため、結果として、最終的な識別精度が高くなるような特徴選択が実現できる可能性が高くなる。また、前述のように、第３実施形態では、バランスの良いＦｅｒｎ型識別器が生成できるので、情報効率の高いＦｅｒｎ型識別器を生成することができる。

第３実施形態の特徴選択部１９での処理は、特徴としての有用度を、同一の識別結果列となった識別データ間で相対的に比較している。そのため、実際は、各識別データの、特徴としての有用度を、第１実施形態と同様に、同一の識別結果列となった識別データの個数で除することによって求める必要はなく、各識別データの識別度を、そのまま特徴としての有用度としても、選択結果は変わらない。ただし、第２実施形態のように、特徴としての有用度の総和を用いて複数の識別器から１つの識別器を選択する場合は、第１実施形態と同様に、同一の識別結果列となった識別データの個数で識別度を除することにより特徴としての有用度を求めるのが好適である。

なお、第３実施形態の特徴選択方法により選択した特徴を用いたパターン識別方法は、第３実施形態の結果出力部１１０で出力された結果を用いること以外は、第１実施形態と全く同様である。

（第４実施形態）
第４実施形態では、他の実施形態と同様、識別器に用いる仮説情報を選択する方法の例について説明する。第４実施形態では、他の実施形態と異なり、識別器として、Ｆｅｒｎ型識別器ではなく、線形二値識別器を用いる。線形二値識別器とは、所定の基底ベクトルｗと、入力ベクトルｚの内積を求め、その内積値に応じて｛０、１｝のいずれかを出力する識別器である。第４実施形態では、基底ベクトルの次元は、２１×２１＝４４１次元であり、入力ベクトルｚは、処理基準位置を中心とする２１×２１画素の領域の値を、ラスタスキャン的に並べた４４１次元のベクトルである。そして、第４実施形態では、この基底ベクトルｗと入力ベクトルｚの内積値を求め、それが０以下であれば０、そうでなければ１を出力する。第４実施形態の識別器は、参照するデータ数が４４１個であるので、上述した第１〜第３実施形態と比較すると多い。しかし、元々のデータは２００×２００画素＝４００００個のデータからなるので、これと比較すると、限られた特徴のみを用いた識別を行うことになる。

この識別器を用いた識別処理は、基本的には、第１実施形態の説明において述べた識別処理と同様である。ただし、前述の識別処理では、各処理基準位置において、Ｆｅｒｎ型識別器を適用し、識別結果列を求めるようにしたが、第４実施形態では、上記線形二値識別器を用いて｛０、１｝のいずれの値であるかを求めることになる。そして、この出力に応じた仮説個数、及び、その仮説個数分の仮説情報を参照して、その情報を累積的に記録する。つまり、仮説情報の累積的な記録の部分に関しては、Ｆｅｒｎ型識別器での識別結果列に基づくか、線形二値識別器の｛０、１｝の出力結果に基づくかが異なるのみである。このため、本実施形態の特徴選択方法では、線形二値識別器の｛０、１｝の出力それぞれに、どのような仮説情報を対応させるかを選択することになる。

図９に、第４実施形態における特徴選択方法、つまり、識別器の識別結果列に対応させる仮説情報を選択する方法の処理構成図を示す。また、図１０は、第４実施形態における、本特徴選択方法の処理フローを示した図である。以下、図９、及び、図１０を用いて、第４実施形態の特徴選択方法の例について説明する。尚、第４実施形態の構成、処理のうち第１実施形態と同様のものについては、適宜、説明を省略する。

登録姿勢画像データベース９０は、第１実施形態と同様、識別対象である物体Ａを、様々な方向から撮像した画像、及び、その相対姿勢情報が記録されているものである。ただし、第１実施形態の登録姿勢画像データベース１０では、１つの相対姿勢に対応する画像は１枚だったのに対し、第４実施形態では、同じ相対姿勢に対し、複数枚の画像が記録されている。具体的には、第４実施形態においては、１つの相対姿勢に対して１０枚の画像が記録されている。この１０枚の画像は、同じ相対姿勢で、照明等の撮影条件を変更して撮像した１０枚の画像である。登録姿勢画像データベース９０に記録されている相対姿勢情報の個数が第１実施形態と同様に１０００個であるとすれば、第４実施形態では、全部で１０００×１０＝１００００枚の画像が登録姿勢画像データベース９０に記録されていることになる。

ステップＳ１００において、識別器生成部９１は、上記説明した線形二値識別器を生成する。本実施形態では、４４１次元のベクトルの各要素をランダムに設定したランダムベクトルを、線形二値識別器の基底ベクトルｗとする線形二値識別器を生成する。

ステップＳ１０１において、画像セット入力部９２は、登録姿勢画像データベース９０に記録されている１セットの画像データを順次１セットずつ入力する。ここでの１セットとは、同一の相対姿勢である複数枚の画像を１セットとしたもののことであり、本実施形態では、上述のように、１０枚の画像が１セットとなる。

ステップＳ１０２において、前処理部９３は、第１実施形態と同様な、平滑化、エッジ抽出処理を、画像セット入力部９２で入力した画像セットのそれぞれの画像に対して行い、前処理済み画像セットを生成する。ここでの平滑化等の処理は第１実施形態と同様であり、詳細な説明は省略する。

ステップＳ１０３において、処理基準位置設定部９４は、第１実施形態の処理基準位置設定部１４と同様に、後段の識別結果推定部９５での処理における処理基準位置を設定する。ここで設定された処理基準位置は、前処理部９３で生成された前処理済み画像セットのそれぞれの前処理済み画像について共通の処理基準位置となる。

ステップＳ１０４において、識別結果推定部９５は、処理基準位置設定部９４で設定した処理基準位置で、前処理部９３で生成した前処理済み画像セットのそれぞれの前処理済み画像に対し、識別器生成部９１で生成した線形二値識別器による識別処理を行う。そして、識別結果推定部９５は、それらの結果に基づいて、この線形二値識別器を用いた、当該処理基準位置での識別結果が、｛０、１｝のいずれの結果となる可能性が高いかを推定し、可能性が高い方の出力結果を推定出力結果として求める。具体的には、まず、それぞれの前処理済み画像について、処理基準位置を中心とする２１×２１画素の領域の値をラスタスキャン的に並べたベクトルｚと、識別器生成部９１で生成した線形二値識別器の基底ベクトルｗとの内積値を求める。そして、各画像（本実施形態では１０枚の画像の各々）に対して求めた内積値の平均を求め、その平均値が０以下であれば０、そうでなければ１という結果を推定出力結果とする。このように、第４実施形態では、１つの処理基準位置において、複数のデータに対して処理を行い、その結果を統合することにより、識別器の出力結果として可能性が高い、推定出力結果を推定する。

ステップＳ１０５において、識別度記録部９６は、識別結果推定部９５で求めた推定出力結果に関する識別度を算出し、これを識別データ保持部９７に記録する。ここでの識別度は、第１実施形態等と同様に、識別結果推定部９５で求めた推定出力結果に対する確信度を表すようなものである。第４実施形態では、まず、線形二値識別器の基底ベクトルと、処理基準位置における入力ベクトルとの内積値を確率変数とみなし、その分布が正規分布であると仮定してモデル化する。そして、そのモデルに基づいて、識別結果推定部９５で求めた推定出力結果が得られる確率値を求め、その確率値を識別度として用いる。

この確率値は、具体的には、以下のように求める。まず、識別結果推定部９５により求められた、各前処理済み画像に対応する内積値に基づいて、それらの分散σ^２を算出する。これは、識別結果推定部９５で求めた、各前処理済み画像に対する内積値を｛ａ_ｉ｝（ｉ＝１、２、・・・、ｎ）、内積値の平均値をμとした時、以下の式１により求められる。尚、本実施形態では、前述のように、ｎ＝１０である。

次に、内積値の平均値μから、識別器の出力が変化する境界までのマハラノビス距離Ｄを求める。本実施形態では、識別器の出力は、内積値０を境界にして変化するので、平均値μから０までのマハラノビス距離を求めることになる。また、ここで求めるマハラノビス距離は、内積値は１次元であるので、単純に、平均値μから０までの距離｜μ−０｜＝｜μ｜を、標準偏差（分散の平方根）で除することにより求められる。つまり、識別器の出力が変化する境界までのマハラノビス距離Ｄは、Ｄ＝｜μ｜／σとなる。最後に、識別結果推定部９５で求めた推定出力結果が得られる確率値ｐを、以下の式２により求める。

このようにして求めた確率値ｐを、識別結果推定部９５で求めた推定出力結果に関する識別度として用いる。識別度記録部９６は、この識別度、及び、推定出力結果と共に、第１実施形態と同様、識別器の推定を行った画像セットに対応する相対姿勢情報、及び、処理基準位置を、１セットの識別データとして識別データ保持部９７に記録する。上記のように、第４実施形態では、複数のデータを用いた分布の推定を行い、推定出力結果が得られる確率値を、その分布に基づいて算出し、それを識別度として用いるようにする。このように、本発明の特徴選択方法における識別度は、１つのデータから求める方法のみに限らず、複数のデータを用いて求めることも可能である。

第４実施形態において、線形二値識別器は、基底ベクトルとの内積値に基づいて識別結果を出力する。このため、この線形二値識別器により定義される識別空間は、基底ベクトルとの内積値を軸とする１次元空間、つまり、基底ベクトルによる線形写像空間と考えることができる。そして、第４実施形態の線形二値識別器では、この１次元空間の原点、即ち、内積値０を境界として、線形二値識別器の出力が変化する。このため、上記識別度は、複数のデータを識別空間に写像した時の平均値と、当該識別空間における原点、つまり、識別器の出力が変化する境界点とのマハラノビス距離に基づいて算出していると解釈できる。また、マハラノビス距離は、データの分布を考慮した距離尺度であるので、データの分布と、識別器の出力が変化する境界点との関係に基づいて、識別度と求めているともいえる。

上記説明した、識別結果推定部９５、及び、識別度記録部９６での処理を、第１実施形態と同様に処理基準位置を変えながら、１つの画像セットに対して繰り返し行う。ここでの繰り返し処理は、図１０の全位置の設定が終了したか否かに基づく分岐を行うステップＳ１０６によるループ処理に対応する。このループ処理により、第１実施形態と同様、多数の識別データが識別データ保持部９７に記録されることになる。更に、第１実施形態と同様に、上記１つの画像セットに対するループ処理を、登録姿勢画像データベース９０に記録されている全ての画像セットに対して繰り返し行う。ここでの更なる繰り返し処理は、図１０の全画像セットについて処理が行なわれたか否かに基づく分岐を行うステップＳ１０７によるループ処理に対応する。

ステップＳ１０８において、特徴評価部９８は、第１実施形態と同様、識別データ保持部９７に記録された多数の識別データそれぞれについて、特徴としての有用度を求める。ただし、第１実施形態では、各識別データの識別度を、同一の識別結果列であった識別データの個数で除することにより求めたが、第４実施形態では、単純に、各識別データの識別度を、そのまま、特徴としての有用度とする。

ステップＳ１０９において、特徴選択部９９は、特徴評価部９８で求めた、各識別データの、特徴としての有用度に基づき、識別器生成部９１で生成した線形二値識別器の｛０、１｝の出力それぞれに、どのような仮説情報を対応させるかを選択する。第４実施形態では、第３実施形態と同様に、各出力それぞれに対して、所定個数の識別データの選択を行うが、単純に、特徴としての有用度の高い順に選択するのではなく、特徴としての有用度の高さに基づく確率で、ランダムに所定個数の識別データを選択する。第４実施形態では、具体的には、推定出力結果が同一であった識別データから、特徴としての有用度に比例する確率に従い、重複を許さず、ランダムに２０個の識別データを選択する。第４実施形態の推定出力結果は｛０、１｝であるので、それぞれの場合について２０個の識別データを選択することになり、計４０個の識別データが選択される。

最後に、ステップＳ１０１０において、結果出力部９１０は、他の実施形態と同様、特徴選択部９９で選択した識別データに基づいて、線形二値識別器の｛０、１｝の出力に対応する仮説情報を求める。そして、結果出力部９１０は、これらの仮説情報と、当該線形二値識別器の情報をセットにして出力する。

以上の処理により、線形二値識別器の出力に対応する仮説情報を選択することが可能になる。第４実施形態でも、予め生成した識別器を用いて、各特徴の評価を行うため、結果として、最終的な識別精度が高くなるような特徴選択が実現できる可能性が高くなる。このように、本発明の特徴選択方法は、第１実施形態等のように、Ｆｅｒｎ型識別器に限るものではなく、その他の識別器を用いても実施可能である。なお、識別処理において複数の識別器を用いる場合は（図３，４により上述した例では５０個）、上記第４実施形態の特徴選択方法を繰り返し行い、必要な数の線形二値識別器を生成し、それらを用いるようにすれば良い。

また、本実施形態の線形二値識別器を１つの要素識別器とみなし、これを複数連結して１つの識別器とし、各線形二値識別器の出力結果を並べた識別結果列を、この識別器の出力とするような形態も実施可能である。この場合、識別度記録部９６で求めた識別度を、要素識別度とみなし、複数の線形二値識別器において得られる要素識別度を統合して、全体の識別度を求めるようにすれば良い。統合の方法としては、第１実施形態と同様に、単純に要素識別度の総和を求める方法等も考えられるが、第４実施形態では確率値を用いているので、各要素識別度の積を求めるようにするのが好ましい。

更に、上記実施形態では、識別値が二値である識別器を用いていたが、本発明はこれに限るものではなく、多値出力の識別器を用いても構わない。この場合でも、上記実施形態と同様、識別度として、その識別器によって得られる結果の確信度に類する値を求め、それを用いて特徴の選択を行えば良い。また、本実施形態の特徴選択部９９での処理のように、ただ単に、特徴としての有用度が高い順に選ぶのではなく、特徴としての有用度の高さに従う確率で、ランダムに特徴を選択するようにしても良い。

尚、上記説明した各実施形態では、全て、画像中に存在する特定の物体の、位置、及び、姿勢を推定する処理に用いる識別器に関する例を説明したが、本発明の特徴選択方法は、これに限るものではない。例えば、人物の顔画像に基づいて、その人物が誰であるかを識別する処理に用いる識別器において、その識別器で用いる特徴を選択するような手法にも適用可能である。また、上記実施形態では、全て、いわゆるマルチクラスの問題の例のみを示したが、いわゆる２クラス問題も、マルチクラス問題の特別な場合とみなせるので、本特徴選択方法が、２クラス問題にも適用可能であることは言うまでもない。

また、上記説明した実施形態では、全て、２次元画像に対する特徴選択方法の例を説明したが、本発明は、２次元画像に限るものではない。例えば、１次元の音声データや、３次元のボリュームデータ等、その他の属性のデータにおいても、本発明が適用可能であることは言うまでもない。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 抽出手段が、学習用のデータから複数の部分データを抽出する抽出工程と、
   第１の取得手段が、前記複数の部分データそれぞれから特徴量を取得する第１の取得工程と、
   第２の取得手段が、前記取得された特徴量に基づいて、前記抽出工程で抽出された前記複数の部分データの各々を識別器によって処理させることにより、前記複数の部分データに対する複数の識別値と、前記識別値それぞれが前記特徴量の変動に対して安定している度合いを表す識別度を取得する第２の取得工程と、
   評価手段が、前記第２の取得工程で取得された前記識別度に基づいて、前記複数の部分データの各々を評価する評価工程と、
   選択手段が、前記評価工程における評価の結果に基づいて、前記複数の部分データから、前記識別器の学習に用いるべき部分データを選択する選択工程と、を有することを特徴とする情報処理方法。
2. 生成手段が、識別器に異なる識別規則を設定することで複数の識別器を生成する生成工程を更に有し、
   前記第１の取得工程では、前記複数の識別器の各々で用いるべき特徴量が取得される、ことを特徴とする請求項１に記載の情報処理方法。
3. 識別器選択手段が、前記複数の識別器の各々を識別器によって得られた識別度に基づいて評価し、前記複数の識別器から評価の高い順に、所定数の識別器を選択する識別器選択工程を更に有する、ことを特徴とする請求項２に記載の情報処理方法。
4. 前記識別器は、各々が識別値を出力する複数の要素識別器を有し、
   前記第２の取得工程では、前記識別器により、前記複数の要素識別器が出力した複数の出力値が並ぶ識別結果列を前記識別値として取得することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理方法。
5. 前記第２の取得工程では、前記複数の要素識別器が出力した前記複数の出力値のそれぞれについて識別度を算出して複数の識別度を取得し、
   前記評価工程では、前記複数の識別度の総和に基づいて前記識別値を評価することを特徴とする請求項４に記載の情報処理方法。
6. 前記評価工程では、前記識別度と、前記識別値の特異性とに基づいて前記特徴を評価する、ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理方法。
7. 前記第２の取得工程では、前記特徴量を表現する空間において前記識別器により得られる識別値が変化する境界と、前記部分データについて得られた特徴量の位置との距離に基づいて前記識別度を算出することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理方法。
8. 前記識別器は、前記特徴量から中間処理結果を求め、前記中間処理結果に基づいて前記識別値を出力し、
   前記空間とは、前記中間処理結果を表現する空間であることを特徴とする請求項７に記載の情報処理方法。
9. 前記識別器は、前記部分データの第１の特徴量から第２の特徴量を引いた結果が０より大きいか否かの判定結果の列を前記識別値として出力するＦｅｒｎ型識別器であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理方法。
10. 前記識別器は、基底ベクトルと入力ベクトルとの内積に基づいて識別値を出力する線形二値識別器であり、
    前記第１の取得工程では、前記複数の部分データの各々から入力ベクトルを前記特徴量として生成し、
    前記第２の取得工程では、
    データセットを構成する複数の学習用のデータの同じ部分から抽出された各部分データについて前記第１の取得工程が生成した入力ベクトルに前記識別器を適用して得られた複数の内積値の平均値に基づいて前記識別値を取得し、
    前記複数の内積値の分布を前記識別器により定義される識別空間において推定し、前記識別空間における識別値が変化する境界と前記平均値との関係を前記推定した分布に基づいて求めることにより、前記識別度を取得することを特徴とする請求項１に記載の情報処理方法。
11. 請求項１乃至１０のいずれか１項に記載された情報処理方法により選択された部分データを用いて学習された識別器を用いてデータ中の識別対象を識別するパターン識別方法であって、
    識別手段が、前記データから取得された複数の部分データについて前記識別器を適用して識別値を取得する取得工程と、
    分類手段が、取得された識別値に基づいて前記データを所定のクラスに分類する工程と、を有することを特徴とするパターン識別方法。
12. 学習用のデータから複数の部分データを抽出する抽出手段と、
    前記複数の部分データそれぞれから特徴量を取得する第１の取得手段と、
    前記取得された特徴量に基づいて、前記抽出手段により抽出された前記複数の部分データの各々を識別器によって処理させることにより、前記複数の部分データに対する複数の識別値と、前記識別値それぞれが前記特徴量の変動に対して安定している度合いを表す識別度を取得する第２の取得手段と、
    前記第２の取得手段によって取得された前記識別度に基づいて、前記複数の部分データの各々を評する評価手段と、
    前記評価手段による評価の結果に基づいて、前記複数の部分データから、前記識別器の学習に用いるべき部分データを選択する選択手段と、を備えることを特徴とする情報処理装置。
13. 請求項１２に記載された情報処理装置により選択された部分データを用いて学習された識別器を用いてデータ中の識別対象を識別するパターン識別装置であって、
    前記データから取得された複数の部分データについて前記識別器を適用して識別値を取得する識別手段と、
    取得された識別値に基づいて前記データを所定のクラスに分類する分類手段と、を備えることを特徴とするパターン識別装置。