JP3906197B2

JP3906197B2 - パターン識別方法及びパターン識別装置及びプログラム

Info

Publication number: JP3906197B2
Application number: JP2003360687A
Authority: JP
Inventors: 雄志三田; 敏充金子; 修堀
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-10-21
Filing date: 2003-10-21
Publication date: 2007-04-18
Anticipated expiration: 2023-10-21
Also published as: JP2005128628A

Description

本発明は、画像処理の技術分野におけるパターン識別に係わり、特に、パターン識別における照合（マッチング）に用いられるテンプレートの生成ならびに同テンプレートを用いたパターン識別のための方法、装置、およびプログラムに関する。

複数の画像同士の類似性を判定する方法として画像照合がある。画像照合は、画像中から特定の物体を検出する際や、画像検索を行う際に用いられる。画像照合では、あらかじめ準備しておいた見本画像（テンプレートとも呼ばれる）と対象画像の２枚を用い、何らかの測度に基づきこれら２枚の画像の類似度を評価する。

画像照合の実応用を想定した場合、照明変動や遮蔽などの不良条件に対する頑健性が必要となる。また、例えば顔のように個人差や表情の変化が存在する対象（クラス）を検出する場合には、クラス内の変動を許容できることも必要である。これら２つの要求を満たす照合方法として、空間差分確率テンプレートが提案されている（下記非特許文献１参照）。この方法は、近傍画素の明度の大小関係にのみ着目するため、その大小関係が逆転しない範囲のノイズに対しては影響されないという特徴がある。また、画像の各画素の位置における大小関係の傾向を、複数の見本画像から統計的に取得することによって、クラス内の変動に対処している。

さらに、空間差分確率テンプレートが従来の画像照合方法と大きく異なるのは、検出対象と区別したい別の対象の見本を用いることによって、クラス間の識別精度を向上させる工夫がなされている点である。正規化相関をはじめとする従来の画像照合方法では、区別したい対象は設定されない（下記非特許文献２参照）。

画像中には、本来検出したい対象によく似たまぎらわしい領域が数多く存在する。検出したい対象を検出漏れ（未検出）することなく、これらのまぎらわしい領域を誤って検出（誤検出）する回数を削減する必要がある。これらは、互いにトレードオフの関係にあり、利用目的に応じて、照合しきい値を調整することによって未検出と誤検出の比率を変えることができる。下記非特許文献１によれば、空間差分確率テンプレートは、適切なしきい値を設定することにより、従来手法より未検出、誤検出をともに削減することが可能な方法である。
三田雄志，金子敏充，堀修，「微少な差異を含む画像の照合に適した空間差分確率テンプレートの提案」，第9回画像センシングシンポジウム講演論文集, pp. 561-566, 2003 金子俊一「実世界マシンビジョンのためのロバスト画像照合技術」，電学論, Vol.121-C, No.5, pp.830-834, 2001

画像から対象を検出するという課題では、未検出を増加させずに誤検出をできるかぎり削減することが重要である。しかし、それを実現するためのテンプレート生成法やパラメータの決定法が従来では定式化されておらず、実応用の場面では経験的にテンプレートを調整（チューニング）する必要があることから不便を来している。

したがって本発明は、パターン識別における多段階の照合（マッチング）に用いられるテンプレートの自動生成ならびに同テンプレートを用いたパターン識別を実現するための方法、装置、およびプログラムを提供することを目的とする。

本発明の一観点に係るテンプレート生成方法は、前記第１のテンプレートと前記複数の学習サンプルの各々との類似度を計算する第１の類似度計算ステップと、前記第１の類似度計算ステップにより前記複数の学習サンプルの全てについて計算された類似度の頻度分布を計算する第１の分布計算ステップと、前記第１の分布計算ステップにより計算された類似度の頻度分布に基づいて、第１段階の照合において前記第１のテンプレートと共に用いられる２つの類似度に相当する第１、第２のしきい値を計算するしきい値計算ステップと、前記複数の学習サンプルから、前記第１、第２のしきい値からなる値域に含まれる類似度を有する学習サンプルを抽出する抽出ステップと、前記抽出ステップにおいて抽出された学習サンプルから、第２段階の照合に用いられる第２のテンプレートを生成する生成ステップとを具備するテンプレートの生成方法である。

本発明の一観点に係るパターン識別方法は、第１のテンプレート及び該第１のテンプレートのための第１、第２のしきい値と、第２のテンプレート及び該第２のテンプレートのための第３のしきい値とを用いた多段階の照合によって、未知の入力パターンが検出対象であるか否かを識別するパターン識別方法であって、前記未知の入力パターンと前記第１のテンプレートとの類似度を計算する第１の計算ステップと、前記第１の計算ステップにより計算された類似度が前記第１のしきい値を下回るならば前記未知の入力パターンは検出対象ではないと判定する第１の判定ステップと、前記類似度が前記第２のしきい値を上回るならば前記未知の入力パターンは検出対象であると判定する第２の判定ステップと、前記第１及び第２の判定ステップのいずれの判定結果によっても前記未知の入力パターンは検出対象であるか否かが不明ならば、該未知の入力パターンと前記第２のテンプレートとの類似度を計算する第２の計算ステップと、前記第２の計算ステップにより計算された類似度が前記第３のしきい値を下回るならば前記未知の入力パターンは検出対象ではないと判定し、該類似度が前記第３のしきい値を上回るならば前記未知の入力パターンは検出対象であると判定する第３の判定ステップと、を具備するパターン識別方法である。

本発明によれば、パターン識別における多段階の照合（マッチング）に用いられるテンプレートの自動生成ならびに同テンプレートを用いたパターン識別を実現する方法、装置、およびプログラムを提供できる。本発明により生成されたテンプレートを用いて多段階の照合を行うことにより、未検出を増加させることなく誤検出を削減することができる。

本発明の一実施形態を図面を参照しながら説明する。本実施形態は汎用のコンピュータを用いた画像処理装置として実現することができ、同装置は、図示しないＣＰＵ、メモリ、入出力インターフェース、キーボード、ディスプレイといったコンピュータの基本構成要素を備える。本発明はコンピュータを動作させるためのプログラムとして実施することもできる。

図１は、パターン識別における照合に用いられるテンプレートの生成手順を示すフローチャートである。図１においては、フローチャートの各ステップに対比させて、各ステップの処理によって得られるデータについても同時に示してある。まず事前準備として、第１のテンプレート１０１および学習サンプル１０２を用意する。第１のテンプレート１０１の具体例として、例えば多数のサンプル画像の各画素における明度の平均値からなる画像を用いることができる。あるいは、上記非特許文献１に示される空間差分確率テンプレートを用いても良い。学習サンプル１０２は第１のテンプレート１０１を生成するのに使用した画像を含んでもよいし、別途収集してもよい。ただし、検出対象（以下、「ターゲット(Target)」と表記する）および区別したい対象（以下、「非ターゲット(Nontarget)」と表記する）の２種の画像をなるべく多く含む必要がある。例えば、顔を検出する場合、ターゲットとして顔の見本画像、非ターゲットとして顔以外の画像が必要となる。顔以外の画像は、顔が含まれない画像を多数収集することによって得ることができる。ステップＳ１０１では、学習サンプル１０２に含まれる各画像に対して第１のテンプレート１０１を用いて類似度を算出し、各類似度の生起頻度を求める。全ての類似度の生起頻度はすなわち類似度の頻度分布である。ある類似度の生起頻度は、該類似度が得られたサンプル画像の数の、全サンプル画像（枚）数に対する比率として計算することができ、後述する各類似度の生起確率と実質的に同じである。

類似度としては、正規化相関や増分符号相関などの相関値を用いることができる。また、上記非特許文献１に示される空間差分確率テンプレートに基づく類似度を用いてもよい。

図１のグラフに示すように、ターゲットの見本画像に対する類似度の頻度分布は曲線１０３のように得られ、非ターゲットの見本画像に対する類似度の頻度分布は曲線１０４のように得られる。これらの分布曲線１０３、１０４は、通常、図１に示すように裾野の部分で重なりを有する。この分布の重なりがより小さいほど、それは精度の高い照合方法といえる。仮に、全く重なりの無い分布が得られた場合、これら分布間にしきい値を設定することによって、未検出および誤検出を０にすることができる。

次に、ステップＳ１０２において、しきい値T1およびT2を計算する。これらしきい値の計算方法は後述する。図１における参照数字１０５はしきい値T1を示しており、参照数字１０６はしきい値T2を示している。ただし、T1<T2である。

次に、ステップＳ１０３では、学習サンプル１０２のうち、第１のテンプレート１０１との類似度がしきい値T1以上T2以下であったサンプル画像、すなわち[T1,T2]区間内のサンプル画像のみを抽出する。この抽出された学習サンプル１０７に含まれるターゲットおよび非ターゲットのサンプル画像は、識別が困難なまぎらわしい画像であることが多い。そこで、ステップＳ１０４において、これらの画像を識別するのに適した第２のテンプレート１０８を生成する。第２のテンプレート１０８としては、学習サンプル１０７に含まれるターゲットから生成した平均画像を用いてもよいし、あるいはターゲットおよび非ターゲットのサンプル画像から生成した空間差分確率テンプレートを用いてもよい。空間差分確率テンプレートは、ターゲットと非ターゲットを識別するのに有効な特徴を強調して識別を行うことができる。

続くステップＳ１０５においては、学習サンプル１０７に対して第２のテンプレート１０８を適用して類似度の頻度分布を算出する。ここでの分布の求め方は、ステップＳ１０１と同様である。これにより、ターゲットの分布曲線１１０、非ターゲットの分布曲線１０９がそれぞれ図示のように得られる。第２のテンプレート１０８は、限定的な学習サンプル１０７に含まれるターゲットと非ターゲットを識別するために生成されるので、分布曲線１０５と１０６の重なり部分に比べて、分布曲線１０９と１１０の重なり部分を小さくすることができる。上述したように、この重なりが小さいほど、照合の精度は高くなる。

最後にステップＳ１０６においては、第３のしきい値T3を計算する。このしきい値T3は照合の最終段階において用いられる。しきい値T3の計算方法についても後述するが、例えば図１におけるグラフにおいて参照数字１１１のようにしきい値T3を求めることができる。

以上のステップＳ１０１〜Ｓ１０６の処理によれば、ターゲットと非ターゲットを２段階の照合により識別するため用いられる２種類のテンプレートを完成でき、各々のテンプレートを用いた照合に用いられる３つのしきい値を学習することができる。なお、ステップＳ１０１からステップＳ１０４までの処理を繰り返せば、識別が困難となるサンプル画像が繰り返しに応じて更に限定されていくことから、これらの識別に好適な２つ以上のテンプレートを生成することができる。処理の繰り返しを一回増加するごとに、生成されるテンプレートは１つ、しきい値は２つずつ増加する。生成されたテンプレートを多段階の照合に適用することによって、識別誤りを減少させることが期待できる。ただし、処理を繰り返す度に、学習サンプルの数が減少していくため、十分なサンプル数が得られなくなった時点で、繰り返しを終了する必要がある。ここでは、説明を簡単にするために処理は繰り返さず１度だけの例を示した。

図２は、ターゲットと非ターゲットの類似度の確率分布から、それらを識別するためのしきい値Tを求める方法を説明するための図である。図２のグラフにおいて、横軸２０１は類似度の値である。横軸２０１の右にいくほど類似度が高いことを意味する。縦軸２０２は各類似度の生起確率（すなわち、ある類似度が得られたサンプル画像の数の、全サンプル画像（枚）数に対する比率）の値である。縦軸２０２の上にいくほど生起確率が高いことを意味する。２０３はターゲットに対する類似度の確率分布、２０４は非ターゲットに対する類似度の確率分布である。２０５は、ターゲットと非ターゲットを識別するためのしきい値Tである。また、２０６で示される領域の面積は、しきい値Tが設定された場合に検出漏れとなるターゲットの比率（未検出率）に相当する。同様に、２０７は、しきい値Tが設定された場合に、誤ってターゲットと判定される非ターゲットの比率（誤検出率）に相当する。しきい値Tをどのように設定するかによって、未検出率と誤検出率のバランスを変えることができる。

ここで、第１のしきい値決定方法として、例えば、未検出率もしくは誤検出率が０となるように決定する。具体的には、しきい値Tを小さな値から徐々に大きくしていき、未検出率が０より大きくなった時点のTをしきい値T1とし、逆にしきい値を大きな値から徐々に小さくしていき、誤検出率が０より大きくなった時点のTをしきい値T2とすることができる。

第２のしきい値決定方法として、例えば、未検出率と誤検出率の比と所望の損失設定との比較に基づいて決定してもよい。具体的には、未検出率をP₁(T)、誤検出率をP₂(T)とし、それらの比と損失パラメータ（コスト）を比較する。例えば、未検出率に対するコストc₁と誤検出率に対するコストc₂を用いて、

となるTをしきい値とする。例えば、c₁=100とし、c₂=1とすると、未検出率が誤検出率の１００分の１になるようなしきい値Tが得られる。逆に、c₁=1とし、c₂=100とすると、未検出率が誤検出率の１００倍となるようなしきい値Tが得られる。実際には、しきい値Tを小さな値から徐々に大きくしていき、

となった時点のTをしきい値T1とし、逆にしきい値Tを大きな値から徐々に小さくしていき、

となった時点のTをしきい値T2とすることができる。

第３のしきい値決定方法として、未検出率と誤検出率に対する期待損失を最小化することにより決定してもよい。具体的には、ターゲットおよび非ターゲットに対する類似度の確率分布が何らかの確率密度関数で与えられる場合、その確率密度関数をそれぞれp₁(s)およびp₂(s)とすると、未検出率は、

であり、誤検出率は、

と表すことができる。ただし、sは類似度である。このとき、期待損失はc=c₁p₁(T)+c₂p₂(T)と表現できる。

ここで、

に基づき、Tに関して最小化すると、

となる。これを満足する値をしきい値Tとして決定する。例えば、類似度の確率分布が正規分布で与えられる場合、確率密度関数は、平均と分散の２つのパラメータで求められ、上記の数式よりしきい値Tを解析的に計算することができる。例えば、c₁=100とし、c₂=1としてしきい値T1を求め、c₁=1とし、c₂=100としてしきい値T2を求めればよい。なお、しきい値T3についても、用途に応じて、未検出率と誤検出率に対するコストを設定し、上記いずれかの方法で求めればよい。

図３は、多段階の照合としきい値処理により、未知の入力パターンを識別する手順を示したフローチャートである。説明の簡単のため、２つのテンプレートを用いた２段階の識別フローを示すが、２段階以上の多段階としてもよい。多段階の場合は、ステップＳ３０１からＳ３０３を繰り返せばよい。ここでは、上述の手順によって完成された第１のテンプレート１０１、第２のテンプレート１０８およびしきい値T1,T2,T3を用いて識別を行う場合を取り上げて説明する。なお、例えば異なるサンプル画像から生成した２種類のテンプレートとチューニングによって経験的に得られたしきい値に基づいて識別を行うことも可能である。

まず、ステップＳ３０１において、入力パターンに対して第１のテンプレート１０１により類似度を算出する。次にステップＳ３０２において、類似度としきい値T1を比較する。類似度がしきい値T1以下ならば、入力パターンは非ターゲットであると判定し、他の場合は保留とする。保留された場合、ステップＳ３０３に進み、類似度としきい値T2を比較する。類似度がしきい値T2以上であるならば、入力パターンはターゲットであると判定し、他の場合は保留とする。保留の場合、さらにステップＳ３０４に進む。ステップＳ３０４では、第２のテンプレート１０８により類似度を計算する。次のステップＳ３０５において、この第２のテンプレート１０８に基づく類似度としきい値T3を比較する。類似度がしきい値T3以下の場合、非ターゲットであると判定し、他の場合はターゲットと判定する。以上の手順に従い、多段階の照合に基づくパターン識別を実現できる。図４に示すように、照合の各段階において異なるテンプレート及びしきい値が用いられる。これをテンプレートのカスケードという。

なお、空間差分確率テンプレートを用いる場合は、照合の際に隣接画素間の明度比較を行う必要があるが、かかる処理は第１のテンプレート１０１および第２のテンプレート１０８に共通の処理であるので、処理量の増加は抑えられる。

空間差分確率テンプレートの生成および類似度の算出方法について、以下に簡単に説明する。

W×H画素の見本画像がN枚あり、n枚目の見本画像I_nにおける位置(x,y)の画素の明度をI_n(x,y)とする。すべての見本画像に対して、隣接画素間の明度差に応じて次式のように３値の符号を割り当てる。明度を比較する画素の対は、水平方向および垂直方向の２通りとし、２つの３値符号列H_nおよびV_nを生成する。Rは明度差に対するしきい値である。

N枚の３値符号列H_nおよびV_nを用いて、各画素における符号sign={-1,0,1}の生起確率（空間差分確率）を次式により計算する。

照合の対象となる画像についても3値符号列H'(x,y)およびV'(x,y)を生成し、対象とは区別したいまぎらわしい画像の見本の空間差分確率PH^FおよびPV^Fとの比に基づいて類似度を計算する。これにより、検出対象と区別したい対象の差が強調される。実際には、この比の値をテンプレートとして保持しておく。照合は、対象画像の符号列に応じてテンプレートから確率値を参照することによって行う。類似度は、２クラスの確率値の比の平均値(s1)もしくは対数尤度比(s2)として、以下の数式にしたがい計算する。

本発明の一実施形態に係り、パターン識別における照合に用いられるテンプレートの生成手順を示すフローチャート本発明の一実施形態に係るしきい値決定方法の説明図本発明の一実施形態に係る未知入力パターンの識別方法のフローチャート本発明の一実施形態に係るテンプレートのカスケードを示す概念図

符号の説明

１０１、１０８…第１、第２のテンプレート、１０２、１０７…学習サンプル

Claims

第１の空間差分確率テンプレート及び該第１の空間差分確率テンプレートのための第１、第２のしきい値と、第２の空間差分確率テンプレート及び該第２の空間差分確率テンプレートのための第３のしきい値とを用いた多段階の照合によって、未知の入力パターンが検出対象であるか否かを識別するパターン識別方法であって、
前記未知の入力パターンと前記第１の空間差分確率テンプレートとの類似度を計算する第１の計算ステップと、
前記第１の計算ステップにより計算された類似度が前記第１のしきい値を下回るならば前記未知の入力パターンは検出対象ではないと判定する第１の判定ステップと、
前記類似度が前記第２のしきい値を上回るならば前記未知の入力パターンは検出対象であると判定する第２の判定ステップと、
前記第１及び第２の判定ステップのいずれの判定結果によっても前記未知の入力パターンは検出対象であるか否かが不明ならば、該未知の入力パターンと前記第２の空間差分確率テンプレートとの類似度を計算する第２の計算ステップと、
前記第２の計算ステップにより計算された類似度が前記第３のしきい値を下回るならば前記未知の入力パターンは検出対象ではないと判定し、該類似度が前記第３のしきい値を上回るならば前記未知の入力パターンは検出対象であると判定する第３の判定ステップと、
を具備するパターン識別方法。
第１の空間差分確率テンプレート及び該第１の空間差分確率テンプレートのための第１、第２のしきい値と、第２の空間差分確率テンプレート及び該第２の空間差分確率テンプレートのための第３のしきい値とを用いた多段階の照合によって、未知の入力パターンが検出対象であるか否かを識別するパターン識別装置であって、
前記未知の入力パターンと前記第１の空間差分確率テンプレートとの類似度を計算する第１の計算手段と、
前記第１の計算手段により計算された類似度が前記第１のしきい値を下回るならば前記未知の入力パターンは検出対象ではないと判定する第１の判定手段と、
前記類似度が前記第２のしきい値を上回るならば前記未知の入力パターンは検出対象であると判定する第２の判定手段と、
前記第１及び第２の判定手段のいずれの判定結果によっても前記未知の入力パターンは検出対象であるか否かが不明ならば、該未知の入力パターンと前記第２の空間差分確率テンプレートとの類似度を計算する第２の計算手段と、
前記第２の計算手段により計算された類似度が前記第３のしきい値を下回るならば前記未知の入力パターンは検出対象ではないと判定し、該類似度が前記第３のしきい値を上回るならば前記未知の入力パターンは検出対象であると判定する第３の判定手段と、
を具備するパターン識別装置。
第１の空間差分確率テンプレート及び該第１の空間差分確率テンプレートのための第１、第２のしきい値と、第２の空間差分確率テンプレート及び該第２の空間差分確率テンプレートのための第３のしきい値とを用いた多段階の照合によって、未知の入力パターンが検出対象であるか否かを識別するプログラムであって、
前記未知の入力パターンと前記第１の空間差分確率テンプレートとの類似度を計算する第１の計算手段と、
前記第１の計算手段により計算された類似度が前記第１のしきい値を下回るならば前記未知の入力パターンは検出対象ではないと判定する第１の判定手段と、
前記類似度が前記第２のしきい値を上回るならば前記未知の入力パターンは検出対象であると判定する第２の判定手段と、
前記第１及び第２の判定手段のいずれの判定結果によっても前記未知の入力パターンは検出対象であるか否かが不明ならば、該未知の入力パターンと前記第２の空間差分確率テンプレートとの類似度を計算する第２の計算手段と、
前記第２の計算手段により計算された類似度が前記第３のしきい値を下回るならば前記未知の入力パターンは検出対象ではないと判定し、該類似度が前記第３のしきい値を上回るならば前記未知の入力パターンは検出対象であると判定する第３の判定手段、としてコンピュータを機能させるためのプログラム。