JP4514687B2

JP4514687B2 - パターン認識装置

Info

Publication number: JP4514687B2
Application number: JP2005308933A
Authority: JP
Inventors: 謙太朗横井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-11-08
Filing date: 2005-10-24
Publication date: 2010-07-28
Anticipated expiration: 2025-10-24
Also published as: JP2006155594A; US20060100872A1

Description

本発明は、画像などのパターン情報をもとに、異常を検出したり、対象を検出・識別する、パターン認識技術に関する。

従来、パラメトリックな手法により対象を認識・識別する手法が提案されている（例えば、非特許文献１）。この手法では、パターンの分布がガウス分布などの既知のモデルに従うと仮定している。部分空間法は、この手法の一例である。

また、モデルを仮定しないノンパラメトリックな手法も提案されている（例えば、特許文献１、特許文献２）。この手法では、各画素の輝度の事後確率に基づいて、背景か否かを識別している。
特許第３４８６２２９号公報特許第３４９０１９６号公報関真規人、他２名、「背景変動に頑健な背景差分法」、画像の認識理解シンポジウム MIRU-2000、Vol.2、pp.403-408、２０００年７月

パラメトリックな手法では仮定されたパターン分布が用いられるので、画像間に位置ズレが無いことが必要である。そのために、画像間で共通な複数の特徴点の位置、および、形状に基づいて、パターンの位置合わせ、および、変形が行われる。

しかし、位置合わせが困難な場合がある。例えば、明確な特徴点の定義が困難な場合、あるいは、特徴点のマッチングが困難な場合である。また、位置ズレ自体が特徴量である場合、位置合わせによって特徴情報が失われる。逆に位置合わせを行わない場合、パターンの分布は必ずしもモデルに適合しないため、認識性能が低下する。

特許文献１や特許文献２に記載されたノンパラメトリックな手法では、ピクセルの輝度の事後確率に基づいて背景か否かを識別するため、画像間に位置ズレが無いことが前提となっている。そのため、位置ズレがある場合に対応することは困難である。また、ピクセルという大変局所的な情報のみで判定を行うために認識が不安定になることがある。

そこで、本発明では、ノンパラメトリックな手法でありながら位置ズレに対して頑健なパターン認識手法を提供することを目的とする。

上記の課題を解決するために、本発明の一実施形態のパターン認識装置は、学習対象の画像および認識対象の画像を入力する画像入力部と、前記学習対象及び前記認識対象に関して入力された画像の各々の特徴量ベクトルを算出する特徴量ベクトル算出部と、前記学習対象の各々に関する前記特徴量ベクトルの確率分布の、特徴量ベクトル空間内における算出対象範囲を設定する算出対象範囲設定部と、前記学習対象の各々の前記確率分布を、前記算出対象範囲内で算出する確率分布算出部と、前記学習対象の各々の識別子、および、前記学習対象の各々の前記確率分布を関連付けて記憶する確率分布記憶部と、前記認識対象について算出された特徴量ベクトル、および、前記確率分布記憶部に記憶された確率分布を用いて、前記認識対象が前記学習対象の各々と対応する確率である事後確率を算出する事後確率算出部と、前記事後確率に基づいて前記認識対象の認識を行う認識部と、を備え、前記特徴量ベクトル算出部は、入力された画像の各々について複数の特徴量を求め、これらの特徴量を成分として有する原特徴量ベクトルを求める手段と、同一の学習対象に関する前記原特徴量ベクトルに対して主成分分析を行ってＬ個の固有値およびＬ個の固有ベクトルを求め、前記原特徴量ベクトルおよび前記Ｌ個の固有ベクトルを用いてＬ次元の前記特徴量ベクトルを算出する手段と、を備え、前記算出対象範囲設定部は、前記算出対象範囲を、前記特徴量ベクトルの平均を中心として前記固有値の大きさに応じた距離の範囲内に設定する。

本発明によれば、位置ズレに対して頑健な認識処理を実現できる。

（第１の実施形態）以下、図面を参照して本発明の第１の実施形態を説明する。

図１は第１の実施形態のパターン認識装置のブロック図である。このパターン認識装置は、画像を入力する画像入力部１１０と、学習対象の識別子を入力する識別子入力部１１１と、入力された画像の特徴量ベクトルとその固有値とを抽出する特徴量抽出部１０１と、特徴量抽出部１０１が用いるデータ（入力された画像に関する情報）および特徴量抽出部１０１が生成したデータ（特徴量ベクトル空間を規定するパラメータ）を記憶するパラメータ記憶部１１３とを備える。

このパターン認識装置は、特徴量ベクトル空間において特徴量ベクトルの確率分布を求める範囲（算出対象範囲）を、求められた特徴量ベクトルと固有値とに基づいて設定する算出対象範囲設定部１０２と、特徴量ベクトルの確率分布を算出対象範囲内で算出する確率分布算出部１０３と、求められた確率分布を学習対象の識別子と関連付けて記憶する確率分布記憶部１０４とを備える。

このパターン認識装置は、認識対象の画像から求められた特徴量ベクトルと確率分布記憶部１０４に記憶された学習対象の確率分布とを用いて、認識対象が学習対象の各々に該当する確率である事後確率を算出する事後確率算出部１０５と、求められた事後確率を比較して認識対象の認識結果を出力する事後確率比較部１０６とを備える。

このパターン認識装置は２種類の処理モードを持つ。一つは学習処理モードで、もう一つは認識処理モードである。モード切替部１１２は特徴量抽出部１０１と事後確率算出部１０５とに各モードに対応する制御信号を送ることにより、動作モードを切り替える。

学習処理モードの場合、モード切替部１１２は学習処理モード用の制御信号を送る。特徴量抽出部１０１はこの制御信号を受けると、抽出した特徴量ベクトル等を算出対象範囲設定部１０２に出力するようになる。また、事後確率算出部１０５はこの制御信号を受けると、事後確率の算出処理を停止する。

認識処理モードの場合、モード切替部１１２は認識処理モード用の制御信号を送る。特徴量抽出部１０１はこの制御信号を受けると、抽出した特徴量ベクトル等を事後確率算出部１０５に出力するようになる。また、事後確率算出部１０５はこの制御信号を受けると、事後確率の算出処理を開始する。

各処理モードにおける動作の概要を説明する。学習処理モードでは、特徴量抽出部１０１が学習対象の画像の特徴量ベクトルを求め、確率分布算出部１０３が学習対象の特徴量ベクトルの確率分布を求め、確率分布記憶部１０４が学習対象の確率分布を辞書として記憶する。

認識処理モードでは、特徴量抽出部１０１が認識対象の画像の特徴量ベクトルを求め、事後確率算出部１０５が認識対象の特徴量ベクトルと確率分布記憶部１０４に記憶された確率分布とを用いて、認識対象が学習対象の各々に該当する確率である事後確率を算出し、事後確率比較部１０６が事後確率に基づいて認識を行う。

図２は、学習処理の流れ図であり、図３は、認識処理の流れ図である。本実施形態のパターン認識装置は、縦ｍ画素×横ｎ画素のｍ×ｎ次元の画像パターンを用いて学習処理および認識処理を行う。
（学習処理の説明）まず、図２を参照して学習処理を説明する。

（ステップＳ２０１）特徴量抽出処理
特徴量抽出部１０１は、入力された学習対象の画像から原特徴量ベクトルｘを抽出する。原特徴量ベクトルとは、ベクトルの各成分が画像中の情報を反映した量を有するベクトルである。画像中の情報を反映した量とは、例えば、画像中のエッジ情報、画像中のエッジの角度情報、あるいは、各画素の輝度値そのものである。

本実施形態のパターン認識装置は各画素の輝度値そのものを用いる。したがって、特徴量抽出部１０１は、学習対象の画像からｍ×ｎ次元の原特徴量ベクトルｘを抽出する。
この原特徴量ベクトルｘのそれぞれは、本実施形態における入力パターンに相当する。

（ステップＳ２０２）主成分分析処理
特徴量抽出部１０１は、すべての原特徴量ベクトルｘに対して主成分分析を行い、各原特徴量ベクトルｘに対応するＬ次元の特徴量ベクトルｙと、Ｌ個の固有値λとを求める（ただしＬ≦ｍ×ｎである）。

このＬ次元の特徴量ベクトルｙのそれぞれは、本実施形態のパターン認識装置が用いる処理用パターンに相当する。すなわち、このステップＳ２０２では、ｍ×ｎ次元の入力パターンに対して主成分分析を行い、Ｌ次元の処理用パターンを生成する。

より具体的には、特徴量抽出部１０１は複数の原特徴量ベクトルｘに対して主成分分析を行い、平均原特徴量ベクトルｘ_{ave}、固有値の大きい上位Ｌ個の固有値λ_{i}（i=1, 2, ... , L）、および、これらの固有値に対応するＬ個の固有ベクトルφ_{i}（i=1, 2, ... , L）とを計算する。

なお、原特徴量ベクトルｘがｍ×ｎ次元のベクトルであるので、平均原特徴量ベクトルｘ_{ave}および固有ベクトルφ_{i}はｍ×ｎ次元のベクトルである。

そして特徴量抽出部１０１は、Ｌ次元の特徴量ベクトルｙを
ｙ＝［φ_{1}, φ_{2}, ... , φ_{L}］（ｘ−ｘ_{ave}）
という関係式により求める。

さらに、平均特徴量ベクトルｙ_{ave}を
y_{ave}＝［φ_{1}, φ_{2}, ... , φ_{L}］ｘ_{ave}
という関係式により求める。

なお、説明の便宜上、原特徴量ベクトルｘ、平均原特徴量ベクトルｘ_{ave}、および、固有ベクトルφ_{i}は列ベクトルであるものとし、［φ_{1}, φ_{2}, ... , φ_{L}］はＬ個の固有ベクトルφ_{i}の各々を転置したものを行成分として有するＬ行（ｍ×ｎ）列の行列であるものとする。

すなわち、特徴量ベクトルｙは、Ｌ個の固有ベクトルφ_{i}を用いて原特徴量ベクトルｘ（あるいは原特徴量ベクトルｘと平均原特徴量ベクトルｘ_{ave}との差分）をＬ次元の空間に射影したものである。

特徴量抽出部１０１は、平均特徴量ベクトルｙ_{ave}と、Ｌ個の固有値λ_{i}（i=1, 2, ... , L）と、識別子入力部１１１に入力された学習対象の識別子ｃ_{j}（j=1, 2, ... , C）と、Ｌ次元特徴量ベクトルｙとを算出対象範囲設定部１０２に出力する。このとき、複数のＬ次元特徴量ベクトルｙの各々は、学習対象の識別子ｃ_{j}と関連付けて出力される。尚、以下の説明では「識別子ｃ_{j}によって識別される学習対象に関する集合」を「クラスｃ_{j}」と記載する。

また、特徴量抽出部１０１は、原特徴量ベクトルｘ、識別子ｃ_{j}、Ｌ個の固有値λ_{i}、固有ベクトルφ_{i}および平均原特徴量ベクトルｘ_{ave}をパラメータ記憶部１１３に出力する。パラメータ記憶部１１３は、原特徴量ベクトルｘ識別子ｃ_{j}と対応づけて記憶する。パラメータ記憶部１１３は、各固有値とそれぞれに対応する固有ベクトルとを対応付けて記憶する。

（ステップＳ２０３）算出対象範囲の制限
算出対象範囲設定部１０２は、Ｌ次元の特徴量ベクトル空間Ｙ内で特徴量ベクトルｙの確率分布を求める範囲（算出対象範囲）を、Ｌ個の固有値λ_{i}（i=1, 2, ... , L）を用いて設定する。

具体的には、図５に示すように、特徴量ベクトル空間Ｙにおいて、平均特徴量ベクトルｙ_{ave}を中心として、半径ｒλ_{i}（i=1, 2, ... , L）の範囲に限定する。すなわち、特徴量ベクトル空間Ｙの第ｉ次元に対しては、平均特徴量ベクトルｙ_{ave}の第ｉ次元成分であるｙ_{ave}^{i}を中心として半径ｒλ_{i}の範囲に限定する。各学習対象の確率分布は、この算出対象範囲内で求められる。

特徴量ベクトル空間Ｙは無限の広がりを有する。確率分布の計算を有限時間で数値的に算出するためには、算出範囲を限定する必要がある。本実施形態の算出手法の場合、確率分布の範囲がガウス分布で限定できるとすれば、ｒ＝３の時に全分布の９９．７４％が含まれ、ｒ＝４の時に全分布の９９．９９％が含まれる。よって、限定された空間であっても十分な精度で確率分布を算出することが可能である。

（ステップＳ２０４）確率分布の算出
確率分布算出部１０３は、Ｌ次元の特徴量ベクトル空間Ｙ内で特徴量ベクトルｙの確率分布を、ステップＳ２０３で設定した算出対象範囲内で算出する。確率分布は、各学習対象ごとに算出される。すなわち、一つのクラスｃ_{j}につき一つの確率分布が算出される。

確率分布算出部１０３は、同一のクラスｃ_{j}に属する特徴量ベクトルｙについて、特徴量ベクトル空間Ｙに例えば「Parzen窓」と呼ばれる手法を適用して確率分布を求める。「Parzen窓」の詳細は、Richard O. Duda, Peter E. Hart, and David G. Stork. "Pattern Classification (Second Edition). Wiley Interscience, 2000に記載されているので、本明細書では図４を参照して概要を説明する。

確率分布算出部１０３は、特徴量ベクトル空間ＹをＷ個のＬ次元超立体ｗ_{k}に分割する。Ｌ次元超立体ｗ_{k}の体積ｖ_{k}は、本実施形態では特徴量ベクトルｙの数ａに反比例させる。尚、ａの正の平方根などに反比例させても構わない。

ここで、超立体ｗ_{k}に含まれ、クラスｃ_{j}に属する、特徴量ベクトルの数をｎｕｍ_{k}（ｃ_{j}）と表す。確率分布算出部１０３は、確率分布ｐ（ｙ｜ｃ_{j}）を以下の数式に基づいて計算する。

（ステップＳ２０５）確率分布の記憶
確率分布記憶部１０４は、確率分布ｐ（ｙ∈ｗ_{k}｜ｃ_{j}）をクラスｃ_{j}と超立体ｗ_{k}とに関連付けて記憶する。

以上が、学習処理の詳細な流れである。

（認識処理の説明）次に、図３を参照して認識処理について説明する。

（ステップＳ３０１）特徴量抽出処理
特徴量抽出部１０１は、ステップＳ２０１と同様にして、入力された認識対象の画像から原特徴量ベクトルｘを抽出する。本実施形態のパターン認識装置は各画素の輝度値そのものを特徴量として扱う。したがって、特徴量抽出部１０１は、認識対象の画像からｍ×ｎ次元の原特徴量ベクトルｘを抽出する。

（ステップＳ３０２）主成分分析処理
特徴量抽出部１０１は、認識対象について求められた原特徴量ベクトルｘからＬ次元の特徴量ベクトルｙを求める。特徴量抽出部１０１は、パラメータ記憶部１１３から読み出した平均原特徴量ベクトルｘ_{ave}と固有ベクトルφ_{i}とを用いて、Ｌ次元の特徴量ベクトルｙを
ｙ＝［φ_{1}, φ_{2}, ... , φ_{L}］（ｘ−ｘ_{ave}）
という関係式により求める。

特徴量抽出部１０１は、複数のＬ次元特徴量ベクトルｙを事後確率算出部１０５に出力する。

（ステップＳ３０３）事後確率の算出
事後確率算出部１０５は、超立体ｗ_{k}の中から各特徴量ベクトルｙが属するものを探索する。以下の説明では、各特徴量ベクトルｙが属する超立体を超立体ｗ_{K}と表す。そして、事後確率算出部１０５は、各特徴量ベクトルｙが属する超立体ｗ_{K}における、その特徴量ベクトルｙの属するクラスｃ_{j}に対する事後確率ｐ（ｃ_{j}｜ｙ∈ｗ_{K}）を求める。

事後確率ｐ（ｃ_{j}｜ｙ∈ｗ_{K}）は、ベイズの定理に基づいて以下の数式で表される。

ここで、ｐ（ｙ）はすべてのクラスｃ_{j}に共通であるので無視できる。よって、事後確率算出部１０５は以下の数式を用いて事後確率ｐ（ｃ_{j}｜ｙ∈ｗ_{K}）を求める。

なお、ｐ（ｃ_{j}）はクラスｃ_{j}の出現確率（事前確率）に相当する。すなわち、学習済みの各学習対象が認識時に出現する確率に相当する。したがって、すべての学習対象が等確率で出現するという仮定が良い近似であるならば、事前確率ｐ（ｃ_{j}）は定数項とみなせる。この仮定が成り立つ場合とは、例えば、学習対象がランダムに出現する場合が挙げられる。また、特定の学習対象が出現しやすい場合は、出現頻度を学習することにより事前確率ｐ（ｃ_{j}）の値を決定することができる。

確率分布ｐ（ｙ∈ｗ_{K}｜ｃ_{j}）は、学習処理の際に確率分布記憶部１０４に記憶されている。よって、事後確率算出部１０５は、上記の数３に基づいて、ある認識対象から求められた特徴量ベクトルｙがあるクラスｃ_{j}に属する事後確率ｐ（ｃ_{j}｜ｙ）を求めることができる。

（ステップＳ３０４）認識
事後確率比較部１０６は、求められた事後確率の中から最大の事後確率ｐ（ｃ_{J}｜ｙ）を探索する。そして、事後確率比較部１０６は、最大の事後確率ｐ（ｃ_{J}｜ｙ）に対応するクラスｃ_{J}を求める。事後確率比較部１０６は、認識対象がクラスｃ_{J}に属すると判定する。

なお、最大の事後確率ｐ（ｃ_{J}｜ｙ）が閾値を超えない場合、認識対象は学習対象のいずれでもないと判断されるように、事後確率比較部１０６が構成されていても構わない。

以上が、認識処理の詳細な流れである。第１の実施形態のパターン認識装置は、以上に説明したパターン認識手法を用いているので、例えば、位置合わせが十分でない画像に対する対象物の認識、および、位置ズレ自体が特徴となるパターン認識・検出が実現可能となる。すなわち、位置合わせをせずに認識処理を行うことができるので、位置ズレに対して頑健である。

（第１の実施形態と参考例との比較）以下、図６を参照して、第１の実施形態と参考例との差異を説明する。

第１の参考例は背景差分法である。背景差分法は、図６（ａ）に示すように、ある注目画素が背景であればその輝度Ｉの分布はガウス分布に従うと仮定する手法である。そして、入力画像における注目画素の輝度Ｉと予め学習した背景画像における同じ画素の平均輝度との差が所定の閾値以下であれば背景（通常）と判定され、そうでなければ侵入者（異常）と判定される。

第２の参考例はピクセルの事後確率に基づく手法である。上述の特許文献１および特許文献２は、この手法の一例である。この手法は、図６（ｂ）に示すように、背景に関する学習画像における注目画素の輝度Ｉの確率分布ｐ（Ｉ｜背景）からベイズの定理に従って入力画像における注目画素の事後確率ｐ（背景｜Ｉ）を求める。そして、この手法は、事後確率ｐ（背景｜Ｉ）と閾値との比較により、背景か否かを判定する。

第３の参考例は部分空間に基づく手法である。上述の非特許文献１は、この手法の一例である。この手法は、図６（ｃ）に示すようにパターンの分布がガウス分布等のモデルに従うと仮定する。そして、この手法は、入力画像内の注目領域のパターンがクラスｃ_{i}のパターン分布に十分近ければそのクラスｃ_{i}（例えば、背景）にであると判定し、そうでなければ別のクラス（例えば、侵入者）と判定する。

これに対して第１の実施形態の手法は、第２の参考例の手法をパターン空間に拡張したもの（あるいは、第３の部分空間法を、モデルを仮定しないノンパラメトリックな手法に拡張したもの）である（図６（ｄ）に相当する）。局所的な情報であるピクセルの輝度の代わりにパターンの分布を利用することにより、第１の実施形態の手法は位置ズレを許容する。また、位置ズレがあるパターンの分布はガウス分布等のモデルに適合しない。そのため、第１の実施形態の手法はモデルを仮定しない。第１の実施形態の手法は、学習対象の画像における特徴量ベクトル（注目パターン）ｙの確率分布ｐ（ｙ｜ｃ_{i}）と数２の数式とを用いて、認識対象の画像における注目パターンの事後確率ｐ（ｃ_{i}｜ｙ）を求める。そして、第１の実施形態の手法は、事後確率ｐ（ｃ_{i}｜ｙ）の大きさに基づいて、認識対象がクラスｃ_{i}に属するか否かを判定する。
（第１の実施形態１の変形例）以下、第１の実施形態の変形例を説明する。
第１の実施形態において事後確率を算出する際に、Parzen窓の代わりにｋ最近傍法（k-Nearest Neighbor）を用いることができる。図７はｋ最近傍法を用いる場合のブロック図である。

本変形例のパターン認識装置は、学習特徴量ベクトル記憶部１０７を有する点で第１の実施形態のパターン認識装置と異なる。以下では、この異なる点を中心に説明する。

学習特徴量ベクトル記憶部１０７は、特徴量抽出部１０１が学習処理の際に求めたＬ次元特徴量ベクトルのうちのＤ個を記憶する。そして、事後確率算出部１０５が事後確率を算出する際に、事後確率算出部１０５はＤ個の学習特徴量ベクトルの中から認識対象の画像から求められた特徴量ベクトルｙとの距離が近い上位ｋ個を選択する。そして、事後確率算出部１０５は、ｋ個の学習特徴量ベクトルのうちクラスｃ_{j}に属するものがｋ_{j}個であった場合に、以下の式を用いて事後確率を算出する。

もしくは、Ｄ個の学習特徴量ベクトルの中から、クラスｃ_{j}に属して、かつ、特徴量ベクトルｙとの距離が近い上位ｋ個の学習特徴量ベクトルを抽出し、それらの特徴量ベクトルｙに対する距離dist（ｙ，ｃ_{j}，ｍ）（ｍ＝１，・・・，ｋ）に基づいて以下の式を用いて事後確率を算出しても構わない。

なお、事後確率算出部１０５は、数４の数式あるいは数５の数式を用いて算出した事後確率と、数２の数式を用いて算出した事後確率とを単純平均もしくは加重平均したものを最終的な事後確率として出力しても構わない。このようにすると、事後確率の算出結果が安定すると考えられる。

第１の実施形態の特徴量抽出部１０１は、縦ｍ画素×横ｎ画素の画像の各画素の輝度値を特徴量としてｍ×ｎ次元の原特徴量ベクトルｘを抽出している。変形例の特徴量抽出部１０１は、縦ｍ画素×横ｎ画素の画像を所定サイズ（例えば８画素×８画素）の複数のブロックに分割する。そして、各ブロック内の各画素の輝度値を特徴量として６４次元の原特徴量ベクトルｘ_{s}（ｓ＝１，・・・，分割数）を抽出する。

変形例の特徴量抽出部１０１は、抽出された原特徴量ベクトルｘ_{s}に対して、ブロック単位で主成分分析を行う。例えば、複数の画像が入力された場合であれば、画像間で同じ位置のブロックから抽出された複数の原特徴量ベクトルｘ_{s}を対象に主成分分析を行う。そして、ブロック単位で確率分布の算出を行う。

認識処理についても同様で、認識対象からブロック単位で特徴量ベクトルｙを求め、ブロック単位で事後確率を算出する。そして、全体の事後確率は、例えば各ブロックの事後確率の積により求めることができる。あるいは、所定の閾値以上の事後確率を有するブロックの個数、比率、集積度、密度に応じて認識処理を行うこともできる。また、異常状態と正常状態とを監視するシステムに応用するならば、ブロック単位で正常・異常を判定することも可能である。

（第２の実施形態）以下、図面を参照して本発明の第２の実施形態を説明する。

第１の実施形態のパターン認識装置は、クラスｃ_{j}の事後確率とその他のクラスｃ_{g}の事後確率とを比較して認識を行った。しかし、すべてのクラスの特徴量ベクトルを求められるとは限らない。

例えば、正常状態と異常状態とを認識・判別する監視システムの場合、正常状態に相当する正常状態クラスｃ_{0}の特徴量ベクトルを得ることは容易である。しかし、異常状態に相当する異常状態クラスｃ_{1}の特徴量ベクトルを得ることが困難な場合が少なくない。例えば、建物を監視するシステムに火災状態を学習させるために、監視対象の建物に火を放つようなことは現実的でない。

このようなシステムの場合、正常状態からの乖離がある閾値を超えた場合に異常状態と判定するという処理がしばしば行われるが、閾値設定の妥当性が問題となる。そこで、本実施形態のパターン認識装置は、特徴量ベクトルを得ることが困難なクラスについて事後確率を算出するための確率分布を推定して認識を行う。

図８は、本実施形態のパターン認識装置のブロック図である。本実施形態のパターン認識装置は、仮確率分布算出部１０８を備える点で、第１の実施形態のパターン認識装置と異なる。以下、第１の実施形態と異なる部分を中心に説明する。

仮確率分布算出部１０８は、特徴量ベクトルを得ることが困難なクラスについて事後確率を算出するための仮確率分布を算出する。仮確率分布算出部１０８は、これまでに学習した他のクラスの確率分布を用いて仮確率分布を算出する。本実施形態では、仮確率分布として一様な分布を用いる。

図９は、本実施形態のパターン認識装置の認識処理の流れである。基本的には図３に示した第１の実施形態と同様であるが、仮確率分布の算出を行うステップ（ステップＳ９００）がある点と、事後確率の算出ステップ（ステップＳ３０３）では仮確率分布も用いて事後確率を算出する点が異なる。第１の実施形態と異なる点を中心に認識処理を説明する。

（ステップＳ９００）仮確率分布の算出
仮確率分布算出部１０８は、ある範囲に一様に分布する確率分布を求める。そのために、仮確率分布算出部１０８は、分布範囲を求める。

仮確率分布算出部１０８は、パラメータ記憶部１１３から平均原特徴量ベクトルｘ_{ave}と固有ベクトルφ_{i}とを読み出して、平均特徴量ベクトルｙ_{ave}を
ｙ_{ave}＝［φ_{1}, φ_{2}, ... , φ_{L}］（ｘ_{ave}）
という式を用いて求める。この平均特徴量ベクトルｙ_{ave}は仮確率分布の中心を定める。

仮確率分布算出部１０８は、パラメータ記憶部１１３からすべての固有値λ_{i}を読み出す。特徴量ベクトル空間の第ｉ次元の基底ベクトルは、固有ベクトルφ_{i}のいずれかと平行である。すなわち、第ｉ次元の基底ベクトルは固有ベクトルφ_{i}をスカラー倍したものである。仮確率分布算出部１０８は、第ｉ次元の仮確率分布の分布範囲を、この固有ベクトルφ_{i}に対応する固有値λ_{i}を用いて定める。

仮確率分布算出部１０８は、平均特徴量ベクトルｙ_{ave}を中心として半径ｒλ_{i}の空間内で一様な確率分布を求める。ここで求められた一様な確率分布が仮確率分布である（図１０）。例えば、半径ｒλ_{i}の空間内に図４に示す超立体ｗ_{K}がｖ個含まれる場合は、確率１／ｖの一様分布を仮確率分布として求める。

（ステップＳ３０３）事後確率の算出
第１の実施形態と同様にして事後確率を算出する。ただし、本実施形態の事後確率算出部１０５は、仮確率分布に対する事後確率と確率分布記憶部１０４に記憶された確率分布に対する事後確率との両方を算出する。すなわち、本実施形態の事後確率算出部１０５は、特徴量ベクトルを得るために十分な量の学習をすることが困難なクラスに関しては、仮確率分布に対する事後確率を求める。本実施形態の事後確率算出部１０５は、例えば、学習データや学習対象の画像が閾値より少ないクラスに関しては、仮確率分布を用いて事後確率を計算する。

以上に説明したように、本実施形態のパターン認識装置ならば、学習しにくいクラスが存在する場合にも認識を行うことが可能である。

（第３の実施形態）以下、図面を参照して本発明の第３の実施形態を説明する。

第１および第２の実施形態で説明した事後確率に基づく認識手法は、パターンの分布モデルを仮定しないノンパラメトリックな手法である。この手法は、高い性能を得るためには比較的多くの学習データが必要とされる。

これに対し、部分空間法に代表されるパラメトリックな手法は、比較的少ない学習データでも、ある程度高い性能が得られる場合が多い。

そこで、本実施形態のパターン認識装置は、第１および第２の実施形態のパターン認識装置に、他の手法（例えば、パラメトリックな手法）を組み合わせることにより認識性能の向上および安定化を図る。

図１１は本実施形態のパターン認識装置のブロック図である。本実施形態のパターン認識装置は、学習処理の際に入力されたデータ量を監視して学習量を計測する学習量計測部１１００と、第１または第２の実施形態のパターン認識装置に相当する第１パターン認識部１１０１と、他の手法によるパターン認識を行う第２パターン認識部１１０２と、第１パターン認識部１１０１および第２パターン認識部１１０２による認識結果を重み付けして最終的な認識結果を出力する重み付け判定部１１０３とを備える。

第１パターン認識部１１０１および第２パターン認識部１１０２は、認識対象の画像の入力を受けて、各々の認識手法により認識を行い、第１認識結果および第２認識結果を重み付け判定部１１０３に出力する。

第２パターン認識部１１０２は、学習データ量が少ない場合にも第１および第２の実施形態の認識手法に比べて安定した認識性能が得られる手法（他の手法）により認識を行う。例えば、部分空間法（エルッキ・オヤ著、小川英光、佐藤誠訳、「パターン認識と部分空間法」）による認識手法や、多重判別分析法（Richard O. Duda, Peter E. Hart, and David G. Stork. "Pattern Classification (Second Edition)". Wiley Interscience, 2000）を用いた認識手法を用いることができる。

学習量計測部１１００は、入力された画像を、第１パターン認識部１１０１及び第２パターン認識部１１０２に供給する。また、学習量計測部１１００は、学習処理中の第１パターン認識部１１０１および第２パターン認識部１１０２に入力された画像数または学習対象数を監視するとともに、この画像数または学習対象数を学習量として保持する。そして、認識処理の際には、学習量を重み付け判定部１１０３に出力する。

図１２は本実施形態のパターン認識装置による認識処理の流れを示す。

（ステップＳ１２０１）第１パターン認識部１１０１は、第１または第２の実施形態で説明された認識手法による認識を行う。第１パターン認識部１１０１は第１認識結果と第１学習量とを重み付け判定部１１０３に出力する。

（ステップＳ１２０２）第２パターン認識部１１０２は、他の手法による認識を行う。第２パターン認識部１１０２は第２認識結果と第２学習量とを重み付け判定部１１０３に出力する。なお、本実施形態では、第１認識結果および第２認識結果は同じスケールの類似度であるものとする。

（ステップＳ１２０３）重み付け判定部１１０３は学習量に基づいて重み付け係数を計算し、その係数に基づいて第１認識結果と第２認識結果とを重み付けして最終的な認識結果を求める。

本実施形態では、学習量が少ない場合には第２認識結果を重視し、学習量が多くなるにつれ第１認識結果を重視するように重み付けを行う。例えば、第１認識結果に対する重み付け係数α（第２認識結果に対する重み付け係数は１−α）、学習量ｎ、設計的な係数β（β＞０）とした場合、重み付け係数を以下の式に基づいて求める。

数６の数式によれば、学習量ｎが大きくなるにしたがって、第１認識結果に対する重み付け係数αは大きくなる（０から１に漸近する）。

重み付け判定部１１０３は二つの認識結果を重み付け係数に基づいて加算した結果を用いて、最終的な認識結果を求める。例えば、閾値と比較して「既学習対象のいずれかと合致した／いずれとも合致しない」という判定を行うことができる。

なお、第２パターン認識部１１０２が複数の手法で認識を行い、第２認識結果が複数（例えば、ｍ個）存在する場合には、第２認識結果の各々の重み付け係数を（１−α）／ｍとする。

以上に説明したパターン認識装置ならば、学習量が少ない場合でも学習量が多い場合と同様な安定した高い認識性能を実現することが可能となる。

なお、これまでに説明した各実施形態のパターン認識装置はコンピュータによって実行されるプログラムとして実現されても構わない。すなわち、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等のプロセッサがメモリに記憶されたプログラムを実行して、メモリに記憶されたデータを用いてパターン認識の処理を行う構成であっても構わない。上述の各実施形態で用いられるパラメータ、データ、係数、定数、および、変数等は、プログラムの実行時にはメモリに記憶される。ＣＰＵはメモリのアドレスを指定してその値を参照・変更しながら処理を行う。

第１の実施形態のパターン認識装置のブロック図第１の実施形態のパターン認識装置による学習処理の流れ第１の実施形態のパターン認識装置による認識処理の流れ確率分布の計算例確率分布の算出範囲例第１の実施形態と参考例との比較第１の実施形態の一変形例第２の実施形態のパターン認識装置のブロック図第２の実施形態のパターン認識装置による認識処理の流れ仮確率分布の例第３の実施形態のパターン認識装置のブロック図第３の実施形態のパターン認識装置による認識処理の流れ

符号の説明

１０１特徴量抽出部
１０２算出対象範囲設定部
１０３確率分布算出部
１０４確率分布記憶部
１０５事後確率算出部
１０６事後確率比較部
１１０画像入力部
１１１識別子入力部
１１２モード切替部

Claims

学習対象の画像および認識対象の画像を入力する画像入力部と、
前記学習対象および前記認識対象に関して入力された前記画像の各々の特徴量ベクトルを算出する特徴量ベクトル算出部と、
前記学習対象の各々に関する前記特徴量ベクトルの確率分布の、特徴量ベクトル空間内における算出対象範囲を設定する算出対象範囲設定部と、
前記学習対象の各々の前記確率分布を、前記算出対象範囲内で算出する確率分布算出部と、
前記学習対象の各々の識別子、および、前記学習対象の各々の前記確率分布を関連付けて記憶する確率分布記憶部と、
前記認識対象について算出された特徴量ベクトル、および、前記確率分布記憶部に記憶された確率分布を用いて、前記認識対象が前記学習対象の各々と対応する確率である事後確率を算出する事後確率算出部と、
前記事後確率に基づいて前記認識対象の認識を行う認識部と、
を備え、
前記特徴量ベクトル算出部は、
入力された画像の各々について複数の特徴量を求め、これらの特徴量を成分として有する原特徴量ベクトルを求める手段と、
同一の学習対象に関する前記原特徴量ベクトルに対して主成分分析を行ってＬ個の固有値およびＬ個の固有ベクトルを求め、前記原特徴量ベクトルおよび前記Ｌ個の固有ベクトルを用いてＬ次元の前記特徴量ベクトルを算出する手段と、
を備え、
前記算出対象範囲設定部は、前記算出対象範囲を、前記特徴量ベクトルの平均を中心として前記固有値の大きさに応じた距離の範囲内に設定する、
ことを特徴とするパターン認識装置。