JP3480563B2 - パターン識別のための特徴抽出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像認識等のパタ
ーン認識における特徴の算出を行なう特徴抽出装置に関
し、特にニューラルネットワーク等のパターン学習機能
を備える特徴抽出装置に関する。

【０００２】

【従来の技術】学習用のパターンの集合から、パターン
識別に用いるための特徴を決定する方法としては、判別
分析法に基づく方法が良く知られており、既に広く利用
されている（例えば、特願平８−３２５６３８、特願平
３−６０７８４、特開平０１−３２１５９１等に開示さ
れる方法が知られている）。

【０００３】判別分析法とは、特徴のクラス内変動（カ
テゴリー内変動）を小さく抑えながら、他方ではクラス
（カテゴリー）間の差異が大きく出るように抽出すべき
特徴を決定する方法であり（例えば、大津、”パターン
認識における特徴抽出に関する数理的研究”、電子技術
総合研究所研究報告、第８１８号（１９８１）参照）、
主成分分析法などの他の特徴決定方法と比較するとクラ
ス間の分離能力が高いことが特長である。

【０００４】ここで、判別分析法について簡単に説明す
る。

【０００５】今、学習パターンの集合が与えられてお
り、またこれらの各パターンが属するクラスも与えられ
ているものとする。

【０００６】判別分析法では、これらの学習パターンか
らクラス内分散行列Ｓ_ｗ、およびクラス間分散行列Ｓ_ｂ
を求め、固有方程式、Ｓｗ^−１・Ｓｂ・ｆ_ｉ＝λ_ｉ・ｆ
_ｉを解く。

【０００７】そして、こうして得られた固有ベクトルの
中から、固有値λ_ｉの大きい順に、所望の数、Ｍ本の固
有ベクトルｆ_ｉを選択する。

【０００８】特徴抽出処理は、これらの固有ベクトルを
用いて、対象とする入力パターンＸから内積Ｚ_ｉ＝（ｆ
_ｉ，Ｘ），（ｉ＝１〜Ｍ）を計算することによって実行
され、特徴Ｚ_ｉが抽出される。

【０００９】以上のような判別分析の手法によって、ク
ラス内変動が小さく、クラス間の差異が大きくなるよう
な線形な特徴抽出が達成できることが知られている。

【００１０】他方、入力パターンと出力パターンとの対
からなる学習パターンの集合を用いて、パターンの入出
力関係を学習する方法として、多層パーセプトロン・ニ
ューラルネットワークを用いた誤差逆伝播学習法（バッ
ク・プロパゲーション法）が既に知られており、やはり
広く利用されている（例えば、中野馨監修、“ニューロ
コンピュータ”、技術評論社１９８９、あるいは、Ｄ．
Ｅ．Ｒｕｍｅｌｈａｒｔ，“Ｐａｒａｌｌｅｌ Ｄｉｓ
ｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ”，ＭＩＴ
Ｐｒｅｓｓ， １９８６参照）。

【００１１】図７は３層のパーセプトロン・ニューラル
ネットワークの構造を示したものである。図７におい
て、入力層に入力した入力パターンは、中間層、出力層
によって順次処理されていき、出力パターンが算出され
る。

【００１２】誤差逆伝播学習法では、この出力パターン
が、学習パターンとして与える望ましい出力パターンに
できるだけ一致するようにニューラルネットワーク各層
の各パラメータ（結合重み等）を更新していく。

【００１３】ここで、この点についてさらに詳しく説明
する。

【００１４】図７において、中間層のユニットｊの出力
Ｈ_ｊは、結合重みＷ_ｊｉ、閾値θ_ｊを用いて、入力パタ
ーンＩ_ｉから、次式によって計算される。

【００１５】

【数１】

【００１６】ｆ（ｘ）はシグモイド関数と呼ばれる関数
である。

【００１７】ｕ_０は予め定められているパラメータであ
る。

【００１８】さらにこうして計算された中間層ユニット
の出力Ｈ_ｊから、次式によって出力層ユニットの出力Ｏ
_ｋが計算される。

【００１９】

【数２】

【００２０】（Ｖ_ｋｊは結合重み、γ_ｋは閾値）。

【００２１】この時、望ましい出力パターンをＴ_ｋとす
ると、学習は次式に示される誤差を小さくするように、
各パラメータ（結合重み等。一般的にｐと表す）を勾配
（−∂Ｅ／∂ｐ）に従って更新することによって行なわ
れる。

【００２２】

【数３】

【００２３】ここで、＜・＞は学習パターンについての
平均操作を表す。この結果、ニューラルネットワークの
出力は望ましい出力に近づいていく。

【００２４】

【発明が解決しようとする課題】上述した従来の判別分
析法で得られる特徴は、線形な特徴であるため、パター
ンの変動に弱いという問題点を有する。

【００２５】勿論、線形の範囲では、判別分析法はパタ
ーン変動に伴う特徴のクラス内変動を（クラス間変動と
比較して）小さくする特徴選択法ではあるが、得られる
特徴が線形であるがために、パターンの位置ずれ、回
転、拡大縮小等の変動を吸収することは本来できない。

【００２６】他方、多層パーセプトロン・ニューラルネ
ットワークは、非線形な入出力関係を学習できるので、
原理的には上述のようなパターン変動に対しても強い処
理が可能なはずであるが、実際には、パターン変動を吸
収してパターン識別ができるようにネットワークを学習
させようとすると膨大な学習が必要となり実用的ではな
い。

【００２７】そのため、実用上は、事前に入力パターン
の位置合わせや大きさ正規化等の前処理によってパター
ン変動の影響を抑えたり、あるいは経験的な方法で決め
られた特徴量を予め抽出しておき、この特徴量を改めて
入力として多層パーセプトロンの学習を行なうという方
法が採られている。

【００２８】すなわち、多層パーセプトロン・ニューラ
ルネットワークも実際上はパターンの変動に弱いという
問題点を有している。

【００２９】本発明の第１の目的は、上記従来の欠点を
解決し、パターン変動に対して強い、パターン識別に適
した特徴抽出装置を提供することにある。

【００３０】また、本発明の第２の目的は、膨大な学習
を必要とすることなく、パターン変動に対して強い特徴
抽出装置を提供することにある。

【００３１】

【課題を解決するための手段】上記目的を達成するため
本発明の特徴抽出装置は、識別対象である学習パターン
を部分空間群に射影し、各部分空間への射影長の二乗を
特徴ベクトルとして算出する特徴ベクトル算出手段と、
前記特徴ベクトルの各成分のクラス間変動とクラス内変
動との比を増加させるように、前記部分空間群を構成す
る各部分空間の基底ベクトルを更新するパラメータ更新
手段とを少なくとも有する部分空間基底ベクトル学習手
段を備えることを特徴とする。

【００３２】請求項２の本発明の特徴抽出装置の前記特
徴ベクトル算出手段は、前記学習パターンを正規化した
上で部分空間群に射影し、各部分空間への射影長の二
乗、もしくはそれから誘導される量を特徴ベクトルとし
て算出することを特徴とする。

【００３３】請求項３の本発明の特徴抽出装置の前記部
分空間基底ベクトル学習手段は、算出された前記特徴ベ
クトルに対して予め設定された抑制パラメータに基づい
て特徴間の抑制処理を行なうことにより、前記特徴ベク
トルを補正する補正手段を備えることを特徴とする。

【００３４】請求項４の本発明の特徴抽出装置の前記パ
ラメータ更新手段は、更新処理によって得られた前記基
底ベクトルに対して、グラムシュミットの直交化法によ
って正規直交化の処理を行なうことを特徴とする。

【００３５】請求項５の本発明の特徴抽出装置の前記特
徴ベクトル算出手段は、前記学習パターンを正規化した
上で部分空間群に射影し、各部分空間への一般化された
射影長の二乗を特徴ベクトルとして算出することを特徴
とする。

【００３６】請求項６の本発明の特徴抽出装置の前記部
分空間基底ベクトル学習手段は、特徴ベクトルの各成分
を相互に無相関あるいは独立にすると同時に、特徴ベク
トル各成分のクラス間変動とクラス内変動との比を増加
させるように基底ベクトルを更新することによって、特
徴ベクトルのクラス間変動とクラス内変動との比を増加
させる基底ベクトルの更新処理を行なうことを特徴とす
る。

【００３７】 請求項７の本発明の特徴抽出装置は、入
力パターンと、それが属するクラス名Ｃと、さらに入力
パターンが属するサブクラス名Ｃ_ｍの系列（ｍ＝１〜
ｎ、ｎは１以上の整数で、このサブクラスの系列はｍが
大きいほどより細分類されたサブクラスとなるように階
層的に構成されているとする）とからなるデータの集合
を学習用データとして用いて特徴を決定する特徴抽出装
置であって、（ｎ＋１）段階の特徴抽出層から構成さ
れ、第１段階の特徴抽出層は、入力する学習パターンを
正規化した上で第１の部分空間群に射影し、各部分空間
への一般化された射影長の二乗、もしくはそれから誘導
される量を第１の特徴ベクトルとして算出する第１の特
徴ベクトル算出手段と、前記第１の特徴ベクトルの、第
ｎ階層目のサブクラスすなわち最も細分化されたサブク
ラスに関するサブクラス間変動とサブクラス内変動との
比を増加させるように、前記第１の部分空間群を構成す
る各部分空間の基底ベクトルを更新する第１のパラメー
タ更新手段とを少なくとも有する第１の部分空間基底ベ
クトル学習手段とを備え、ｎが２以上の場合には、第ｋ
段階（ｋ＝２〜ｎ）の特徴抽出層は、第（ｋ−１）段階
の特徴抽出層で算出された第（ｋ−１）の特徴ベクトル
を正規化した上で第ｋの部分空間群に射影し、各部分空
間への一般化された射影長の二乗、もしくはそれから誘
導される量を第ｋの特徴ベクトルとして算出する第ｋの
特徴ベクトル算出手段と、前記第ｋの特徴ベクトルの、
第（ｎ＋１−ｋ）階層目のサブクラスに関する（サブク
ラス間変動／サブクラス内変動）比を増加させるよう
に、前記第ｋの部分空間群を構成する各部分空間の基底
ベクトルを更新する第ｋのパラメータ更新手段とを少な
くとも有する第ｋの部分空間基底ベクトル学習手段を備
えることを特徴とする。

【００３８】請求項８の本発明の特徴抽出装置の第（ｎ
＋１）段階の特徴抽出層は、第ｎ段階の特徴抽出層で算
出された第ｎの特徴ベクトルを正規化した上で第（ｎ＋
１）の部分空間群に射影し、各部分空間への一般化され
た射影長の二乗、もしくはそれから誘導される量を第ｋ
の特徴ベクトルとして算出する第（ｎ＋１）の特徴ベク
トル算出手段と、最終的な特徴ベクトルのクラス間変動
とクラス内変動との比を増加させるように、前記第（ｎ
＋１）の部分空間群を構成する各部分空間の基底ベクト
ルを更新する第（ｎ＋１）のパラメータ更新手段とを少
なくとも有する第（ｎ＋１）の部分空間基底ベクトル学
習手段とを有することを特徴とする。

【００３９】請求項９の本発明の特徴抽出装置の前記各
特徴抽出層の前記部分空間基底ベクトル学習手段は、算
出された前記特徴ベクトルに対して予め設定された抑制
パラメータに基づいて特徴間の抑制処理を行なうことに
より、前記特徴ベクトルを補正する補正手段を備えるこ
とを特徴とする。

【００４０】請求項１０の本発明の特徴抽出装置の前記
パラメータ更新手段は、更新処理によって得られた前記
基底ベクトルに対して、グラムシュミットの直交化法に
よって正規直交化の処理を行なうことを特徴とする。

【００４１】請求項１１の本発明の特徴抽出装置の各特
徴抽出層の特徴ベクトル算出手段は、当該層への入力を
正規化した上で部分空間群に射影し、各部分空間への射
影長の二乗、もしくはそれから誘導される量を特徴ベク
トルとして算出し、各特徴抽出層のパラメータ更新手段
は、算出された特徴ベクトルのサブクラス間変動とサブ
クラス内変動との比、もしくはクラス間変動とクラス内
変動との比を増加させるように、部分空間群を構成する
各部分空間の正規直交基底ベクトルを更新することを特
徴とする。

【００４２】請求項１２の本発明の特徴抽出装置の前記
階層部分空間基底ベクトル学習手段は、特徴ベクトルの
各成分を相互に無相関あるいは独立にすると同時に、特
徴ベクトル各成分のクラス間変動とクラス内変動との
比、あるいはサブクラス間変動とサブクラス内変動との
比を増加させるように基底ベクトル、あるいは正規直交
基底ベクトルを更新することによって、特徴ベクトルの
クラス間変動とクラス内変動との比、あるいはサブクラ
ス間変動とサブクラス内変動との比を増加させる基底ベ
クトルあるいは正規直交基底ベクトルの更新処理を行な
うことを特徴とする。

【００４３】請求項１３の本発明の特徴抽出装置は、ｎ
段階（ｎは２以上の整数）の特徴抽出層と、これらの各
特徴抽出層の動作を規定する各パラメータを更新する階
層部分空間基底ベクトル学習手段とを有する特徴抽出装
置であって、第１段階の特徴抽出層は、入力パターンを
正規化した上で第１の部分空間群に射影し、各部分空間
への一般化された射影長の二乗、もしくはそれから誘導
される量を第１の特徴ベクトルとして算出する第１の特
徴ベクトル算出手段を有し、第ｋ段階（ｋ＝２〜ｎ）の
特徴抽出層は、第（ｋ−１）段階の特徴抽出層で算出さ
れた第（ｋ−１）の特徴ベクトルを正規化した上で第ｋ
の部分空間群に射影し、各部分空間への一般化された射
影長の二乗、もしくはそれから誘導される量を第ｋの特
徴ベクトルとして算出する第ｋの特徴ベクトル算出手段
を有し、前記階層部分空間基底ベクトル学習手段は、第
ｎ段階の特徴抽出層で算出される最終的な特徴ベクトル
である第ｎの特徴ベクトルのクラス間変動とクラス内変
動との比を増加させるように、前記各特徴抽出層の部分
空間群を構成する各部分空間の基底ベクトルを更新する
手段を有していることを特徴とする。

【００４４】請求項１４の本発明の特徴抽出装置の階層
部分空間基底ベクトル学習手段は、最終的特徴ベクトル
のクラス間変動とクラス内変動との比を増加させるよう
に、各特徴抽出層の部分空間群を構成する各部分空間の
正規直交基底ベクトルを更新することを特徴とする。

【００４５】請求項１５の本発明の特徴抽出装置の前記
各特徴抽出層の前記部分空間基底ベクトル学習手段は、
算出された前記特徴ベクトルに対して予め設定された抑
制パラメータに基づいて特徴間の抑制処理を行なうこと
により、前記特徴ベクトルを補正する補正手段を備える
ことを特徴とする。

【００４６】請求項１６の本発明の特徴抽出装置の前記
パラメータ更新手段は、更新処理によって得られた前記
基底ベクトルに対して、グラムシュミットの直交化法に
よって正規直交化の処理を行なうことを特徴とする。

【００４７】請求項１７の本発明の特徴抽出装置の前記
階層部分空間基底ベクトル学習手段は、特徴ベクトルの
各成分を相互に無相関あるいは独立にすると同時に、特
徴ベクトル各成分のクラス間変動とクラス内変動との
比、あるいはサブクラス間変動とサブクラス内変動との
比を増加させるように基底ベクトル、あるいは正規直交
基底ベクトルを更新することによって、特徴ベクトルの
クラス間変動とクラス内変動との比、あるいはサブクラ
ス間変動とサブクラス内変動との比を増加させる基底ベ
クトルあるいは正規直交基底ベクトルの更新処理を行な
うことを特徴とする。

【００４８】請求項１８の本発明のパターン学習装置
は、入力ベクトルとそれに対応する望ましい出力ベクト
ルとの組から構成される学習用データの集合を用いて入
力／出力間の関係を学習するパターン学習装置であっ
て、ｎ段階（ｎは１以上の整数）の処理層と、前記各処
理層の動作を規定する各パラメータを更新するパラメー
タ更新手段とを有し、第１段階の処理層は、入力ベクト
ルを正規化した上で第１の部分空間群に射影し、各部分
空間への一般化された射影長の二乗、もしくはそれから
誘導される量を第１の出力ベクトルとして算出する第１
の出力算出手段を有し、ｎが２以上の場合には、第ｋ段
階（ｋ＝２〜ｎ）の処理層は、第（ｋ−１）段階の処理
層で算出された第（ｋ−１）の出力ベクトルを正規化し
た上で第ｋの部分空間群に射影し、各部分空間への一般
化された射影長の二乗、もしくはそれから誘導される量
を第ｋの出力ベクトルとして算出する第ｋの出力算出手
段を有し、前記パラメータ更新手段は、最終的出力ベク
トルである第ｎ段階の処理層で算出される第ｎの出力ベ
クトルと、入力ベクトルに対応する望ましい出力ベクト
ルとの平均二乗誤差を減少させるように、前記各処理層
の各部分空間の基底ベクトルを更新する手段を有するこ
とを特徴とする。

【００４９】請求項１９の本発明の特徴量抽出プログラ
ムを格納する記録媒体は、コンピュータを制御してパタ
ーン識別のための特徴を抽出する特徴抽出プログラムを
読み取り可能に格納する記録媒体であって、前記特徴抽
出プログラムは、識別対象である学習パターンを部分空
間群に射影し、各部分空間への射影長の二乗を特徴ベク
トルとして算出する機能と、前記特徴ベクトルの各成分
のクラス間変動とクラス内変動との比を増加させるよう
に、前記部分空間群を構成する各部分空間の基底ベクト
ルを更新する機能とを備えることを特徴とする。

【００５０】請求項２０の本発明の特徴量抽出プログラ
ムを格納する記録媒体の前記特徴抽出プログラムは、前
記特徴ベクトル算出において、前記学習パターンを正規
化した上で部分空間群に射影し、各部分空間への一般化
された射影長の二乗を特徴ベクトルとして算出すること
を特徴とする。

【００５１】請求項２１の本発明の特徴量抽出プログラ
ムを格納する記録媒体の前記特徴抽出プログラムは、特
徴ベクトルの各成分を相互に無相関あるいは独立にする
と同時に、特徴ベクトル各成分のクラス間変動とクラス
内変動との比を増加させるように基底ベクトルを更新す
ることによって、特徴ベクトルのクラス間変動とクラス
内変動との比を増加させる基底ベクトルの更新処理を行
なうことを特徴とする。

【００５２】 請求項２２の本発明の特徴量抽出プログ
ラムを格納する記録媒体は、入力パターンと、それが属
するクラス名Ｃと、さらに入力パターンが属するサブク
ラス名Ｃ_ｍの系列（ｍ＝１〜ｎ、ｎは１以上の整数で、
このサブクラスの系列はｍが大きいほどより細分類され
たサブクラスとなるように階層的に構成されているとす
る）とからなるデータの集合を学習用データとして用い
て特徴を決定する特徴抽出プログラムを読み出し可能に
格納する記録媒体であって、前記特徴抽出プログラム
は、（ｎ＋１）段階の特徴抽出層から構成され、第１段
階の特徴抽出層は、入力する学習パターンを正規化した
上で第１の部分空間群に射影し、各部分空間への一般化
された射影長の二乗、もしくはそれから誘導される量を
第１の特徴ベクトルとして算出する第１の特徴ベクトル
算出機能と、前記第１の特徴ベクトルの、第ｎ階層目の
サブクラスすなわち最も細分化されたサブクラスに関す
るサブクラス間変動とサブクラス内変動との比を増加さ
せるように、前記第１の部分空間群を構成する各部分空
間の基底ベクトルを更新する第１のパラメータ更新手段
とを少なくとも有する第１の部分空間基底ベクトル学習
機能とを備え、ｎが２以上の場合には、第ｋ段階（ｋ＝
２〜ｎ）の特徴抽出層は、第（ｋ−１）段階の特徴抽出
層で算出された第（ｋ−１）の特徴ベクトルを正規化し
た上で第ｋの部分空間群に射影し、各部分空間への一般
化された射影長の二乗、もしくはそれから誘導される量
を第ｋの特徴ベクトルとして算出する第ｋの特徴ベクト
ル算出機能と、前記第ｋの特徴ベクトルの、第（ｎ＋１
−ｋ）階層目のサブクラスに関する（サブクラス間変動
／サブクラス内変動）比を増加させるように、前記第ｋ
の部分空間群を構成する各部分空間の基底ベクトルを更
新する第ｋのパラメータ更新手段とを少なくとも有する
第ｋの部分空間基底ベクトル学習機能を備えることを特
徴とする。

【００５３】請求項２３の本発明の特徴量抽出プログラ
ムを格納する記録媒体の、第（ｎ＋１）段階の特徴抽出
層は、第ｎ段階の特徴抽出層で算出された第ｎの特徴ベ
クトルを正規化した上で第（ｎ＋１）の部分空間群に射
影し、各部分空間への一般化された射影長の二乗、もし
くはそれから誘導される量を第ｋの特徴ベクトルとして
算出する第（ｎ＋１）の特徴ベクトル算出機能と、最終
的な特徴ベクトルのクラス間変動とクラス内変動との比
を増加させるように、前記第（ｎ＋１）の部分空間群を
構成する各部分空間の基底ベクトルを更新する第（ｎ＋
１）のパラメータ更新機能とを有することを特徴とす
る。

【００５４】請求項２４の本発明の特徴量抽出プログラ
ムを格納する記録媒体は、ｎ段階（ｎは２以上の整数）
の特徴抽出層と、これらの各特徴抽出層の動作を規定す
る各パラメータを更新する階層部分空間基底ベクトル学
習機能を実現する特徴抽出プログラムを格納する記録媒
体であって、前記特徴抽出プログラムは、第１段階の特
徴抽出層において、入力パターンを正規化した上で第１
の部分空間群に射影し、各部分空間への一般化された射
影長の二乗、もしくはそれから誘導される量を第１の特
徴ベクトルとして算出する第１の特徴ベクトル算出機能
を有し、第ｋ段階（ｋ＝２〜ｎ）の特徴抽出層におい
て、第（ｋ−１）段階の特徴抽出層で算出された第（ｋ
−１）の特徴ベクトルを正規化した上で第ｋの部分空間
群に射影し、各部分空間への一般化された射影長の二
乗、もしくはそれから誘導される量を第ｋの特徴ベクト
ルとして算出する第ｋの特徴ベクトル算出機能を有し、
前記階層部分空間基底ベクトル学習機能では、第ｎ段階
の特徴抽出層で算出される最終的な特徴ベクトルである
第ｎの特徴ベクトルのクラス間変動とクラス内変動との
比を増加させるように、前記各特徴抽出層の部分空間群
を構成する各部分空間の基底ベクトルを更新することを
特徴とする。

【００５５】

【発明の実施の形態】次に本発明の実施の形態について
図面を参照して説明する。図１は、本発明による特徴抽
出装置の第１の実施の形態を示すブロック図である。

【００５６】図１には、本発明の特徴抽出装置１００
と、その出力結果に基づきパターン識別を行なうパター
ン識別装置２００とが合わせて示されている。

【００５７】本発明の特徴抽出装置１００は、学習パタ
ーンとその属するクラス（カテゴリー）を入力、記憶す
る学習パターン入力・記憶手段１１０と、特徴抽出に用
いる部分空間群の各基底ベクトルを学習によって決定す
る部分空間基底ベクトル学習手段１２０と、学習で決定
された部分空間基底ベクトルを記憶する部分空間基底ベ
クトル記憶手段１３０とを有している。

【００５８】さらに、部分空間基底ベクトル学習手段１
２０は、特徴抽出に用いる部分空間群の初期設定等を行
なう初期化手段１２１と、学習パターンの正規化を行な
う正規化手段１２２と、正規化された学習パターンを各
部分空間それぞれに射影し、射影ベクトルの大きさの二
乗を算出することによって特徴を抽出する特徴ベクトル
抽出手段１２３と、算出された特徴ベクトルに対して特
徴間の抑制処理を施し、特徴ベクトルを補正する特徴ベ
クトル補正手段１２４と、特徴ベクトルの平均、分散、
クラス内平均、クラス内分散、特徴間抑制パラメータ等
の各種パラメータを記憶するパラメータ記憶手段１２５
と、各部分空間の基底ベクトルおよび各種パラメータの
更新を行なうパラメータ更新手段１２６と、学習の終了
を判定する終了判定手段１２７とを備えている。

【００５９】また、パターン識別装置２００は、識別の
対象となるパターンを入力する対象パターン入力手段２
１０と、対象パターンが比較される参照パターンを入力
する参照パターン入力手段２２０と、本発明の特徴抽出
装置１００で学習され、部分空間基底ベクトル記憶手段
１３０に記憶されている部分空間基底ベクトルを読み出
し、それらによって指定される部分空間群に対象パター
ン、および参照パターンをそれぞれ正規化した上で射影
し、それぞれの特徴ベクトルを算出する特徴ベクトル算
出手段１２３と、こうして得られた特徴ベクトルを比較
して、対象パターンと最も距離の近い参照パターンを選
出するパターン判定手段１２４とを備えている。

【００６０】次に、図１を参照して第１の実施の形態の
動作について説明する。

【００６１】まず、初期化手段１２１が、学習の開始に
先だって、各部分空間の基底ベクトル、および各種パラ
メータの初期化処理を行なう。

【００６２】部分空間基底ベクトル記憶手段１３０に記
憶される、各部分空間基底ベクトルの各成分Ｗ
_{ｊ，ｋ，ｉ}には乱数によるランダムな初期値が与えら
れ、次にグラムシュミットの直交化法等によって、各基
底ベクトルは各部分空間ごとに正規直交化される。

【００６３】また、初期化手段１２１は、平均＜Ｃ
_ｊ＞、クラス内平均＜Ｃ_ｊ（ｐ）＞、クラス間分散σ^２
_ｊ，Ｂ、クラス内分散σ^２ _ｊ，Ｗの各パラメータを予め
定めておく初期値に設定し、パラメータ記憶手段１２５
に送る。

【００６４】さらに初期化手段１２１は抑制パラメータ
Ｖ_ｉ，ｊの値を全てゼロに初期化し、やはりパラメータ
記憶手段１２５に送る。

【００６５】次に、学習パターン入力・記憶手段１１０
が、学習パターンＩ_ｐ０ｉ（１≦ｉ≦Ｎ、Ｎはパターン
の次元数）、およびその属するクラスｐを入力、記憶
し、これらは、部分空間基底ベクトル学習手段１２０へ
と送られる。

【００６６】部分空間基底ベクトル学習手段１２０に送
られた学習パターンＩ_ｐ０ｉは、まず正規化手段１２２
によって次式のように正規化される。

【００６７】

【数４】

【００６８】正規化された学習パターンＩ_ｐｉは、特徴
ベクトル抽出手段１２３によって部分空間群に射影され
特徴ベクトルが算出される。

【００６９】すなわち、特徴ベクトル抽出手段１２３
は、部分空間基底ベクトル記憶手段１３０に記憶されて
いる基底ベクトルＷ_ｊ，ｋを読み出し、それらによって
指定される複数（Ｍ個）の部分空間に、それぞれ学習パ
ターンを射影し、射影ベクトルの大きさの二乗を算出す
ることによって特徴ベクトルＣ’_ｊを算出する。

【００７０】ここで、各部分空間は一般に複数本の基底
ベクトルによって張られる空間であるが、本実施の形態
では、各部分空間はそれぞれ２本の基底ベクトルによっ
て張られている。

【００７１】以上の特徴ベクトル算出処理を数式で表す
と次の通りである。

【００７２】

【数５】

【００７３】ここでＣ’_ｊは抽出された特徴ベクトルの
第ｊ成分を表す。

【００７４】これは、ｊ番目の部分空間への射影ベクト
ルの射影長になっている。

【００７５】Ｗ_{ｊ，ｋ，ｉ}は、ｊ番目の部分空間を張る
ｋ本目の基底ベクトルＷ_ｊ，ｋの第ｉ成分を表す。

【００７６】Ｓ_ｊ，ｋはｊ番目の部分空間に学習パター
ンを射影して得られる射影ベクトルの第ｋ成分、すなわ
ちｊ番目の部分空間を張るｋ本目の基底ベクトルと学習
パターンＩ_ｐｉとの内積を表す。

【００７７】従来の判別分析法と比べて本発明で特徴的
な点は、特徴ベクトル抽出手段１２３が、パターンを部
分空間に射影し、その射影長の二乗を算出することによ
って特徴ベクトルを抽出するという構成をとっている点
にある。

【００７８】このような構成にすることで、位置ずれ、
回転、変形等の各種パターン変動によって生じうる特徴
のクラス内変動を減少させることが可能になり、その結
果、パターン変動に対して強い特徴抽出が可能になる。

【００７９】この点に関して少し説明する。

【００８０】入力ベクトルがどのクラス（カテゴリー）
に属するかを判定する方法として、各クラスを代表する
参照ベクトルをそれぞれ用意しておき、入力ベクトルと
各参照ベクトルとの距離に基づいて識別を行なうという
方法は良く知られている。

【００８１】しかし、この方法では各クラスを一つの参
照ベクトル（１点）で表現しているため、パターンの変
動に弱いという問題があった。

【００８２】そこでパターンの変動があっても高い識別
能力が得られる判別関数を実現する方法として、各クラ
スを複数の基底ベクトルで張られる部分空間で表現しパ
ターン識別を行なうという方法、部分空間法が提案され
ている（例えば、エルッキ・オヤ、“パターン認識と部
分空間法”、産業図書、１９８６参照）。

【００８３】簡単な例として、入力パターンＩ（ｘ）に
位置ずれが起こり得る場合を考えてみる。

【００８４】この場合、２本の基底ベクトル、Ｗ
_１（ｘ）＝ｓｉｎ（ｋｘ），およびＷ_２（ｘ）＝ｃｏｓ
（ｋｘ）を選び、それらによって張られる部分空間への
射影長の二乗（次式、数６）を考えると、これは入力パ
ターンＩ（ｘ）のフーリエ変換パワースペクトルになっ
ており、良く知られているように、これは位置ずれに対
して安定な量になる。

【００８５】

【数６】

【００８６】本発明は、このような部分空間の性質、す
なわちパターンに変動があっても、それに対応して部分
空間の基底ベクトルを適切に選べばその部分空間へのパ
ターンの射影長には変動があまり起こらないようにさせ
ることができるという性質を利用し、これを特徴抽出に
適用して、抽出される特徴のクラス内変動を抑え、高い
（クラス間変動／クラス内変動）比を実現しているので
ある。

【００８７】その結果、パターン変動に対して強い、パ
ターン識別に適した特徴抽出が可能になる。

【００８８】次に、特徴ベクトル補正手段１２４は、パ
ラメータ記憶手段１２５に記憶されている抑制パラメー
タＶ_ｊｌを読み出し、特徴ベクトル抽出手段１２３で算
出されたＣ’_ｊに対して次式で示される補正処理を行な
う。

【００８９】

【数７】

【００９０】すなわち、番号ｊの部分空間の出力Ｃ’_ｊ
は、それよりも小さい番号を持つ部分空間ｌの出力から
重みＶ_ｊｌで抑制を受ける。

【００９１】この抑制処理には、既に抽出されている特
徴と同じ特徴が重複して抽出されることを防ぐ効果があ
る。

【００９２】後述のパラメータ更新処理によってパラメ
ータの更新を行なっていくと、抽出される各特徴が互い
に無相関になるように学習が進む。

【００９３】パラメータ更新手段１２６は、こうして得
られた特徴ベクトルの各成分Ｃ_ｊのクラス間変動とクラ
ス内変動との比が大きくなるように、各部分空間の基底
ベクトルを更新していく。

【００９４】すなわち、特徴ベクトルの成分Ｃ_ｊのクラ
ス間変動をσ^２ _ｊ，Ｂ、クラス内変動σ^２ _ｊ，Ｗとする
と、Ｔ＝Σ_ｊ（σ^２ _ｊ，Ｂ／σ^２ _ｊ，Ｗ）を評価関数と
して、この値が大きくなるように、勾配（∂Ｔ／∂Ｗ
_{ｊ，ｋ，ｉ}）に沿ってＴが増加する方向に各基底ベクト
ルを更新する。

【００９５】このような処理によって、（クラス間変動
／クラス内変動）比の大きな、すなわちパターン識別に
適した特徴が学習されていく。

【００９６】具体的には、この微分から得られる次式に
従って各基底ベクトルの更新が実行される。

【００９７】すなわち、クラスｐに属する学習パターン
Ｉ_ｐｉが入力された場合、次式に従って各基底ベクトル
の更新が行なわれる。

【００９８】

【数８】

【００９９】ここで、εは学習のレートを決める予め定
めておいた正のパラメータ、＜Ｃ_ｊ＞は特徴Ｃｊの平均
値、＜Ｃ_ｊ（ｐ）＞はクラスｐに属する学習パターンが
入力した時の特徴Ｃ_ｊの平均値、σ^２ _ｊ，Ｂは特徴Ｃ_ｊ
のクラス間分散、σ^２ _ｊ，Ｗは特徴Ｃ_ｊのクラス内分散
をそれぞれ表すパラメータで、これらパラメータの値は
パラメータ記憶手段１２５から読み出される。

【０１００】また、Ｃ_ｊは現在の入力パターンＩ_ｐｉに
対応する特徴値、Ｓ_ｊ，ｋは（５）式に現れたｊ番目の
部分空間のｋ本目の基底ベクトルと学習パターンＩ_ｐｉ
との内積を表し、これらの値は特徴ベクトル抽出手段１
２３から受け取る。

【０１０１】この更新則において第３項および第４項
は、抑制パラメータＶ_ｌ，ｊに依存する項を表すが、抑
制の効果は、既に特徴Ｃ_ｊの値に反映されているので、
これらの項は省略してもかまわない。

【０１０２】本実施の形態ではこれらの項を省略した更
新則が用いられている。

【０１０３】これらの項を更新則に取り入れる場合に
は、抑制パラメータＶ_ｌ、ｊはパラメータ記憶手段１２
５から読み出される。

【０１０４】上記の更新処理によって得られる基底ベク
トルは、必ずしも正規直交系をなさないので、パラメー
タ更新手段１２６は、更新された各基底ベクトルに対し
て、さらにグラムシュミットの直交化法によって正規直
交化の処理を行なう。

【０１０５】また、パラメータ更新手段１２６は、次式
に示される処理を行ない、パラメータ記憶手段１２５が
記憶している、平均＜Ｃ_ｊ＞、クラス内平均＜Ｃ
_ｊ（ｐ）＞、クラス間分散σ^２ _ｊ，Ｂ、クラス内分散σ
^２ _ｊ，Ｗの各パラメータの更新を行なう。

【０１０６】

【数９】

【０１０７】ここでε_１〜ε_４は予め定められている、
１よりも十分に小さな正の定数である。

【０１０８】またｐは現在の学習パターンが属するクラ
スを表す。

【０１０９】パラメータ更新手段１２６はさらに、パラ
メータ記憶手段１２５によって記憶されている抑制パラ
メータＶ_ｉ，ｊの更新を次式に従って行なう。

【０１１０】

【数１０】

【０１１１】ここでε_５は予め定められている１よりも
十分に小さな正の定数である。

【０１１２】この更新則が収束した場合、ΔＶ_ｉ，ｊ＝
０から（Ｃ_ｉ−＜Ｃ_ｉ＞）（Ｃ_ｊ−＜Ｃ_ｊ＞）＝０が得
られ、各特徴が互いに無相関になるように学習が進むこ
とが分かる。

【０１１３】これによって既に抽出されている特徴が重
複して抽出されることを防止する効果がある（例えば
Ｋ．Ｉ．Ｄｉａｍａｎｔａｒａｓ，Ｓ．Ｙ．Ｋｕｎｇ，
“Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ｎｅｕｒ
ａｌ Ｎｅｔｗｏｒｋｓ”，Ｊｏｈｎ Ｗｉｌｅｙ ＆
Ｓｏｎｓ，１９９６，ｐｐ８５−８６参照）。

【０１１４】なお（１０）式では相関に比例した補正項
ε_５（Ｃ_ｉ−＜Ｃ_ｉ＞）（Ｃ_ｊ−＜Ｃ_ｊ＞）を用いてい
るが、この補正項にはより高次の相関に比例した項、例
えばε_５（Ｃ_ｉ−＜Ｃ_ｉ＞）^２（Ｃ_ｊ−＜Ｃ_ｊ＞）^２を
用いても良い。

【０１１５】このような更新則にした場合、各特徴が互
いに独立になるように学習が進むことが期待できる。

【０１１６】以上の処理が終了した時点で、学習パター
ン入力・記憶手段１１０は次の学習パターンを入力し、
同様の処理を繰り返す。

【０１１７】終了判定手段１２７は、全ての学習パター
ンそれぞれに対して、予め定められた回数、Ｎｍａｘ回
の学習を行なったかどうかを判定し、この条件が満たさ
れた時点で学習を終了させる。

【０１１８】あるいは、終了判定手段１２７は、（クラ
ス間変動／クラス内変動）比の変化を調べて、その増加
が予め定められた値よりも小さくなった時点で学習を終
了させる構成にしても良い。

【０１１９】パターン識別装置２００は、特徴抽出装置
１００で学習された部分空間を用いてパターン識別を行
なう。

【０１２０】特徴ベクトル算出手段１２３は、対象パタ
ーン入力手段２１０から入力された、識別の対象となる
パターンＩ_０ｉを正規化した上で、それを部分空間基底
ベクトル記憶手段１３０に記憶されている各基底ベクト
ルが指定する部分空間群へと射影し、特徴ベクトルＣ＝
（Ｃ_１，Ｃ_２，・・・，Ｃ_Ｍ）を算出する。

【０１２１】すなわち以下のような処理を行なう。

【０１２２】

【数１１】

【０１２３】

【数１２】

【０１２４】特徴ベクトル算出手段１１３は、参照パタ
ーン入力手段１１２から入力された参照パターンＩ
_ｐ，ｉに対しても同様に、パターンを正規化した上で部
分空間群へと射影して特徴ベクトルＣ_ｐ＝（Ｃ_ｐ１，Ｃ
_ｐ２，．．．，Ｃ_ｐＭ）を算出する。

【０１２５】パターン判定手段１２４は、パラメータ記
憶手段１２５からクラス内分散σ^２ _ｊ，Ｗを読み出し、
次式に従って特徴ベクトル間の距離ｄｐを算出し、この
距離が最も小さい参照パターンが代表するクラスを判定
結果として出力する。

【０１２６】

【数１３】

【０１２７】なお、本実施の形態では、（４）式による
処理で入力パターンの規格化を行なう構成になっている
が、これの代わりに、（７）式で得られる特徴ベクトル
に対して次式のような規格化処理を行なう構成にしても
良い。

【０１２８】

【数１４】

【０１２９】ここでｓは予め定めておく小さな正の定数
である。

【０１３０】また、本実施の形態では、特徴ベクトルの
各成分が互いに無相関になるようにして、各成分の（ク
ラス間変動／クラス内変動）比を大きくするように学習
を進める構成になっているが、この部分を、次式で表さ
れる特徴ベクトルの（クラス間変動／クラス内変動）比
を評価関数として、これを増加させるような学習則に置
き換えることも可能である。

【０１３１】

【数１５】

【０１３２】ここでｄｅｔ（Ｓ_Ｂ）は特徴ベクトルＣの
クラス間分散行列Ｓ_Ｂの行列式、ｄｅｔ（Ｓ_Ｗ）は特徴
ベクトルＣのクラス内分散行列Ｓ_Ｗの行列式を表す。

【０１３３】この場合には（８）式で表される各基底ベ
クトルの更新処理は、次式のように勾配（∂Ｔ’／∂Ｗ
_{ｊ，ｋ，ｉ}）に沿ってＴ’が増加するように、次式に従
って行なわれる。

【０１３４】

【数１６】

【０１３５】また、この場合には、（７）式で表される
特徴成分間の抑制による補正処理、および（１０）式で
表される抑制パラメータの更新処理は行なう必要はな
い。

【０１３６】線形判別分析の場合には、特徴ベクトルの
各成分を無相関にして、各成分の（クラス間変動／クラ
ス内変動）比を最大化すると、得られる特徴ベクトル
は、（１５）式の（クラス間変動／クラス内変動）比
Ｔ’を最大化する特徴ベクトルにもなっていることが知
られている。

【０１３７】次に、本発明の第２の実施の形態について
説明する。

【０１３８】第２の実施の形態は、第１の実施の形態と
ほぼ同じ構成を持ち、ほぼ同じ動作を行なうが、次の点
だけが異なっている。

【０１３９】すなわち、第２の実施の形態では、パラメ
ータ更新手段１２６が各基底ベクトルの更新を（８）式
で示された規則に従って行なった後、次式に従って正規
化処理を行なう。

【０１４０】

【数１７】

【０１４１】しかし、第１の実施の形態とは異なり、そ
の後グラムシュミットの直交化処理は行なわない。

【０１４２】これ以外の点では、第２の実施の形態の構
成、動作は、第１の実施の形態と全く同じである。

【０１４３】第２の実施の形態では、正規直交化処理を
行なわないため、各部分空間を指定する２本の基底ベク
トルは必ずしも正規直交基底をなさない。

【０１４４】従って、第２の実施の形態では、（５）式
で示される処理、あるいは（１２）式で示される処理に
よって得られる量は必ずしも部分空間への射影ベクトル
の射影長にはならず、「一般化された射影長」とでも呼
ぶべきものが得られることになるが、この点に注意すれ
ば、上記以外の点では、第２の実施の形態は第１の実施
の形態と全く同じ処理を行なう。

【０１４５】本明細書では、正規直交していないベクト
ルＷ_ｊ，ｋを用いて計算される（５）式右辺の平方根を
「一般化された射影長」と呼ぶことにする。

【０１４６】ここで、第２の実施の形態と第１の実施の
形態との違いについて説明を行なう。

【０１４７】図９、図１０、図１１はノルムが規格化さ
れた入力ベクトルＸがなす超球面を表している。

【０１４８】ここでは説明の簡単化のために３次元の入
力ベクトルを考えているので、この超球面は通常の球面
で表されている。

【０１４９】さて、図９、図１０、図１１で、ある特定
の部分空間（平面）への入力ベクトルの射影長を考える
と、この射影長を最大にする入力ベクトルは、球面と部
分空間（平面）との交差部分として得られる円上に分布
している。

【０１５０】従って、射影長が最大値から一定の変動範
囲内に納まるような入力ベクトルは、図９では、斜線で
示したようなバンド内に分布する。

【０１５１】ところで、入力ベクトルＸとある単一のベ
クトルｐとの内積、（ｐ，Ｘ）をとる場合を考えると、
その値がその最大値から一定の変動範囲内に納まる領域
は、ｐを中心とした円図１０になる。

【０１５２】従って、部分空間法では、図９のバンドの
方向を、パターン変動に伴う入力ベクトルの変動の方向
に設定すれば、パターン変動に強い特徴抽出ができるこ
とになる。

【０１５３】これが、第１の実施の形態でパターン変動
に対して強い特徴抽出が達成される理由である。

【０１５４】ところで場合によっては、異なるクラスに
属する入力ベクトルが図９のバンド内にも分布している
場合が起こりうる（図１１）。

【０１５５】このようなことが起こると、これは特徴の
クラス間変動を小さくする方向に作用するので、パター
ン識別に用いる特徴としては望ましくない。

【０１５６】第２の実施の形態では、「一般化された射
影長」を特徴として算出するので、特徴値がその最大値
から一定の変動範囲内に納まる領域は、一般的には上記
のようなバンドにはならず、特定の距離で切れる有限の
長さの領域になる（図１０）。

【０１５７】この点が第１の実施の形態と第２の実施の
形態との動作の違いである。

【０１５８】第２の実施の形態では、学習によって、パ
ターン変動によるクラス内変動を抑えながら、他のクラ
スを排除するように上記領域が設定されていくので、よ
りパターン識別に適した特徴を抽出することが可能にな
る。

【０１５９】本実施の形態では（１７）式で表される正
規化だけを行なっているが、この正規化処理を行なう前
に、各基底ベクトルに直交化処理を行なうに構成しても
良い。

【０１６０】この場合には、各基底ベクトルは必ずしも
正規直交系をなさないが、直交系をなし、その二乗和が
１に規格化される。

【０１６１】次に本発明の第３の実施の形態について図
２を参照して説明する。

【０１６２】第３の実施の形態は、第１の実施の形態の
特徴抽出装置が２段、階層的に接続された構成になって
おり、学習パターンとその属するクラス、およびサブク
ラスを入力、記憶する学習パターン入力・記憶手段１１
０ａと、特徴抽出に用いる第１の部分空間群の各基底ベ
クトルを学習によって決定する部分空間基底ベクトル第
１学習手段１２０ａ−１と、学習で決定された第１の部
分空間基底ベクトルを記憶する部分空間基底ベクトル第
１記憶手段１３０ａ−１と、特徴抽出に用いる第２の部
分空間群の各基底ベクトルを学習によって決定する部分
空間基底ベクトル第２学習手段１２０ａ−２と、学習で
決定された第２の部分空間基底ベクトルを記憶する部分
空間基底ベクトル第２記憶手段１３０ａ−２とを備えて
いる。

【０１６３】さらに部分空間基底ベクトル第１学習手段
１２０ａ−１、および部分空間基底ベクトル第２学習手
段１２０ａ−２は、それぞれ、第１の実施の形態におけ
る部分空間基底ベクトル学習手段１２０と同様の構成を
とっており、特徴抽出に用いる部分空間群の初期設定等
を行なう初期化手段１２１と、パターンの正規化を行な
う正規化手段１２２と、正規化された学習パターンを各
部分空間それぞれに射影し、射影ベクトルの大きさの二
乗を算出することによって特徴を抽出する特徴ベクトル
抽出手段１２３と、算出された特徴ベクトルに対して特
徴間の抑制処理を施し、特徴ベクトルを補正する特徴ベ
クトル補正手段１２４と、特徴ベクトルの平均、分散、
クラス内平均、クラス内分散、特徴間抑制パラメータ等
のパラメータを記憶するパラメータ記憶手段１２５と、
各部分空間の基底ベクトルおよび各種パラメータの更新
を行なうパラメータ更新手段１２６と、学習の終了を判
定する終了判定手段１２７とを備えている。

【０１６４】本実施の形態では、学習パターンが属する
各クラスは、さらに細かくサブクラスに分けられてお
り、各学習パターンは、その属するクラスとともに、そ
れぞれどのサブクラスに属するか、予め分類されている
ものとする。

【０１６５】そして、学習パターンとともに、それが属
するクラスｐ１、およびサブクラスｐ２が学習パターン
入力・記憶手段１１０ａによって入力、記憶される。

【０１６６】ここで、各学習パターンのサブクラスへの
分類は、例えば、パターンに生じうる変動の種類に応じ
て、変動の大きさを表すパラメータの値を指標にして予
め行なっておく。

【０１６７】例えば、回転によるパターン変動が起こり
うる場合には、回転操作によって互いに変換される画像
は同じクラスに分類する。

【０１６８】またその場合、予め定めて於いた回転角の
範囲内の回転操作によってある画像から変換される画像
は、互いに「近い」ものとして同じサブクラスに分類す
る。

【０１６９】例えば標準画像を０〜１０度回転して得ら
れる画像はサブクラスｐ２−１、１０〜２０度回転して
得られる画像はサブクラスｐ２−２等々のように分類し
ておく。

【０１７０】また、例えば顔画像からの特徴抽出を行な
う場合に、各人物が顔の向きを変えたり、表情を変えた
りしている動画像を撮影し、それから学習パターンをと
ってくる場合、同一人物の一連の動画像を構成する各フ
レームの像は同じクラスに分類し、さらにその中でも互
いに時間的に近いフレームの像を同じサブクラスに分類
する、というような方法によってサブクラスへの分類を
予め施しておくものとする。

【０１７１】部分空間基底ベクトル第１学習手段１２０
ａ−１は、第１の実施の形態の部分空間基底ベクトル学
習手段１２０と全く同じ動作を行なう。

【０１７２】ただし、ここではサブクラスｐ２を「クラ
ス」と見なし、第１の実施の形態の動作説明で用いた語
「クラス」は全て「サブクラス」と読み替えた処理が行
なわれる。

【０１７３】従って、部分空間基底ベクトル第１学習手
段１２０ａ−１は、（サブクラス間変動／サブクラス内
変動）比を最大にするように第１の部分空間群の基底ベ
クトルの更新を進め、学習が行なわれる。

【０１７４】こうして得られた第１の部分空間群の基底
ベクトルは、部分空間基底ベクトル第１記憶手段１３０
ａ−１に記憶される。

【０１７５】次に、この学習が終了した段階で、部分空
間基底ベクトル第２学習手段１２０ａ−２によって、第
２の部分空間の学習が行なわれる。

【０１７６】この学習は次のように進む。

【０１７７】まず、学習パターン入力・記憶手段１１０
ａによって入力された学習パターンは、部分空間学習手
段１、２０２を構成している正規化手段１２２によって
正規化された上で、やはり部分空間学習手段１、２０２
を構成している特徴ベクトル抽出手段１２３によって、
第１の各部分空間に射影され、各射影ベクトルの大きさ
の二乗を算出することによって特徴ベクトルが算出され
る。

【０１７８】この第１の部分空間群への射影処理におい
て、各部分空間の基底ベクトルは部分空間基底ベクトル
第１記憶手段１３０ａ−１から読み出される。

【０１７９】部分空間基底ベクトル第２学習手段１２０
ａ−２は、この特徴ベクトルを学習ベクトルと見なして
学習を行なう。

【０１８０】すなわち、こうして算出された特徴ベクト
ルが、部分空間基底ベクトル第２学習手段１２０ａ−２
へと送られ、以下、部分空間基底ベクトル第２学習手段
１２０ａ−２は、第１の実施の形態における部分空間基
底ベクトル学習手段１２０と全く同じ動作を行ない学習
を進める。

【０１８１】ただし、ここで、第１の実施の形態の動作
説明での「学習パターン」は、部分空間学習手段１、２
０２によって算出された上記特徴ベクトルと読み替えた
処理が行なわれ、（クラス間変動／クラス内変動）比を
最大にするように学習が行なわれる。

【０１８２】このように、本実施の形態では、パターン
変動の吸収を２段階にわたる部分空間によって行なうこ
とによって、１段の部分空間では吸収しきれないような
大きなパターン変動に対しても、抽出される特徴ベクト
ルを安定化することができ、その結果、より高い（クラ
ス間変動／クラス内変動）比を実現できる。

【０１８３】その結果、よりパターン識別に適した特徴
を学習することができる。

【０１８４】なお、本実施の形態では、部分空間基底ベ
クトル学習手段１および、部分空間基底ベクトル学習手
段２は、それぞれ第１および第２の部分空間群へと入力
パターンを射影しその射影長の二乗を算出することによ
って特徴を抽出する構成になっているが、この部分を、
第２の実施の形態で説明したように「一般化された射影
長」を用いて特徴を抽出する構成にすることも可能であ
る。

【０１８５】次に、本発明の第４の実施の形態について
図４、図５を参照して説明する。

【０１８６】本発明の第４の実施の形態は、学習パター
ンとその属するクラスを入力、記憶する学習パターン入
力・記憶手段１１０ｃと、特徴抽出に用いる階層部分空
間群の各基底ベクトルを学習によって決定する階層部分
空間基底ベクトル学習手段１２０ｃと、上記学習で決定
された階層部分空間基底ベクトルを記憶する階層部分空
間基底ベクトル記憶手段１３０ｃとを有している。

【０１８７】さらに階層部分空間基底ベクトル学習手段
１２０ｃは、特徴抽出に用いる階層部分空間群の初期設
定等を行なう初期化手段１２１ｃと、学習パターンの正
規化を行なう第１正規化手段１２２ｃ−１と、正規化さ
れた学習パターンを第１の部分空間それぞれに射影し、
射影ベクトルの大きさの二乗を算出することによって第
１の特徴を抽出する特徴ベクトル第１抽出手段１２３ｃ
−１と、算出された第１の特徴ベクトルに対して特徴間
の抑制処理を施し、第１の特徴ベクトルを補正する特徴
ベクトル第１補正手段１２４ｃ−１と、上記補正された
第１の特徴ベクトルを受け取って、その正規化を行なう
第２正規化手段１２２ｃ−２と、正規化された第１の特
徴ベクトルを第２の部分空間それぞれに射影し、射影ベ
クトルの大きさの二乗を算出することによって第２の特
徴を抽出する特徴ベクトル第２抽出手段１２３ｃ−２
と、算出された第２の特徴ベクトルに対して特徴間の抑
制処理を施し、第２の特徴ベクトルを補正する特徴ベク
トル第２補正手段１２４ｃ−２と、上記第２の特徴ベク
トルの平均、分散、クラス内平均、クラス内分散、およ
び特徴間抑制パラメータ等の各種パラメータを記憶する
パラメータ記憶手段３０８と、階層部分空間の各基底ベ
クトルおよび各種パラメータの更新を行なうパラメータ
更新手段３１２と、学習の終了を判定する終了判定手段
３１３とを備えている。

【０１８８】次に図４を参照して本実施の形態の動作に
ついて説明する。

【０１８９】まず、初期化手段１２１ｃが、学習の開始
に先だって、階層部分空間の各基底ベクトル、および各
種パラメータの初期化処理を行なう。

【０１９０】階層部分空間基底ベクトル記憶手段１３０
ｃに記憶される、階層部分空間基底ベクトルの各成分Ｗ
_{ｓ，ｊ，ｋ，ｉ}には乱数によるランダムな初期値が与え
られ、次にグラムシュミットの直交化法によって、各部
分空間ごとに基底ベクトルは正規直交化される。

【０１９１】また、初期化手段１２１ｃは、平均＜Ｃ
_２，ｊ＞、クラス内平均＜Ｃ_{２，ｊ（ ｐ）}＞、クラス間
分散σ^２ _ｊ，Ｂ、クラス内分散σ^２ _ｊ，Ｗの各パラメー
タを予め定めておく初期値に設定し、パラメータ記憶手
段３０８に送る。

【０１９２】さらに初期化手段１２１ｃは抑制パラメー
タＶ_{ｓ，ｉ，ｊ}の値を全てゼロに初期化し、やはりパラ
メータ記憶手段３０８に送る。

【０１９３】学習パターン入力・記憶手段１１０ｃによ
って入力、記憶された学習パターンＩ_ｐ０ｉ（１≦ｉ≦
Ｎ、Ｎはパターンの次元数）、およびその属するクラス
ｐは、階層部分空間基底ベクトル学習手段１２０ｃへと
送られる。

【０１９４】以後、第１正規化手段１２２ｃ−１、特徴
ベクトル第１抽出手段１２３ｃ−１特徴ベクトル第１補
正手段１２４ｃ−１による処理は、第１の実施の形態で
説明したものと同じである。

【０１９５】すなわち、第１正規化手段１２２ｃ−１に
よって正規化された学習パターンＩ _ｐｉは、特徴ベクト
ル第１抽出手段１２３ｃ−１によって、次式の処理を受
け、第１の特徴ベクトルがＣ’_１，ｊが算出される。

【０１９６】

【数１８】

【０１９７】次に、特徴ベクトル第１補正手段１２４ｃ
−１が、パラメータ記憶手段３０８に記憶されている抑
制パラメータＶ_{１，ｉ，ｊ}を読み出し、次式で示される
補正処理を行なう。

【０１９８】

【数１９】

【０１９９】第２正規化手段１２２ｃ−２、特徴ベクト
ル第２抽出手段１２３ｃ−２、特徴ベクトル第２補正手
段１２４ｃ−２は、このＣ”_１，ｊに対して同様の処理
を行なう。

【０２００】すなわち、まず、第２正規化手段１２２ｃ
−２は、上記の補正を受けた第１の特徴ベクトルＣ”
_１，ｊに対して、次式のような正規化処理を行なう。

【０２０１】

【数２０】

【０２０２】その上で特徴ベクトル第２抽出手段１２３
ｃ−２は次式のような特徴を算出する。

【０２０３】

【数２１】

【０２０４】次に、特徴ベクトル第２補正手段１２４ｃ
−２が、パラメータ記憶手段３０８に記憶されている抑
制パラメータＶ２，ｉｊを読み出し、次式の補正処理を
行なう。

【０２０５】

【数２２】

【０２０６】パラメータ更新手段３１２は、こうして得
られた第２の特徴ベクトル、すなわち最終的特徴、Ｃ
_２，ｊのクラス間変動とクラス内変動との比が大きくな
るように、上記の階層的な構成をとる各部分空間の基底
ベクトルを更新していく。

【０２０７】すなわち、特徴ベクトルＣ_２，ｊのクラス
間変動をσ^２ _ｊ，Ｂ、クラス内変動σ^２ _ｊ，Ｗとする
と、Ｔ＝Σ_ｊ（σ^２ _ｊ，Ｂ／σ^２ _ｊ，Ｗ）を評価関数と
して、この値が大きくなるように、勾配（∂Ｔ／∂Ｗ
_{２，ｊ，ｋ，ｉ}）および（∂Ｔ／∂Ｗ_{１，ｊ，ｋ，ｉ}）
に沿ってＴが増加する方向に各基底ベクトルＷ
_{２，ｊ，ｋ ，ｉ}およびＷ_{１，ｊ，ｋ，ｉ}を更新する。

【０２０８】具体的には次式に従ってＷ_{２，ｊ，ｋ，ｉ}
およびＷ_{１，ｊ，ｋ，ｉ}の更新を実行する。

【０２０９】すなわち、クラスｐに属する学習パターン
Ｉ_ｐｉが入力された場合、次式に従って各基底ベクトル
の更新が行なわれる。

【０２１０】

【数２３】

【０２１１】

【数２４】

【０２１２】ここで、ε，ε’は学習のレートを決め
る、予め定めておいたパラメータ、＜Ｃ_２，ｊ＞は特徴
Ｃ_２，ｊの平均値、＜Ｃ_{２，ｊ（ｐ）}＞はクラスｐに属
する学習パターンが入力した時の特徴Ｃ_２，ｊの平均
値、σ^２ _ｊ，Ｂは特徴Ｃ_２，ｊのクラス間分散、σ^２
_ｊ，Ｗは特徴Ｃ_２，ｊのクラス内分散をそれぞれ表すパ
ラメータで、これらパラメータの値はパラメータ記憶手
段３０８から読み出される。

【０２１３】また、Ｃ_２，ｊは現在の入力パターンＩ
_ｐｉに対応する特徴値である。

【０２１４】なお、この更新則では、抑制パラメータＶ
_{１，ｉ，ｊ}，Ｖ_{２，ｉ，ｊ}に直接依存する項は省略して
あるが、これらを取り入れた更新則を用いる構成にする
ことももちろん可能である。

【０２１５】この場合、更新則は次式で与えられる。

【０２１６】

【数２５】

【０２１７】

【数２６】

【０２１８】これらの式に従い、各基底ベクトルの更新
が行なわれる。

【０２１９】上記の更新処理によって得られる基底ベク
トルは、必ずしも正規直交系をなさないので、パラメー
タ更新手段３１２は、更新された各基底ベクトルに対し
て、さらにグラムシュミットの直交化法で正規直交化の
処理を行なう。

【０２２０】また、パラメータ更新手段３１２は、次式
に示される処理を行ない、パラメータ記憶手段３０８が
記憶している、平均＜Ｃ_２，ｊ＞、クラス内平均＜Ｃ
_{２，ｊ （ｐ）}＞、クラス間分散σ^２ _ｊ，Ｂ、クラス内分
散σ^２ _ｊ，Ｗの各パラメータの更新を行なう。

【０２２１】

【数２７】

【０２２２】ここでε_１〜ε_４は予め定められている、
１よりも十分に小さな正の定数である。

【０２２３】またｐは現在の学習パターンが属するクラ
スを表す。

【０２２４】パラメータ更新手段３１２はさらに、パラ
メータ記憶手段３０８によって記憶されている抑制パラ
メータＶ_ｓ,ｉ,ｊの更新を次式に従って行なう。

【０２２５】

【数２８】

【０２２６】ここでε_５は予め定められている、１より
も十分に小さな正の定数である。

【０２２７】以上の処理が終了した時点で、学習パター
ン入力・記憶手段１１０ｃは次の学習パターンを入力
し、同様の処理を繰り返す。

【０２２８】終了判定手段３１３は、全ての学習パター
ンそれぞれに対して、予め定められた回数、Ｎｍａｘ回
の学習を行なったかどうかを判定し、この条件が満たさ
れた時点で学習を終了させる。

【０２２９】あるいは、終了判定手段３１３は、（クラ
ス間変動／クラス内変動）比の変化を調べて、その増加
が予め定められた値よりも小さくなった時点で学習を終
了させる構成にしても良い。

【０２３０】本実施の形態では、部分空間によるパター
ン変動の吸収を２段階にわたって行なうことによって、
１段の部分空間では吸収しきれないような大きなパター
ン変動に対しても、抽出される特徴ベクトルを安定化す
ることができ、その結果、より高い（クラス間変動／ク
ラス内変動）比を実現できる。

【０２３１】なお、本実施の形態では、パラメータ更新
手段はグラムシュミットの直交化を行ない、各部分空間
基底ベクトルの正規直交化を行なっているが、この正規
直交化を行なわずに、第２の実施の形態で説明したよう
に「一般化された射影長」を用いて特徴を抽出する構成
にすることも可能である。

【０２３２】次に、本発明の第５の実施の形態について
説明する。

【０２３３】図６は第５の実施の形態について、その処
理の流れを示すブロック図である。

【０２３４】本発明の第５の実施の形態は、各パラメー
タの初期化を行なう初期化手段６０１と、入力パターン
とそれに対応する望ましい出力パターンとの組から構成
される学習パターンを入力、記憶する、学習パターン入
力手段６０２と、学習終了時の想起モードにおいて入力
パターンを入力するパターン入力手段６０７と、入力パ
ターンから中間出力を算出する中間出力算出手段６０３
と、上記中間出力から最終出力を算出する最終出力算出
手段６０４と、上記最終出力と、望ましい出力パターン
とから中間出力算出手段６０３、および最終出力算出手
段６０４の各種パラメータを更新、修正するパラメータ
更新手段６０５と、学習の終了を判定する終了判定手段
６０６とを備えている。

【０２３５】次に図６を参照して本実施の形態の動作に
ついて説明する。

【０２３６】まず、初期化手段６０１が、学習の開始に
先だって、各種パラメータの初期化処理を行なう。

【０２３７】中間出力算出手段６０３に記憶されるパラ
メータ、Ｗ_{１，ｊ，ｋ，ｉ}および、最終出力算出手段６
０４に記憶されるパラメータ、Ｗ_{２，ｊ，ｋ，ｉ}には乱
数によるランダムな初期値が与えられる。

【０２３８】次に、学習モードにおいては、学習パター
ン入力手段６０２が入力パターンとそれに対応する望ま
しい出力パターンとの組から構成される学習パターンを
入力、記憶する。

【０２３９】次に、中間出力算出手段６０３は、入力パ
ターンＩ_ｐ０ｉ（１≦ｉ≦Ｎ、Ｎはパターンの次元数）
に対して次のような処理を行ない、中間出力を算出す
る。

【０２４０】すなわち、まず中間出力算出手段６０３
は、入力パターンＩ_ｐ０ｉを次式のように規格化する。

【０２４１】

【数２９】

【０２４２】次に、中間出力算出手段６０３は、記憶し
ているパラメータＷ_{１，ｊ，ｋ，ｉ}を用いて次式の処理
を行ない中間出力Ｃ_１，ｊ（１≦ｊ≦Ｍ，Ｍは予め定め
ておく自然数）を算出する。

【０２４３】

【数３０】

【０２４４】次に、最終出力算出手段６０４は、この中
間出力を受け取り、それに対して次のような処理を行な
い最終出力を算出する。

【０２４５】すなわち、まず最終出力算出手段６０４
は、次式のような処理によって中間出力を規格化する。

【０２４６】

【数３１】

【０２４７】次に、最終出力算出手段６０４は、記憶し
ているパラメータＷ_{２，ｊ，ｋ，ｉ}を用いて次式の処理
を行ない、最終出力Ｃ_２，ｊ（１≦ｊ≦Ｍ’，Ｍ’は望
ましい出力パターンの次元数）を算出する。

【０２４８】

【数３２】

【０２４９】次に、パラメータ更新手段６０５は、学習
パターン入力手段６０２によって入力され、記憶されて
いる望ましい出力パターンＴ_ｐ，ｊ（１≦ｊ≦Ｍ’）
と、上記最終出力Ｃ_２，ｊとができるだけ一致するよう
に各パラメータ、Ｗ_{１，ｊ，ｋ ，ｉ}、Ｗ_{２，ｊ，ｋ，ｉ}
の更新処理を行なう。

【０２５０】すなわち、望ましい出力パターンＴ_ｐ，ｊ
と、最終出力Ｃ_２，ｊとの平均二乗誤差をＥ＝＜（Ｃ
_２，ｊ−Ｔ_ｐ，ｊ）^２＞とし（記号＜・＞は学習パター
ンに関する平均操作を表す）この誤差が小さくなるよう
に、勾配（−∂Ｅ／∂Ｗ_{２，ｊ ，ｋ，ｉ}）および（−∂
Ｅ／∂Ｗ_{１，ｊ，ｋ，ｉ}）に沿って、平均二乗誤差Ｅが
減少する方向に各パラメータＷ_{２，ｊ，ｋ，ｉ}およびＷ
_{１，ｊ，ｋ，ｉ}を更新する。

【０２５１】具体的には、次式に従ってＷ
_{２，ｊ，ｋ，ｉ}およびＷ_{１，ｊ，ｋ，ｉ}の更新を実行す
る。

【０２５２】

【数３３】

【０２５３】

【数３４】

【０２５４】ここでε，およびε’は学習のレートを決
める、予め定めておいたパラメータである。

【０２５５】Ｓ_{２，ｊ，ｋ}、Ｃ’_１，ｉ、
Ｓ_{１，ｋ，ｊ}、Ｃ_ｒｍｓはそれぞれ（３０）、（３
１）、（３２）式に現れる量であり、これらの値は、そ
れぞれ最終出力算出手段６０４、および中間出力算出手
段６０３から受け取る。

【０２５６】Ｃ_２，ｊは最終出力算出手段６０４が算出
する最終出力、Ｉ_ｐｉは規格化された入力パターンを表
す。

【０２５７】以上の処理が終了すると、学習パターン入
力手段６０２は、次の学習パターンの入力、記憶を行な
い、同様の処理を続ける。

【０２５８】終了判定手段６０６は、出力誤差Ｅが予め
定めておいた値Ｅｍａｘよりも小さくなったか否かを判
定し、出力誤差がＥｍａｘよりも小さくなった場合に、
あるいは全ての学習パターンに対して予め定められた回
数、Ｎｍａｘ回の学習の学習動作を行なった場合に、学
習モードを終了させる。

【０２５９】次に、こうして学習した入力−出力関係を
用いて、与えられた入力に対して望ましい出力を算出す
る、想起モードにおける本発明の動作を説明する。

【０２６０】まず、パターン入力手段６０７が入力パタ
ーンを入力する。

【０２６１】次に、中間出力算出手段６０３は、入力パ
ターンに対して（２９）式、（３０）式で示される処理
を行ない、中間出力を算出する。

【０２６２】次に、最終出力算出手段６０４は、この中
間出力を受け取り、それに対して（３１）式、（３２）
式で示される処理を行ない最終出力を算出し、これを出
力パターンとして出力する。

【０２６３】なお、本実施の形態では、最終出力算出手
段６０４は、（３１）式の処理によって中間出力を規格
化する構成になっているが、この（３１）式の処理を、
次式のようなシグモイド関数を用いた処理に置き換える
ことも可能である。

【０２６４】

【数３５】

【０２６５】ここで、ｆ（ｘ）はシグモイド関数と呼ば
れる関数であり、ｕ_０は予め定められているパラメータ
である。

【０２６６】この場合にも、平均二乗誤差、Ｅの勾配
（−∂Ｅ／∂Ｗ_{２，ｊ，ｋ，ｉ}）および（−∂Ｅ／∂Ｗ
_{１，ｊ，ｋ，ｉ}）に沿って、平均二乗誤差Ｅが減少する
方向に各パラメータＷ_{２，ｊ，ｋ，ｉ}およびＷ
_{１，ｊ，ｋ，ｉ}を更新していけば良い。

【０２６７】本実施の形態は、図７に示した多層パーセ
プトロン・ニューラルネットワークの各層を構成する処
理ユニットを、図８に示したような、それぞれ部分空間
を記憶し、ユニットへの入力ベクトルを規格化した上で
部分空間へと射影しその一般化された射影長を算出、出
力する処理ユニットに置き換えたものと考えることがで
きる。

【０２６８】従って、本発明では、部分空間への射影を
利用してパターン変動に対して出力を安定化させるとい
う仕組みを構造として組み込んであるため、通常の多層
パーセプトロン・ニューラルネットワークと比較して、
学習に要する時間を大幅に軽減させながら、パターン変
動に強いパターン学習が容易に実現される。

【０２６９】部分空間が適切に設定されれば、そこへの
射影長の二乗は、パターン変動に対して安定になること
が知られている。

【０２７０】そのため、本発明では、パターン変動に対
して強い特徴ベクトルが抽出される。

【０２７１】パラメータ更新手段によって、クラス間変
動／クラス内変動比を大きくするように学習を進めるこ
とによって、各部分空間が最適化され、クラス間変動／
クラス内変動比の大きい、すなわちパターン識別に適し
た特徴抽出が可能になる。

【０２７２】また、膨大な学習を必要とすることなく、
パターン変動に対して強いパターン学習を実現するた
め、本発明のパターン学習装置では、装置の各層を構成
する各処理ユニット（中間出力算出手段６０３、最終出
力算出手段６０４）、それぞれの入力パターンを正規化
した上で部分空間へと射影し、射影ベクトルの射影長、
もしくは一般化された射影長の二乗をその処理ユニット
の出力として算出する手段を有している。

【０２７３】また、最終出力算出手段６０４から得られ
る出力パターンを、望ましい出力パターンと一致させる
ように、各層、各処理ユニットの各パラメータを学習に
よって更新するパラメータ更新手段６０５を有してい
る。

【０２７４】部分空間が適切に設定されれば、そこへの
射影長、もしくは一般化された射影長はパターン変動に
対して安定化するから、本発明のパターン学習装置で
は、パラメータ更新手段による学習が進むに従って各部
分空間が最適化され、パターン変動に強いパターン学習
が容易に実現される。

【０２７５】また、部分空間への射影を利用してパター
ン変動に対して出力を安定化させるという仕組みを始め
から構造として組み込んであるため、通常の多層パーセ
プトロン・ニューラルネットワークと比較して、学習に
要する時間を大幅に軽減することができる。

【０２７６】なお、本発明は上述した実施の形態に限定
されるものではなく、その技術思想の範囲内において様
々に変形して実施することができる。

【０２７７】

【発明の効果】以上説明したように本発明では、パター
ン変動に対して強い、パターン識別に適した特徴を決
定、抽出できるという効果がある。

【０２７８】また、本発明では、膨大な学習を必要とす
ることなく、パターン変動に対して強いパターン学習が
実現できるという効果がある。

【図面の簡単な説明】

【図１】 本発明の第１の実施の形態による特徴抽出装
置及びパターン識別装置の構成を示すブロック図であ
る。

【図２】 本発明の第１の実施の形態の部分基底ベクト
ル学習手段の構成を示すブロック図である。

【図３】 本発明の第３の実施の形態による特徴抽出装
置の構成を示すブロック図である。

【図４】 本発明の第４の実施の形態による特徴抽出装
置の構成を示すブロック図である。

【図５】 本発明の第４の実施の形態の階層部分空間基
底ベクトル学習手段の構成を示すブロック図である。

【図６】 本発明の第５の実施の形態による特徴抽出装
置の構成を示すブロック図である。

【図７】 従来技術の３層のパーセプトロン・ニューラ
ルネットワークの構造を示す図である。

【図８】 本発明の３層のパーセプトロン・ニューラル
ネットワークの構造を示す図である。

【図９】 単位ベクトルがなす超球面上に、射影長の値
が最大値から一定の変動範囲内に納まる単位ベクトルの
範囲の例を示す図である。

【図１０】 単位ベクトルがなす超球面上に、ある単位
ベクトルｐとの内積（ｐ，Ｘ）の値が最大値から一定の
変動範囲内に納まる単位ベクトルＸの成す領域の例を示
す図である。

【図１１】 異なるクラスに属する単位ベクトルが、図
１０に示された単位ベクトルの範囲内にも分布している
場合の例を示す図である。

【符号の説明】

１００、１００ａ、１００ｂ、１００ｃ 特徴抽出装置 １１０ 学習パターン入力・記憶手段 １２０ 部分空間基底ベクトル学習手段 １２０ａ−１ 部分空間基底ベクトル第１学習手段 １２０ａ−２ 部分空間基底ベクトル第２学習手段 １２０ｂ 階層部分空間基底ベクトル学習手段 １２１、１２１ｂ 初期化手段 １２２ 正規化手段 １２２ｂ−１ 第１正規化手段 １２２ｂ−２ 第２正規化手段 １２３ 特徴ベクトル抽出手段 １２３ｂ−１ 特徴ベクトル第１抽出手段 １２３ｂ−２ 特徴ベクトル第２抽出手段 １２４ 特徴ベクトル補正手段 １２４ｂ−１ 特徴ベクトル第１補正手段 １２４ｂ−２ 特徴ベクトル第２補正手段 １２５、１２５ｂ パラメータ記憶手段 １２６、１２６ｂ パラメータ更新手段 １２７、１２７ｂ 終了判定手段 １３０ 部分空間基底ベクトル記憶手段 １３０ａ−１ 部分空間基底ベクトル第１記憶手段 １３０ａ−２ 部分空間基底ベクトル第２記憶手段 １３０ｂ 階層部分空間基底ベクトル記憶手段 ２００ パターン識別装置 ２１０ 対象パターン入力手段 ２２０ 参照パターン入力手段 ２３０ 特徴ベクトル算出手段 ２４０ パターン判定手段 ６０１ 初期化手段 ６０２ 学習パターン入力手段 ６０３ 中間出力算出手段 ６０４ 最終出力算出手段 ６０５ パラメータ更新手段 ６０６ 終了判定手段 ６０７ パターン入力手段

Claims (24)

(57)【特許請求の範囲】
1. 【請求項１】 識別対象である学習パターンを部分空間
   群に射影し、各部分空間への射影長の二乗を特徴ベクト
   ルとして算出する特徴ベクトル算出手段と、 前記特徴ベクトルの各成分のクラス間変動とクラス内変
   動との比を増加させるように、前記部分空間群を構成す
   る各部分空間の基底ベクトルを更新するパラメータ更新
   手段とを少なくとも有する部分空間基底ベクトル学習手
   段を備えることを特徴とする特徴抽出装置。
2. 【請求項２】 前記特徴ベクトル算出手段は、 前記学習パターンを正規化した上で部分空間群に射影
   し、各部分空間への射影長の二乗、もしくはそれから誘
   導される量を特徴ベクトルとして算出することを特徴と
   する請求項１に記載の特徴抽出装置。
3. 【請求項３】 前記部分空間基底ベクトル学習手段は、 算出された前記特徴ベクトルに対して予め設定された抑
   制パラメータに基づいて特徴間の抑制処理を行なうこと
   により、前記特徴ベクトルを補正する補正手段を備える
   ことを特徴とする請求項１または請求項２に記載の特徴
   抽出装置。
4. 【請求項４】 前記パラメータ更新手段は、 更新処理によって得られた前記基底ベクトルに対して、
   グラムシュミットの直交化法によって正規直交化の処理
   を行なうことを特徴とする請求項１から請求項３の何れ
   か一つに記載の特徴抽出装置。
5. 【請求項５】 前記特徴ベクトル算出手段は、 前記学習パターンを正規化した上で部分空間群に射影
   し、各部分空間への一般化された射影長の二乗を特徴ベ
   クトルとして算出することを特徴とする請求項１に記載
   の特徴抽出装置。
6. 【請求項６】 前記部分空間基底ベクトル学習手段は、 特徴ベクトルの各成分を相互に無相関あるいは独立にす
   ると同時に、特徴ベクトル各成分のクラス間変動とクラ
   ス内変動との比を増加させるように基底ベクトルを更新
   することによって、特徴ベクトルのクラス間変動とクラ
   ス内変動との比を増加させる基底ベクトルの更新処理を
   行なうことを特徴とする請求項１から請求項５の何れか
   一つに記載の特徴抽出装置。
7. 【請求項７】 入力パターンと、それが属するクラス名
   Ｃと、さらに入力パターンが属するサブクラス名Ｃ_ｍの
   系列（ｍ＝１〜ｎ、ｎは１以上の整数で、このサブクラ
   スの系列はｍが大きいほどより細分類されたサブクラス
   となるように階層的に構成されているとする）とからな
   るデータの集合を学習用データとして用いて特徴を決定
   する特徴抽出装置であって、 （ｎ＋１）段階の特徴抽出層から構成され、 第１段階の特徴抽出層は、 入力する学習パターンを正規化した上で第１の部分空間
   群に射影し、各部分空間への一般化された射影長の二
   乗、もしくはそれから誘導される量を第１の特徴ベクト
   ルとして算出する第１の特徴ベクトル算出手段と、 前記第１の特徴ベクトルの、第ｎ階層目のサブクラスす
   なわち最も細分化されたサブクラスに関するサブクラス
   間変動とサブクラス内変動との比を増加させるように、
   前記第１の部分空間群を構成する各部分空間の基底ベク
   トルを更新する第１のパラメータ更新手段とを少なくと
   も有する第１の部分空間基底ベクトル学習手段とを備
   え、ｎが２以上の場合には、 第ｋ段階（ｋ＝２〜ｎ）の特徴
   抽出層は、第（ｋ−１）段階の特徴抽出層で算出された
   第（ｋ−１）の特徴ベクトルを正規化した上で第ｋの部
   分空間群に射影し、各部分空間への一般化された射影長
   の二乗、もしくはそれから誘導される量を第ｋの特徴ベ
   クトルとして算出する第ｋの特徴ベクトル算出手段と、 前記第ｋの特徴ベクトルの、第（ｎ＋１−ｋ）階層目の
   サブクラスに関する（サブクラス間変動／サブクラス内
   変動）比を増加させるように、前記第ｋの部分空間群を
   構成する各部分空間の基底ベクトルを更新する第ｋのパ
   ラメータ更新手段とを少なくとも有する第ｋの部分空間
   基底ベクトル学習手段を備えることを特徴とする特徴量
   抽出装置。
8. 【請求項８】 第（ｎ＋１）段階の特徴抽出層は、 第ｎ段階の特徴抽出層で算出された第ｎの特徴ベクトル
   を正規化した上で第（ｎ＋１）の部分空間群に射影し、
   各部分空間への一般化された射影長の二乗、もしくはそ
   れから誘導される量を第ｋの特徴ベクトルとして算出す
   る第（ｎ＋１）の特徴ベクトル算出手段と、 最終的な特徴ベクトルのクラス間変動とクラス内変動と
   の比を増加させるように、前記第（ｎ＋１）の部分空間
   群を構成する各部分空間の基底ベクトルを更新する第
   （ｎ＋１）のパラメータ更新手段とを少なくとも有する
   第（ｎ＋１）の部分空間基底ベクトル学習手段とを有す
   ることを特徴とする請求項７に記載の特徴量抽出装置。
9. 【請求項９】 前記各特徴抽出層の前記部分空間基底ベ
   クトル学習手段は、 算出された前記特徴ベクトルに対して予め設定された抑
   制パラメータに基づいて特徴間の抑制処理を行なうこと
   により、前記特徴ベクトルを補正する補正手段を備える
   ことを特徴とする請求項７または請求項８に記載の特徴
   抽出装置。
10. 【請求項１０】 前記パラメータ更新手段は、 更新処理によって得られた前記基底ベクトルに対して、
    グラムシュミットの直交化法によって正規直交化の処理
    を行なうことを特徴とする請求項７から請求項９の何れ
    か一つに記載の特徴抽出装置。
11. 【請求項１１】 各特徴抽出層の特徴ベクトル算出手段
    は、当該層への入力を正規化した上で部分空間群に射影
    し、各部分空間への射影長の二乗、もしくはそれから誘
    導される量を特徴ベクトルとして算出し、 各特徴抽出層のパラメータ更新手段は、算出された特徴
    ベクトルのサブクラス間変動とサブクラス内変動との
    比、もしくはクラス間変動とクラス内変動との比を増加
    させるように、部分空間群を構成する各部分空間の正規
    直交基底ベクトルを更新することを特徴とする請求項７
    に記載の特徴抽出装置。
12. 【請求項１２】 前記階層部分空間基底ベクトル学習手
    段は、 特徴ベクトルの各成分を相互に無相関あるいは独立にす
    ると同時に、特徴ベクトル各成分のクラス間変動とクラ
    ス内変動との比、あるいはサブクラス間変動とサブクラ
    ス内変動との比を増加させるように基底ベクトル、ある
    いは正規直交基底ベクトルを更新することによって、特
    徴ベクトルのクラス間変動とクラス内変動との比、ある
    いはサブクラス間変動とサブクラス内変動との比を増加
    させる基底ベクトルあるいは正規直交基底ベクトルの更
    新処理を行なうことを特徴とする請求項７から請求項１
    １の何れか一つに記載の特徴抽出装置。
13. 【請求項１３】 ｎ段階（ｎは２以上の整数）の特徴抽
    出層と、これらの各特徴抽出層の動作を規定する各パラ
    メータを更新する階層部分空間基底ベクトル学習手段と
    を有する特徴抽出装置であって、 第１段階の特徴抽出層は、 入力パターンを正規化した上で第１の部分空間群に射影
    し、各部分空間への一般化された射影長の二乗、もしく
    はそれから誘導される量を第１の特徴ベクトルとして算
    出する第１の特徴ベクトル算出手段を有し、 第ｋ段階（ｋ＝２〜ｎ）の特徴抽出層は、 第（ｋ−１）段階の特徴抽出層で算出された第（ｋ−
    １）の特徴ベクトルを正規化した上で第ｋの部分空間群
    に射影し、各部分空間への一般化された射影長の二乗、
    もしくはそれから誘導される量を第ｋの特徴ベクトルと
    して算出する第ｋの特徴ベクトル算出手段を有し、 前記階層部分空間基底ベクトル学習手段は、第ｎ段階の
    特徴抽出層で算出される最終的な特徴ベクトルである第
    ｎの特徴ベクトルのクラス間変動とクラス内変動との比
    を増加させるように、前記各特徴抽出層の部分空間群を
    構成する各部分空間の基底ベクトルを更新する手段を有
    していることを特徴とする階層的構成を有する特徴抽出
    装置。
14. 【請求項１４】 階層部分空間基底ベクトル学習手段
    は、 最終的特徴ベクトルのクラス間変動とクラス内変動との
    比を増加させるように、各特徴抽出層の部分空間群を構
    成する各部分空間の正規直交基底ベクトルを更新するこ
    とを特徴とする請求項１３に記載の特徴抽出装置。
15. 【請求項１５】 前記各特徴抽出層の前記部分空間基底
    ベクトル学習手段は、 算出された前記特徴ベクトルに対して予め設定された抑
    制パラメータに基づいて特徴間の抑制処理を行なうこと
    により、前記特徴ベクトルを補正する補正手段を備える
    ことを特徴とする請求項１３または請求項１４に記載の
    特徴抽出装置。
16. 【請求項１６】 前記パラメータ更新手段は、 更新処理によって得られた前記基底ベクトルに対して、
    グラムシュミットの直交化法によって正規直交化の処理
    を行なうことを特徴とする請求項１３から請求項１５の
    何れか一つに記載の特徴抽出装置。
17. 【請求項１７】 前記階層部分空間基底ベクトル学習手
    段は、 特徴ベクトルの各成分を相互に無相関あるいは独立にす
    ると同時に、特徴ベクトル各成分のクラス間変動とクラ
    ス内変動との比、あるいはサブクラス間変動とサブクラ
    ス内変動との比を増加させるように基底ベクトル、ある
    いは正規直交基底ベクトルを更新することによって、特
    徴ベクトルのクラス間変動とクラス内変動との比、ある
    いはサブクラス間変動とサブクラス内変動との比を増加
    させる基底ベクトルあるいは正規直交基底ベクトルの更
    新処理を行なうことを特徴とする請求項１３から請求項
    １６の何れか一つに記載の特徴抽出装置。
18. 【請求項１８】 入力ベクトルとそれに対応する望まし
    い出力ベクトルとの組から構成される学習用データの集
    合を用いて入力／出力間の関係を学習するパターン学習
    装置であって、 ｎ段階（ｎは１以上の整数）の処理層と、 前記各処理層の動作を規定する各パラメータを更新する
    パラメータ更新手段とを有し、 第１段階の処理層は、入力ベクトルを正規化した上で第
    １の部分空間群に射影し、各部分空間への一般化された
    射影長の二乗、もしくはそれから誘導される量を第１の
    出力ベクトルとして算出する第１の出力算出手段を有
    し、 ｎが２以上の場合には、第ｋ段階（ｋ＝２〜ｎ）の処理
    層は、 第（ｋ−１）段階の処理層で算出された第（ｋ−１）の
    出力ベクトルを正規化した上で第ｋの部分空間群に射影
    し、各部分空間への一般化された射影長の二乗、もしく
    はそれから誘導される量を第ｋの出力ベクトルとして算
    出する第ｋの出力算出手段を有し、 前記パラメータ更新手段は、最終的出力ベクトルである
    第ｎ段階の処理層で算出される第ｎの出力ベクトルと、
    入力ベクトルに対応する望ましい出力ベクトルとの平均
    二乗誤差を減少させるように、前記各処理層の各部分空
    間の基底ベクトルを更新する手段を有することを特徴と
    するパターン学習装置。
19. 【請求項１９】 コンピュータを制御してパターン識別
    のための特徴を抽出する特徴抽出プログラムを読み取り
    可能に格納する記録媒体であって、 前記特徴抽出プログラムは、 識別対象である学習パターンを部分空間群に射影し、各
    部分空間への射影長の二乗を特徴ベクトルとして算出す
    る機能と、 前記特徴ベクトルの各成分のクラス間変動とクラス内変
    動との比を増加させるように、前記部分空間群を構成す
    る各部分空間の基底ベクトルを更新する機能とを備える
    ことを特徴とする特徴抽出プログラムを格納する記録媒
    体。
20. 【請求項２０】 前記特徴抽出プログラムは、 前記特徴ベクトル算出において、 前記学習パターンを正規化した上で部分空間群に射影
    し、各部分空間への一般化された射影長の二乗を特徴ベ
    クトルとして算出することを特徴とする請求項１９に記
    載の特徴抽出プログラムを格納する記録媒体。
21. 【請求項２１】 前記特徴抽出プログラムは、 特徴ベクトルの各成分を相互に無相関あるいは独立にす
    ると同時に、特徴ベクトル各成分のクラス間変動とクラ
    ス内変動との比を増加させるように基底ベクトルを更新
    することによって、特徴ベクトルのクラス間変動とクラ
    ス内変動との比を増加させる基底ベクトルの更新処理を
    行なうことを特徴とする請求項１９または請求項２０に
    記載の特徴抽出プログラムを格納する記録媒体。
22. 【請求項２２】 入力パターンと、それが属するクラス
    名Ｃと、さらに入力パターンが属するサブクラス名Ｃ_ｍ
    の系列（ｍ＝１〜ｎ、ｎは１以上の整数で、このサブク
    ラスの系列はｍが大きいほどより細分類されたサブクラ
    スとなるように階層的に構成されているとする）とから
    なるデータの集合を学習用データとして用いて特徴を決
    定する特徴抽出プログラムを読み出し可能に格納する記
    録媒体であって、 前記特徴抽出プログラムは、 （ｎ＋１）段階の特徴抽出層から構成され、 第１段階の特徴抽出層は、 入力する学習パターンを正規化した上で第１の部分空間
    群に射影し、各部分空間への一般化された射影長の二
    乗、もしくはそれから誘導される量を第１の特徴ベクト
    ルとして算出する第１の特徴ベクトル算出機能と、 前記第１の特徴ベクトルの、第ｎ階層目のサブクラスす
    なわち最も細分化されたサブクラスに関するサブクラス
    間変動とサブクラス内変動との比を増加させるように、
    前記第１の部分空間群を構成する各部分空間の基底ベク
    トルを更新する第１のパラメータ更新手段とを少なくと
    も有する第１の部分空間基底ベクトル学習機能とを備
    え、ｎが２以上の場合には、 第ｋ段階（ｋ＝２〜ｎ）の特徴
    抽出層は、第（ｋ−１）段階の特徴抽出層で算出された
    第（ｋ−１）の特徴ベクトルを正規化した上で第ｋの部
    分空間群に射影し、各部分空間への一般化された射影長
    の二乗、もしくはそれから誘導される量を第ｋの特徴ベ
    クトルとして算出する第ｋの特徴ベクトル算出機能と、 前記第ｋの特徴ベクトルの、第（ｎ＋１−ｋ）階層目の
    サブクラスに関する（サブクラス間変動／サブクラス内
    変動）比を増加させるように、前記第ｋの部分空間群を
    構成する各部分空間の基底ベクトルを更新する第ｋのパ
    ラメータ更新手段とを少なくとも有する第ｋの部分空間
    基底ベクトル学習機能を備えることを特徴とする特徴量
    抽出プログラムを格納した記録媒体。
23. 【請求項２３】 第（ｎ＋１）段階の特徴抽出層は、 第ｎ段階の特徴抽出層で算出された第ｎの特徴ベクトル
    を正規化した上で第（ｎ＋１）の部分空間群に射影し、
    各部分空間への一般化された射影長の二乗、もしくはそ
    れから誘導される量を第ｋの特徴ベクトルとして算出す
    る第（ｎ＋１）の特徴ベクトル算出機能と、 最終的な特徴ベクトルのクラス間変動とクラス内変動と
    の比を増加させるように、前記第（ｎ＋１）の部分空間
    群を構成する各部分空間の基底ベクトルを更新する第
    （ｎ＋１）のパラメータ更新機能とを有することを特徴
    とする請求項２２に記載の特徴量抽出プログラムを格納
    する記録媒体。
24. 【請求項２４】 ｎ段階（ｎは２以上の整数）の特徴抽
    出層と、これらの各特徴抽出層の動作を規定する各パラ
    メータを更新する階層部分空間基底ベクトル学習機能を
    実現する特徴抽出プログラムを格納する記録媒体であっ
    て、 前記特徴抽出プログラムは、 第１段階の特徴抽出層において、 入力パターンを正規化した上で第１の部分空間群に射影
    し、各部分空間への一般化された射影長の二乗、もしく
    はそれから誘導される量を第１の特徴ベクトルとして算
    出する第１の特徴ベクトル算出機能を有し、 第ｋ段階（ｋ＝２〜ｎ）の特徴抽出層において、 第（ｋ−１）段階の特徴抽出層で算出された第（ｋ−
    １）の特徴ベクトルを正規化した上で第ｋの部分空間群
    に射影し、各部分空間への一般化された射影長の二乗、
    もしくはそれから誘導される量を第ｋの特徴ベクトルと
    して算出する第ｋの特徴ベクトル算出機能を有し、 前記階層部分空間基底ベクトル学習機能では、第ｎ段階
    の特徴抽出層で算出される最終的な特徴ベクトルである
    第ｎの特徴ベクトルのクラス間変動とクラス内変動との
    比を増加させるように、前記各特徴抽出層の部分空間群
    を構成する各部分空間の基底ベクトルを更新することを
    特徴とする特徴抽出プログラムを格納する記録媒体。