JP3264242B2 - 認識辞書学習方法及びその装置並びにプログラムを記録した機械読み取り可能な記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パターン認識装置
で用いられる認識辞書を学習により生成する技術に関す
る。

【０００２】

【従来の技術】入力パターンから抽出された特徴ベクト
ルと予め用意されている認識辞書とを照合することによ
り入力パターンがどのカテゴリに属するかを判定し、そ
の判定結果に基づいてパターン認識を行うということは
従来から行われている。また、パターン認識に使用する
認識辞書を生成する際、学習用に用意された入力ベクト
ル群に対して統計処理等を行い、属すべきでないカテゴ
リに誤認識される率が少なくなるような認識辞書を自動
的に生成するということも従来から行われている。

【０００３】ところで、認識辞書を学習により生成する
認識辞書学習方法としては、距離尺度としてユークリッ
ド距離を用いた学習ベクトル量子化（ＬＶＱ）と呼ばれ
るものが、従来から良く知られている（例えば、Ｔ．Ｋ
ｏｈｏｎｅｎ：”Ｔｈｅ Ｎｅｕｒａｌ Ｐｈｏｎｅｔ
ｉｃ Ｔｙｐｅｗｒｉｔｅｒ”，ＩＥＥＥ Ｃｏｍｐｕ
ｔｅｒ，Ｖｏｌ．２１，Ｎｏ．３，ｐｐ．１１〜２
２）。しかし、この方法は、認識辞書として用いられる
参照ベクトルが発散する問題があり、必ずしも誤認識の
少ない認識辞書を得られないことが指摘されている。こ
の参照ベクトルの発散を解決する方法として、距離のべ
き乗項を修正係数に含める方法（例えば、特願平７−１
５８０６９号公報）も提案されているが、そもそもユー
クリッド距離を使用する場合は、分布の広がりを一点で
表現しているため、パターンの変動に弱いという問題が
ある。

【０００４】そこで、パターンの変動に対しても高い識
別能力を得られるようにするために、分布の広がりを
線，面等の部分空間で表現し、入力ベクトルと各カテゴ
リの部分空間との投影距離を距離尺度として用いるよう
にした投影距離法と呼ばれる方法が提案されている（例
えば、池田，田中，元岡：「手書き文字認識における投
影距離法」，情報処理学会論文誌，Ｖｏｌ．２４，Ｎ
ｏ．１，ｐｐ．１０６〜１１２，１９８３）。

【０００５】投影距離法では、部分空間の原点に、その
部分空間と同一カテゴリに属する入力ベクトルの平均値
を用いている。また、部分空間の基底ベクトルは、カテ
ゴリ毎に主成分分析を用いて決定している。即ち、共分
散行列の固有ベクトルの固有値の大きいものから順にｐ
個を選ぶようにしている。投影距離法は、分布の広がり
を線，面で表現しているので、ユークリッド距離を用い
た場合に比べてパターン変動に強いが、上記したよう
に、主成分分析を用いて部分空間の基底ベクトルを決定
しているため、出現頻度の高い分布中心の入力ベクトル
の影響が大きく、誤認識されやすいカテゴリ境界付近の
入力ベクトルが反映されにくい問題がある。

【０００６】ここで、入力ベクトルと部分空間との投影
距離の求め方について簡単に説明しておく。

【０００７】入力ベクトルをｘ、部分空間の原点をφ
₀ 、部分空間の正規直交基底ベクトルをφ_1,…，φ_p と
すると、入力ベクトルｘの部分空間への射影ベクトルｙ
は次式（１）に示すものとなる。尚、式（１）に於い
て、ｐは部分空間の次元数を表し、ａ・ｂは２つのベク
トルａ，ｂの内積を表す。

【０００８】

【数１】

【０００９】この結果、入力ベクトルｘと部分空間との
投影距離Ｄ_p は、次式（２）を用いることにより求める
ことができる。

【００１０】

【数２】

【００１１】尚、ｐ＝２とした場合の投影距離Ｄ_p は、
図１６に示すものとなる。

【００１２】上記した投影距離法の問題点を解決するた
めに、学習部分空間法（ＬＳＭ）と呼ばれる方法が従来
から提案されている（例えば、エルッキ・オヤ：「パタ
ーン認識と部分空間法」，産業図書，１９８６、或いは
Ｔ．Ｋｏｈｏｎｅｎ，“Ｓｅｌｆ−Ｏｒｇａｎｉｚｉｎ
ｇ Ｍａｐｓ”，Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，１
９９５）。

【００１３】学習部分空間法では、部分空間の原点φ₀
を０として、投影距離の代わりに部分空間への射影長が
用いられているが、φ₀ ≠０の場合にも容易に適用でき
る。この方法は、誤認識となった入力ベクトルについ
て、正解となるべきカテゴリの部分空間との距離が小さ
くなるように、また、誤認識先である競合カテゴリの部
分空間との距離が大きくなるように、各部分空間を回転
させることにより、誤認識を減少させるようにしてい
る。具体的には、着目した部分空間について、基底ベク
トルの１つを（ｙ−ｘ）に置き換えて正規直交化した
後、各基底ベクトルについて次式（３）に示す修正を行
った後、大きさを１に正規化する。

【００１４】 φ_j ←φ_j ＋θ｛（ｘ−φ₀ ）・φ_j ｝（ｘ−φ₀ ） … （３）

【００１５】ここで、θは回転の大きさを制御するパラ
メータであり、正の場合には入力ベクトルとの距離が小
さくなり、負の場合には入力ベクトルとの距離は大きく
なる。従って、正解カテゴリの部分空間についてはθ＞
０で、競合カテゴリの部分空間についてはθ＜０で回転
させれば、誤認識数を減らすことができる。しかし、学
習部分空間法は、部分空間の回転しか行っておらず、部
分空間の原点は固定のため、誤認識数低減には限界があ
る。

【００１６】このような問題を解決するため、部分空間
を回転させた後、部分空間の原点を移動させる方法も提
案されている（例えば、特開平７−３１１８４６号公
報）。この方法では、射影ベクトルｙを用いて、次式
（４）に示すように、部分空間の原点φ₀ を、その部分
空間に直交する方向に平行移動させる。

【００１７】 φ₀ ←φ₀ ＋τ（ｘ−ｙ）／‖ｘ−ｙ‖ … （４）

【００１８】ここで、‖ａ‖はベクトルａのノルムを表
し、τは移動量の大きさを制御するパラメータである。
τが正の場合には、入力ベクトルとの距離が小さくなる
ため、部分空間の回転だけでは限界となる誤認識数を更
に減らすことができる。この方法の具体的な手順は、以
下の通りである。

【００１９】先ず、或る着目カテゴリについて、誤認識
となる頻度の高い競合カテゴリを選定すると共に、学習
用誤認識パターン（着目カテゴリに誤認識された競合カ
テゴリに属するパターン，競合カテゴリに誤認識された
着目カテゴリに属するパターン）を求めておく。

【００２０】次に、学習用誤認識パターンの中から１つ
のパターンを選択する。そして、選択したパターンが、
着目カテゴリに誤認識された競合カテゴリに属するパタ
ーンであった場合は、そのパターンと着目カテゴリの部
分空間との間の距離が大きくなる方向に部分空間を回転
させ、選択したパターンが、競合カテゴリに誤認識され
た着目カテゴリに属するパターンであった場合は、その
パターンと着目カテゴリの部分空間との間の距離が小さ
くなる方向に部分空間を回転させるという処理を、誤認
識パターンの総数が減少から増加に転じるまで行う。そ
の後、学習用誤認識パターンの中から別のパターンを１
つ選択し、上述したと同様の処理を行う。

【００２１】このような処理を予め定められた回数行う
と、学習用誤認識パターンの中からパターンを１つ選択
する。そして、選択したパターンが、着目カテゴリに誤
認識された競合カテゴリに属するパターンであった場合
は、そのパターンと着目カテゴリの部分空間との間の距
離が大きくなる方向に部分空間を平行移動させ、選択し
たパターンが、競合カテゴリに誤認識された着目カテゴ
リに属するパターンであった場合は、そのパターンと着
目カテゴリの部分空間との間の距離が小さくなる方向に
部分空間を平行移動させるという処理を、誤認識パター
ンの総数が減少から増加に転じるまで行う。その後、学
習用誤認識パターンの中から別のパターンを１つ選択
し、上述したと同様の処理を行う。そして、このような
処理を予め定められた回数行うと、別のカテゴリを着目
カテゴリにして前述したと同様の処理を行う。以上の処
理を全てのカテゴリについて行う。上記したように、こ
の方法は、部分空間の修正を着目カテゴリの部分空間に
ついてのみ行っているので、処理量を削減することがで
きる。

【００２２】一方、部分空間に対する投影距離に重みを
付けた次式（５）に示す距離尺度が既に提案されている
（例えば、黒沢：「部分空間法とベイズ識別の関係から
導かれる新しいパターン認識方式」，電子情報通信学会
技術報告，ＰＲＭＵ９６−１０４，１９９６）。

【００２３】

【数３】

【００２４】ｎをベクトルの次元数，λ_i を固有値_, δ
を任意の値をとるパラメータとし、ｗ_j ，ｗ₀ をそれぞ
れ次式（６），（７）とした場合は、疑似ベイズの距離
としてして知られる（若林，鶴岡，木村，三宅：「手書
き数字認識における特徴選択に関する考察」，電子情報
通信学会論文誌Ｄ−II，Ｖｏｌ．Ｊ７８−Ｄ−II，Ｎ
ｏ．１１，ｐｐ．１６２７〜１６３８，１９９５）。

【００２５】

【数４】

【００２６】単なる投影距離を用いた場合は部分空間が
無限に広がるため、固有ベクトルの向く方向に他のカテ
ゴリが存在する場合は誤認識が多く発生する問題がある
が、重み付き投影距離を用いると、部分空間の広がりを
抑える効果があるため、誤認識を低減することができ
る。これを図１７を用いて説明する。

【００２７】入力空間を２次元，カテゴリをＡ，Ｂの２
つとし、それぞれ斜線に示すようにデータが分布してい
るとする。各カテゴリに１つの部分空間を用意し、原点
を×で示した位置に、基底ベクトルを矢印で示した向き
に設定した場合、単なる投影距離を用いた時の識別面
は、図に破線で示すように設定される。この場合の部分
空間は１次元（直線）であるが、基底ベクトルが作る直
線上は投影距離が０になるため、カテゴリＡについては
カテゴリＢに誤認識されるデータが多く存在する。重み
付き投影距離を用いた場合は、識別面は図に実線で示し
たようになるため、誤認識が低減される効果がある。

【００２８】

【発明が解決しようとする課題】しかしながら、特開平
７−３１１８４６号公報に記載されている技術は、着目
カテゴリについてのみ部分空間を修正し、誤認識先の競
合カテゴリについては修正を行わないため、誤認識率の
低減に限界があるという問題があった。更に、誤認識率
を学習の基準としているため、学習パターンに依存した
認識辞書ができやすいという問題もあった。以下、これ
らの問題点を詳細に説明する。

【００２９】図１８に示すように、４つのカテゴリＡ，
Ｂ，Ｃ，Ｄに属するパターンがそれぞれ実線で囲ったよ
うに分布しており、それぞれの部分空間がＳ_A,Ｓ_B,Ｓ_C,
Ｓ_Dのように設定されているとする。この場合の識別面
は、破線で示すものになるため、カテゴリＢの斜線で示
した部分のパターンは誤認識されることになる。この誤
認識を減らすため、従来の技術では、カテゴリＢの部分
空間Ｓ_B を回転させたり、平行移動させたりして誤認識
となる領域（斜線部分）に近づけようとするが、それに
伴いカテゴリＣ_, Ｄとの識別面も左側へ移動し、図１９
に示すように、カテゴリＢに属するパターンについて新
たな誤認識が発生し、部分空間Ｓ_B は右方向に戻されて
しまう。競合カテゴリであるカテゴリＡの部分空間Ｓ_A
も修正すれば、誤認識率を容易に低減させることができ
るが、従来の技術ではこのことが考慮されていないた
め、誤認識率を十分に低減させることは難しかった。

【００３０】また、誤認識率を学習の基準とした場合、
図２０に示すように、誤認識がなくなった時点で学習が
終了してしまい、破線で示すように、学習パターンのす
ぐ近くに識別面が設定されてしまう。学習は有限個のサ
ンプル数で行われるので、未学習パターンの分布は学習
パターンの分布とは必ずしも一致せず、このような識別
面では、未学習パターンに対して誤認識が起こりやす
い。つまり、誤認識率を学習の基準とした場合は、学習
パターンに依存した認識辞書ができてしまい、未学習パ
ターンに対する認識性能が低下してしまう。

【００３１】また、「部分空間法とベイズ識別の関係か
ら導かれる新しいパターン認識方式」に記載されている
技術は、他カテゴリを考慮せずに部分空間を求めている
ため、誤認識低減に限界があるという問題があった。こ
れについて、以下に簡単に説明する。

【００３２】疑似ベイズでは、カテゴリ毎に部分空間の
固有値と固有ベクトルを求めており、その後、更に誤読
が減るようなパラメータδの値を試行錯誤によって求め
ている。δ＝０の場合は投影距離と一致し、部分空間が
無限に広がる問題があるが、δを大きくすることによっ
て部分空間の広がりが抑えられ、誤読が低減される。し
かし、カテゴリ毎に部分空間を求めているため、δの調
整による誤認識の低減には限界がある。

【００３３】そこで、本発明の目的は、学習パターンに
対する誤認識率を十分に低減することができ、且つ未学
習パターンについても高い認識性能を有する認識辞書を
生成する技術を提供することにある。

【００３４】

【課題を解決するための手段】本発明の認識辞書学習方
法は、学習パターンに対する誤認識率を十分に低減でき
る認識辞書を生成できるようにするため、学習パターン
から抽出された特徴ベクトルを入力ベクトルとして用
い、認識辞書となる部分空間を決定する認識辞書学習方
法であって、各カテゴリに属する部分空間群の初期設定
を行う初期値設定段階と、学習用に用意された入力ベク
トル群の中から１つの入力ベクトルを選択する入力段階
と、該選択した入力ベクトルと同じカテゴリに属する部
分空間群の中から、前記入力ベクトルとの距離が最小と
なる第１の部分空間を求めると共に、前記入力ベクトル
と異なるカテゴリに属する部分空間群の中から前記入力
ベクトルとの距離が最小となる第２の部分空間を求める
辞書検索段階と、前記第１の部分空間が前記入力ベクト
ルに近づくように、前記第１の部分空間の原点を表す第
１の位置ベクトルを、前記第１の部分空間と直交する方
向に修正する第１の原点修正段階と、前記第２の部分空
間が前記入力ベクトルから遠ざかるように、前記第２の
部分空間の原点を表す第２の位置ベクトルを、前記第２
の部分空間と直交する方向に修正する第２の原点修正段
階と、前記入力ベクトルから前記第１の位置ベクトルを
引いたベクトルとの内積の絶対値が大きくなるように、
前記第１の部分空間の各基底ベクトルを修正する第１の
基底ベクトル修正段階と、前記入力ベクトルから前記第
２の位置ベクトルを引いたベクトルとの内積の絶対値が
小さくなるように、前記第２の部分空間の各基底ベクト
ルを修正する第２の基底ベクトル修正段階と、前記第１
の基底ベクトル修正段階に於いて修正が行われた各基底
ベクトルを、それらが正規直交系をなすように修正する
と共に、前記第２の基底ベクトル修正段階に於いて修正
が行われた各基底ベクトルを、それらが正規直交系をな
すように修正する基底ベクトル直交化段階とを含む。

【００３５】また、本発明の認識辞書学習方法は、未学
習パターンに対しても高い認識性能を有する認識辞書を
生成できるようにするため、前記辞書検索段階に於い
て、前記入力ベクトルと前記第１の部分空間との距離値
である第１の距離値を求めると共に、前記入力ベクトル
と前記第２の部分空間との距離値である第２の距離値を
求め、前記第１の原点修正段階，前記第２の原点修正段
階，前記第１の基底ベクトル修正段階及び前記第２の基
底ベクトル修正段階に於いて、前記第１の距離値と前記
第２の距離値との差が少ない場合ほど、修正量を多くす
る。

【００３６】また、本発明の認識辞書学習方法は、学習
パターンに対する誤認識率を更に低減できる認識辞書を
作成できるようにするため、学習パターンから抽出され
た特徴ベクトルを入力ベクトルとして用い、認識辞書と
なる部分空間とその重みパラメータを決定する認識辞書
学習方法であって、各カテゴリに属する部分空間群とそ
の重みパラメータの初期設定を行う初期値設定段階と、
学習用に用意された入力ベクトル群の中から１つの入力
ベクトルを選択する入力段階と、該選択した入力ベクト
ルと同じカテゴリに属する部分空間群の中から、前記入
力ベクトルとの重み付き投影距離が最小となる第１の部
分空間を求めると共に、前記選択した入力ベクトルと異
なるカテゴリに属する部分空間群の中から、前記入力ベ
クトルとの重み付き投影距離が最小となる第２の部分空
間を求める辞書検索段階と、前記第１の部分空間と前記
入力ベクトルとの重み付き投影距離が短くなるように、
前記第１の部分空間の原点を表す第１の位置ベクトルを
修正する第１の原点修正段階と、前記第２の部分空間と
前記入力ベクトルとの重み付き投影距離が長くなるよう
に、前記第２の部分空間の原点を表す第２の位置ベクト
ルを修正する第２の原点修正段階と、前記第１の部分空
間の各基底ベクトルを、前記入力ベクトルから前記第１
の位置ベクトルを引いたベクトルとの内積の絶対値が大
きくなるように修正する第１の基底ベクトル修正段階
と、前記第２の部分空間の各基底ベクトルを、前記入力
ベクトルから前記第２の位置ベクトルを引いたベクトル
との内積の絶対値が小さくなるように修正する第２の基
底ベクトル修正段階と、前記第１の基底ベクトル修正段
階に於いて修正が行われた各基底ベクトルを、それらが
正規直交系をなすように修正すると共に、前記第２の基
底ベクトル修正段階に於いて修正が行われた各基底ベク
トルを、それらが正規直交系をなすように修正する基底
ベクトル直交化段階と、前記第１の部分空間の第１の重
みパラメータを値が大きくなるように修正する第１の重
みパラメータ修正段階と、前記第２の部分空間の第２の
重みパラメータを値が小さくなるように修正する第２の
重みパラメータ修正段階とを含む。

【００３７】また、本発明の認識辞書学習装置は、学習
パターンに対する誤認識率を十分に低減できる認識辞書
を生成できるようにするため、学習パターンから抽出さ
れた特徴ベクトルを入力ベクトルとして用い、認識辞書
となる部分空間を決定する認識辞書学習装置であって、
各カテゴリに属する部分空間群の初期設定を行う初期値
設定手段と、学習用に用意された入力ベクトル群の中か
ら１つの入力ベクトルを選択する入力手段と、該入力手
段が選択した入力ベクトルと同じカテゴリに属する部分
空間群の中から、前記入力ベクトルとの距離が最小とな
る第１の部分空間を求めると共に、前記入力ベクトルと
異なるカテゴリに属する部分空間群の中から前記入力ベ
クトルとの距離が最小となる第２の部分空間を求める辞
書検索手段と、前記第１の部分空間が前記入力ベクトル
に近づくように、前記第１の部分空間の原点を表す第１
の位置ベクトルを、前記第１の部分空間と直交する方向
に修正する第１の原点修正手段と、前記第２の部分空間
が前記入力ベクトルから遠ざかるように、前記第２の部
分空間の原点を表す第２の位置ベクトルを、前記第２の
部分空間と直交する方向に修正する第２の原点修正手段
と、前記入力ベクトルから前記第１の位置ベクトルを引
いたベクトルとの内積の絶対値が大きくなるように、前
記第１の部分空間の各基底ベクトルを修正する第１の基
底ベクトル修正手段と、前記入力ベクトルから前記第２
の位置ベクトルを引いたベクトルとの内積の絶対値が小
さくなるように、前記第２の部分空間の各基底ベクトル
を修正する第２の基底ベクトル修正手段と、前記第１の
基底ベクトル修正手段に於いて修正が行われた各基底ベ
クトルを、それらが正規直交系をなすように修正すると
共に、前記第２の基底ベクトル修正手段に於いて修正が
行われた各基底ベクトルを、それらが正規直交系をなす
ように修正する基底ベクトル直交化手段とを備えてい
る。

【００３８】上記した構成に於いては、初期値設定手段
が、各カテゴリに属する部分空間群の初期設定を行い、
入力手段が、学習用に用意された入力ベクトル群の中か
ら１つの入力ベクトルを選択する。入力手段によって、
入力ベクトルが選択されると、辞書検索手段が、選択さ
れた入力ベクトルと同じカテゴリに属する部分空間群の
中から、入力ベクトルとの距離が最小となる第１の部分
空間を求めると共に、入力ベクトルと異なるカテゴリに
属する部分空間群の中から入力ベクトルとの距離が最小
となる第２の部分空間を求める。

【００３９】辞書検索手段によって、第１，第２の部分
空間が求められると、第１の原点修正手段が、第１の部
分空間が入力ベクトルに近づくように、第１の部分空間
の原点を表す第１の位置ベクトルを、第１の部分空間と
直交する方向に修正し、第２の原点修正手段が、第２の
部分空間が入力ベクトルから遠ざかるように、第２の部
分空間の原点を表す第２の位置ベクトルを、第２の部分
空間と直交する方向に修正する。更に、第１の基底ベク
トル修正手段が、入力ベクトルから第１の位置ベクトル
を引いたベクトルとの内積の絶対値が大きくなるよう
に、第１の部分空間の各基底ベクトルを修正し、第２の
基底ベクトル修正手段が、入力ベクトルから第２の位置
ベクトルを引いたベクトルとの内積の絶対値が小さくな
るように、第２の部分空間の各基底ベクトルを修正す
る。

【００４０】その後、基底ベクトル直交化手段が、第１
の基底ベクトル修正手段に於いて修正が行われた各基底
ベクトルを、それらが正規直交系をなすように修正する
と共に、第２の基底ベクトル修正手段に於いて修正が行
われた各基底ベクトルを、それらが正規直交系をなすよ
うに修正する。

【００４１】更に、本発明の認識辞書学習装置は、未学
習パターンに対しても高い認識性能を有する認識辞書を
生成できるようにするため、前記辞書検索手段は、前記
入力ベクトルと前記第１の部分空間との距離値である第
１の距離値を求めると共に、前記入力ベクトルと前記第
２の部分空間との距離値である第２の距離値を求める構
成を備え、前記第１の原点修正手段，前記第２の原点修
正手段，前記第１の基底ベクトル修正手段及び前記第２
の基底ベクトル修正手段は、前記辞書検索手段で求めら
れた前記第１の距離値と前記第２の距離値との差が少な
い場合ほど、修正量を多くする構成を備えている。

【００４２】この構成に於いては、辞書検索手段が、入
力ベクトルと第１の部分空間との距離値である第１の距
離値を求めると共に、入力ベクトルと第２の部分空間と
の距離値である第２の距離値を求める。そして、第１の
原点修正手段，第２の原点修正手段，第１の基底ベクト
ル修正手段及び第２の基底ベクトル修正手段は、辞書検
索手段で求められた前記第１の距離値と前記第２の距離
値との差が少ない場合ほど、修正量を多くする。

【００４３】また、本発明の認識辞書学習装置は、学習
パターンに対する誤認識率を更に低減できる認識辞書を
生成できるようにするため、学習パターンから抽出され
た特徴ベクトルを入力ベクトルとして用い、認識辞書と
なる部分空間とその重みパラメータを決定する認識辞書
学習装置であって、各カテゴリに属する部分空間群とそ
の重みパラメータの初期設定を行う初期値設定手段と、
学習用に用意された入力ベクトル群の中から１つの入力
ベクトルを選択する入力手段と、該入力手段が選択した
入力ベクトルと同じカテゴリに属する部分空間群の中か
ら、前記入力ベクトルとの重み付き投影距離が最小とな
る第１の部分空間を求めると共に、前記選択した入力ベ
クトルと異なるカテゴリに属する部分空間群の中から、
前記入力ベクトルとの重み付き投影距離が最小となる第
２の部分空間を求める辞書検索手段と、前記第１の部分
空間と前記入力ベクトルとの重み付き投影距離が短くな
るように、前記第１の部分空間の原点を表す第１の位置
ベクトルを修正する第１の原点修正手段と、前記第２の
部分空間と前記入力ベクトルとの重み付き投影距離が長
くなるように、前記第２の部分空間の原点を表す第２の
位置ベクトルを修正する第２の原点修正手段と、前記第
１の部分空間の各基底ベクトルを、前記入力ベクトルか
ら前記第１の位置ベクトルを引いたベクトルとの内積の
絶対値が大きくなるように修正する第１の基底ベクトル
修正手段と、前記第２の部分空間の各基底ベクトルを、
前記入力ベクトルから前記第２の位置ベクトルを引いた
ベクトルとの内積の絶対値が小さくなるように修正する
第２の基底ベクトル修正手段と、前記第１の基底ベクト
ル修正手段に於いて修正が行われた各基底ベクトルを、
それらが正規直交系をなすように修正すると共に、前記
第２の基底ベクトル修正手段に於いて修正が行われた各
基底ベクトルを、それらが正規直交系をなすように修正
する基底ベクトル直交化手段と、前記第１の部分空間の
第１の重みパラメータを値が大きくなるように修正する
第１の重みパラメータ修正手段と、前記第２の部分空間
の第２の重みパラメータを値が小さくなるように修正す
る第２の重みパラメータ修正手段とを備えている。

【００４４】上記した構成に於いては、初期値設定手段
が、各カテゴリに属する部分空間群とその重みパラメー
タとの初期設定を行い、入力手段が、学習用に用意され
た入力ベクトル群の中から１つの入力ベクトルを選択す
る。入力手段によって、入力ベクトルが選択されると、
辞書検索手段が、選択された入力ベクトルと同じカテゴ
リに属する部分空間群の中から、入力ベクトルとの重み
付き投影距離が最小となる第１の部分空間を求めると共
に、選択した入力ベクトルと異なるカテゴリに属する部
分空間群の中から、入力ベクトルとの重み付き投影距離
が最小となる第２の部分空間を求める。

【００４５】辞書検索手段によって、第１，第２の部分
空間が求められると、第１の原点修正手段が、第１の部
分空間と入力ベクトルとの重み付き投影距離が短くなる
ように、第１の部分空間の原点を表す第１の位置ベクト
ルを修正し、第２の原点修正手段が、第２の部分空間と
入力ベクトルとの重み付き投影距離が長くなるように、
第２の部分空間の原点を表す第２の位置ベクトルを修正
する。更に、第１の基底ベクトル修正手段が、第１の部
分空間の各基底ベクトルを、入力ベクトルから第１の位
置ベクトルを引いたベクトルとの内積の絶対値が大きく
なるように修正し、第２の基底ベクトル修正手段が、第
２の部分空間の各基底ベクトルを、入力ベクトルから第
２の位置ベクトルを引いたベクトルとの内積の絶対値が
小さくなるように修正する。

【００４６】その後、基底ベクトル直交化手段が、第１
の基底ベクトル修正手段に於いて修正が行われた各基底
ベクトルを、それらが正規直交系をなすように修正する
と共に、第２の基底ベクトル修正手段に於いて修正が行
われた各基底ベクトルを、それらが正規直交系をなすよ
うに修正する。更に、第１の重みパラメータ修正手段
が、第１の部分空間の第１の重みパラメータを値が大き
くなるように修正し、第２の重みパラメータ修正手段
が、第２の部分空間の第２の重みパラメータを値が小さ
くなるように修正する。

【００４７】次に、請求項１に係る発明の原理について
説明する。この発明は、入力パターンが誤認識される危
険度を表す量が減るように、正解カテゴリの部分空間の
回転と平行移動ばかりでなく、競合カテゴリの部分空間
の回転と平行移動も行うことを最も主要な特徴とする。

【００４８】先ず、入力ベクトルｘと部分空間との投影
距離の２乗を用いて、距離尺度ｄを次式（８）に示すよ
うに定義する。尚、式（８）に於いて、φ₀ は部分空間
の原点の位置ベクトル、φ_j は部分空間の正規直交基底
ベクトル、ｐは部分空間の次元数を表す。

【００４９】

【数５】

【００５０】次に、入力ベクトルと同じカテゴリの部分
空間群（１カテゴリ当たり、Ｍ個の部分空間が用意され
ている）の中でｄが最小となる部分空間をＳ₁ とし、そ
の距離値をｄ₁ とする。同様に、入力ベクトルと異なる
カテゴリの部分空間群の中でｄが最小となる部分空間を
Ｓ₂ とし、その距離値をｄ₂ とする。これらの距離値ｄ
_1,ｄ₂ を用いて、入力ベクトルが誤認識となる危険度μ
を次式（９）に示すように定義すると、μ＜０の場合は
入力ベクトルは正しく認識され、μ＞０の場合は誤認識
されることになる。

【００５１】 μ＝（ｄ₁ −ｄ₂ ）／（ｄ₁ ＋ｄ₂ ） … （９）

【００５２】従って、Ｎ個の学習パターンの全てについ
て誤認識される危険度を減らすためには、次式（１０）
に示すＥの値が減少するように部分空間を修正すれば良
い。尚、式（１０）に於いて、ｆ（μ）はμに関する単
調増加関数である。

【００５３】

【数６】

【００５４】部分空間Ｓ₁ については、その原点を表す
位置ベクトルをφ₁₀、基底ベクトルをφ_11, …_, φ_1pと
すると、次式（１１）に示すような修正を行うことによ
り、Ｅの値は必ず減少する。なお、式（１１）に於い
て、αは正の微小な実数である。

【００５５】

【数７】

【００５６】部分空間Ｓ₂ についても同様で、原点を表
す位置ベクトルをφ₂₀、基底ベクトルをφ_21, …_, φ_2p
とすると、次式（１２）に示すような修正を行うことに
より、Ｅの値は必ず減少する。

【００５７】

【数８】

【００５８】具体的に修正内容を求めると、次式（１
３）〜（１６）に示すものとなる。但し、何の制約条件
もなしに基底ベクトルを修正すると、必ずしも正規直交
系をなさないので、基底ベクトルの修正後に、グラムシ
ュミットの直交化などで修正を行う必要がある。

【００５９】

【数９】

【００６０】今、入力ベクトルの部分空間Ｓ₁ への射影
ベクトルをｙ₁ 、部分空間Ｓ₂ への射影ベクトルをｙ
₂ 、θ_1,θ₂ をそれぞれ次式（１７），（１８）に示す
ものとする。

【００６１】

【数１０】

【００６２】このようにすると、本発明による部分空間
の原点に関する修正式は次式（１９），（２０）に示す
ものとなる。

【００６３】 φ₁₀←φ₁₀＋θ₁ （ｘ−ｙ₁ ） …（１９） φ₂₀←φ₂₀−θ₂ （ｘ−ｙ₂ ） …（２０）

【００６４】この式（１９），（２０）は、従来技術
（特開平７−３１１８４６号公報）にに於ける原点の修
正式と類似の式となっている。しかし、従来技術は、着
目カテゴリの部分空間Ｓ₁ についてのみ修正を行ってお
り、競合カテゴリの部分空間Ｓ₂ についても修正を行っ
ている本発明とは異なる。

【００６５】また、基底ベクトルに関する本発明の修正
式は次式（２１），（２２）に示すものとなり、学習部
分空間法（ＬＳＭ）と同等の式になっていることが判
る。

【００６６】 φ_1j←φ_1j＋θ₁ ｛（ｘ−φ₁₀）・φ_1j｝（ｘ−φ₁₀） …（２１） φ_2j←φ_2j−θ₂ ｛（ｘ−φ₂₀）・φ_2j｝（ｘ−φ₂₀） …（２２）

【００６７】しかし、ＬＳＭでは部分空間の回転だけを
行い、原点の修正を行っておらず、この点が原点の修正
も行う本発明と相違する。

【００６８】更に、特開平７−３１１８４６号公報やＬ
ＳＭでは、修正係数θ_1,θ₂ の値をパラメータとして与
えているが、本発明では学習パターン全体について誤認
識される危険度が減るように求めている点が相違する。

【００６９】また、特開平７−３１１８４６号公報やＬ
ＳＭでは、誤認識したパターンについてのみ学習を行っ
ているが、本発明ではｄｆ／ｄμの定義によって、どの
パターンに重みを置いて学習するのかを柔軟に指定する
ことができる。即ち、μ＞０の時はｄｆ／ｄμ＝１、μ
＜０の時はｄｆ／ｄμ＝０と定義すれば、誤認識したパ
ターンについてのみ学習を行うことになる。また、ｄｆ
／ｄμをμ＝０でピークを持つ単峰性の関数とすれば、
μが０に近いパターン、即ちカテゴリの境界付近のパタ
ーンに重みを置いた学習を行うことになる。誤認識を起
こしやすいパターンは、主にカテゴリ境界付近に存在す
るため、これらを重点的に学習することにより、未学習
パターンに対しても高い認識性能を有する辞書を作成す
ることが可能となる。

【００７０】次に、請求項３に係る発明の原理について
説明する。この発明は、入力パターンが誤認識される危
険度を表す量が減るように、正解カテゴリの部分空間の
回転，平行移動と重みの変更を行うと共に、競合カテゴ
リの部分空間の回転，平行移動と重みの変更を行うこと
を最も主要な特徴とする。

【００７１】先ず、入力ベクトルｘと部分空間との重み
付き投影距離の２乗を用いて、距離尺度ｄを次式（２
３）に示すように定義する。

【００７２】

【数１１】

【００７３】次に、入力ベクトルｘと同じカテゴリの部
分空間群の中でｄが最小となる部分空間をＳ₁ とし、そ
の距離値をｄ₁ とする。同様に、入力ベクトルと異なる
カテゴリの部分空間群の中でｄが最小となる部分空間を
Ｓ₂ とし、その距離値をｄ₂とする。これらの距離値ｄ
_1,ｄ₂ を用いて、入力ベクトルが誤認識となる危険度μ
を次式（２４）に示すように定義すると、μ＜０の場合
は入力ベクトルは正しく認識され、μ＞０の場合は誤認
識されることになる。

【００７４】 μ＝（ｄ₁ −ｄ₂ ）／（ｄ₁ ＋ｄ₂ ） …… （２４）

【００７５】従って、Ｎ個の学習パターン全てについて
誤認識される危険度を減らすためには次式（２５）に示
すＥの値が減少するように部分空間を修正すれば良い。
尚、式（２５）に於いて、ｆ（μ）は、μに関する単調
増加関数である。

【００７６】

【数１２】

【００７７】部分空間Ｓ₁ の原点を表す位置ベクトルを
φ₁₀、基底ベクトルをφ_11, ……_,φ_1p、重みをｗ_10,
……, ｗ_1pとすると、次式（２６），（２７）に示すよ
うな修正を行うことにより、Ｅの値は必ず減少する。但
し、式（２６），（２７）に於いて、αは正の微小な実
数である。

【００７８】

【数１３】

【００７９】部分空間Ｓ₂ についても同様で、原点を表
す位置ベクトルをφ₂₀、基底ベクトルをφ_21, ……_, φ
_2P、重みをｗ_20, ……, ｗ_2pとすると、次式（２８），
（２９）に示すような修正を行うことにより、Ｅの値は
必ず減少する。

【００８０】

【数１４】

【００８１】具体的に修正内容を求めると、次式（３
０）〜（３７）に示すものとなる。

【００８２】

【数１５】

【００８３】但し、何の制約もなしに基底ベクトルを修
正すると、必ずしも正規直交系をなさないので、上記し
た式によって修正した後、グラムシュミットの直交化な
どで修正する必要がある。また、距離値が負になる場合
も生じるので、重みパラメータの値に制限を加えても良
い。

【００８４】疑似ベイズでは正解カテゴリのサンプルの
みを使って部分空間が求められ、試行錯誤によってパラ
メータδが決定されるが、本発明では正解カテゴリと競
合カテゴリの両方のサンプルを使い、学習パターン全体
について誤認識される危険度が減るように部分空間と重
みパラメータが求められる点が異なる。

【００８５】

【発明の実施の形態】次に本発明の実施の形態について
図面を参照して詳細に説明する。

【００８６】図１は本発明の認識辞書学習装置の第１の
実施例のブロック図であり、初期値設定手段１０１と、
入力手段１０２と、辞書検索手段１０３と、第１辞書修
正手段１０４と、第２辞書修正手段１０８と、終了判定
手段１１２と、認識辞書１１３と、入力ベクトル群記憶
部１１４とを備えている。

【００８７】入力ベクトル群記憶部１１４には、各学習
パターンそれぞれについて、何らかの特徴抽出法を用い
て作成したｎ次元の入力ベクトルが格納される。尚、本
実施例では、カテゴリ数をＫ、学習パターンの総数をＮ
とする。また、学習パターンは、各カテゴリについて少
なくとも１つは用意されている。

【００８８】認識辞書１１３には、各部分空間の原点を
表すｎ次元の位置ベクトルとｎ次元のｐ個の基底ベクト
ルとが格納される。尚、本実施例に於いては、１カテゴ
リ当たりＭ個の部分空間が用意されているとする。

【００８９】初期値設定手段１０１は、認識辞書１１３
に各部分空間の中心の位置ベクトル，基底ベクトルを格
納することにより、各部分空間を初期設定する機能を有
する。

【００９０】入力手段１０２は、学習用に用意された入
力ベクトル群の中から１つの入力ベクトルを選択する機
能を有する。

【００９１】辞書検索手段１０３は、入力手段１０２に
よって選択された入力ベクトルと同じカテゴリに属する
部分空間群の中から入力ベクトルとの投影距離が最小と
なる第１の部分空間を求めると共にその投影距離を２乗
した値（第１の距離値）を求め、更に、上記入力ベクト
ルと異なるカテゴリに属する部分空間群の中から入力ベ
クトルとの距離値が最小となる第２の部分空間を求める
と共にその投影距離を２乗した値（第２の距離値）を求
める機能を有する。

【００９２】第１辞書修正手段１０４は、第１原点修正
手段１０５，第１基底ベクトル修正手段１０６及び第１
基底ベクトル直交化手段１０７を備えており、それらを
用いて辞書検索手段１０３によって求められた第１の部
分空間を修正する機能を有する。

【００９３】第１原点修正手段１０５は、辞書検索手段
１０３で求められた第１の部分空間が入力手段１０２で
選択された入力ベクトルに近づくように、第１の部分空
間の原点を表す位置ベクトルを、第１の部分空間と直交
する方向に修正する機能を有する。つまり、第１原点修
正手段１０５は、第１の部分空間を、それが入力ベクト
ルに近づくように平行移動させる機能を有する。

【００９４】第１基底ベクトル修正手段１０６は、入力
手段１０２で選択された入力ベクトルから第１の部分空
間の原点の位置ベクトルを引いたベクトルとの内積の絶
対値が大きくなる方向に、第１の部分空間の各基底ベク
トルを修正する機能を有する。つまり、第１基底ベクト
ル修正手段１０６は、第１の部分空間を、それが入力ベ
クトルに近づくように、回転させる機能を有する。

【００９５】第１基底ベクトル直交化手段１０７は、第
１基底ベクトル修正手段１０６によって修正された第１
の部分空間の各基底ベクトルを、それが正規直交系をな
すように修正する機能を有する。

【００９６】第２辞書修正手段１０８は、第２原点修正
手段１０９，第２基底ベクトル修正手段１１０，第２基
底ベクトル直交化手段１１１を備えており、それらを用
いて辞書検索手段１０３によって求められた第２の部分
空間を修正する機能を有する。

【００９７】第２原点修正手段１０９は、辞書検索手段
１０３で求められた第２の部分空間が入力手段１０２で
選択された入力ベクトルから遠ざかるように、第２の部
分空間の原点の位置ベクトルを、部分空間と直交する方
向に修正する機能を有する。つまり、第２原点修正手段
１０９は、第２の部分空間を、それが入力ベクトルから
遠ざかる方向に平行移動させる機能を有する。

【００９８】第２基底ベクトル修正手段１１０は、入力
手段１０２で選択された入力ベクトルから第２の部分空
間の原点の位置ベクトルを引いたベクトルとの内積の絶
対値が小さくなる方向に、第２の部分空間の各基底ベク
トルを修正する機能を有する。つまり、第２基底ベクト
ル修正手段１１０は、第２の部分空間を、それが入力ベ
クトルから遠ざかる方向に、回転させる機能を有する。

【００９９】第２基底ベクトル直交化手段１１１は、第
２基底ベクトル修正手段１１０によって修正された第２
の部分空間の各基底ベクトルを、それらが正規直交系を
なすように修正する機能を有する。

【０１００】終了判定手段１１２は、学習が終了したか
否かを判定する機能を有する。

【０１０１】図２は初期値設定手段１０１の処理例を示
す流れ図、図３は入力手段１０２，辞書検索手段１０
３，第１辞書修正手段１０４，第２辞書修正手段１０
８，終了判定手段１１２の処理例を示す流れ図、図４は
第１辞書修正手段１０４の詳細な処理例を示す流れ図、
図５は第２辞書修正手段１０８の詳細な処理内容を示す
流れ図であり、以下各図を参照して本実施例の動作につ
いて説明する。

【０１０２】図１に示した認識辞書学習装置に於いて
は、先ず、初期値設定手段１０１が図２の流れ図に示す
ステップＳ２０１〜Ｓ２０９の処理を行う。

【０１０３】Ｓ２０１に於いては、カテゴリ番号を表す
変数ｃに「１」を設定する。次のステップＳ２０２に於
いては、Ｋ平均アルゴリズムによって、カテゴリ番号
「１」のカテゴリに属するＭ個の部分空間の原点の位置
ベクトルφ₀ ¹〔１〕，…，φ₀ ¹〔Ｍ〕を求め、それらを
認識辞書１１３に設定する。

【０１０４】その後、ステップＳ２０３に於いて、部分
空間番号を表す変数ｉに「１」を設定する。次のステッ
プＳ２０４に於いて、一様乱数により、カテゴリ番号
「１」のカテゴリに属するＭ個の部分空間の内の、部分
空間番号「１」の部分空間の各基底ベクトルφ
₁ ¹〔１〕，…，φ_p ¹ 〔１〕を求め、それらを認識辞書
１１３に設定する。

【０１０５】その後、ステップＳ２０５に於いて、グラ
ムシュミットの直交化によって、ステップＳ２０４で設
定したｐ個の基底ベクトルφ₁ ¹〔１〕，…，φ_p ¹
〔１〕が正規直交系をなすように、それらを修正する。

【０１０６】次のステップＳ２０６では、部分空間番号
を表す変数ｉの値と部分空間の個数Ｍとを比較する。そ
して、両者が等しくない場合（ステップＳ２０６がＮ
Ｏ）は、ステップＳ２０７で変数ｉの値を１加算した
後、ステップＳ２０４に帰還し、等しい場合（ステップ
Ｓ２０６がＹＥＳ）は、ステップＳ２０８に進む。

【０１０７】ステップＳ２０８では、カテゴリ番号を表
す変数ｃの値とカテゴリ数Ｋとを比較する。そして、両
者が等しくない場合（ステップＳ２０８がＮＯ）は、ス
テップＳ２０９で変数ｃの値を１加算した後、ステップ
Ｓ２０２に帰還し、両者が等しい場合（ステップＳ２０
８がＹＥＳ）は、初期設定手段１０１はその処理を終了
し、制御を入力手段１０２に渡す。

【０１０８】入力手段１０２は、制御を渡されると、図
３の流れ図に示すように、ステップＳ３０１に於いて、
学習回数を表す変数ｔに「１」を設定し、次のステップ
Ｓ３０２に於いて学習パターン番号を表す変数ｑに
「１」を設定する。

【０１０９】その後、ステップＳ３０３に於いて、入力
ベクトル群記憶部１１４に格納されている入力ベクトル
群の中から学習パターン番号が「１」の学習パターンに
対応する入力ベクトルｘを選択し、選択した入力ベクト
ルｘを辞書検索手段１０３，第１辞書修正手段１０４，
第２辞書修正手段１０８に渡す。

【０１１０】辞書検索手段１０３は、入力手段１０２か
ら入力ベクトルｘが渡されると、ステップＳ３０４に於
いて、認識辞書１１３を参照することにより、入力ベク
トルｘと同じカテゴリに属する部分空間の中から入力ベ
クトルｘとの間の投影距離が最も短い第１の部分空間を
探し出し、その部分空間の原点の位置ベクトルφ₁₀と、
基底ベクトルφ_11, …_, φ_1pと、第１の部分空間と入力
ベクトルｘとの間の投影距離を２乗した第１の距離値ｄ
₁ とを第１辞書修正手段１０４に渡すと共に、第１の距
離値ｄ₁ を第２辞書修正手段１０８に渡す。

【０１１１】ここで、第１の距離値ｄ₁ は次式（３８）
に示すものとなる。

【０１１２】

【数１６】

【０１１３】その後、辞書検索手段１０３は、ステップ
Ｓ３０５に於いて、認識辞書１１３を参照することによ
り、入力ベクトルｘと異なるカテゴリに属する部分空間
の中から入力ベクトルｘとの間の投影距離が最も短い第
２の部分空間を探し出し、その部分空間の原点の位置ベ
クトルφ₂₀と、基底ベクトルφ_21, …_, φ_2pと、第２の
部分空間と入力ベクトルｘとの間の投影距離を２乗した
第２の距離値ｄ₂ とを第２辞書修正手段１０８に渡すと
共に、第２の距離値ｄ₂ を第１辞書修正手段１０４に渡
す。

【０１１４】ここで、第２の距離値ｄ₂ は次式（３９）
に示すものとなる。

【０１１５】

【数１７】

【０１１６】第１，第２辞書修正手段１０４，１０８
は、辞書検索手段１０３から上記した情報が渡される
と、それぞれステップＳ３０６，Ｓ３０７に於いて、認
識辞書１１３に格納されている上記第１，第２の部分空
間の原点の位置ベクトル，基底ベクトルを修正する。
尚、第１，第２辞書修正手段１０４，１０８がステップ
Ｓ３０６，Ｓ３０７で行う処理については、後で図４，
図５を参照して詳細に説明する。

【０１１７】第１，第２辞書修正手段１０４，１０８
で、学習パターン番号ｑの学習パターンについての処理
が終了すると、終了判定手段１１２が、ステップＳ３０
８に於いて、学習パターン番号を表す変数ｑの値と学習
パターン数Ｎとを比較する。そして、両者が等しくない
場合（ステップＳ３０８がＮＯ）は、ステップＳ３０９
に於いて学習パターン番号を表す変数ｑの値を１加算し
た後、ステップＳ３０３に帰還し、両者が等しい場合
（ステップＳ３０８がＹＥＳ）はステップＳ３１０に進
む。

【０１１８】ステップＳ３１０に於いては、終了判定手
段１１２は、学習回数を示す変数ｔの値と予め設定され
ている学習回数Ｔとを比較する。そして、両者が等しく
ない場合（ステップＳ３１０がＮＯ）は、ステップＳ３
１１で変数ｔの値を１加算した後、入力手段１０２に制
御を戻し、両者が等しい場合（ステップＳ３１０がＹＥ
Ｓ）は、学習を終了させる。

【０１１９】次に、図４の流れ図を参照して、第１辞書
修正手段１０４で行われる図３に示したステップＳ３０
６の処理を詳細に説明する。

【０１２０】第１辞書修正手段１０４は、先ず、ステッ
プＳ４０１に於いて、辞書検索手段１０３から渡された
第１，第２の距離値ｄ_1,ｄ₂ を用いて、入力ベクトルｘ
が誤認識される危険度μ＝（ｄ₁ −ｄ₂ ）／（ｄ₁ ＋ｄ
₂ ）を計算する。

【０１２１】次いで、ステップＳ４０２に於いて、次式
（４０）に示す演算を行う。尚、式（４０）に於いて、
ｔは学習回数を表す。

【０１２２】

【数１８】

【０１２３】その後、ステップＳ４０３に於いて、次式
（４１）に示す演算を行うことにより、補正係数Ｆを求
める。

【０１２４】Ｆ＝ｆ×（１−ｆ） … （４１）

【０１２５】ここで、補正係数Ｆは、μ＝０でピークを
持つ、μについての関数であるので、このような補正係
数Ｆを用いることにより、μが０に近いパターン、即ち
カテゴリ境界付近のパターンに重みを置いた学習を行う
ことができる。また、補正係数Ｆは、学習回数ｔが多く
なるほど、その値は小さくなる。

【０１２６】更に、ステップＳ４０４に於いて、次式
（４２）に示す演算を行うことにより補正係数Ｄ₂ を求
める。尚、式（４２）に於いて、ｋ，ｍは任意の定数で
あり、具体的な値の例としては、ｋ＝１，ｍ＝２等が考
えられる。

【０１２７】 Ｄ₂ ＝ｄ₂ ^k ／（ｄ₁ ＋ｄ₂ ）^m … （４２）

【０１２８】修正係数Ｆ，Ｄ₂ を求めると、第１辞書修
正手段１０４は、ステップＳ４０５に於いて、第１原点
修正手段１０５を用いて、現在処理対象にしている第１
の部分空間の、原点の位置ベクトルφ₁₀を修正する。

【０１２９】つまり、第１辞書修正手段１０４は、第１
原点修正手段１０５を用いて、認識辞書１１３に格納さ
れている第１の部分空間の原点の位置ベクトルφ₁₀を次
式（４３）に示すように修正する。尚、式（４３）に於
いて、αは正の微小な実数であり、具体的な例として
は、０．０１などが考えられる。

【０１３０】

【数１９】

【０１３１】その後、第１辞書修正手段１０４は、ステ
ップＳ４０６に於いて、基底ベクトルの番号を表す変数
ｊに「１」を設定する。

【０１３２】次いで、第１辞書修正手段１０４は、ステ
ップＳ４０７に於いて、第１基底ベクトル修正手段１０
６を用いて、現在処理対象にしている第１の部分空間
の、基底ベクトル番号が「１」の基底ベクトルφ₁₁を修
正する。

【０１３３】つまり、第１辞書修正手段１０４は、第１
基底ベクトル修正手段１０６を用いて、認識辞書１１３
に格納されている第１の部分空間の、基底ベクトル番号
が「１」の基底ベクトルφ₁₁を次式（４４）に示すよう
に修正する。

【０１３４】

【数２０】

【０１３５】その後、第１辞書修正手段１０４は、ステ
ップＳ４０８に於いて、ｊの値と基底ベクトル数ｐとを
比較し、両者が等しくない場合（Ｓ４０８がＮＯ）は、
ステップＳ４０９でｊの値を１加算した後、ステップＳ
４０７に帰還し、両者が等しい場合（Ｓ４０８がＹＥ
Ｓ）は、ステップＳ４１０に進む。

【０１３６】ステップＳ４１０では、第１辞書修正手段
１０４は、第１基底ベクトル直交化手段１０７を用い、
グラムシュミットの直交化により、認識辞書１１３に格
納されている第１の部分空間の基底ベクトルφ_11, …_,
φ_1pを、それらが正規直交系をなすように修正する。

【０１３７】次に、図５の流れ図を参照して、第２辞書
修正手段１０８で行われる図３に示したステップＳ３０
７の処理を詳細に説明する。

【０１３８】第２辞書修正手段１０８は、先ず、ステッ
プＳ５０１に於いて、辞書検索手段１０３から渡された
第１の距離値ｄ₁ と第２の距離値ｄ₂ とを用いて、入力
ベクトルが誤認識される危険度μを計算し、次にステッ
プＳ５０２，Ｓ５０３に於いて、補正係数Ｆを計算す
る。但し、ｔは学習回数を表す。

【０１３９】その後、第２辞書修正手段１０８は、次式
（４５）に示す演算を行うことにより、補正係数Ｄ₁ を
求める。尚、式（４５）に於いて、ｋ，ｍは任意の定数
であり、具体的な例としては、ｋ＝１，ｍ＝２等が考え
られる。

【０１４０】 Ｄ₁ ＝ｄ₁ ^k ／（ｄ₁ ＋ｄ₂ ）^m … （４５）

【０１４１】修正係数Ｆ，Ｄ₁ を求めると、第２辞書修
正手段１０８は、Ｓ５０５に於いて、第２原点修正手段
１０９を用いて、現在処理対象にしている第２の部分空
間の、原点の位置ベクトルφ₂₀を修正する。

【０１４２】つまり、第２辞書修正手段１０８は、第２
原点修正手段１０９を用いて、認識辞書１１３に格納さ
れている第２の部分空間の原点の位置ベクトルφ₂₀を次
式（４６）に示すように修正する。尚、式（４６）に於
いて、αは正の微小な実数であり、具体的な例として
は、０．０１等が考えられる。

【０１４３】

【数２１】

【０１４４】その後、第２辞書修正手段１０８は、ステ
ップＳ５０６に於いて、基底ベクトルの番号を表す変数
ｊに「１」を設定する。

【０１４５】次いで、第２辞書修正手段１０８は、ステ
ップＳ５０７に於いて、第２基底ベクトル修正手段１１
０を用いて、現在処理対象にしている第２の部分空間
の、基底ベクトル番号が「１」の基底ベクトルφ₂₁を修
正する。

【０１４６】つまり、第２辞書修正手段１０８は、第２
基底ベクトル修正手段１１０を用いて、認識辞書１１３
に格納されている第２の部分空間の、基底ベクトル番号
が「１」の基底ベクトルφ₂₁を次式（４７）に示すよう
に修正する。

【０１４７】

【数２２】

【０１４８】その後、第２辞書修正手段１０８は、ステ
ップＳ５０８に於いて、ｊの値と基底ベクトル数ｐとを
比較し、両者が等しくない場合（Ｓ５０８がＮＯ）は、
ステップＳ５０９でｊの値を１加算した後、ステップＳ
５０７に帰還し、両者が等しい場合（Ｓ５０８がＹＥ
Ｓ）は、ステップＳ５１０に進む。

【０１４９】ステップＳ５１０では、第２辞書修正手段
１０８は、第２基底ベクトル直交化手段１１１を用い、
グラムシュミットの直交化により、認識辞書１１３に格
納されている第２の部分空間の基底ベクトルφ_21, …_,
φ_2pを、それらが正規直交系をなすように修正する。

【０１５０】尚、上述した実施例に於いては、図２のス
テップＳ２０２に於いて、Ｋ平均アルゴリズムを用いて
部分空間の原点の位置ベクトルを設定するようにした
が、その他のクラスタリング手法を用いたり、或いは学
習ベクトル量子化の結果を用いるようにしても構わな
い。また、図２のステップＳ２０４では、一様乱数を用
いて基底ベクトルを設定しているが、部分空間の原点を
母点として空間をボロノイ分割した時の、各領域内に含
まれる入力ベクトルを主成分分析して求めても構わな
い。また、図４のステップＳ４０３，Ｓ４０４及び図５
のステップＳ５０３，Ｓ５０４に於いて、修正係数Ｆ，
Ｄ_1,Ｄ₂ を具体的に定義したが、これ以外の定義を用い
るようにしても構わない。更に、距離尺度として投影距
離の２乗を用いたが、射影長の２乗, その他の距離定義
を用いるようにしても構わない。

【０１５１】図７は本発明の第２の実施例のブロック図
であり、認識辞書として用いられる部分空間と重みパラ
メータに初期設定を行う初期値設定手段１０１ａと、入
力ベクトル群記憶部１１４に格納されている学習用に用
意した入力ベクトル群の中から１つの入力ベクトルを選
択する入力手段１０２と、上記入力ベクトルと同じカテ
ゴリに属する部分空間の中から上記入力ベクトルとの重
み付き投影距離が最小となる第１の部分空間と第１の重
みパラメータとその第１の距離とを求めると共に、上記
入力ベクトルと異なるカテゴリに属する部分空間の中か
ら上記入力ベクトルとの重み付き投影距離が最小となる
第２の部分空間と第２の重みパラメータとその第２の距
離を求める辞書検索手段１０３ａと、第１原点修正手段
１０５と第１基底ベクトル修正手段１０６と第１基底ベ
クトル直交化手段１０７とによって第１の部分空間を修
正すると共に第１重みパラメータ修正手段１１５によっ
て第１の重みパラメータを修正する第１辞書修正手段１
０４ａと、第２原点修正手段１０９と第２基底ベクトル
修正手段１１０と第２基底ベクトル直交化手段１１１に
よって第２の部分空間を修正し、第２重みパラメータ修
正手段１１６によって第２の重みパラメータを修正する
第２辞書修正手段１０８ａと、学習の終了を判定する終
了判定手段１１２と、認識辞書１１３とから構成され
る。

【０１５２】第１原点修正手段１０５では、第１の距離
値が小さくなるように、第１の部分空間の原点が修正さ
れる。

【０１５３】第１基底ベクトル修正手段１０６では、入
力ベクトルから第１の部分空間の原点を表す位置ベクト
ルを引いたベクトルとの内積の絶対値が大きくなる方向
に、第１の部分空間の各基底ベクトルが修正される。

【０１５４】第１基底ベクトル直交化手段１０７では、
第１基底ベクトル修正手段１０６によって修正された第
１の部分空間の基底ベクトルが、正規直交系をなすよう
に修正される。

【０１５５】第１重みパラメータ修正手段１１５では、
各重みパラメータの値が大きくなるように第１の重みパ
ラメータが修正される。

【０１５６】第２原点修正手段１０９では、第２の距離
値が大きくなるように、第２の部分空間の原点が修正さ
れる。

【０１５７】第２基底ベクトル修正手段１１０では、入
力ベクトルから第２の部分空間の原点を表す位置ベクト
ルを引いたベクトルとの内積の絶対値が小さくなる方向
に、第２の部分空間の各基底ベクトルが修正される。

【０１５８】第２基底ベクトル直交化手段１１１では、
第２基底ベクトル修正手段１１０によって修正された第
２の部分空間の基底ベクトルが、正規直交系をなすよう
に修正される。

【０１５９】第２重みパラメータ修正手段１１６では、
各重みパラメータの値が小さくなるように第２の重みパ
ラメータが修正される。

【０１６０】図７に示した実施例の動作を、図８から図
１３の流れ図を用いて説明する。

【０１６１】カテゴリ数をＫ、学習パターンの総数をＮ
とし、何らかの特徴抽出法を用いて各パターンについて
ｎ次元の入力ベクトルを予め作成しておくと共に、１カ
テゴリ当たりＭ個の重み付き部分空間を用意しておく。
重み付き部分空間とは、原点を表すｎ次元の位置ベクト
ルと、ｎ次元のｐ個の基底ベクトルと、ｐ＋１個の重み
パラメータから構成されるものである。

【０１６２】図８は初期値設定手段１０１ａの処理例を
示す流れ図である。

【０１６３】ステップＳ２０１ａに於いて、カテゴリの
番号を表す変数ｃを１に設定する。

【０１６４】ステップＳ２０２ａに於いて、Ｋ平均アル
ゴリズムによって、Ｍ個の部分空間の原点φ
₀ ^c 〔１〕，…，φ₀ ^c 〔Ｍ〕を求める。

【０１６５】ステップＳ２０３ａに於いて、部分空間の
番号を表す変数ｉに１を設定する。

【０１６６】ステップＳ２０４ａに於いて、一様乱数に
より各基底ベクトルの値φ₁ ^c 〔ｉ〕，…，φ
_p ^c 〔ｉ〕を設定する。

【０１６７】ステップＳ２０５ａに於いて、グラムシュ
ミットの直交化により、ｐ個の基底ベクトルが正規直交
系をなすように、各基底ベクトルを修正する。

【０１６８】ステップＳ２０６ａに於いて、重みパラメ
ータｗ₀ ^c 〔ｉ〕，…，ｗ_p ^c 〔ｉ〕それぞれの値を設
定する。例えば、全てを０に設定すれば良い。

【０１６９】ステップＳ２０７ａに於いて、ｉの値と部
分空間の数Ｍとが比較され、等しくない場合はステップ
Ｓ２０８ａでｉの値が１加算された後、ステップＳ２０
４ａに帰還し、等しい場合はステップＳ２０９ａに進
む。

【０１７０】ステップＳ２０９ａに於いて、ｃの値とカ
テゴリ数Ｋとが比較され、等しくない場合はステップＳ
２１０ａでｃの値が１加算された後、ステップＳ２０２
ａに帰還し、等しい場合は初期値設定手段１０１ａの処
理を終了し、入力手段１０２に制御を渡す。

【０１７１】入力手段１０２は、制御が渡されると、図
９の流れ図に示すように、ステップＳ３０１ａに於い
て、学習回数を表す変数ｔに１を設定し、ステップＳ３
０２ａに於いて学習パターンの番号を表す変数ｑに１を
設定する。

【０１７２】その後、ステップＳ３０３ａに於いて、入
力ベクトル群記憶部１１４に格納されている入力ベクト
ル群の中からｑ番目の学習パターンに対応する入力ベク
トルｘを選択する。

【０１７３】辞書検索手段１０３ａは、ステップＳ３０
４ａに於いて、入力ベクトルと同じカテゴリに属する部
分空間の中で、重み付き投影距離が最も小さい第１の部
分空間と第１の重みパラメータとを探し、その原点をφ
₁₀、基底ベクトルをφ₁₁，…_, φ_1p、重みパラメータを
ｗ_10, …ｗ_1p、その重み付き投影距離の２乗の値をｄ₁
とする。ここで、ｄ₁ は次式（４８）に示すものとな
る。

【０１７４】

【数２３】

【０１７５】その後、辞書検索手段１０３ａは、ステッ
プＳ３０５ａに於いて、入力ベクトルと異なるカテゴリ
に属する部分空間の中で、重み付き投影距離が最も小さ
い第２の部分空間と第２の重みパラメータを探し、その
原点をφ₂₀、基底ベクトルをφ_21, …_, φ_2p、重みパラ
メータをｗ_20, …，ｗ_2p、その時の重み付き投影距離の
２乗の値をｄ₂ とする。ここで、ｄ₂ は次式（４９）に
示すものとなる。

【０１７６】

【数２４】

【０１７７】第１辞書修正手段１０４ａは、ステップＳ
３０６ａに於いて、第１の部分空間の修正を行い、ステ
ップＳ３０７ａに於いて、第１の重みパラメータの修正
を行う。

【０１７８】また、第２辞書修正手段１０８ａは、ステ
ップＳ３０８ａに於いて、第２の部分空間の修正を行
い、ステップＳ３０９ａに於いて、第２の重みパラメー
タの修正を行う。

【０１７９】終了判定手段１１２は、ステップＳ３１０
ａに於いてｑの値と学習パターン数Ｎとを比較し、等し
くない場合はステップＳ３１１ａでｑの値を１加算した
後ステップＳ３０３ａに帰還し、等しい場合はステップ
Ｓ３１２ａに進む。

【０１８０】ステップＳ３１２ａに於いては、ｔの値と
予め設定されている学習回数Ｔとを比較し、等しくない
場合はステップＳ３１３ａでｔの値を１加算した後ステ
ップＳ３０２ａに帰還し、等しい場合は学習を終了す
る。

【０１８１】図１０は、図９のステップＳ３０６ａに示
した第１部分空間の修正処理の詳細な処理例を示す流れ
図である。

【０１８２】ステップＳ４０１ａに於いて、第１の距離
ｄ₁ と第２の距離ｄ₂ とを用いて、入力ベクトルが誤認
識される危険度を表す量μを計算する。

【０１８３】ステップＳ４０２ａとステップＳ４０３ａ
に於いて、修正係数Ｆを計算する。但し、ｔは学習回数
を表す。

【０１８４】ステップＳ４０４ａに於いて、修正係数Ｄ
₂ を計算する。ここで、ｋ_, ｍは任意の定数であり、具
体的な値の例としてはｋ＝１，ｍ＝２などが考えられ
る。

【０１８５】ステップＳ４０５ａに於いて、第１の部分
空間の原点φ₁₀を修正する。ここで、αは正の微小な実
数であり、具体的な値の例としては、０．０１などが考
えられる。

【０１８６】ステップＳ４０６ａに於いて、基底ベクト
ルの番号を表す変数ｊに１を設定する。

【０１８７】ステップＳ４０７ａに於いて、第１の部分
空間に於けるｊ番目の基底ベクトルを修正する。

【０１８８】ステップＳ４０８ａに於いて、ｊの値と基
底ベクトル数ｐとを比較し、等しくない場合はステップ
Ｓ４０９ａでｊの値に１を加算した後、ステップＳ４０
７ａへ帰還し、等しい場合はステップＳ４１０ａへ進
む。

【０１８９】ステップＳ４１０ａに於いて、グラムシュ
ミットの直交化により、第１の部分空間の基底ベクトル
φ_11, …，φ_1pが正規直交系をなすように修正する。

【０１９０】図１１は、図９のステップＳ３０８ａで行
う第２部分空間の修正処理の詳細な処理例を示した流れ
図である。

【０１９１】ステップＳ５０１ａに於いて、第１の距離
ｄ₁ と第２の距離ｄ₂ とを用いて、入力ベクトルが誤認
識される危険度を表す量μを計算する。

【０１９２】ステップＳ５０２ａとステップＳ５０３ａ
とに於いて、修正係数Ｆを計算する。但し、ｔは学習回
数を表す。

【０１９３】ステップＳ５０４ａに於いて、修正係数Ｄ
₁ を計算する。ここで、ｋ，ｍは任意の定数であり、具
体的な値の例としてはｋ＝１，ｍ＝２などが考えられ
る。

【０１９４】ステップＳ５０５ａに於いて、第２の部分
空間の原点φ₂₀を修正する。ここで、αはステップＳ４
０５ａ及びステップＳ４０７ａで用いた値と同じもので
ある。

【０１９５】ステップＳ５０６ａに於いて、基底ベクト
ルの番号を表す変数ｊに１を設定する。

【０１９６】ステップＳ５０７ａに於いて、第２の部分
空間に於けるｊ番目の基底ベクトルを修正する。

【０１９７】ステップＳ５０８ａに於いて、ｊの値と基
底ベクトル数ｐとを比較し、等しくない場合はステップ
Ｓ５０９ａでｊの値を１加算した後、ステップＳ５０７
ａへ帰還し、等しい場合はステップＳ５１０ａに進む。

【０１９８】ステップＳ５１０ａに於いて、グラムシュ
ミットの直交化により、第２の部分空間の基底ベクトル
φ_21, …_, φ_2pが正規直交系をなすように修正する。

【０１９９】図１２は図９のステップＳ３０７ａに示し
た第１の重みパラメータの修正処理の詳細な処理例を示
した流れ図である。

【０２００】ステップＳ６０１ａに於いて、第１の重み
パラメータの１つであるｗ₁₀を修正する。

【０２０１】ステップＳ６０２ａに於いて、重みパラメ
ータの番号を表す変数ｊに１を設定する。

【０２０２】ステップＳ６０３ａに於いて、第１の重み
パラメータに於けるｊ番目の重みパラメータを修正す
る。

【０２０３】ステップＳ６０４ａに於いて、ｊの値と基
底ベクトル数ｐとを比較し、等しくない場合は、ステッ
プＳ６０５ａでｊの値を１加算した後、ステップＳ６０
３ａに帰還し、等しい場合は処理を終了する。ステップ
Ｓ６０３ａで用いられるＦ，Ｄ₂ は、ステップＳ４０３
ａ及びステップＳ４０４ａで得られた値と同じもので、
αはステップＳ４０５ａ及びステップＳ４０７ａで用い
た値と同じ値である。

【０２０４】図１３は図９のステップＳ３０９ａに示し
た第２の重みパラメータの修正処理の詳細な処理例を示
した流れ図である。

【０２０５】ステップＳ７０１ａに於いて、第２の重み
パラメータの１つであるｗ₂₀を修正する。

【０２０６】ステップＳ７０２ａに於いて、重みパラメ
ータの番号を表す変数ｊに１を設定する。

【０２０７】ステップＳ７０３ａに於いて、第２の重み
パラメータに於けるｊ番目の重みパラメータを修正す
る。

【０２０８】ステップＳ７０４ａに於いて、ｊの値と基
底ベクトル数ｐとが比較され、等しくない場合は、ステ
ップＳ７０５ａでｊの値を１加算された後、ステップＳ
７０３ａに帰還し、等しい場合は処理を終了する。

【０２０９】ステップＳ７０１ａ及びステップＳ７０３
ａで用いられるＦ，Ｄ₁ は、ステップＳ５０３ａ及びス
テップＳ５０４ａで得られた値と同じものであり、αは
ステップＳ５０５ａ及びステップＳ５０７ａで用いた値
と同じものである。

【０２１０】第２の実施例では、ステップＳ２０２ａに
於いてＫ平均アルゴリズムを用いて部分空間の原点を設
定したが、その他のクラスタリング手法を用いても、或
いは学習ベクトル量子化の結果を用いても構わない。

【０２１１】また、ステップＳ２０４ａでは一様乱数を
用いて基底ベクトルを設定しているが、部分空間の原点
を母点として空間をボロノイ分割した時の、各領域内に
含まれる入力ベクトルを主成分分析して求めても構わな
い。

【０２１２】更に、ステップＳ４０３ａ，Ｓ４０４ａ，
Ｓ５０３ａ，Ｓ５０４ａに於いて、Ｆ，Ｄ_1,Ｄ₂ を具体
的に定義しているが、これ以外の定義を用いた場合にも
本発明は有効である。

【０２１３】次に、本発明の第３の実施例について説明
する。本実施例は、図９に示すステップＳ３０７ａ，Ｓ
３０９ａに於いて、図１４，図１５に示す処理を行うこ
とにより実現される。

【０２１４】図１４はステップＳ３０７ａに於ける第１
の重みパラメータの修正処理の一例を示した流れ図であ
る。

【０２１５】ステップＳ８０１ａに於いて、第１の重み
パラメータの１つであるｗ₁₀を０に設定する。

【０２１６】ステップＳ８０２ａに於いて、重みパラメ
ータの番号を表す変数ｊに１を設定する。

【０２１７】ステップＳ８０３ａに於いて、第１の重み
パラメータに於けるｊ番目の重みパラメータｗ_1jを修正
する。

【０２１８】ステップＳ８０４ａに於いて、ｗ_1jの値が
１以下であると判定された場合は、ステップＳ８０６ａ
に進み、そうでない場合はステップＳ８０５ａに於いて
ｗ_1jに１を設定した後、ステップＳ８０６ａに進む。

【０２１９】ステップＳ８０６ａに於いて、ｊの値と基
底ベクトル数ｐとが比較され、等しくない場合はステッ
プＳ８０７ａでｊの値が１加算された後、ステップＳ８
０３ａへ帰還し、等しい場合は処理を終了する。

【０２２０】ステップＳ８０３ａで用いられるＦ，Ｄ₂
は、ステップＳ４０３ａ及びステップＳ４０４ａで得ら
れた値と同じもので、αはステップＳ４０５ａ及びステ
ップＳ４０７ａで用いた値と同じものである。

【０２２１】図１５はステップＳ３０９ａに於ける第２
の重みパラメータの修正処理の一例を示した流れ図であ
る。

【０２２２】ステップＳ９０１ａに於いて、第２の重み
パラメータの１つであるｗ₂₀に０を設定する。

【０２２３】ステップＳ９０２ａに於いて、重みパラメ
ータの番号を表す変数ｊに１を設定する。

【０２２４】ステップＳ９０３ａに於いて、第２の重み
パラメータに於けるｊ番目の重みパラメータｗ_2jを修正
する。

【０２２５】ステップＳ９０４ａに於いて、ｗ_2jの値が
０以上であると判定された場合はステップＳ９０６ａに
進み、そうでない場合はステップＳ９０５ａに於いてｗ
_2jに０を設定した後、ステップＳ９０６ａに進む。

【０２２６】ステップＳ９０６ａに於いて、ｊの値と基
底ベクトル数ｐとが比較され、等しくない場合はステッ
プＳ９０７ａでｊの値が１加算された後、ステップＳ９
０３ａへ帰還し、等しい場合は処理を終了する。ステッ
プＳ９０３ａで用いられるＦ，Ｄ₁ は、ステップＳ５０
３ａ及びステップＳ５０４ａで得られた値と同じもの
で、αはステップＳ５０５ａ及びステップＳ５０７ａで
用いた値と同じものである。

【０２２７】第２の実施例は重み付き投影距離が負にな
る場合があるが、第３の実施例では重み付き投影距離は
常に正の値となる。

【０２２８】以上、本発明の実施例について述べた。本
実施例では、カテゴリ当たりの部分空間数を同じ値Ｍと
して、部分空間の基底ベクトル数も全てｐ個としたが、
カテゴリ毎に異なる部分空間数を用いても、部分空間毎
に異なる数の基底ベクトルを用いても構わない。従っ
て、本発明は実施例に限定されるものではない。

【０２２９】図６は図１，図７に示した第１，第２の実
施例の認識辞書学習装置を実現するハードウェア構成の
一例を示したブロック図であり、コンピュータによって
構成されるデータ処理装置６０１と、認識辞書学習プロ
グラムを記録した記録媒体６０２と、記憶装置６０３と
を備えている。記録媒体６０２は、磁気ディスク，半導
体メモリ, その他の記録媒体である。

【０２３０】図１に示した認識辞書学習装置の実現時に
は、記録媒体６０２に記録された認識辞書学習プログラ
ムは、データ処理装置６０１によって読み取られ、デー
タ処理装置６０１上に、図１に示した初期値設定手段１
０１，入力手段１０２，辞書検索手段１０３，第１原点
修正手段１０５，第１基底ベクトル修正手段１０６，第
１基底ベクトル直交化手段１０７，第２原点修正手段１
０９，第２基底ベクトル修正手段１１０，第２基底ベク
トル直交化手段１１１，終了判定手段１１２を実現す
る。記憶装置６０３は、図１に示した認識辞書１１３，
入力ベクトル群記憶部１１４に対応するものである。

【０２３１】また、図７に示した認識辞書学習装置の実
現時には、記録媒体６０２に記録された認識辞書学習プ
ログラムは、データ処理装置６０１によって読み取ら
れ、データ処理装置６０１上に、図７に示した初期値設
定手段１０１ａ，入力手段１０２，辞書検索手段１０３
ａ，第１原点修正手段１０５，第１基底ベクトル修正手
段１０６，第１基底ベクトル直交化手段１０７，第１重
みパラメータ修正手段１１５，第２原点修正手段１０
９，第２基底ベクトル修正手段１１０，第２基底ベクト
ル直交化手段１１１，第２重みパラメータ修正手段１１
６，終了判定手段１１２を実現する。記憶装置６０３
は、図１に示した認識辞書１１３，入力ベクトル群記憶
部１１４に対応するものである。

【０２３２】

【発明の効果】以上説明したように、本発明は、正解カ
テゴリの部分空間の原点の位置ベクトル，基底ベクトル
の修正だけでなく、競合カテゴリの部分空間の原点の位
置ベクトル，基底ベクトルも修正するので、学習パター
ンに対する誤認識を十分に低減させることができる。

【０２３３】また、本発明は、第１の部分空間と入力ベ
クトルとの間の距離と、第２の部分空間と入力ベクトル
との間の距離との差が少ない時ほど、原点の位置ベクト
ル，基底ベクトルに対する修正量を多くするので、カテ
ゴリ境界付近のパターンに重みを置いた学習を行うこと
ができ、その結果、未学習パターンに対しても高い認識
性能を有する認識辞書を生成することができる。更に、
本発明では、基底ベクトルの設定に主成分分析を必ずし
も必要としないため、設計を容易にすることができる。

【０２３４】また、本発明は、部分空間の原点と基底ベ
クトルの修正ばかりでなく、部分空間に対する重みも修
正するので、学習パターンに対する誤認識を更に低減さ
せることができると共に、未学習パターンに対しても更
に高い認識性能を有する認識辞書を生成することができ
る。

【図面の簡単な説明】

【図１】本発明の認識辞書学習装置の第１の実施例のブ
ロック図である。

【図２】初期値設定手段１０１の処理例を示す流れ図で
ある。

【図３】入力手段１０２，辞書検索手段１０３，第１辞
書修正手段１０４，第２辞書修正手段１０８，終了判定
手段１１２の処理例を示す流れ図である。

【図４】第１辞書修正手段１０４の詳細な処理例を示す
流れ図である。

【図５】第２辞書修正手段１０８の詳細な処理内容を示
す流れ図である。

【図６】認識辞書学習装置のハードウェア構成の一例を
示すブロック図である。

【図７】本発明の認識辞書学習装置の第２の実施例のブ
ロック図である。

【図８】初期値設定手段１０１ａの処理例を示す流れ図
である。

【図９】入力手段１０２，辞書検索手段１０３ａ，第１
辞書修正手段１０４ａ，第２辞書修正手段１０８ａ，終
了判定手段１１２の処理例を示す流れ図である。

【図１０】第１辞書修正手段１０４ａの詳細な処理例を
示す流れ図である。

【図１１】第２辞書修正手段１０８ａの詳細な処理内容
を示す流れ図である。

【図１２】第１重みパラメータ修正手段１１５の処理例
を示す流れ図である。

【図１３】第２重みパラメータ修正手段１１６の処理例
を示す流れ図である。

【図１４】第１重みパラメータ修正手段１１５の他の処
理例を示す流れ図である。

【図１５】第２重みパラメータ修正手段１１６の他の処
理例を示す流れ図である。

【図１６】従来技術の問題点を説明するための図であ
る。

【図１７】重み付き投影距離の効果を説明するための図
である。

【図１８】従来技術の問題点を説明するための図であ
る。

【図１９】従来技術の問題点を説明するための図であ
る。

【図２０】従来技術の問題点を説明するための図であ
る。

【符号の説明】

１０１，１０１ａ…初期値設定手段 １０２…入力手段 １０３，１０３ａ…辞書検索手段 １０４，１０４ａ…第１辞書修正手段 １０５…第１原点修正手段 １０６…第１基底ベクトル修正手段 １０７…第１基底ベクトル直交化手段 １０８，１０８ａ…第２辞書修正手段 １０９…第２原点修正手段 １１０…第２基底ベクトル修正手段 １１１…第２基底ベクトル直交化手段 １１２…終了判定手段 １１３…認識辞書 １１４…入力ベクトル群記憶部 １１５…第１重みパラメータ修正手段 １１６…第２重みパラメータ修正手段 ６０１…データ処理装置 ６０２…記録媒体 ６０３…記憶装置

フロントページの続き (56)参考文献 特開 平７−311846（ＪＰ，Ａ) 佐藤、山田，「一般学習ベクトル量子 化による文字認識」，電子情報通信学会 技術研究報告，社団法人電子情報通信学 会・発行，1996年 ３月14日，Ｖｏｌ. 95，Ｎｏ．583（ＰＲＵ95−216〜234）, ｐｐ．23−30，特許庁ＣＳＤＢ文献番 号：ＣＳＮＴ199900771004 佐藤、山田，「一般学習ベクトル量子 化の提案」，電子情報通信学会技術研究 報告，社団法人電子情報通信学会・発 行，1995年10月28日，Ｖｏｌ．95，Ｎ ｏ．346（ＮＣ95−49〜64），ｐｐ．87 −94，特許庁ＣＳＤＢ文献番号：ＣＳＮ Ｔ200000108010 佐藤、津雲，「改良ベクトル量子化と 文字認識への応用」，電子情報通信学会 技術研究報告，社団法人電子情報通信学 会・発行，1993年12月14日，Ｖｏｌ. 93，Ｎｏ．376（ＮＣ93−55〜67），ｐ ｐ．41−49，特許庁ＣＳＤＢ文献番号： ＣＳＮＴ200000097004 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/00 G06G 7/60 G06T 7/00 G06K 9/00 G10L 15/00 - 17/00 ＣＳＤＢ（日本国特許庁) ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】 学習パターンから抽出された特徴ベクト
   ルを入力ベクトルとして用い、認識辞書となる部分空間
   を決定する認識辞書学習方法であって、 各カテゴリに属する部分空間群の初期設定を行う初期値
   設定段階と、 学習用に用意された入力ベクトル群の中から１つの入力
   ベクトルを選択する入力段階と、 該選択した入力ベクトルと同じカテゴリに属する部分空
   間群の中から、前記入力ベクトルとの距離が最小となる
   第１の部分空間を求めると共に、前記入力ベクトルと異
   なるカテゴリに属する部分空間群の中から前記入力ベク
   トルとの距離が最小となる第２の部分空間を求める辞書
   検索段階と、 前記第１の部分空間が前記入力ベクトルに近づくよう
   に、前記第１の部分空間の原点を表す第１の位置ベクト
   ルを、前記第１の部分空間と直交する方向に修正する第
   １の原点修正段階と、 前記第２の部分空間が前記入力ベクトルから遠ざかるよ
   うに、前記第２の部分空間の原点を表す第２の位置ベク
   トルを、前記第２の部分空間と直交する方向に修正する
   第２の原点修正段階と、 前記入力ベクトルから前記第１の位置ベクトルを引いた
   ベクトルとの内積の絶対値が大きくなるように、前記第
   １の部分空間の各基底ベクトルを修正する第１の基底ベ
   クトル修正段階と、 前記入力ベクトルから前記第２の位置ベクトルを引いた
   ベクトルとの内積の絶対値が小さくなるように、前記第
   ２の部分空間の各基底ベクトルを修正する第２の基底ベ
   クトル修正段階と、 前記第１の基底ベクトル修正段階に於いて修正が行われ
   た各基底ベクトルを、それらが正規直交系をなすように
   修正すると共に、前記第２の基底ベクトル修正段階に於
   いて修正が行われた各基底ベクトルを、それらが正規直
   交系をなすように修正する基底ベクトル直交化段階とを
   含むことを特徴とする認識辞書学習方法。
2. 【請求項２】 前記辞書検索段階に於いて、前記入力ベ
   クトルと前記第１の部分空間との距離値である第１の距
   離値を求めると共に、前記入力ベクトルと前記第２の部
   分空間との距離値である第２の距離値を求め、 前記第１の原点修正段階，前記第２の原点修正段階，前
   記第１の基底ベクトル修正段階及び前記第２の基底ベク
   トル修正段階に於いて、前記第１の距離値と前記第２の
   距離値との差が少ない場合ほど、修正量を多くすること
   を特徴とする請求項１記載の認識辞書学習方法。
3. 【請求項３】 学習パターンから抽出された特徴ベクト
   ルを入力ベクトルとして用い、認識辞書となる部分空間
   とその重みパラメータを決定する認識辞書学習方法であ
   って、 各カテゴリに属する部分空間群とその重みパラメータの
   初期設定を行う初期値設定段階と、 学習用に用意された入力ベクトル群の中から１つの入力
   ベクトルを選択する入力段階と、 該選択した入力ベクトルと同じカテゴリに属する部分空
   間群の中から、前記入力ベクトルとの重み付き投影距離
   が最小となる第１の部分空間を求めると共に、前記選択
   した入力ベクトルと異なるカテゴリに属する部分空間群
   の中から、前記入力ベクトルとの重み付き投影距離が最
   小となる第２の部分空間を求める辞書検索段階と、 前記第１の部分空間と前記入力ベクトルとの重み付き投
   影距離が短くなるように、前記第１の部分空間の原点を
   表す第１の位置ベクトルを修正する第１の原点修正段階
   と、 前記第２の部分空間と前記入力ベクトルとの重み付き投
   影距離が長くなるように、前記第２の部分空間の原点を
   表す第２の位置ベクトルを修正する第２の原点修正段階
   と、 前記第１の部分空間の各基底ベクトルを、前記入力ベク
   トルから前記第１の位置ベクトルを引いたベクトルとの
   内積の絶対値が大きくなるように修正する第１の基底ベ
   クトル修正段階と、 前記第２の部分空間の各基底ベクトルを、前記入力ベク
   トルから前記第２の位置ベクトルを引いたベクトルとの
   内積の絶対値が小さくなるように修正する第２の基底ベ
   クトル修正段階と、 前記第１の基底ベクトル修正段階に於いて修正が行われ
   た各基底ベクトルを、それらが正規直交系をなすように
   修正すると共に、前記第２の基底ベクトル修正段階に於
   いて修正が行われた各基底ベクトルを、それらが正規直
   交系をなすように修正する基底ベクトル直交化段階と、 前記第１の部分空間の第１の重みパラメータを値が大き
   くなるように修正する第１の重みパラメータ修正段階
   と、 前記第２の部分空間の第２の重みパラメータを値が小さ
   くなるように修正する第２の重みパラメータ修正段階と
   を含むことを特徴とする認識辞書学習方法。
4. 【請求項４】 前記辞書検索段階に於いて、前記入力ベ
   クトルと前記第１の部分空間との重み付き投影距離値で
   ある第１の距離値を求めると共に、前記入力ベクトルと
   前記第２の部分空間との重み付き投影距離値である第２
   の距離値を求め、 前記第１の原点修正段階，前記第２の原点修正段階，前
   記第１の基底ベクトル修正段階，前記第２の基底ベクト
   ル修正段階，前記第１の重みパラメータ修正段階および
   前記第２の重みパラメータ修正段階に於いて、前記第１
   の距離値と前記第２の距離値との差が小さい場合ほど、
   修正量を多くすることを特徴とする請求項３記載の認識
   辞書学習方法。
5. 【請求項５】 学習パターンから抽出された特徴ベクト
   ルを入力ベクトルとして用い、認識辞書となる部分空間
   を決定する認識辞書学習装置であって、 各カテゴリに属する部分空間群の初期設定を行う初期値
   設定手段と、 学習用に用意された入力ベクトル群の中から１つの入力
   ベクトルを選択する入力手段と、 該入力手段が選択した入力ベクトルと同じカテゴリに属
   する部分空間群の中から、前記入力ベクトルとの距離が
   最小となる第１の部分空間を求めると共に、前記入力ベ
   クトルと異なるカテゴリに属する部分空間群の中から前
   記入力ベクトルとの距離が最小となる第２の部分空間を
   求める辞書検索手段と、 前記第１の部分空間が前記入力ベクトルに近づくよう
   に、前記第１の部分空間の原点を表す第１の位置ベクト
   ルを、前記第１の部分空間と直交する方向に修正する第
   １の原点修正手段と、 前記第２の部分空間が前記入力ベクトルから遠ざかるよ
   うに、前記第２の部分空間の原点を表す第２の位置ベク
   トルを、前記第２の部分空間と直交する方向に修正する
   第２の原点修正手段と、 前記入力ベクトルから前記第１の位置ベクトルを引いた
   ベクトルとの内積の絶対値が大きくなるように、前記第
   １の部分空間の各基底ベクトルを修正する第１の基底ベ
   クトル修正手段と、 前記入力ベクトルから前記第２の位置ベクトルを引いた
   ベクトルとの内積の絶対値が小さくなるように、前記第
   ２の部分空間の各基底ベクトルを修正する第２の基底ベ
   クトル修正手段と、 前記第１の基底ベクトル修正手段に於いて修正が行われ
   た各基底ベクトルを、それらが正規直交系をなすように
   修正すると共に、前記第２の基底ベクトル修正手段に於
   いて修正が行われた各基底ベクトルを、それらが正規直
   交系をなすように修正する基底ベクトル直交化手段とを
   備えたことを特徴とする認識辞書学習装置。
6. 【請求項６】 前記辞書検索手段は、前記入力ベクトル
   と前記第１の部分空間との距離値である第１の距離値を
   求めると共に、前記入力ベクトルと前記第２の部分空間
   との距離値である第２の距離値を求める構成を備え、 前記第１の原点修正手段，前記第２の原点修正手段，前
   記第１の基底ベクトル修正手段及び前記第２の基底ベク
   トル修正手段は、前記辞書検索手段で求められた前記第
   １の距離値と前記第２の距離値との差が少ない場合ほ
   ど、修正量を多くする構成を備えたことを特徴とする請
   求項５記載の認識辞書学習装置。
7. 【請求項７】 学習パターンから抽出された特徴ベクト
   ルを入力ベクトルとして用い、認識辞書となる部分空間
   とその重みパラメータを決定する認識辞書学習装置であ
   って、 各カテゴリに属する部分空間群とその重みパラメータの
   初期設定を行う初期値設定手段と、 学習用に用意された入力ベクトル群の中から１つの入力
   ベクトルを選択する入力手段と、 該入力手段が選択した入力ベクトルと同じカテゴリに属
   する部分空間群の中から、前記入力ベクトルとの重み付
   き投影距離が最小となる第１の部分空間を求めると共
   に、前記選択した入力ベクトルと異なるカテゴリに属す
   る部分空間群の中から、前記入力ベクトルとの重み付き
   投影距離が最小となる第２の部分空間を求める辞書検索
   手段と、 前記第１の部分空間と前記入力ベクトルとの重み付き投
   影距離が短くなるように、前記第１の部分空間の原点を
   表す第１の位置ベクトルを修正する第１の原点修正手段
   と、 前記第２の部分空間と前記入力ベクトルとの重み付き投
   影距離が長くなるように、前記第２の部分空間の原点を
   表す第２の位置ベクトルを修正する第２の原点修正手段
   と、 前記第１の部分空間の各基底ベクトルを、前記入力ベク
   トルから前記第１の位置ベクトルを引いたベクトルとの
   内積の絶対値が大きくなるように修正する第１の基底ベ
   クトル修正手段と、 前記第２の部分空間の各基底ベクトルを、前記入力ベク
   トルから前記第２の位置ベクトルを引いたベクトルとの
   内積の絶対値が小さくなるように修正する第２の基底ベ
   クトル修正手段と、 前記第１の基底ベクトル修正手段に於いて修正が行われ
   た各基底ベクトルを、それらが正規直交系をなすように
   修正すると共に、前記第２の基底ベクトル修正手段に於
   いて修正が行われた各基底ベクトルを、それらが正規直
   交系をなすように修正する基底ベクトル直交化手段と、 前記第１の部分空間の第１の重みパラメータを値が大き
   くなるように修正する第１の重みパラメータ修正手段
   と、 前記第２の部分空間の第２の重みパラメータを値が小さ
   くなるように修正する第２の重みパラメータ修正手段と
   を備えたことを特徴とする認識辞書学習装置。
8. 【請求項８】 前記辞書検索手段は、前記入力ベクトル
   と前記第１の部分空間との重み付き投影距離値である第
   １の距離値を求めると共に、前記入力ベクトルと前記第
   ２の部分空間との重み付き投影距離値である第２の距離
   値を求める構成を備え、 前記第１の原点修正手段，前記第２の原点修正手段，前
   記第１の基底ベクトル修正手段，前記第２に基底ベクト
   ル修正手段，前記第１の重みパラメータ修正手段および
   前記第２の重みパラメータ修正手段は、前記第１の距離
   値と前記第２の距離値との差が小さい場合ほど、修正量
   を多くする構成を備えたことを特徴とする請求項７記載
   の認識辞書学習装置。
9. 【請求項９】 コンピュータを、 各カテゴリに属する部分空間群の初期設定を行う初期値
   設定手段、 学習用に用意された入力ベクトル群の中から１つの入力
   ベクトルを選択する入力手段、 該入力手段が選択した入力ベクトルと同じカテゴリに属
   する部分空間群の中から、前記入力ベクトルとの距離が
   最小となる第１の部分空間を求めると共に、前記入力ベ
   クトルと異なるカテゴリに属する部分空間群の中から前
   記入力ベクトルとの距離が最小となる第２の部分空間を
   求める辞書検索手段、 前記第１の部分空間が前記入力ベクトルに近づくよう
   に、前記第１の部分空間の原点を表す第１の位置ベクト
   ルを、前記第１の部分空間と直交する方向に修正する第
   １の原点修正手段、 前記第２の部分空間が前記入力ベクトルから遠ざかるよ
   うに、前記第２の部分空間の原点を表す第２の位置ベク
   トルを、前記第２の部分空間と直交する方向に修正する
   第２の原点修正手段、 前記入力ベクトルから前記第１の位置ベクトルを引いた
   ベクトルとの内積の絶対値が大きくなるように、前記第
   １の部分空間の各基底ベクトルを修正する第１の基底ベ
   クトル修正手段、 前記入力ベクトルから前記第２の位置ベクトルを引いた
   ベクトルとの内積の絶対値が小さくなるように、前記第
   ２の部分空間の各基底ベクトルを修正する第２の基底ベ
   クトル修正手段、 前記第１の基底ベクトル修正手段に於いて修正が行われ
   た各基底ベクトルを、それらが正規直交系をなすように
   修正すると共に、前記第２の基底ベクトル修正手段に於
   いて修正が行われた各基底ベクトルを、それらが正規直
   交系をなすように修正する基底ベクトル直交化手段、と
   して機能させるプログラムを記録した機械読み取り可能
   な記録媒体。
10. 【請求項１０】 コンピュータを、 各カテゴリに属する部分空間群とその重みパラメータの
    初期設定を行う初期値設定手段、 学習用に用意された入力ベクトル群の中から１つの入力
    ベクトルを選択する入力手段、 該入力手段が選択した入力ベクトルと同じカテゴリに属
    する部分空間群の中から、前記入力ベクトルとの重み付
    き投影距離が最小となる第１の部分空間を求めると共
    に、前記選択した入力ベクトルと異なるカテゴリに属す
    る部分空間群の中から、前記入力ベクトルとの重み付き
    投影距離が最小となる第２の部分空間を求める辞書検索
    手段、 前記第１の部分空間と前記入力ベクトルとの重み付き投
    影距離が短くなるように、前記第１の部分空間の原点を
    表す第１の位置ベクトルを修正する第１の原点修正手
    段、 前記第２の部分空間と前記入力ベクトルとの重み付き投
    影距離が長くなるように、前記第２の部分空間の原点を
    表す第２の位置ベクトルを修正する第２の原点修正手
    段、 前記第１の部分空間の各基底ベクトルを、前記入力ベク
    トルから前記第１の位置ベクトルを引いたベクトルとの
    内積の絶対値が大きくなるように修正する第１の基底ベ
    クトル修正手段、 前記第２の部分空間の各基底ベクトルを、前記入力ベク
    トルから前記第２の位置ベクトルを引いたベクトルとの
    内積の絶対値が小さくなるように修正する第２の基底ベ
    クトル修正手段、 前記第１の基底ベクトル修正手段に於いて修正が行われ
    た各基底ベクトルを、それらが正規直交系をなすように
    修正すると共に、前記第２の基底ベクトル修正手段に於
    いて修正が行われた各基底ベクトルを、それらが正規直
    交系をなすように修正する基底ベクトル直交化手段、 前記第１の部分空間の第１の重みパラメータを値が大き
    くなるように修正する第１の重みパラメータ修正手段、 前記第２の部分空間の第２の重みパラメータを値が小さ
    くなるように修正する第２の重みパラメータ修正手段、
    として機能させるためのプログラムを記録した機械読み
    取り可能な記録媒体。