JPH1055412A - 特徴ベクトルの部分固有空間への射影による特徴選択を用いたパターン認識装置及び方法 - Google Patents
特徴ベクトルの部分固有空間への射影による特徴選択を用いたパターン認識装置及び方法Info
- Publication number
- JPH1055412A JPH1055412A JP9146600A JP14660097A JPH1055412A JP H1055412 A JPH1055412 A JP H1055412A JP 9146600 A JP9146600 A JP 9146600A JP 14660097 A JP14660097 A JP 14660097A JP H1055412 A JPH1055412 A JP H1055412A
- Authority
- JP
- Japan
- Prior art keywords
- feature vector
- pattern
- input
- feature
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 多種類の文字パターン等の識別を目的とし
て、特徴選択の手法を用いて特徴ベクトルの次元数を削
減することにより認識処理の高速化を図りながらも、認
識精度を維持できるパターン認識装置を実現することに
ある。 【解決手段】 特徴抽出部１０１は、入力文字パターン
から入力特徴ベクトルを抽出する。学習処理部１０２
は、学習文字パターンの学習特徴ベクトルから元特徴空
間の部分固有空間の正規直交基底を算出し、それらを部
分固有空間の正規直交基底記憶部１０３に記憶させ、ま
た、各認識対象文字パターンに対応し部分固有空間上で
規定される各辞書選択特徴ベクトルを算出し、それらを
認識辞書部１０４に記憶させる。特徴選択部１０５は、
上記正規直交基底を用い、特徴抽出部１０１が抽出した
入力特徴ベクトルの部分固有空間への射影である入力選
択特徴ベクトルを算出する。照合部１０６は、上記入力
選択特徴ベクトルと各辞書選択特徴ベクトルとを照合す
ることにより、入力文字パターンの種類を推定する。
て、特徴選択の手法を用いて特徴ベクトルの次元数を削
減することにより認識処理の高速化を図りながらも、認
識精度を維持できるパターン認識装置を実現することに
ある。 【解決手段】 特徴抽出部１０１は、入力文字パターン
から入力特徴ベクトルを抽出する。学習処理部１０２
は、学習文字パターンの学習特徴ベクトルから元特徴空
間の部分固有空間の正規直交基底を算出し、それらを部
分固有空間の正規直交基底記憶部１０３に記憶させ、ま
た、各認識対象文字パターンに対応し部分固有空間上で
規定される各辞書選択特徴ベクトルを算出し、それらを
認識辞書部１０４に記憶させる。特徴選択部１０５は、
上記正規直交基底を用い、特徴抽出部１０１が抽出した
入力特徴ベクトルの部分固有空間への射影である入力選
択特徴ベクトルを算出する。照合部１０６は、上記入力
選択特徴ベクトルと各辞書選択特徴ベクトルとを照合す
ることにより、入力文字パターンの種類を推定する。
Description
【０００１】
【発明の属する技術分野】本発明は、パターンを表わす
特徴ベクトルの次元数を効率的に削減する特徴選択の手
法を用いて文字等のパターンを認識する技術に関する。
特徴ベクトルの次元数を効率的に削減する特徴選択の手
法を用いて文字等のパターンを認識する技術に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】近年、
オフィスにおけるワークフローの効率化のために文書を
電子的にファイリングして、必要に応じてコード化する
ための文書認識技術が強く求められている。特に、文書
認識技術の一形態である文字認識技術は、文字列情報の
コード化のために必須の技術である。この技術において
は、実用化と広範囲にわたる普及のために、認識精度を
維持したまま高速に文字種を推定する技術が求められて
いる。統計的手法により入力文字の特徴ベクトルの次元
数を削減する特徴選択の手法は、認識辞書との照合のた
めの計算量の削減に効果的である。このため、特徴選択
の手法を用いた文字認識技術は、実用的な文書認識装置
を構築する上での重要な要素としての役割を果たしてい
ると共に、文字以外の種々のパターンを認識するための
装置を構築する上でも非常に重要な技術である。
オフィスにおけるワークフローの効率化のために文書を
電子的にファイリングして、必要に応じてコード化する
ための文書認識技術が強く求められている。特に、文書
認識技術の一形態である文字認識技術は、文字列情報の
コード化のために必須の技術である。この技術において
は、実用化と広範囲にわたる普及のために、認識精度を
維持したまま高速に文字種を推定する技術が求められて
いる。統計的手法により入力文字の特徴ベクトルの次元
数を削減する特徴選択の手法は、認識辞書との照合のた
めの計算量の削減に効果的である。このため、特徴選択
の手法を用いた文字認識技術は、実用的な文書認識装置
を構築する上での重要な要素としての役割を果たしてい
ると共に、文字以外の種々のパターンを認識するための
装置を構築する上でも非常に重要な技術である。
【０００３】まず、パターンの一例である文字に関し
て、文字認識の一般概念について説明する。まず、文字
パターンが入力されると、その大きさが正規化される。
て、文字認識の一般概念について説明する。まず、文字
パターンが入力されると、その大きさが正規化される。
【０００４】その後、その正規化によって得られる矩形
の文字領域が、複数の部分的な矩形領域に分割される。
例えば、１つの矩形の文字領域が、縦３行×横３列又は
縦６行×横６列に等分割されることにより、９個又は３
６個程度の部分矩形領域に分割される。
の文字領域が、複数の部分的な矩形領域に分割される。
例えば、１つの矩形の文字領域が、縦３行×横３列又は
縦６行×横６列に等分割されることにより、９個又は３
６個程度の部分矩形領域に分割される。
【０００５】次に、部分矩形領域毎に、その領域内に存
在する文字の輪郭を示す画素（輪郭画素）が抽出され、
各輪郭画素毎にその画素を含む輪郭線の方向が決定され
る。なお、輪郭画素は、文字領域そのものに対応する画
素、或いは、文字領域を細線化することによって得られ
る画素である。また、上記方向としては、例えば上下左
右斜めの方向からなる８方向、又は更に細かい３６方向
程度が採用される。その後、部分矩形領域毎に、その領
域内の各方向毎の輪郭画素数が集計される。この結果、
１つの部分矩形領域について、方向数に等しい次元数を
有し、各要素値がその要素に対応する方向の輪郭画素数
に対応する値である部分特徴ベクトルが得られる。そし
て、１つの入力文字パターンについて、それに対応する
矩形文字領域に含まれる各部分矩形領域に対応する各部
分特徴ベクトルの全要素からなる特徴ベクトルが得られ
る。
在する文字の輪郭を示す画素（輪郭画素）が抽出され、
各輪郭画素毎にその画素を含む輪郭線の方向が決定され
る。なお、輪郭画素は、文字領域そのものに対応する画
素、或いは、文字領域を細線化することによって得られ
る画素である。また、上記方向としては、例えば上下左
右斜めの方向からなる８方向、又は更に細かい３６方向
程度が採用される。その後、部分矩形領域毎に、その領
域内の各方向毎の輪郭画素数が集計される。この結果、
１つの部分矩形領域について、方向数に等しい次元数を
有し、各要素値がその要素に対応する方向の輪郭画素数
に対応する値である部分特徴ベクトルが得られる。そし
て、１つの入力文字パターンについて、それに対応する
矩形文字領域に含まれる各部分矩形領域に対応する各部
分特徴ベクトルの全要素からなる特徴ベクトルが得られ
る。
【０００６】このようにして得られる文字パターン毎の
特徴ベクトルを認識対象となる文字種毎に分類すると、
その特徴ベクトルの要素数に対応する次元を有する多次
元空間上で、文字種が同一である文字パターンの特徴ベ
クトル同士が集合することにより、文字種毎にクラスタ
が形成される。この性質を利用することにより、まず学
習用文字パターンの特徴ベクトルが分類され、その結果
得られるクラスタ毎にそのクラスタに含まれる特徴ベク
トルからそのクラスタに対応する文字種を代表する平均
特徴ベクトルが計算される。平均特徴ベクトルは、例え
ば各特徴ベクトルの要素毎に平均値が計算されることに
よって算出される。そして、これらの文字種毎の平均特
徴ベクトルが、辞書として登録される。
特徴ベクトルを認識対象となる文字種毎に分類すると、
その特徴ベクトルの要素数に対応する次元を有する多次
元空間上で、文字種が同一である文字パターンの特徴ベ
クトル同士が集合することにより、文字種毎にクラスタ
が形成される。この性質を利用することにより、まず学
習用文字パターンの特徴ベクトルが分類され、その結果
得られるクラスタ毎にそのクラスタに含まれる特徴ベク
トルからそのクラスタに対応する文字種を代表する平均
特徴ベクトルが計算される。平均特徴ベクトルは、例え
ば各特徴ベクトルの要素毎に平均値が計算されることに
よって算出される。そして、これらの文字種毎の平均特
徴ベクトルが、辞書として登録される。
【０００７】実際の認識時には、入力文字パターンの特
徴ベクトルが計算された後、その特徴ベクトルと辞書に
登録されている各平均特徴ベクトルとの距離が計算さ
れ、距離が最も小さかった平均特徴ベクトルに対応する
文字種が入力文字の文字種として推定される。距離とし
ては、ユークリッド距離やシティブロック距離を計算す
る方法が良く知られている。
徴ベクトルが計算された後、その特徴ベクトルと辞書に
登録されている各平均特徴ベクトルとの距離が計算さ
れ、距離が最も小さかった平均特徴ベクトルに対応する
文字種が入力文字の文字種として推定される。距離とし
ては、ユークリッド距離やシティブロック距離を計算す
る方法が良く知られている。
【０００８】ここで、特徴空間全体で距離が計算される
場合に、その特徴空間の次元数に応じた時間が必要にな
ってしまう。そこで、計算の高速化を図るために、特徴
空間の次元数を削減した上で（例えば３８４次元から６
４次元への削減）、距離を計算する技術が知られてい
る。このような、特徴空間の次元数を削減する手法は、
特徴選択と呼ばれ、特徴選択のための具体的な手法とし
て、正準判別分析や主成分分析が知られている。特徴選
択による次元数の削減割合が元の次元数の１／８程度ま
では認識率はほとんど低下しないことが実験的に確かめ
られており、むしろ、特徴選択によって有意でないノイ
ズ的な特徴ベクトルが削減されることによる認識率の増
加の効果も期待できる。
場合に、その特徴空間の次元数に応じた時間が必要にな
ってしまう。そこで、計算の高速化を図るために、特徴
空間の次元数を削減した上で（例えば３８４次元から６
４次元への削減）、距離を計算する技術が知られてい
る。このような、特徴空間の次元数を削減する手法は、
特徴選択と呼ばれ、特徴選択のための具体的な手法とし
て、正準判別分析や主成分分析が知られている。特徴選
択による次元数の削減割合が元の次元数の１／８程度ま
では認識率はほとんど低下しないことが実験的に確かめ
られており、むしろ、特徴選択によって有意でないノイ
ズ的な特徴ベクトルが削減されることによる認識率の増
加の効果も期待できる。
【０００９】始めに、特徴選択として正準判別分析を用
いた文字認識の従来技術について、図９の構成図に基づ
いて説明する。まず、特徴抽出部９０１は、ｇ種類から
なる文字種ｉ（１≦ｉ≦ｇ）毎に、その文字種ｉに含ま
れるｎi サンプルの文字パターンから、前述したように
して、下記数１式に示されるｎi 組の学習用の特徴ベク
トルｘ j (i) （１≦ｊ≦ｎi ）を抽出する。ここで、上
付き添字“T ”は、行列（又はベクトル）の転置を表わ
す。
いた文字認識の従来技術について、図９の構成図に基づ
いて説明する。まず、特徴抽出部９０１は、ｇ種類から
なる文字種ｉ（１≦ｉ≦ｇ）毎に、その文字種ｉに含ま
れるｎi サンプルの文字パターンから、前述したように
して、下記数１式に示されるｎi 組の学習用の特徴ベク
トルｘ j (i) （１≦ｊ≦ｎi ）を抽出する。ここで、上
付き添字“T ”は、行列（又はベクトル）の転置を表わ
す。
【００１０】
【数１】
【００１１】ここで、添字ｋは、特徴ベクトルの要素番
号を示しており、その範囲は１≦ｋ≦Ｎである。なお、
以後の説明において、下線が付加されている記号は、ベ
クトル量を示すものとし、上述のように要素番号が付加
されて下線が付加されていない記号は、ベクトルの要素
値を示すものとする。
号を示しており、その範囲は１≦ｋ≦Ｎである。なお、
以後の説明において、下線が付加されている記号は、ベ
クトル量を示すものとし、上述のように要素番号が付加
されて下線が付加されていない記号は、ベクトルの要素
値を示すものとする。
【００１２】次に、学習処理部９０２は、ｇ種類からな
る文字種ｉ（１≦ｉ≦ｇ）毎に、その文字種ｉに対応す
る上記特徴ベクトルｘ j (i) （１≦ｊ≦ｎi ）から、そ
の文字種ｉに対応し下記数２式に示される平均特徴ベク
トルｍ (i) を計算する。
る文字種ｉ（１≦ｉ≦ｇ）毎に、その文字種ｉに対応す
る上記特徴ベクトルｘ j (i) （１≦ｊ≦ｎi ）から、そ
の文字種ｉに対応し下記数２式に示される平均特徴ベク
トルｍ (i) を計算する。
【００１３】
【数２】
【００１４】また、学習処理部９０２は、文字種ｉ毎の
サンプル数ｎi と上記平均特徴ベクトルｍ (i) とから、
下記数３式に示される全文字種についての平均特徴ベク
トル（全体平均特徴ベクトル）ｍを計算する。
サンプル数ｎi と上記平均特徴ベクトルｍ (i) とから、
下記数３式に示される全文字種についての平均特徴ベク
トル（全体平均特徴ベクトル）ｍを計算する。
【００１５】
【数３】
【００１６】続いて、学習処理部９０２は、下記の数４
式〜数７式として示されるようにして、文字種ｉ毎の特
徴ベクトルｘ j (i) 、サンプル数ｎi 、及び上述のよう
にして計算される平均特徴ベクトルｍ (i) と、全体平均
特徴ベクトルｍとに基づき、文字種間分散行列Ｓb と文
字種内分散行列Ｓw とを計算する。ここで、添字ｐ及び
ｑは、それぞれ特徴ベクトルの要素番号を示しており、
その範囲は１≦ｐ，ｑ≦Ｎである。
式〜数７式として示されるようにして、文字種ｉ毎の特
徴ベクトルｘ j (i) 、サンプル数ｎi 、及び上述のよう
にして計算される平均特徴ベクトルｍ (i) と、全体平均
特徴ベクトルｍとに基づき、文字種間分散行列Ｓb と文
字種内分散行列Ｓw とを計算する。ここで、添字ｐ及び
ｑは、それぞれ特徴ベクトルの要素番号を示しており、
その範囲は１≦ｐ，ｑ≦Ｎである。
【００１７】
【数４】
【００１８】
【数５】
【００１９】
【数６】
【００２０】
【数７】
【００２１】更に、学習処理部９０２は、上述のように
して計算した文字種間分散行列Ｓbと文字種内分散行列
Ｓw とを用いて、下記数８式を満たし、Ｎ組からなる固
有ベクトルφ k （それぞれの次元はＮで長さは１）と固
有値λk の組（１≦ｋ≦Ｎ）を計算する。
して計算した文字種間分散行列Ｓbと文字種内分散行列
Ｓw とを用いて、下記数８式を満たし、Ｎ組からなる固
有ベクトルφ k （それぞれの次元はＮで長さは１）と固
有値λk の組（１≦ｋ≦Ｎ）を計算する。
【００２２】
【数８】
【００２３】そして、学習処理部９０２は、上述のよう
にして計算したＮ本の固有ベクトルφ k のうちそれぞれ
に対応する固有値λk の大きいものからＭ本（Ｍ＜Ｎ）
の固有ベクトルφ h （１≦ｈ≦Ｍ）を選択し、それらを
固有ベクトル記憶部９０３に記憶させる。
にして計算したＮ本の固有ベクトルφ k のうちそれぞれ
に対応する固有値λk の大きいものからＭ本（Ｍ＜Ｎ）
の固有ベクトルφ h （１≦ｈ≦Ｍ）を選択し、それらを
固有ベクトル記憶部９０３に記憶させる。
【００２４】また、学習処理部９０２は、文字種ｉ毎
に、上記Ｍ本の固有ベクトルφ h （１≦ｈ≦Ｍ）と、Ｎ
次元の平均特徴ベクトルｍ (i) との内積を下記数９式に
示されるようにして計算することにより、文字種ｉ毎
に、Ｍ次元の平均選択特徴ベクトルｍ (i) ′を算出し、
それらを認識辞書部９０４に記憶させる。
に、上記Ｍ本の固有ベクトルφ h （１≦ｈ≦Ｍ）と、Ｎ
次元の平均特徴ベクトルｍ (i) との内積を下記数９式に
示されるようにして計算することにより、文字種ｉ毎
に、Ｍ次元の平均選択特徴ベクトルｍ (i) ′を算出し、
それらを認識辞書部９０４に記憶させる。
【００２５】
【数９】
【００２６】ここで、添字ｈは、選択特徴ベクトルの要
素番号を示しており、その範囲は１≦ｈ≦Ｍである。こ
のようにして、辞書を構成する文字種毎の平均特徴ベク
トルにつき、Ｎ次元からＭ次元への次元の削減処理であ
る特徴選択処理が実行される。この特徴選択処理は、言
い換えれば、文字種間分散を大きくさせかつ文字種内分
散を小さくさせるように、即ちＭ本の固有ベクトルφ h
によって規定される特徴選択後の空間において、異なる
種類の文字がなるべく離れかつ同じ種類の文字がなるべ
くまとまるように、Ｎ次元の平均特徴ベクトルをＭ本の
固有ベクトルφ hによって規定されるＭ本の座標軸へ射
影させる処理に等価である。即ち、この正準判別分析に
おいては、対象となる全文字種に対応する元の特徴空間
上の全てのクラスタが、１つの新たな空間に変換される
ことになる。
素番号を示しており、その範囲は１≦ｈ≦Ｍである。こ
のようにして、辞書を構成する文字種毎の平均特徴ベク
トルにつき、Ｎ次元からＭ次元への次元の削減処理であ
る特徴選択処理が実行される。この特徴選択処理は、言
い換えれば、文字種間分散を大きくさせかつ文字種内分
散を小さくさせるように、即ちＭ本の固有ベクトルφ h
によって規定される特徴選択後の空間において、異なる
種類の文字がなるべく離れかつ同じ種類の文字がなるべ
くまとまるように、Ｎ次元の平均特徴ベクトルをＭ本の
固有ベクトルφ hによって規定されるＭ本の座標軸へ射
影させる処理に等価である。即ち、この正準判別分析に
おいては、対象となる全文字種に対応する元の特徴空間
上の全てのクラスタが、１つの新たな空間に変換される
ことになる。
【００２７】実際の認識時においては、まず、特徴抽出
部９０１が、文字種が未知である入力文字パターンか
ら、下記数１０式に示されるＮ次元の特徴ベクトルｘを
抽出する。
部９０１が、文字種が未知である入力文字パターンか
ら、下記数１０式に示されるＮ次元の特徴ベクトルｘを
抽出する。
【００２８】
【数１０】
【００２９】ここで、添字ｋは、特徴選択前の特徴ベク
トルの要素番号を示しており、その範囲は１≦ｋ≦Ｎで
ある。次に、特徴選択部９０５は、固有ベクトル記憶部
９０３に記憶されているＭ本の固有ベクトルφ h （１≦
ｈ≦Ｍ）と、Ｎ次元の特徴ベクトルｘとの内積を下記数
１１式に示されるようにして計算することにより、Ｍ次
元の選択特徴ベクトルｙを算出する。
トルの要素番号を示しており、その範囲は１≦ｋ≦Ｎで
ある。次に、特徴選択部９０５は、固有ベクトル記憶部
９０３に記憶されているＭ本の固有ベクトルφ h （１≦
ｈ≦Ｍ）と、Ｎ次元の特徴ベクトルｘとの内積を下記数
１１式に示されるようにして計算することにより、Ｍ次
元の選択特徴ベクトルｙを算出する。
【００３０】
【数１１】
【００３１】このようにして、入力特徴ベクトルについ
て、Ｎ次元からＭ次元への次元の削減処理である特徴選
択処理が実行される。最後に、照合部９０６は、文字種
ｉ毎に、Ｍ次元の選択特徴ベクトルｙと認識辞書部９０
４に記憶されている平均選択特徴ベクトルｍ (i) ′との
間の例えばユークリッド距離ｄ(i) を、下記数１２式に
示されるようにして計算する。
て、Ｎ次元からＭ次元への次元の削減処理である特徴選
択処理が実行される。最後に、照合部９０６は、文字種
ｉ毎に、Ｍ次元の選択特徴ベクトルｙと認識辞書部９０
４に記憶されている平均選択特徴ベクトルｍ (i) ′との
間の例えばユークリッド距離ｄ(i) を、下記数１２式に
示されるようにして計算する。
【００３２】
【数１２】
【００３３】そして、照合部９０６は、上記距離ｄ(i)
が最も小さかった平均選択特徴ベクトルｍ (i) ′に対応
する文字種ｉを、入力文字パターンに対する推定文字種
として出力する。
が最も小さかった平均選択特徴ベクトルｍ (i) ′に対応
する文字種ｉを、入力文字パターンに対する推定文字種
として出力する。
【００３４】特徴選択として正準判別分析を用いた上述
の従来技術によれば、距離計算における要素数がＮ項か
らＭ項に削減されるため、ＭをＮの１／８程度に設定す
ることにより、認識速度を大幅に向上させることが可能
となる。
の従来技術によれば、距離計算における要素数がＮ項か
らＭ項に削減されるため、ＭをＮの１／８程度に設定す
ることにより、認識速度を大幅に向上させることが可能
となる。
【００３５】しかし、特徴選択として正準判別分析を用
いた上述の従来技術では、Ｍ本の固有ベクトルφ h （１
≦ｈ≦Ｍ）は、相互に直交することは保証されていな
い。従って、これらの固有ベクトルφ h に基づいて新た
な特徴空間が定義された場合、認識対象文字の特徴ベク
トルｘを上記Ｍ本の固有ベクトルφ h に対応するＭ本の
座標軸に射影させ、その射影結果である選択特徴ベクト
ルｙと文字種ｉ毎の平均選択特徴ベクトルｍ (i) ′との
ユークリッド距離等を計算した場合、その距離は元のＮ
次元の特徴空間上での距離と大きく異なってしまう場合
が生ずる。
いた上述の従来技術では、Ｍ本の固有ベクトルφ h （１
≦ｈ≦Ｍ）は、相互に直交することは保証されていな
い。従って、これらの固有ベクトルφ h に基づいて新た
な特徴空間が定義された場合、認識対象文字の特徴ベク
トルｘを上記Ｍ本の固有ベクトルφ h に対応するＭ本の
座標軸に射影させ、その射影結果である選択特徴ベクト
ルｙと文字種ｉ毎の平均選択特徴ベクトルｍ (i) ′との
ユークリッド距離等を計算した場合、その距離は元のＮ
次元の特徴空間上での距離と大きく異なってしまう場合
が生ずる。
【００３６】今、理解を容易にするため、図１０に示さ
れるように、特徴選択前の次元数が３次元で特徴選択後
の次元数が２次元である場合を考える。特徴選択前の３
次元の特徴空間上での特徴ベクトルｘ 2 の特徴ベクトル
ｘ 1 に対するユークリッド距離ｄorg は、下記数１３式
によって与えられる。
れるように、特徴選択前の次元数が３次元で特徴選択後
の次元数が２次元である場合を考える。特徴選択前の３
次元の特徴空間上での特徴ベクトルｘ 2 の特徴ベクトル
ｘ 1 に対するユークリッド距離ｄorg は、下記数１３式
によって与えられる。
【００３７】
【数１３】
【００３８】一方、特徴選択後の２次元の特徴空間上で
の特徴ベクトルｘ 2 の特徴ベクトルｘ 1 に対する近似的
なユークリッド距離ｄnew は、下記数１４式によって与
えられる。
の特徴ベクトルｘ 2 の特徴ベクトルｘ 1 に対する近似的
なユークリッド距離ｄnew は、下記数１４式によって与
えられる。
【００３９】
【数１４】
【００４０】上記数１４式において、右辺各項の物理量
は図１０に示される通りである。図１０を見ると明らか
なように、数１４式はピタゴラスの定理に従ってなく、
特徴選択後の２次元の特徴空間上でのユークリッド距離
ｄnew は、特徴選択前の３次元の特徴空間上でのユーク
リッド距離ｄorg からは大きくかけ離れてしまう。
は図１０に示される通りである。図１０を見ると明らか
なように、数１４式はピタゴラスの定理に従ってなく、
特徴選択後の２次元の特徴空間上でのユークリッド距離
ｄnew は、特徴選択前の３次元の特徴空間上でのユーク
リッド距離ｄorg からは大きくかけ離れてしまう。
【００４１】この結果、特徴選択として正準判別分析を
用いた上述の従来技術では、正準判別分析によって求ま
るＭ本の固有ベクトルφ h （１≦ｈ≦Ｍ）への特徴ベク
トルｘの射影の組合せは、元の特徴空間に対する部分固
有空間への特徴ベクトルｘの射影を示していることには
ならず、文字認識精度の低下を招いてしまい、実用的な
認識精度を有する文字認識装置等を実現することが困難
であるという問題点を有していた。
用いた上述の従来技術では、正準判別分析によって求ま
るＭ本の固有ベクトルφ h （１≦ｈ≦Ｍ）への特徴ベク
トルｘの射影の組合せは、元の特徴空間に対する部分固
有空間への特徴ベクトルｘの射影を示していることには
ならず、文字認識精度の低下を招いてしまい、実用的な
認識精度を有する文字認識装置等を実現することが困難
であるという問題点を有していた。
【００４２】一方、特徴選択のための他の手法である主
成分分析では、各文字種が相互に離れるような主成分ベ
クトルの組が各文字種毎に計算される。この分析法は、
複数種類の文字の判別を目的とした文字分類のためとい
うよりは、特徴空間内の近接した領域で類似する文字種
が存在するときに、認識対象文字の特徴ベクトルをそれ
ぞれの文字種に対応する主成分ベクトルに射影させるこ
とによってより正確な認識結果を得るという目的で適用
される。即ち、主成分分析では、各文字種毎に主成分ベ
クトルを座標軸とする個別の新たな空間が生成されるこ
とになる。そして、認識対象文字と各文字種との距離
は、認識対象文字の特徴ベクトルが各文字種の主成分ベ
クトルに射影させられた上で計算されるため、文字種が
多いと膨大な計算量が必要となる。従って、この分析法
は、数字とか文字種が少なく似通った文字の判別等に主
に用いられている。
成分分析では、各文字種が相互に離れるような主成分ベ
クトルの組が各文字種毎に計算される。この分析法は、
複数種類の文字の判別を目的とした文字分類のためとい
うよりは、特徴空間内の近接した領域で類似する文字種
が存在するときに、認識対象文字の特徴ベクトルをそれ
ぞれの文字種に対応する主成分ベクトルに射影させるこ
とによってより正確な認識結果を得るという目的で適用
される。即ち、主成分分析では、各文字種毎に主成分ベ
クトルを座標軸とする個別の新たな空間が生成されるこ
とになる。そして、認識対象文字と各文字種との距離
は、認識対象文字の特徴ベクトルが各文字種の主成分ベ
クトルに射影させられた上で計算されるため、文字種が
多いと膨大な計算量が必要となる。従って、この分析法
は、数字とか文字種が少なく似通った文字の判別等に主
に用いられている。
【００４３】なお、特徴ベクトルに対する距離の定義と
して、マハラノビス距離やベイズ距離が知られている。
これらの距離を用いて認識装置が構成された場合には、
距離計算が行われる座標軸が直交するように制約が加え
られた上で距離が計算されるため、正準判別分析におけ
るような問題点は発生しないが、計算が非常に複雑で膨
大な計算量を必要とするという問題点を有している。
して、マハラノビス距離やベイズ距離が知られている。
これらの距離を用いて認識装置が構成された場合には、
距離計算が行われる座標軸が直交するように制約が加え
られた上で距離が計算されるため、正準判別分析におけ
るような問題点は発生しないが、計算が非常に複雑で膨
大な計算量を必要とするという問題点を有している。
【００４４】以上説明した各問題点は、文字認識装置に
限られるものではなく、画像パターンや音声パターン等
の様々なパターンを特徴ベクトルを介して認識する技術
に共通の問題点である。
限られるものではなく、画像パターンや音声パターン等
の様々なパターンを特徴ベクトルを介して認識する技術
に共通の問題点である。
【００４５】本発明の課題は、多種類のパターンの識別
を目的として、特徴選択の手法を用いて特徴ベクトルの
次元数を削減することにより認識処理の高速化を図りな
がらも、認識精度を維持できるパターン認識装置を実現
することにある。
を目的として、特徴選択の手法を用いて特徴ベクトルの
次元数を削減することにより認識処理の高速化を図りな
がらも、認識精度を維持できるパターン認識装置を実現
することにある。
【００４６】
【課題を解決するための手段】本発明の第１の態様は、
入力文字パターン等の入力パターンの特徴を表現する入
力特徴ベクトルを用いてその入力パターンを認識するパ
ターン認識装置を前提とする。
入力文字パターン等の入力パターンの特徴を表現する入
力特徴ベクトルを用いてその入力パターンを認識するパ
ターン認識装置を前提とする。
【００４７】そしてまず、入力パターンの特徴を表現す
る入力特徴ベクトルを抽出する入力特徴ベクトル抽出手
段を有する。次に、元特徴空間の部分固有空間の正規直
交基底を保持する正規直交基底記憶手段を有する。
る入力特徴ベクトルを抽出する入力特徴ベクトル抽出手
段を有する。次に、元特徴空間の部分固有空間の正規直
交基底を保持する正規直交基底記憶手段を有する。
【００４８】次に、１つ以上の各認識対象パターンに対
応し部分固有空間上で規定される各辞書選択特徴ベクト
ルを記憶する認識辞書手段を有する。更に、正規直交基
底記憶手段が記憶する正規直交基底を用い、入力特徴ベ
クトル抽出手段が抽出した入力特徴ベクトルの部分固有
空間への射影である入力選択特徴ベクトルを算出する特
徴選択手段を有する。
応し部分固有空間上で規定される各辞書選択特徴ベクト
ルを記憶する認識辞書手段を有する。更に、正規直交基
底記憶手段が記憶する正規直交基底を用い、入力特徴ベ
クトル抽出手段が抽出した入力特徴ベクトルの部分固有
空間への射影である入力選択特徴ベクトルを算出する特
徴選択手段を有する。
【００４９】そして、その特徴選択手段が算出した入力
選択特徴ベクトルと認識辞書手段が記憶する各辞書選択
特徴ベクトルとを照合することによって、その入力選択
特徴ベクトルに対応する入力パターンの種類を認識する
照合手段を有する。この手段における照合は、例えば、
入力選択特徴ベクトルと各辞書選択特徴ベクトルとの各
距離を計算し、その各距離の値を比較する処理である。
そして、この距離としては、例えば、ユークリッド距離
に基づく距離、市街区距離に基づく距離、又はチェス盤
距離に基づく距離等を採用することができる。
選択特徴ベクトルと認識辞書手段が記憶する各辞書選択
特徴ベクトルとを照合することによって、その入力選択
特徴ベクトルに対応する入力パターンの種類を認識する
照合手段を有する。この手段における照合は、例えば、
入力選択特徴ベクトルと各辞書選択特徴ベクトルとの各
距離を計算し、その各距離の値を比較する処理である。
そして、この距離としては、例えば、ユークリッド距離
に基づく距離、市街区距離に基づく距離、又はチェス盤
距離に基づく距離等を採用することができる。
【００５０】本発明の第２の態様は、本発明の第１の態
様によるパターン認識装置における正規直交基底と各辞
書選択特徴ベクトルを算出するパターン学習装置を前提
とする。
様によるパターン認識装置における正規直交基底と各辞
書選択特徴ベクトルを算出するパターン学習装置を前提
とする。
【００５１】そしてまず、学習パターンの特徴を表現す
る学習特徴ベクトルを抽出する学習特徴ベクトル抽出手
段を有する。次に、その学習特徴ベクトル抽出手段が抽
出した学習特徴ベクトルに基づき、部分固有空間の正規
直交基底を算出する正規直交基底算出手段を有する。
る学習特徴ベクトルを抽出する学習特徴ベクトル抽出手
段を有する。次に、その学習特徴ベクトル抽出手段が抽
出した学習特徴ベクトルに基づき、部分固有空間の正規
直交基底を算出する正規直交基底算出手段を有する。
【００５２】更に、学習特徴ベクトル抽出手段が抽出し
た学習特徴ベクトルに基づき、各認識対象パターンに対
応し元特徴空間上で規定される各辞書特徴ベクトルを算
出する辞書特徴ベクトル算出手段を有する。
た学習特徴ベクトルに基づき、各認識対象パターンに対
応し元特徴空間上で規定される各辞書特徴ベクトルを算
出する辞書特徴ベクトル算出手段を有する。
【００５３】そして、正規直交基底算出手段が算出した
正規直交基底を用い、辞書特徴ベクトル算出手段が算出
した各辞書特徴ベクトルの部分固有空間への各射影であ
る各辞書選択特徴ベクトルを算出する辞書選択特徴ベク
トル算出手段を有する。
正規直交基底を用い、辞書特徴ベクトル算出手段が算出
した各辞書特徴ベクトルの部分固有空間への各射影であ
る各辞書選択特徴ベクトルを算出する辞書選択特徴ベク
トル算出手段を有する。
【００５４】上述の本発明の第１又は第２の態様の構成
において、正規直交基底は、例えば、学習パターンの学
習特徴ベクトルに対して正準判別分析を実行することに
よって、固有値の大きい順に元特徴空間の次元数よりも
少ない所定数の固有ベクトルを算出し、その所定数の固
有ベクトルを固有値の大きい順に順次直交化させること
により所定数の正規直交基底ベクトルを算出する、こと
によって算出することができる。
において、正規直交基底は、例えば、学習パターンの学
習特徴ベクトルに対して正準判別分析を実行することに
よって、固有値の大きい順に元特徴空間の次元数よりも
少ない所定数の固有ベクトルを算出し、その所定数の固
有ベクトルを固有値の大きい順に順次直交化させること
により所定数の正規直交基底ベクトルを算出する、こと
によって算出することができる。
【００５５】また、上述の本発明の第１又は第２の態様
の構成において、入力特徴ベクトル又は辞書特徴ベクト
ルの部分固有空間への射影の結果得られる入力選択特徴
ベクトル又は各辞書選択特徴ベクトルは、その入力特徴
ベクトル又はその辞書特徴ベクトルの正規直交基底ベク
トルへの射影の結果得られるものであるように構成する
ことができる。更にその射影の結果得られる入力選択特
徴ベクトル又は各辞書選択特徴ベクトルは、その入力特
徴ベクトル又はその辞書特徴ベクトルと正規直交基底ベ
クトルとの内積を演算した結果得られるものであるよう
に構成することができる。
の構成において、入力特徴ベクトル又は辞書特徴ベクト
ルの部分固有空間への射影の結果得られる入力選択特徴
ベクトル又は各辞書選択特徴ベクトルは、その入力特徴
ベクトル又はその辞書特徴ベクトルの正規直交基底ベク
トルへの射影の結果得られるものであるように構成する
ことができる。更にその射影の結果得られる入力選択特
徴ベクトル又は各辞書選択特徴ベクトルは、その入力特
徴ベクトル又はその辞書特徴ベクトルと正規直交基底ベ
クトルとの内積を演算した結果得られるものであるよう
に構成することができる。
【００５６】また、上述の本発明の第１又は第２の態様
の構成において、辞書選択特徴ベクトルは、各認識対象
パターンの種類毎の特徴ベクトルの平均である平均特徴
ベクトルに基づくものであるように構成することができ
る。
の構成において、辞書選択特徴ベクトルは、各認識対象
パターンの種類毎の特徴ベクトルの平均である平均特徴
ベクトルに基づくものであるように構成することができ
る。
【００５７】本発明は、上述の本発明の第１又は第２の
態様の構成によって実現される機能と同様の機能を有す
る方法発明として構成することもできる。また、本発明
は、コンピュータにより使用されたときに、上述の本発
明の第１又は第２の態様の構成によって実現される機能
と同様の機能をコンピュータに行わせるためのコンピュ
ータ読出し可能記録媒体として構成することもできる。
態様の構成によって実現される機能と同様の機能を有す
る方法発明として構成することもできる。また、本発明
は、コンピュータにより使用されたときに、上述の本発
明の第１又は第２の態様の構成によって実現される機能
と同様の機能をコンピュータに行わせるためのコンピュ
ータ読出し可能記録媒体として構成することもできる。
【００５８】以上の構成からわかるように、本発明で
は、従来技術の場合と同様に、距離計算における要素数
が削減されるため認識速度を大幅に向上させることが可
能となると同時に、本発明に関連する独自の特徴とし
て、特徴ベクトルが元の特徴空間の部分固有空間へ射影
させられることにより距離の保存が実現され、実用的な
認識精度を有する文字認識装置を実現することが可能と
なる。
は、従来技術の場合と同様に、距離計算における要素数
が削減されるため認識速度を大幅に向上させることが可
能となると同時に、本発明に関連する独自の特徴とし
て、特徴ベクトルが元の特徴空間の部分固有空間へ射影
させられることにより距離の保存が実現され、実用的な
認識精度を有する文字認識装置を実現することが可能と
なる。
【００５９】この場合に、従来と同様の正準判別分析等
の手法によって固有ベクトルを算出した後、直交化のた
めの簡単な漸化式によって正規直交基底ベクトルを算出
することにより、正規直交基底を簡単な処理で算出する
ことが可能となる。
の手法によって固有ベクトルを算出した後、直交化のた
めの簡単な漸化式によって正規直交基底ベクトルを算出
することにより、正規直交基底を簡単な処理で算出する
ことが可能となる。
【００６０】なお、上述した固有ベクトルの直交化によ
って、文字種内分散を最小にし文字種間分散を最大にす
るという正準判別分析の性質が若干失われることが予想
されたが、実験によれば、そのことによる認識率の低下
よりも、距離計算が直交化によって正常化されることに
よる認識率の向上の方が大幅に上回る結果が得られ、本
発明の有効性が確認できた。
って、文字種内分散を最小にし文字種間分散を最大にす
るという正準判別分析の性質が若干失われることが予想
されたが、実験によれば、そのことによる認識率の低下
よりも、距離計算が直交化によって正常化されることに
よる認識率の向上の方が大幅に上回る結果が得られ、本
発明の有効性が確認できた。
【００６１】
【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態について順次説明する。本発明の実施の
形態では、正準判別分析によって固有値の大きい順にＭ
本の固有ベクトルφ h （１≦ｈ≦Ｍ）が算出された後、
シュミットの直交化法に基づいてそれらの固有ベクトル
φ h が直交化させられることによって、Ｍ本の正規直交
基底ベクトルψ h （１≦ｈ≦Ｍ）が算出される。その
後、Ｎ次元の特徴ベクトルが上記Ｍ本の正規直交基底ベ
クトルψ h へ射影させられることによって、選択特徴ベ
クトルが算出される。そして、このような選択特徴ベク
トルを用いて認識処理が実行されることにより、特徴選
択の手法を用いて特徴ベクトルの次元数を削減すること
により認識処理の高速化を図りながらも、高い認識精度
を維持できることが、本発明に関連する大きな特徴であ
る。
明の実施の形態について順次説明する。本発明の実施の
形態では、正準判別分析によって固有値の大きい順にＭ
本の固有ベクトルφ h （１≦ｈ≦Ｍ）が算出された後、
シュミットの直交化法に基づいてそれらの固有ベクトル
φ h が直交化させられることによって、Ｍ本の正規直交
基底ベクトルψ h （１≦ｈ≦Ｍ）が算出される。その
後、Ｎ次元の特徴ベクトルが上記Ｍ本の正規直交基底ベ
クトルψ h へ射影させられることによって、選択特徴ベ
クトルが算出される。そして、このような選択特徴ベク
トルを用いて認識処理が実行されることにより、特徴選
択の手法を用いて特徴ベクトルの次元数を削減すること
により認識処理の高速化を図りながらも、高い認識精度
を維持できることが、本発明に関連する大きな特徴であ
る。
【００６２】今、理解を容易にするため、図２に示され
るように、特徴選択前の次元数が３次元で特徴選択後の
次元数が２次元である場合を考える。まず、正準判別分
析によって固有値の大きい順に２本の固有ベクトルφ 1
及びφ 2 が算出された後、シュミットの直交化法に基づ
いてそれらの固有ベクトルが直交化させられることによ
って、２本の正規直交基底ベクトルψ 1 （＝φ 1 ）及び
ψ 2 が算出される。
るように、特徴選択前の次元数が３次元で特徴選択後の
次元数が２次元である場合を考える。まず、正準判別分
析によって固有値の大きい順に２本の固有ベクトルφ 1
及びφ 2 が算出された後、シュミットの直交化法に基づ
いてそれらの固有ベクトルが直交化させられることによ
って、２本の正規直交基底ベクトルψ 1 （＝φ 1 ）及び
ψ 2 が算出される。
【００６３】特徴選択前の３次元の特徴空間上での特徴
ベクトルｘ 2 の特徴ベクトルｘ 1 に対するユークリッド
距離ｄorg は、前述した数１３式によって与えられる。
一方、特徴選択後の２次元の特徴空間上での特徴ベクト
ルｘ 2 の特徴ベクトルｘ 1 に対する近似的なユークリッ
ド距離ｄnew は、下記数１５式によって与えられる。
ベクトルｘ 2 の特徴ベクトルｘ 1 に対するユークリッド
距離ｄorg は、前述した数１３式によって与えられる。
一方、特徴選択後の２次元の特徴空間上での特徴ベクト
ルｘ 2 の特徴ベクトルｘ 1 に対する近似的なユークリッ
ド距離ｄnew は、下記数１５式によって与えられる。
【００６４】
【数１５】
【００６５】上記数１５式において、右辺各項の物理量
は図２に示される通りである。図２を見ると明らかなよ
うに、数１５式はピタゴラスの定理に従っており、特徴
選択後の２次元の特徴空間上でのユークリッド距離ｄ
new は、特徴選択前の３次元の特徴空間上でのユークリ
ッド距離ｄorg を良く近似するものとなる。
は図２に示される通りである。図２を見ると明らかなよ
うに、数１５式はピタゴラスの定理に従っており、特徴
選択後の２次元の特徴空間上でのユークリッド距離ｄ
new は、特徴選択前の３次元の特徴空間上でのユークリ
ッド距離ｄorg を良く近似するものとなる。
【００６６】以上の原理は、次元数がより多い場合にも
同様に適用できる。そして、これから具体的に説明する
本実施の形態では、正規直交基底ベクトルψ h への特徴
ベクトルｘの射影の組合せは、元の特徴空間に対する部
分固有空間への特徴ベクトルｘの射影に等価となる。こ
の結果、特徴選択後においても充分な文字認識精度を確
保することができる。
同様に適用できる。そして、これから具体的に説明する
本実施の形態では、正規直交基底ベクトルψ h への特徴
ベクトルｘの射影の組合せは、元の特徴空間に対する部
分固有空間への特徴ベクトルｘの射影に等価となる。こ
の結果、特徴選択後においても充分な文字認識精度を確
保することができる。
【００６７】図１は、上記原理に基づく本実施の形態の
構成図である。まず、学習処理時において、特徴抽出部
１０１及び学習処理部１０２は、図３の動作フローチャ
ートによって表現される学習処理を実行する。
構成図である。まず、学習処理時において、特徴抽出部
１０１及び学習処理部１０２は、図３の動作フローチャ
ートによって表現される学習処理を実行する。
【００６８】まず、特徴抽出部１０１は、ステップ３０
３で、１つの文字種ｉについて、その文字種ｉに含まれ
るｎi サンプルの文字パターンから、前述した数１式に
示されるｎi 組の学習用の特徴ベクトルｘ j (i) （１≦
ｊ≦ｎi ）を抽出する。ここで、ステップ３０２におい
てサンプル番号ｊが１にセットされた後、ステップ３０
５でサンプル番号ｊが文字種ｉのサンプル数ｎi を超え
たと判定されるまで、ステップ３０４でサンプル番号ｊ
が＋１ずつ順次インクリメントされながら、ステップ３
０３の処理が繰り返し実行されることにより、文字種ｉ
に対応するｎi組の学習用の特徴ベクトルｘ j (i) の抽
出処理が実現される。
３で、１つの文字種ｉについて、その文字種ｉに含まれ
るｎi サンプルの文字パターンから、前述した数１式に
示されるｎi 組の学習用の特徴ベクトルｘ j (i) （１≦
ｊ≦ｎi ）を抽出する。ここで、ステップ３０２におい
てサンプル番号ｊが１にセットされた後、ステップ３０
５でサンプル番号ｊが文字種ｉのサンプル数ｎi を超え
たと判定されるまで、ステップ３０４でサンプル番号ｊ
が＋１ずつ順次インクリメントされながら、ステップ３
０３の処理が繰り返し実行されることにより、文字種ｉ
に対応するｎi組の学習用の特徴ベクトルｘ j (i) の抽
出処理が実現される。
【００６９】次に、学習処理部１０２は、１つの文字種
ｉについて、上記ステップ３０２〜３０５によって得ら
れたその文字種ｉに対応するｎi 組の学習用の特徴ベク
トルｘ j (i) を用いて、それらのベクトルの各要素毎に
平均値を計算することによって、その文字種ｉに対応し
前述した数２式に示される平均特徴ベクトルｍ (i) を計
算する。
ｉについて、上記ステップ３０２〜３０５によって得ら
れたその文字種ｉに対応するｎi 組の学習用の特徴ベク
トルｘ j (i) を用いて、それらのベクトルの各要素毎に
平均値を計算することによって、その文字種ｉに対応し
前述した数２式に示される平均特徴ベクトルｍ (i) を計
算する。
【００７０】そして、ステップ３０１で文字種番号ｉが
１にセットされた後、ステップ３０８で文字種番号ｉが
総文字種数ｇを超えたと判定されるまで、ステップ３０
７で文字種番号ｉが＋１ずつ順次インクリメントされな
がら、上記ステップ３０２〜３０６の処理が実行される
ことにより、ｇ種類からなる文字種ｉ（１≦ｉ≦ｇ）毎
に、ｎi 組の学習用の特徴ベクトルｘ j (i) と１つの平
均特徴ベクトルｍ (i)の計算処理が順次実行される。
１にセットされた後、ステップ３０８で文字種番号ｉが
総文字種数ｇを超えたと判定されるまで、ステップ３０
７で文字種番号ｉが＋１ずつ順次インクリメントされな
がら、上記ステップ３０２〜３０６の処理が実行される
ことにより、ｇ種類からなる文字種ｉ（１≦ｉ≦ｇ）毎
に、ｎi 組の学習用の特徴ベクトルｘ j (i) と１つの平
均特徴ベクトルｍ (i)の計算処理が順次実行される。
【００７１】その後、学習処理部１０２は、ステップ３
０９において、文字種ｉ毎のサンプル数ｎi 及び上記平
均特徴ベクトルｍ (i) の各要素ｍk (i) とから、下記数
１６式に示されるようにして、前述した数３式に示され
る全文字種についての平均特徴ベクトル（全体平均特徴
ベクトル）ｍの各要素ｍk を計算する。
０９において、文字種ｉ毎のサンプル数ｎi 及び上記平
均特徴ベクトルｍ (i) の各要素ｍk (i) とから、下記数
１６式に示されるようにして、前述した数３式に示され
る全文字種についての平均特徴ベクトル（全体平均特徴
ベクトル）ｍの各要素ｍk を計算する。
【００７２】
【数１６】
【００７３】続いて、学習処理部１０２は、ステップ３
１０で、文字種ｉ毎の特徴ベクトルｘ j (i) 、サンプル
数ｎi 、及び平均特徴ベクトルｍ (i) と、全体平均特徴
ベクトルｍとに基づいて、文字種間分散行列Ｓb を計算
する。この処理の詳細は、図４の動作フローチャートに
よって示される。
１０で、文字種ｉ毎の特徴ベクトルｘ j (i) 、サンプル
数ｎi 、及び平均特徴ベクトルｍ (i) と、全体平均特徴
ベクトルｍとに基づいて、文字種間分散行列Ｓb を計算
する。この処理の詳細は、図４の動作フローチャートに
よって示される。
【００７４】まず、第１の要素番号ｐは、ステップ４０
１で１にセットされた後、ステップ４１１で番号Ｎを超
えたと判定されるまで、ステップ４１０で＋１ずつイン
クリメントされる。また、第２の要素番号ｑは、ステッ
プ４０２で１にセットされた後、ステップ４０９で番号
Ｎを超えたと判定されるまで、ステップ４０８で＋１ず
つインクリメントされる。そして、これらの制御ループ
によって決定される第１の要素番号ｐと第２の要素番号
ｑの組毎に、ステップ４０３〜ステップ４０７によっ
て、前述した数５式が計算される。
１で１にセットされた後、ステップ４１１で番号Ｎを超
えたと判定されるまで、ステップ４１０で＋１ずつイン
クリメントされる。また、第２の要素番号ｑは、ステッ
プ４０２で１にセットされた後、ステップ４０９で番号
Ｎを超えたと判定されるまで、ステップ４０８で＋１ず
つインクリメントされる。そして、これらの制御ループ
によって決定される第１の要素番号ｐと第２の要素番号
ｑの組毎に、ステップ４０３〜ステップ４０７によっ
て、前述した数５式が計算される。
【００７５】即ち、ステップ４０４で、第１の要素番号
ｐ及び第２の要素番号ｑによって決定される文字種間分
散行列Ｓb の１つの要素値ｂpqがクリアされ、文字種番
号ｉがステップ４０３で１にセットされた後ステップ４
０７で総文字種数ｇを超えたと判定されるまでステップ
４０６で＋１ずつ順次インクリメントされながら、ステ
ップ４０５において、下記数１７式で示される計算処理
が繰り返し実行されることにより、要素値ｂpqが計算さ
れる。
ｐ及び第２の要素番号ｑによって決定される文字種間分
散行列Ｓb の１つの要素値ｂpqがクリアされ、文字種番
号ｉがステップ４０３で１にセットされた後ステップ４
０７で総文字種数ｇを超えたと判定されるまでステップ
４０６で＋１ずつ順次インクリメントされながら、ステ
ップ４０５において、下記数１７式で示される計算処理
が繰り返し実行されることにより、要素値ｂpqが計算さ
れる。
【００７６】
【数１７】
【００７７】上述のステップ４０３〜ステップ４０７の
処理が、ステップ４０１、４０２、４０８〜４１１の制
御ループによって繰り返し実行されることにより、第１
の要素番号ｐと第２の要素番号ｑの全ての組合せによっ
て決定される文字種間分散行列Ｓb の全ての要素値ｂpq
が計算される。
処理が、ステップ４０１、４０２、４０８〜４１１の制
御ループによって繰り返し実行されることにより、第１
の要素番号ｐと第２の要素番号ｑの全ての組合せによっ
て決定される文字種間分散行列Ｓb の全ての要素値ｂpq
が計算される。
【００７８】その後、ステップ４１２で、前述した数４
式で示されるようにして、上記計算された全要素値ｂpq
の集合として、文字種間分散行列Ｓb が出力される。学
習処理部１０２は、以上のようにして図３のステップ３
１０で文字種間分散行列Ｓb を計算した後、ステップ３
１１で、文字種ｉ毎の特徴ベクトルｘ j (i)と、サンプ
ル数ｎi と、平均特徴ベクトルｍ (i) とに基づいて、文
字種内分散行列Ｓw を計算する。この処理の詳細は、図
５の動作フローチャートによって示される。
式で示されるようにして、上記計算された全要素値ｂpq
の集合として、文字種間分散行列Ｓb が出力される。学
習処理部１０２は、以上のようにして図３のステップ３
１０で文字種間分散行列Ｓb を計算した後、ステップ３
１１で、文字種ｉ毎の特徴ベクトルｘ j (i)と、サンプ
ル数ｎi と、平均特徴ベクトルｍ (i) とに基づいて、文
字種内分散行列Ｓw を計算する。この処理の詳細は、図
５の動作フローチャートによって示される。
【００７９】まず、第１の要素番号ｐは、ステップ５０
１で１にセットされた後、ステップ５１４で番号Ｎを超
えたと判定されるまで、ステップ５１３で＋１ずつイン
クリメントされる。また、第２の要素番号ｑは、ステッ
プ５０２で１にセットされた後、ステップ５１２で番号
Ｎを超えたと判定されるまで、ステップ５１１で＋１ず
つインクリメントされる。そして、これらの制御ループ
によって決定される第１の要素番号ｐと第２の要素番号
ｑの組毎に、ステップ５０３〜ステップ５１０によっ
て、前述した数７式が計算される。
１で１にセットされた後、ステップ５１４で番号Ｎを超
えたと判定されるまで、ステップ５１３で＋１ずつイン
クリメントされる。また、第２の要素番号ｑは、ステッ
プ５０２で１にセットされた後、ステップ５１２で番号
Ｎを超えたと判定されるまで、ステップ５１１で＋１ず
つインクリメントされる。そして、これらの制御ループ
によって決定される第１の要素番号ｐと第２の要素番号
ｑの組毎に、ステップ５０３〜ステップ５１０によっ
て、前述した数７式が計算される。
【００８０】即ち、ステップ５０５で、第１の要素番号
ｐ及び第２の要素番号ｑによって決定される文字種内分
散行列Ｓw の１つの要素値ｗpqがクリアされ、まず、文
字種番号ｉがステップ５０３で１にセットされた後ステ
ップ５１０で総文字種数ｇを超えたと判定されるまでス
テップ５０９で＋１ずつ順次インクリメントされなが
ら、ステップ５０６〜５０８のループが繰り返し実行さ
れる。このループでは更に、サンプル番号ｊがステップ
５０４で１にセットされた後ステップ５０８で総サンプ
ル数ｎi を超えたと判定されるまでステップ５０７で＋
１ずつ順次インクリメントされながら、ステップ５０６
において、下記数１８式で示される計算処理が繰り返し
実行されることにより、要素値ｗpqが計算される。
ｐ及び第２の要素番号ｑによって決定される文字種内分
散行列Ｓw の１つの要素値ｗpqがクリアされ、まず、文
字種番号ｉがステップ５０３で１にセットされた後ステ
ップ５１０で総文字種数ｇを超えたと判定されるまでス
テップ５０９で＋１ずつ順次インクリメントされなが
ら、ステップ５０６〜５０８のループが繰り返し実行さ
れる。このループでは更に、サンプル番号ｊがステップ
５０４で１にセットされた後ステップ５０８で総サンプ
ル数ｎi を超えたと判定されるまでステップ５０７で＋
１ずつ順次インクリメントされながら、ステップ５０６
において、下記数１８式で示される計算処理が繰り返し
実行されることにより、要素値ｗpqが計算される。
【００８１】
【数１８】
【００８２】上述のステップ５０３〜ステップ５１０の
処理が、ステップ５０１、５０２、５１１〜５１４の制
御ループによって繰り返し実行されることにより、第１
の要素番号ｐと第２の要素番号ｑの全ての組合せによっ
て決定される文字種内分散行列Ｓw の全ての要素値ｗpq
が計算される。
処理が、ステップ５０１、５０２、５１１〜５１４の制
御ループによって繰り返し実行されることにより、第１
の要素番号ｐと第２の要素番号ｑの全ての組合せによっ
て決定される文字種内分散行列Ｓw の全ての要素値ｗpq
が計算される。
【００８３】その後、ステップ５１５で、前述した数６
式で示されるようにして、上記計算された全要素値ｗpq
の集合として、文字種内分散行列Ｓw が出力される。学
習処理部１０２は、上述のようにして図３のステップ３
１０で計算した文字種間分散行列Ｓb とステップ３１１
で計算した文字種内分散行列Ｓw とを用いることによ
り、ステップ３１２で、前述した数８式を満たし、Ｎ組
からなる固有ベクトルφ k と固有値λk の組（１≦ｋ≦
Ｎ）を計算する。この計算処理は、周知の処理であるた
め、その詳細は省略する。そして、学習処理部１０２
は、ステップ３１２で、上述のようにして計算したＮ本
の固有ベクトルφ k のうちそれぞれに対応する固有値λ
k の大きいものからＭ本（Ｍ＜Ｎ）の固有ベクトルφ h
（１≦ｈ≦Ｍ）を選択する。
式で示されるようにして、上記計算された全要素値ｗpq
の集合として、文字種内分散行列Ｓw が出力される。学
習処理部１０２は、上述のようにして図３のステップ３
１０で計算した文字種間分散行列Ｓb とステップ３１１
で計算した文字種内分散行列Ｓw とを用いることによ
り、ステップ３１２で、前述した数８式を満たし、Ｎ組
からなる固有ベクトルφ k と固有値λk の組（１≦ｋ≦
Ｎ）を計算する。この計算処理は、周知の処理であるた
め、その詳細は省略する。そして、学習処理部１０２
は、ステップ３１２で、上述のようにして計算したＮ本
の固有ベクトルφ k のうちそれぞれに対応する固有値λ
k の大きいものからＭ本（Ｍ＜Ｎ）の固有ベクトルφ h
（１≦ｈ≦Ｍ）を選択する。
【００８４】次に、学習処理部１０２は、ステップ３１
３で、上記固有ベクトルφ h （１≦ｈ≦Ｍ）を直交化さ
せる処理を実行することにより、Ｍ本の正規直交基底ベ
クトルψ h （１≦ｈ≦Ｍ）を算出する。直交化の手法と
しては、シュミットの直交化法を使用する。この直交化
法においては、固有値λh の大きい固有ベクトルφ hか
ら順に、下記数１９式及び数２０式で示される漸化式及
び数２１式で示される正規化式が実行されることによ
り、Ｍ本の正規直交基底ベクトルψ h （１≦ｈ≦Ｍ）が
順次算出される。
３で、上記固有ベクトルφ h （１≦ｈ≦Ｍ）を直交化さ
せる処理を実行することにより、Ｍ本の正規直交基底ベ
クトルψ h （１≦ｈ≦Ｍ）を算出する。直交化の手法と
しては、シュミットの直交化法を使用する。この直交化
法においては、固有値λh の大きい固有ベクトルφ hか
ら順に、下記数１９式及び数２０式で示される漸化式及
び数２１式で示される正規化式が実行されることによ
り、Ｍ本の正規直交基底ベクトルψ h （１≦ｈ≦Ｍ）が
順次算出される。
【００８５】
【数１９】
【００８６】
【数２０】
【００８７】
【数２１】
【００８８】ここで、数２０式と図７を参照するとわか
るように、固有値の大きい固有ベクトルから順次、現在
処理対象とされる固有ベクトルφh よりも固有値の大き
い固有ベクトルφi （１≦ｉ≦ｈ−１）に基づいて現在
までに得られている正規直交基底ベクトルψi （１≦ｉ
≦ｈ−１）の全てに直交し、固有ベクトルφh に対応す
るベクトルｔh が計算される。そして、数２１式によっ
て、そのベクトルｔh の長さが１に正規化されることに
より、固有ベクトルφh に対応する正規直交基底ベクト
ルψh が算出される。
るように、固有値の大きい固有ベクトルから順次、現在
処理対象とされる固有ベクトルφh よりも固有値の大き
い固有ベクトルφi （１≦ｉ≦ｈ−１）に基づいて現在
までに得られている正規直交基底ベクトルψi （１≦ｉ
≦ｈ−１）の全てに直交し、固有ベクトルφh に対応す
るベクトルｔh が計算される。そして、数２１式によっ
て、そのベクトルｔh の長さが１に正規化されることに
より、固有ベクトルφh に対応する正規直交基底ベクト
ルψh が算出される。
【００８９】図３のステップ３１３の処理の詳細は、図
６の動作フローチャートにより示される。まず、学習処
理部１０２は、ステップ６０１で、数１９式を計算す
る。
６の動作フローチャートにより示される。まず、学習処
理部１０２は、ステップ６０１で、数１９式を計算す
る。
【００９０】そして、学習処理部１０２は、次元番号ｈ
を、ステップ６０２で２にセットした後、ステップ６０
６で特徴選択後の次元数Ｍを超えたと判定するまで、ス
テップ６０５で順次＋１ずつインクリメントしながら、
数２０式に対応するステップ６０３の計算処理と、数２
１式に対応するステップ６０４の計算処理を繰り返し実
行する。
を、ステップ６０２で２にセットした後、ステップ６０
６で特徴選択後の次元数Ｍを超えたと判定するまで、ス
テップ６０５で順次＋１ずつインクリメントしながら、
数２０式に対応するステップ６０３の計算処理と、数２
１式に対応するステップ６０４の計算処理を繰り返し実
行する。
【００９１】以上のようにして、本実施の形態では、従
来と同様の正準判別分析の手法によって固有ベクトルφ
h が算出された後、直交化のための簡単な漸化式によっ
て正規直交基底ベクトルψh が算出されることが、本発
明に関連する大きな特徴である。
来と同様の正準判別分析の手法によって固有ベクトルφ
h が算出された後、直交化のための簡単な漸化式によっ
て正規直交基底ベクトルψh が算出されることが、本発
明に関連する大きな特徴である。
【００９２】学習処理部１０２は、図３のステップ３１
３において、上述のようにして算出したＭ本の正規直交
基底ベクトルψh （１≦ｈ≦Ｍ）を、部分固有空間の正
規直交基底記憶部１０３に記憶させる。
３において、上述のようにして算出したＭ本の正規直交
基底ベクトルψh （１≦ｈ≦Ｍ）を、部分固有空間の正
規直交基底記憶部１０３に記憶させる。
【００９３】続いて、学習処理部１０２は、図３のステ
ップ３１４で、文字種ｉ毎に、上記Ｍ本の正規直交基底
ベクトルψh （１≦ｈ≦Ｍ）と、ステップ３０６で算出
したＮ次元の平均特徴ベクトルｍ (i) との内積を下記数
２２式に示されるようにして計算することにより、文字
種ｉ毎に、Ｍ次元の平均選択特徴ベクトルｍ (i) ′を算
出し、それらを認識辞書部１０４に記憶させる。
ップ３１４で、文字種ｉ毎に、上記Ｍ本の正規直交基底
ベクトルψh （１≦ｈ≦Ｍ）と、ステップ３０６で算出
したＮ次元の平均特徴ベクトルｍ (i) との内積を下記数
２２式に示されるようにして計算することにより、文字
種ｉ毎に、Ｍ次元の平均選択特徴ベクトルｍ (i) ′を算
出し、それらを認識辞書部１０４に記憶させる。
【００９４】
【数２２】
【００９５】ここで、添字ｈは、選択特徴ベクトルの要
素番号を示しており、その範囲は１≦ｈ≦Ｍである。こ
のようにして、辞書を構成する文字種毎の平均特徴ベク
トルにつき、Ｎ次元からＭ次元への次元の削減処理であ
る特徴選択処理が実行される。本実施の形態における特
徴選択処理は、言い換えれば、従来技術の場合と同様に
文字種間分散を大きくさせかつ文字種内分散を小さくさ
せるように、Ｎ次元の平均特徴ベクトルをＭ本の正規直
交基底ベクトルψh によって規定されるＭ本の座標軸に
射影させる処理に等価である。ここで、Ｍ本の正規直交
基底ベクトルψhは相互に直交するため、上記射影処理
は、Ｎ次元の平均特徴ベクトルを、元の特徴空間の部分
固有空間へ射影させる処理に等価となる。この結果、図
２を用いて前述したように、元の特徴空間上でのベクト
ル間の距離と、Ｍ本の正規直交基底ベクトルψh によっ
て規定される部分固有空間上でのベクトル間の距離とが
良く対応することになる。以上説明したようにして、学
習処理部１０２が、図３の動作フローチャートに基づく
学習処理を実行する。
素番号を示しており、その範囲は１≦ｈ≦Ｍである。こ
のようにして、辞書を構成する文字種毎の平均特徴ベク
トルにつき、Ｎ次元からＭ次元への次元の削減処理であ
る特徴選択処理が実行される。本実施の形態における特
徴選択処理は、言い換えれば、従来技術の場合と同様に
文字種間分散を大きくさせかつ文字種内分散を小さくさ
せるように、Ｎ次元の平均特徴ベクトルをＭ本の正規直
交基底ベクトルψh によって規定されるＭ本の座標軸に
射影させる処理に等価である。ここで、Ｍ本の正規直交
基底ベクトルψhは相互に直交するため、上記射影処理
は、Ｎ次元の平均特徴ベクトルを、元の特徴空間の部分
固有空間へ射影させる処理に等価となる。この結果、図
２を用いて前述したように、元の特徴空間上でのベクト
ル間の距離と、Ｍ本の正規直交基底ベクトルψh によっ
て規定される部分固有空間上でのベクトル間の距離とが
良く対応することになる。以上説明したようにして、学
習処理部１０２が、図３の動作フローチャートに基づく
学習処理を実行する。
【００９６】実際の認識時においては、まず、特徴抽出
部１０１が、文字種が未知である入力文字パターンか
ら、前述した数１０式に示されるＮ次元の特徴ベクトル
ｘを抽出する。
部１０１が、文字種が未知である入力文字パターンか
ら、前述した数１０式に示されるＮ次元の特徴ベクトル
ｘを抽出する。
【００９７】次に、特徴選択部１０５は、部分固有空間
の正規直交基底記憶部１０３に記憶されているＭ本の正
規直交基底ベクトルψh （１≦ｈ≦Ｍ）と、Ｎ次元の特
徴ベクトルｘとの内積を下記数２３式に示されるように
して計算することにより、Ｍ次元の選択特徴ベクトルｚ
を算出する。
の正規直交基底記憶部１０３に記憶されているＭ本の正
規直交基底ベクトルψh （１≦ｈ≦Ｍ）と、Ｎ次元の特
徴ベクトルｘとの内積を下記数２３式に示されるように
して計算することにより、Ｍ次元の選択特徴ベクトルｚ
を算出する。
【００９８】
【数２３】
【００９９】このようにして、入力特徴ベクトルにつ
き、Ｍ次元の部分固有空間への射影（特徴選択）が実行
される。最後に、照合部１０６は、文字種ｉ毎に、Ｍ次
元の選択特徴ベクトルｚと認識辞書部１０４に記憶され
ている平均選択特徴ベクトルｍ (i) ′との間の例えばユ
ークリッド距離ｄ(i) を、下記数２４式に示されるよう
にして計算する。
き、Ｍ次元の部分固有空間への射影（特徴選択）が実行
される。最後に、照合部１０６は、文字種ｉ毎に、Ｍ次
元の選択特徴ベクトルｚと認識辞書部１０４に記憶され
ている平均選択特徴ベクトルｍ (i) ′との間の例えばユ
ークリッド距離ｄ(i) を、下記数２４式に示されるよう
にして計算する。
【０１００】
【数２４】
【０１０１】そして、照合部１０６は、上記距離ｄ(i)
が最も小さかった平均選択特徴ベクトルｍ (i) ′に対応
する文字種ｉを、入力文字パターンに対する推定文字種
として出力する。
が最も小さかった平均選択特徴ベクトルｍ (i) ′に対応
する文字種ｉを、入力文字パターンに対する推定文字種
として出力する。
【０１０２】以上説明した実施の形態によれば、従来技
術の場合と同様に、距離計算における要素数がＮ項から
Ｍ項に削減されるため認識速度を大幅に向上させること
が可能となると同時に、本発明に関連する独自の特徴と
して、特徴ベクトルが元の特徴空間の部分固有空間へ射
影させられることにより距離の保存が実現され、実用的
な認識精度を有する文字認識装置を実現することが可能
となる。
術の場合と同様に、距離計算における要素数がＮ項から
Ｍ項に削減されるため認識速度を大幅に向上させること
が可能となると同時に、本発明に関連する独自の特徴と
して、特徴ベクトルが元の特徴空間の部分固有空間へ射
影させられることにより距離の保存が実現され、実用的
な認識精度を有する文字認識装置を実現することが可能
となる。
【０１０３】なお、上述した固有ベクトルの直交化によ
って、文字種内分散を最小にし文字種間分散を最大にす
るという正準判別分析の性質が若干失われることが予想
されたが、実験によれば、そのことによる認識率の低下
よりも、距離計算が直交化によって正常化されることに
よる認識率の向上の方が大幅に上回る結果が得られ、本
発明の有効性が確認できた。
って、文字種内分散を最小にし文字種間分散を最大にす
るという正準判別分析の性質が若干失われることが予想
されたが、実験によれば、そのことによる認識率の低下
よりも、距離計算が直交化によって正常化されることに
よる認識率の向上の方が大幅に上回る結果が得られ、本
発明の有効性が確認できた。
【０１０４】上述の実施の形態においては、ベクトル間
の距離としてユークリッド距離を用いたが、本発明はこ
れに限られるものではなく、ユークリッド距離に基づく
他の距離や、市街区（シティブロック）距離、チェス盤
距離等も採用することができる。ここで、ベクトルｘ1
とベクトルｘ2 間の市街区距離ｄは、次式によって定義
される。但し、ｘ1h及びｘ2hは、それぞれベクトルｘ1
及びｘ2 の各要素である。この距離は、座標軸に沿って
縦又は横の何れかの方向にのみ計測される状況下での距
離である。
の距離としてユークリッド距離を用いたが、本発明はこ
れに限られるものではなく、ユークリッド距離に基づく
他の距離や、市街区（シティブロック）距離、チェス盤
距離等も採用することができる。ここで、ベクトルｘ1
とベクトルｘ2 間の市街区距離ｄは、次式によって定義
される。但し、ｘ1h及びｘ2hは、それぞれベクトルｘ1
及びｘ2 の各要素である。この距離は、座標軸に沿って
縦又は横の何れかの方向にのみ計測される状況下での距
離である。
【０１０５】
【数２５】
【０１０６】また、ベクトルｘ1 とベクトルｘ2 間のチ
ェス盤距離ｄは、次式によって定義される。この距離
は、座標軸に沿って縦、横、又は斜めの何れかの方向に
のみ計測される状況下での最短距離である。
ェス盤距離ｄは、次式によって定義される。この距離
は、座標軸に沿って縦、横、又は斜めの何れかの方向に
のみ計測される状況下での最短距離である。
【０１０７】
【数２６】
【０１０８】本発明は、前述した実施の形態のような文
字認識装置に限定されるものではなく、種々のパターン
認識装置に適用できることは言うまでもない。また、本
発明は、コンピュータにより使用されたときに、上述の
本発明の実施の形態の構成によって実現される機能と同
様の機能をコンピュータに行わせるためのコンピュータ
読出し可能記録媒体として構成することもできる。
字認識装置に限定されるものではなく、種々のパターン
認識装置に適用できることは言うまでもない。また、本
発明は、コンピュータにより使用されたときに、上述の
本発明の実施の形態の構成によって実現される機能と同
様の機能をコンピュータに行わせるためのコンピュータ
読出し可能記録媒体として構成することもできる。
【０１０９】この場合に、図８に示されるように、例え
ばフロッピィディスク、ＣＤ−ＲＯＭディスク、光ディ
スク、リムーバブルハードディスク等の可搬型記憶媒体
８０２や、ネットワーク回線８０３経由で、本発明の実
施の形態の各種機能を実現するプログラムが、コンピュ
ータ８０１の本体８０４内のメモリ（ＲＡＭ又はハード
ディスク等）８０５にロードされて、実行される。
ばフロッピィディスク、ＣＤ−ＲＯＭディスク、光ディ
スク、リムーバブルハードディスク等の可搬型記憶媒体
８０２や、ネットワーク回線８０３経由で、本発明の実
施の形態の各種機能を実現するプログラムが、コンピュ
ータ８０１の本体８０４内のメモリ（ＲＡＭ又はハード
ディスク等）８０５にロードされて、実行される。
【０１１０】
【発明の効果】本発明によれば、従来技術の場合と同様
に、距離計算における要素数が削減されるため認識速度
を大幅に向上させることが可能となると同時に、本発明
に関連する独自の特徴として、特徴ベクトルが元の特徴
空間の部分固有空間へ射影させられることにより距離の
保存が実現され、実用的な認識精度を有する文字認識装
置を実現することが可能となる。
に、距離計算における要素数が削減されるため認識速度
を大幅に向上させることが可能となると同時に、本発明
に関連する独自の特徴として、特徴ベクトルが元の特徴
空間の部分固有空間へ射影させられることにより距離の
保存が実現され、実用的な認識精度を有する文字認識装
置を実現することが可能となる。
【０１１１】この場合に、従来と同様の正準判別分析等
の手法によって固有ベクトルを算出した後、直交化のた
めの簡単な漸化式によって正規直交基底ベクトルを算出
することにより、正規直交基底を簡単な処理で算出する
ことが可能となる。
の手法によって固有ベクトルを算出した後、直交化のた
めの簡単な漸化式によって正規直交基底ベクトルを算出
することにより、正規直交基底を簡単な処理で算出する
ことが可能となる。
【０１１２】なお、上述した固有ベクトルの直交化によ
って、文字種内分散を最小にし文字種間分散を最大にす
るという正準判別分析の性質が若干失われることが予想
されたが、実験によれば、そのことによる認識率の低下
よりも、距離計算が直交化によって正常化されることに
よる認識率の向上の方が大幅に上回る結果が得られ、本
発明の有効性が確認できた。
って、文字種内分散を最小にし文字種間分散を最大にす
るという正準判別分析の性質が若干失われることが予想
されたが、実験によれば、そのことによる認識率の低下
よりも、距離計算が直交化によって正常化されることに
よる認識率の向上の方が大幅に上回る結果が得られ、本
発明の有効性が確認できた。
【図１】本実施の形態の構成図である。
【図２】本実施の形態の原理説明図である。
【図３】本実施の形態における学習処理の動作フローチ
ャートである。
ャートである。
【図４】文字種間分散行列Ｓb の算出処理の動作フロー
チャートである。
チャートである。
【図５】文字種内分散行列Ｓw の算出処理の動作フロー
チャートである。
チャートである。
【図６】正規直交基底ベクトルの算出処理の動作フロー
チャートである。
チャートである。
【図７】ψh の算出処理の動作フローチャートである。
【図８】本実施の形態を実現するプログラムが記録され
た記録媒体の説明図である。
た記録媒体の説明図である。
【図９】従来技術の構成図である。
【図１０】従来技術の問題点の説明図である。
１０１ 特徴抽出部 １０２ 学習処理部 １０３ 部分固有空間の正規直交基底記憶部 １０４ 認識辞書部 １０５ 特徴選択部 １０６ 照合部
Claims (16)
- 【請求項１】 入力パターンの特徴を表現する特徴ベク
トルを用いて該入力パターンを認識するパターン認識装
置であって、 前記入力パターンの特徴を表現する入力特徴ベクトルを
抽出する入力特徴ベクトル抽出手段と、 元特徴空間の部分固有空間の正規直交基底を保持する正
規直交基底記憶手段と、 １つ以上の各認識対象パターンに対応し前記部分固有空
間上で規定される各辞書選択特徴ベクトルを記憶する認
識辞書手段と、 前記正規直交基底記憶手段が記憶する正規直交基底を用
い、前記入力特徴ベクトル抽出手段が抽出した入力特徴
ベクトルの前記部分固有空間への射影である入力選択特
徴ベクトルを算出する特徴選択手段と、 該特徴選択手段が算出した入力選択特徴ベクトルと前記
認識辞書手段が記憶する各辞書選択特徴ベクトルとを照
合することによって、該入力選択特徴ベクトルに対応す
る入力パターンの種類を認識する照合手段と、 を含むことを特徴とするパターン認識装置。 - 【請求項２】 入力パターンの特徴を表現する入力特徴
ベクトルを用いて該入力パターンを認識するパターン認
識方法であって、 前記入力パターンの特徴を表現する入力特徴ベクトルを
抽出し、 元特徴空間の部分固有空間の正規直交基底を保持し、 １つ以上の各認識対象パターンに対応し前記部分固有空
間上で規定される各辞書選択特徴ベクトルを記憶し、 前記正規直交基底を用い、前記入力パターンに対して抽
出された入力特徴ベクトルの前記部分固有空間への射影
である入力選択特徴ベクトルを算出し、 該入力選択特徴ベクトルと前記各辞書選択特徴ベクトル
とを照合することによって、該入力選択特徴ベクトルに
対応する入力パターンの種類を認識する、 過程を含むことを特徴とするパターン認識方法。 - 【請求項３】 請求項１に記載のパターン認識装置又は
請求項２に記載のパターン認識方法における前記正規直
交基底と前記各辞書選択特徴ベクトルを算出するパター
ン学習装置であって、 学習パターンの特徴を表現する学習特徴ベクトルを抽出
する学習特徴ベクトル抽出手段と、 該学習特徴ベクトル抽出手段が抽出した学習特徴ベクト
ルに基づき、前記部分固有空間の正規直交基底を算出す
る正規直交基底算出手段と、 前記学習特徴ベクトル抽出手段が抽出した学習特徴ベク
トルに基づき、前記各認識対象パターンに対応し前記元
特徴空間上で規定される各辞書特徴ベクトルを算出する
辞書特徴ベクトル算出手段と、 前記正規直交基底算出手段が算出した正規直交基底を用
い、前記辞書特徴ベクトル算出手段が算出した各辞書特
徴ベクトルの前記部分固有空間への各射影である前記各
辞書選択特徴ベクトルを算出する辞書選択特徴ベクトル
算出手段と、 を含むことを特徴とするパターン学習装置。 - 【請求項４】 請求項１に記載のパターン認識装置又は
請求項２に記載のパターン認識方法における前記正規直
交基底と前記各辞書選択特徴ベクトルを算出するパター
ン学習方法であって、 学習パターンの特徴を表現する学習特徴ベクトルを抽出
し、 該学習特徴ベクトルに基づき、前記部分固有空間の正規
直交基底を算出し、 前記学習パターンの学習特徴ベクトルに基づき、前記各
認識対象パターンに対応し前記元特徴空間上で規定され
る各辞書特徴ベクトルを算出し、 前記正規直交基底を用い、前記各辞書特徴ベクトルの前
記部分固有空間への射影である前記辞書選択特徴ベクト
ルを算出する、 過程を含むことを特徴とするパターン学習方法。 - 【請求項５】 入力パターンの特徴を表現する入力特徴
ベクトルを用いて該入力パターンを認識するパターン認
識装置であって、 前記入力パターンの特徴を表現する入力特徴ベクトル又
は学習パターンの特徴を表現する学習特徴ベクトルを抽
出する特徴ベクトル抽出手段と、 元特徴空間の部分固有空間の正規直交基底を保持する正
規直交基底記憶手段と、 １つ以上の各認識対象パターンに対応し前記部分固有空
間上で規定される各辞書選択特徴ベクトルを記憶する認
識辞書手段と、 前記特徴ベクトル抽出手段が抽出した学習パターンの学
習特徴ベクトルに基づき、前記部分固有空間の正規直交
基底を算出し、それらを前記正規直交基底記憶手段に記
憶させる正規直交基底算出手段と、 前記特徴ベクトル抽出手段が抽出した学習パターンの学
習特徴ベクトルに基づき、前記各認識対象パターンに対
応し前記元特徴空間上で規定される各辞書特徴ベクトル
を算出する辞書特徴ベクトル算出手段と、 前記正規直交基底算出手段が算出した正規直交基底を用
い、前記辞書特徴ベクトル算出手段が算出した各辞書特
徴ベクトルの前記部分固有空間への各射影である前記各
辞書選択特徴ベクトルを算出し、それらを前記認識辞書
手段に記憶させる辞書選択特徴ベクトル算出手段と、 前記正規直交基底記憶手段が記憶する正規直交基底を用
い、前記特徴ベクトル抽出手段が抽出した入力パターン
の入力特徴ベクトルの前記部分固有空間への射影である
入力選択特徴ベクトルを算出する特徴選択手段と、 該特徴選択手段が算出した入力選択特徴ベクトルと前記
認識辞書手段が記憶する各辞書選択特徴ベクトルとを照
合することによって、該入力選択特徴ベクトルに対応す
る入力パターンの種類を認識する照合手段と、 を含むことを特徴とするパターン認識装置。 - 【請求項６】 コンピュータにより使用されたときにそ
れによって読み出される記録媒体であって、 入力パターンの特徴を表現する入力特徴ベクトルを抽出
する機能と、 元特徴空間の部分固有空間の正規直交基底を保持する機
能と、 １つ以上の各認識対象パターンに対応し前記部分固有空
間上で規定される各辞書選択特徴ベクトルを記憶する機
能と、 前記正規直交基底を用い、前記入力パターンに対して抽
出された入力特徴ベクトルの前記部分固有空間への射影
である入力選択特徴ベクトルを算出する機能と、 該入力選択特徴ベクトルと前記各辞書選択特徴ベクトル
とを照合することによって、該入力選択特徴ベクトルに
対応する入力パターンの種類を認識する機能と、 を前記コンピュータに行わせるためのコンピュータ読出
し可能記録媒体。 - 【請求項７】 コンピュータにより使用されたときにそ
れによって読み出される記録媒体であって、 学習パターンの特徴を表現する学習特徴ベクトルを抽出
する機能と、 該学習特徴ベクトルに基づき、前記部分固有空間の正規
直交基底を算出する機能と、 前記学習パターンの学習特徴ベクトルに基づき、前記各
認識対象パターンに対応し前記元特徴空間上で規定され
る各辞書特徴ベクトルを算出する機能と、 前記正規直交基底を用い、前記各辞書特徴ベクトルの前
記部分固有空間への射影である前記辞書選択特徴ベクト
ルを算出する機能と、 を前記コンピュータに行わせるためのコンピュータ読出
し可能記録媒体。 - 【請求項８】 前記正規直交基底は、 前記学習パターンの学習特徴ベクトルに対して正準判別
分析を実行することによって、固有値の大きい順に前記
元特徴空間の次元数よりも少ない所定数の固有ベクトル
を算出し、 該所定数の固有ベクトルを固有値の大きい順に順次直交
化させることにより所定数の正規直交基底ベクトルを算
出する、 ことによって算出することを特徴とする請求項１乃至７
の何れか１項に記載のパターン認識装置、パターン認識
方法、パターン学習装置、パターン学習方法、又はコン
ピュータ読出し可能記録媒体。 - 【請求項９】 前記入力特徴ベクトル又は前記辞書特徴
ベクトルの前記部分固有空間への射影の結果得られる前
記入力選択特徴ベクトル又は前記各辞書選択特徴ベクト
ルは、該入力特徴ベクトル又は該辞書特徴ベクトルの前
記正規直交基底ベクトルへの射影の結果得られるもので
ある、 ことを特徴とする請求項８に記載のパターン認識装置、
パターン認識方法、パターン学習装置、パターン学習方
法、又はコンピュータ読出し可能記録媒体。 - 【請求項１０】 前記入力特徴ベクトル又は前記辞書特
徴ベクトルの前記正規直交基底ベクトルへの射影の結果
得られる前記入力選択特徴ベクトル又は前記各辞書選択
特徴ベクトルは、該入力特徴ベクトル又は該辞書特徴ベ
クトルと前記正規直交基底ベクトルとの内積を演算した
結果得られるものである、 ことを特徴とする請求項９に記載のパターン認識装置、
パターン認識方法、パターン学習装置、パターン学習方
法、又はコンピュータ読出し可能記録媒体。 - 【請求項１１】 前記辞書選択特徴ベクトルは、前記各
認識対象パターンの種類毎の特徴ベクトルの平均である
平均特徴ベクトルに基づくものである、 ことを特徴とする請求項１乃至１０の何れか１項に記載
のパターン認識装置、パターン認識方法、パターン学習
装置、パターン学習方法、又はコンピュータ読出し可能
記録媒体。 - 【請求項１２】 前記入力選択特徴ベクトルと前記各辞
書選択特徴ベクトルとの照合は、前記入力選択特徴ベク
トルと前記各辞書選択特徴ベクトルとの各距離を計算
し、該各距離の値を比較する処理である、 ことを特徴とする請求項１、２、５、６、８、９、１
０、又は１１の何れか１項に記載のパターン認識装置、
パターン認識方法、又はコンピュータ読出し可能記録媒
体。 - 【請求項１３】 前記距離は、ユークリッド距離に基づ
く距離であることを特徴とする請求項１２に記載のパタ
ーン認識装置、パターン認識方法、又はコンピュータ読
出し可能記録媒体。 - 【請求項１４】 前記距離は市街区距離に基づく距離で
あることを特徴とする請求項１２に記載のパターン認識
装置、パターン認識方法、又はコンピュータ読出し可能
記録媒体。 - 【請求項１５】 前記距離はチェス盤距離に基づく距離
であることを特徴とする請求項１２に記載のパターン認
識装置、パターン認識方法、又はコンピュータ読出し可
能記録媒体。 - 【請求項１６】 前記パターンは文字パターンであるこ
とを特徴とする請求項１乃至１５の何れか１項に記載の
パターン認識装置、パターン学習装置、パターン認識方
法、パターン学習方法、又はコンピュータ読出し可能記
録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9146600A JPH1055412A (ja) | 1996-06-06 | 1997-06-04 | 特徴ベクトルの部分固有空間への射影による特徴選択を用いたパターン認識装置及び方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8-144109 | 1996-06-06 | ||
| JP14410996 | 1996-06-06 | ||
| JP9146600A JPH1055412A (ja) | 1996-06-06 | 1997-06-04 | 特徴ベクトルの部分固有空間への射影による特徴選択を用いたパターン認識装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1055412A true JPH1055412A (ja) | 1998-02-24 |
Family
ID=26475635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9146600A Pending JPH1055412A (ja) | 1996-06-06 | 1997-06-04 | 特徴ベクトルの部分固有空間への射影による特徴選択を用いたパターン認識装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1055412A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006209353A (ja) * | 2005-01-26 | 2006-08-10 | Sharp Corp | 画像判断装置、画像形成装置、画像判断方法、画像判断プログラム、画像形成プログラムおよびコンピュータ読取り可能な記録媒体 |
| EP2017770A2 (en) | 2001-12-14 | 2009-01-21 | NEC Corporation | Face meta-data generation and face similarity calculation |
| JP2011028459A (ja) * | 2009-07-23 | 2011-02-10 | Canon Inc | 画像処理方法および画像処理装置およびプログラム |
| JP2021524686A (ja) * | 2018-05-18 | 2021-09-13 | スーズ，インコーポレイテッド | 埋め込まれた情報カードコンテンツを認識および解釈するための機械学習 |
-
1997
- 1997-06-04 JP JP9146600A patent/JPH1055412A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2017770A2 (en) | 2001-12-14 | 2009-01-21 | NEC Corporation | Face meta-data generation and face similarity calculation |
| US7593551B2 (en) | 2001-12-14 | 2009-09-22 | Nec Corporation | Face meta-data generation and face similarity calculation |
| JP2006209353A (ja) * | 2005-01-26 | 2006-08-10 | Sharp Corp | 画像判断装置、画像形成装置、画像判断方法、画像判断プログラム、画像形成プログラムおよびコンピュータ読取り可能な記録媒体 |
| JP2011028459A (ja) * | 2009-07-23 | 2011-02-10 | Canon Inc | 画像処理方法および画像処理装置およびプログラム |
| JP2021524686A (ja) * | 2018-05-18 | 2021-09-13 | スーズ，インコーポレイテッド | 埋め込まれた情報カードコンテンツを認識および解釈するための機械学習 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6192010B2 (ja) | 重み設定装置および方法 | |
| CN108596154B (zh) | 基于高维特征选择与多级融合的遥感图像分类方法 | |
| Su et al. | Order-preserving wasserstein distance for sequence matching | |
| JP4292837B2 (ja) | パターン特徴抽出方法及びその装置 | |
| Khalifa et al. | Off-line writer identification using an ensemble of grapheme codebook features | |
| JP5202148B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
| US9025864B2 (en) | Image clustering using a personal clothing model | |
| US8744144B2 (en) | Feature point generation system, feature point generation method, and feature point generation program | |
| CN106570521B (zh) | 多语言场景字符识别方法及识别系统 | |
| US8861873B2 (en) | Image clustering a personal clothing model | |
| JP2005535017A (ja) | フィッシャー線形識別関数およびカーネルフィッシャー線形識別関数を用いた拡張Ｉｓｏｍａｐ | |
| JP5777380B2 (ja) | 画像認識装置、画像認識方法、及びプログラム | |
| CN104239856A (zh) | 基于Gabor特征和自适应线性回归的人脸识别方法 | |
| KR100305977B1 (ko) | 특징벡터의부분고유공간으로의사영에의한특징선택을이용한패턴인식장치및방법 | |
| Sisodia et al. | ISVM for face recognition | |
| CN109886281A (zh) | 一种基于四元数超限学习机彩色图像识别方法 | |
| CN101877065A (zh) | 小样本条件下的人脸图像非线性鉴别特征抽取和识别方法 | |
| JP2004178569A (ja) | データ分類装置、物体認識装置、データ分類方法及び物体認識方法 | |
| Roy et al. | HMM-based writer identification in music score documents without staff-line removal | |
| JPH1055412A (ja) | 特徴ベクトルの部分固有空間への射影による特徴選択を用いたパターン認識装置及び方法 | |
| Deepa et al. | Challenging aspects for facial feature extraction and age estimation | |
| JP5030235B2 (ja) | パターン認識装置及びパターン認識方法 | |
| Riesen et al. | Reducing the dimensionality of vector space embeddings of graphs | |
| JP2009295130A (ja) | 画像解析装置、画像登録装置および画像検索装置 | |
| Yankov et al. | Locally constrained support vector clustering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040525 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070925 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071204 |