JPH09245125A - Pattern recognition device and dictionary correcting method in the device - Google Patents
Pattern recognition device and dictionary correcting method in the deviceInfo
- Publication number
- JPH09245125A JPH09245125A JP8049035A JP4903596A JPH09245125A JP H09245125 A JPH09245125 A JP H09245125A JP 8049035 A JP8049035 A JP 8049035A JP 4903596 A JP4903596 A JP 4903596A JP H09245125 A JPH09245125 A JP H09245125A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- dictionary
- feature vector
- pattern
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Character Discrimination (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、文字認識、音声認
識等に用いて好適なパターン認識装置及び同装置におけ
る辞書修正方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a pattern recognition apparatus suitable for character recognition, voice recognition, etc. and a dictionary correction method in the apparatus.
【０００２】[0002]
【従来の技術】従来から様々なパターン認識手法が提案
されている。この従来から提案されているパターン認識
の手法は、各パターンの違いを記述された識別ルールと
いう知識を利用して識別する手法と、多量のサンプルデ
ータから、人手を介さずに、統計的に処理することによ
り作成した認識用の辞書を使用して認識を行う、統計的
パターン認識手法とに大別される。2. Description of the Related Art Conventionally, various pattern recognition methods have been proposed. This conventionally proposed pattern recognition method is a method that uses a knowledge called an identification rule that describes the difference between patterns and a method that statistically processes a large amount of sample data without human intervention. It is roughly classified into a statistical pattern recognition method in which recognition is performed using a recognition dictionary created by the above.
【０００３】統計的パターン認識手法では、入力された
パターンから様々な特徴値を抽出して、それを並べてｎ
次元の特徴ベクトルとして扱い、そのｎ次元特徴空間の
中での特徴ベクトルの分布を統計的に調べることによ
り、カテゴリ毎に作成された認識辞書を使用し、入力パ
ターンから抽出された特徴ベクトルと各カテゴリの辞書
との照合結果の評価値に基づいて認識結果を出力するも
のである。In the statistical pattern recognition method, various feature values are extracted from the input pattern, and the feature values are arranged and n
By using the recognition dictionary created for each category by statistically examining the distribution of the feature vectors in the n-dimensional feature space, the feature vectors extracted from the input pattern and each The recognition result is output based on the evaluation value of the matching result with the category dictionary.
【０００４】このような統計的パターン認識手法の代表
的なものとして、部分空間法、疑似ベイズ識別法などが
知られている（電子通信情報学会論文誌、1995年11月
Vol.J78-D-II No.11 pp.1627-1638 ）。As a typical one of such statistical pattern recognition methods, a subspace method, a pseudo Bayes classification method, etc. are known (Journal of the Institute of Electronics, Information and Communication Engineers, November 1995).
Vol.J78-D-II No.11 pp.1627-1638).
【０００５】例えば部分空間法は、各カテゴリのｎ次元
特徴ベクトルの分布をｍ次元部分空間（ｍ＜ｎ）で記述
し、その部分空間の正規直交基底ベクトルをもって辞書
（認識辞書）とし、入力特徴ベクトルの各カテゴリ部分
空間への射影値を評価値として、その評価値の高い順に
認識結果を出力する手法である。この手法は、統計的手
法によりパターンの変動をうまく記述でき、高い認識性
能を達成できるため、文字認識、音声認識などのパター
ン認識の分野で広く適用されている。For example, in the subspace method, the distribution of the n-dimensional feature vector of each category is described in an m-dimensional subspace (m <n), and the orthonormal basis vector of the subspace is used as a dictionary (recognition dictionary), and the input feature This is a method in which a projection value of a vector onto each category subspace is used as an evaluation value and recognition results are output in descending order of evaluation value. This method is widely applied in the field of pattern recognition such as character recognition and voice recognition because it can describe pattern variations well by statistical methods and achieve high recognition performance.
【０００６】[0006]
【発明が解決しようとする課題】ところで最近は、高性
能のパーソナルコンピュータの普及に伴い、ソフトウェ
ア処理によって、小さいメモリ容量で、高速に且つ高性
能なパターン認識が可能な手法に対する要求が高まって
いる。By the way, recently, with the popularization of high-performance personal computers, there is an increasing demand for a method capable of performing high-speed and high-performance pattern recognition with a small memory capacity by software processing. .
【０００７】しかしながら、上記した従来の認識手法で
は、認識辞書のためのメモリ容量、認識処理計算量が共
に大きい。例えば、日本語文字認識に部分空間法を適用
する場合の計算量について考えてみる。まず、識別カテ
ゴリ数をＪＩＳ第１水準文字として約３０００カテゴ
リ、識別に使用する特徴量として２５６次元特徴、部分
空間の次元数として１６次元とする。この場合、入力特
徴ベクトルと１つのカテゴリの辞書との評価値、即ち入
力特徴ベクトルの部分空間への射影量を求めるには、１
６次元部分空間を表す１６個の正規直交基底ベクトルへ
の射影の値を計算する必要があることから、２５６×１
６回の積和演算が必要となる。識別には、各カテゴリの
辞書との評価値を計算する必要があるため、合計では２
５６×１６×３０００＝１２２８８０００回の積和演算
が必要となる。However, in the conventional recognition method described above, both the memory capacity for the recognition dictionary and the amount of recognition processing calculation are large. For example, consider the amount of calculation when applying the subspace method to Japanese character recognition. First, the number of identification categories is set to about 3000 categories as JIS first-level characters, 256-dimensional features are used as identification features, and 16-dimensional as the number of subspace dimensions. In this case, to obtain the evaluation value of the input feature vector and the dictionary of one category, that is, the projection amount of the input feature vector onto the subspace, 1
Since it is necessary to calculate the values of projections onto 16 orthonormal basis vectors representing a 6-dimensional subspace, 256 × 1
Six product-sum operations are required. It is necessary to calculate the evaluation value with the dictionary of each category for identification, so the total is 2
56 × 16 × 3000 = 122888000 times of product-sum operations are required.
【０００８】次に、上記の例における認識辞書容量につ
いて考えてみる。ここでは、各カテゴリの各正規直交基
底ベクトルを表現する必要があるため、ベクトルの１要
素を例えば１バイトで表現した場合には、認識辞書容量
は、２５６×１６×３０００×１ｂｙｔｅ（バイト）＝
１２２８８０００ｂｙｔｅ（バイト）＝１１．７Ｍｂｙ
ｔｅ（メガバイト）となる。Next, consider the recognition dictionary capacity in the above example. Here, since it is necessary to represent each orthonormal basis vector of each category, when one element of the vector is represented by, for example, 1 byte, the recognition dictionary capacity is 256 × 16 × 3000 × 1 byte (byte) =
122888000 bytes (byte) = 11.7 Mby
It becomes te (megabyte).
【０００９】このように、従来手法では、認識処理計算
量が大きいため、専用のハードウェアなしでは高速な実
行ができないという問題があった。また、認識辞書に必
要なメモリ容量も巨大であり、コストが高くなるという
問題もあった。As described above, the conventional method has a problem that high-speed execution cannot be performed without dedicated hardware because the amount of calculation of recognition processing is large. There is also a problem that the memory capacity required for the recognition dictionary is huge and the cost is high.
【００１０】そこで、このような問題を解決するため
に、特徴選択により特徴次元数を削減してから部分空間
法や疑似ベイズ識別法を適用するという手法も知られて
いる（電子通信情報学会論文誌、1995年11月 Vol.J78-
D-II No.11 pp.1627-1638 ）。Therefore, in order to solve such a problem, there is also known a method of applying the subspace method or the pseudo Bayes classification method after reducing the number of feature dimensions by feature selection (Papers of the Institute of Electronics, Information and Communication Engineers). Magazine, November 1995 Vol.J78-
D-II No.11 pp.1627-1638).
【００１１】しかし、その場合には、計算量、辞書容量
の削減に伴い、認識性能も低下するという問題があっ
た。本発明は上記事情を考慮してなされたものでその目
的は、認識辞書等のためのメモリ容量が小さく、且つ認
識のための計算量が小さくて済み、しかも従来と同等の
認識性能を達成できるパターン認識装置及び同装置にお
ける辞書修正方法を提供することにある。However, in that case, there has been a problem that the recognition performance is deteriorated as the calculation amount and the dictionary capacity are reduced. The present invention has been made in consideration of the above circumstances, and an object thereof is to have a small memory capacity for a recognition dictionary and the like and a small calculation amount for recognition, and yet achieve recognition performance equivalent to that of the conventional art. It is to provide a pattern recognition device and a dictionary correction method in the device.
【００１２】[0012]
【課題を解決するための手段】本発明は、入力パターン
からｎ次元の特徴ベクトルを抽出し、この抽出したｎ次
元特徴ベクトルから特徴選択辞書（例えば多数の学習パ
ターンの特徴ベクトルの集合を対象とする主成分分析に
より作成された特徴選択辞書）を用いて認識に有効なｍ
次元特徴ベクトル（ｍ＜ｎ）を選択し、この選択したｍ
次元特徴ベクトルとｍ次元参照ベクトルの集合からなる
認識辞書とを照合することで評価値を算出して、その算
出結果に基づく順番で認識候補を出力する認識処理を行
うパターン認識装置において、辞書学習モード時に、多
数の学習パターンを順次入力して、その都度その学習パ
ターンを対象として上記の認識処理を行い、その認識処
理の結果をもとに誤認識の度合いを検出して、その誤認
識の度合いが小さくなるように上記認識辞書を修正する
一連の処理（競合学習処理）を、予め定められた回数だ
け繰り返すようにしたことを特徴とする。According to the present invention, an n-dimensional feature vector is extracted from an input pattern, and a feature selection dictionary (for example, a set of feature vectors of many learning patterns is targeted) from the extracted n-dimensional feature vector. Which is effective for recognition using the feature selection dictionary created by the principal component analysis
A dimensional feature vector (m <n) is selected, and this selected m
In a pattern recognition device that performs recognition processing for calculating an evaluation value by collating a dimensional feature vector with a recognition dictionary composed of a set of m-dimensional reference vectors, and performing recognition processing for outputting recognition candidates in the order based on the calculation result, dictionary learning In the mode, a large number of learning patterns are sequentially input, and the above recognition processing is performed for each learning pattern each time, and the degree of misrecognition is detected based on the result of the recognition processing. It is characterized in that a series of processes (competition learning process) for modifying the recognition dictionary so as to reduce the degree is repeated a predetermined number of times.
【００１３】また本発明は、認識辞書の修正時に、当該
認識辞書の修正と同様にして特徴選択辞書も修正するよ
うにしたことを特徴とする。ここで、認識辞書修正の対
象となる参照ベクトルとして、認識の対象となった学習
パターンと同一カテゴリである正解カテゴリの参照ベク
トルのうち最も上位候補であった参照ベクトルと、その
学習パターンと異なるカテゴリである不正解カテゴリの
参照ベクトルのうち最も上位候補であった参照ベクトル
を、その学習パターンに対する認識処理の結果から選択
すればよい。Further, the present invention is characterized in that when the recognition dictionary is modified, the feature selection dictionary is also modified in the same manner as the modification of the recognition dictionary. Here, as the reference vector to be the target of the recognition dictionary correction, the reference vector that is the highest candidate among the reference vectors of the correct category that is the same category as the learning pattern that is the target of recognition, and the category that is different from the learning pattern The reference vector which is the highest candidate among the reference vectors of the incorrect answer category may be selected from the result of the recognition process for the learning pattern.
【００１４】また、誤認識の度合いを表すのに、学習パ
ターンから抽出されたｎ次元特徴ベクトルより選択され
たｍ次元特徴ベクトルと正解カテゴリの参照ベクトルと
の一致度（距離）が、不正解カテゴリの参照ベクトルと
の一致度（距離）よりも大きい（短い）ほど第１の境界
値（例えば０）に近づき、逆に小さい（長い）ほど第１
の境界値とは異なる第２の境界値（例えば１）に近づく
損失関数を用いるとよい。In order to represent the degree of misrecognition, the degree of coincidence (distance) between the m-dimensional feature vector selected from the n-dimensional feature vectors extracted from the learning pattern and the reference vector of the correct category is the incorrect category. Is closer (first) to the first boundary value (eg, 0), and smaller (longer) is the first.
It is preferable to use a loss function that approaches a second boundary value (for example, 1) different from the boundary value of.
【００１５】本発明においては、特徴選択により識別に
使用する特徴量を削減するようにしているため、認識辞
書容量及び認識計算量を低く抑えることができ、しかも
辞書学習モードで学習パターンに対する認識結果に基づ
いて競合学習により認識辞書を修正することで、その修
正された認識辞書を使用した認識処理が可能となるた
め、高精度の認識性能を実現することが可能となる。In the present invention, since the feature amount used for identification is reduced by feature selection, the recognition dictionary capacity and the recognition calculation amount can be kept low, and the recognition result for the learning pattern in the dictionary learning mode can be reduced. By correcting the recognition dictionary by competitive learning based on, it becomes possible to perform recognition processing using the corrected recognition dictionary, and thus it is possible to realize highly accurate recognition performance.
【００１６】また本発明においては、認識辞書だけでな
く、特徴選択辞書も学習パターンに対する認識結果に基
づいて修正することで、その修正された特徴選択辞書を
用いた特徴選択が可能となるため、識別に有効な特徴を
選択できるようになり、一層高精度の認識性能を実現す
ることが可能となる。Further, according to the present invention, not only the recognition dictionary but also the feature selection dictionary is modified based on the recognition result for the learning pattern, so that the feature selection using the modified feature selection dictionary becomes possible. It becomes possible to select a feature that is effective for identification, and it is possible to realize more highly accurate recognition performance.
【００１７】[0017]
【発明の実施の形態】以下、本発明の実施の形態につき
図面を参照して説明する。 ［第１の実施形態］図１は本発明の第１の実施形態に係
るパターン認識装置の概略構成を示すブロック図であ
る。図１に示すパターン認識装置は、パターン認識のた
めのソフトウェア処理を実行するパーソナルコンピュー
タ等を用いて実現されるもので、データ入力部１１、特
徴抽出部１２、特徴選択部１３、識別部１４、認識結果
出力部１５、特徴選択辞書１６、認識辞書１７、及び認
識辞書修正部１８の機能要素から構成される。なお、装
置全体を制御する制御部等は省略されている。Embodiments of the present invention will be described below with reference to the drawings. [First Embodiment] FIG. 1 is a block diagram showing the schematic arrangement of a pattern recognition apparatus according to the first embodiment of the present invention. The pattern recognition apparatus shown in FIG. 1 is realized using a personal computer or the like that executes software processing for pattern recognition, and includes a data input unit 11, a feature extraction unit 12, a feature selection unit 13, an identification unit 14, The recognition result output unit 15, the feature selection dictionary 16, the recognition dictionary 17, and the recognition dictionary correction unit 18 are functional elements. Note that a control unit and the like for controlling the entire apparatus are omitted.
【００１８】データ入力部１１は、認識の対象となる
（文字パターン、音声パターン等の）データ（パターン
データ）を入力する。特徴抽出部１２は、データ入力部
１１により入力されたデータ（入力パターン）からｎ次
元の特徴ベクトルを抽出する。The data input unit 11 inputs data (pattern data) to be recognized (character pattern, voice pattern, etc.). The feature extraction unit 12 extracts an n-dimensional feature vector from the data (input pattern) input by the data input unit 11.
【００１９】特徴選択部１３は、特徴抽出部１２により
抽出されたｎ次元特徴ベクトルから特徴選択辞書１６を
用いて認識に有効なｍ次元特徴ベクトル（ｍ＜ｎ）を選
択する。The feature selection unit 13 uses the feature selection dictionary 16 to select an m-dimensional feature vector (m <n) effective for recognition from the n-dimensional feature vectors extracted by the feature extraction unit 12.
【００２０】識別部１４は、特徴選択部１３により選択
されたｍ次元特徴ベクトルと認識辞書１７とを照合する
ことで評価値を算出し、その算出結果に基づく順番で
（ここでは、評価値の高い順に）認識候補を出力する。The identification unit 14 calculates an evaluation value by collating the m-dimensional feature vector selected by the feature selection unit 13 with the recognition dictionary 17, and in the order based on the calculation result (here, the evaluation value The recognition candidates are output in descending order.
【００２１】認識結果出力部１５は、識別部１４から出
力された認識候補を例えば表示装置（図示せず）に表示
する。特徴選択辞書１６は、ｎ次元特徴ベクトルからｍ
次元特徴ベクトル（ｍ＜ｎ）を選択するのに用いられ
る。The recognition result output unit 15 displays the recognition candidates output from the identification unit 14 on, for example, a display device (not shown). The feature selection dictionary 16 stores m from n-dimensional feature vectors.
Used to select a dimensional feature vector (m <n).
【００２２】認識辞書１７は、ｍ次元特徴ベクトルの認
識に用いられるｍ次元参照ベクトルの集合からなる。認
識辞書修正部１８は、識別部１４の認識結果に基づいて
誤認識の度合いを検出し、その誤認識の度合いが小さく
なるように認識辞書１７を修正する。The recognition dictionary 17 is composed of a set of m-dimensional reference vectors used for recognizing m-dimensional feature vectors. The recognition dictionary correction unit 18 detects the degree of erroneous recognition based on the recognition result of the identification unit 14, and corrects the recognition dictionary 17 so that the degree of erroneous recognition is reduced.
【００２３】次に、図１の構成の動作を図２乃至図６を
適宜参照して説明する。本実施形態では、キーボード、
マウス、スイッチ等の入力手段を用いて実現される図示
せぬモード指定部により、パターン認識処理を実行する
認識モードと、認識辞書１７を学習（修正）するための
学習処理（認識辞書修正処理）を実行する辞書学習モー
ドが選択指定できるようになっている。Next, the operation of the configuration of FIG. 1 will be described with reference to FIGS. In this embodiment, a keyboard,
A recognition mode for executing the pattern recognition process and a learning process for learning (correcting) the recognition dictionary 17 by a mode designating unit (not shown) realized by using an input means such as a mouse and a switch (recognition dictionary correction process) You can select and specify the dictionary learning mode to execute.
【００２４】以下、（ａ）認識モードでの認識処理、
（ｂ）辞書学習モードでの学習処理（認識辞書修正処
理）について、順に説明する。 （ａ）認識モードでの認識処理 まず、図１の装置が認識モードに設定された場合におけ
る認識処理について、図２のフローチャートを参照して
説明する。Hereinafter, (a) recognition processing in the recognition mode,
(B) The learning process (recognition dictionary correction process) in the dictionary learning mode will be sequentially described. (A) Recognition Processing in Recognition Mode First, the recognition processing when the apparatus of FIG. 1 is set to the recognition mode will be described with reference to the flowchart of FIG.
【００２５】データ入力部１１は、文字パターンあるい
は音声パターン等のパターン認識の対象となるパターン
を入力する。特徴抽出部１２は、データ入力部１１によ
り入力されたパターンから特徴を抽出する（ステップＳ
１）。文字認識を例にとると、例えば図３に示すように
１５×１５画素の２値文字パターンが入力された場合に
は、その白画素を“０”、黒画素を“１”として、左上
端から右下端まで順に走査して得られるベクトル（０，
０，…，１，１，…，０）を抽出、それを特徴ベクトル
とする。The data input unit 11 inputs a pattern for pattern recognition such as a character pattern or a voice pattern. The feature extraction unit 12 extracts features from the pattern input by the data input unit 11 (step S
1). Taking character recognition as an example, for example, when a binary character pattern of 15 × 15 pixels is input as shown in FIG. 3, the white pixel is set to “0”, the black pixel is set to “1”, and the upper left corner is set. To the lower right corner of the vector (0,
0, ..., 1,1, ..., 0) is extracted and used as a feature vector.
【００２６】特徴選択部１３は、特徴抽出部１２により
抽出されたｎ次元特徴（上記の文字パターンの例では、
ｎ＝１５×１５＝２２５）から、識別に必要となるｍ次
元特徴（ｍ＜ｎ）を選択する（ステップＳ２）。このス
テップＳ２では、「選択」という名称を使用している
が、ｎ個の特徴ベクトルの要素の中からｍ個を選び出す
という操作ではなく、特徴選択辞書１６を用いて次のよ
うな演算が行われる。The feature selection unit 13 has the n-dimensional feature extracted by the feature extraction unit 12 (in the example of the above character pattern,
From n = 15 × 15 = 225), an m-dimensional feature (m <n) required for identification is selected (step S2). In this step S2, the name "selection" is used, but the following operation is performed using the feature selection dictionary 16 rather than the operation of selecting m out of the elements of n feature vectors. Be seen.
【００２７】即ち、入力特徴（特徴抽出部１２により抽
出されたｎ次元特徴）をｎ次元のベクトルＸ＝（ｘ1 ，
ｘ2 ，…，ｘn ）T （但し、Ｔは転置を表す記号）で表
現し、特徴選択辞書１６をｍ×ｎ行列でＰで表現するも
のとすると、ステップＳ２では、次式 Ｘ′＝ＰＸ …（１） に従って、ｎ次元特徴Ｘからｍ次元特徴Ｘ′が選択され
る。That is, the input feature (n-dimensional feature extracted by the feature extraction unit 12) is an n-dimensional vector X = (x1,
, xn) T (where T is a symbol representing transposition), and the feature selection dictionary 16 is represented by P in an m × n matrix, in step S2, the following equation X '= PX ... According to (1), the m-dimensional feature X ′ is selected from the n-dimensional feature X.
【００２８】この特徴選択辞書１６（＝Ｐ）は、多数の
学習パターンから抽出した特徴ベクトルを用いて、例え
ば以下の手順で設計される。まず、辞書作成に使用する
ｎ次元特徴ベクトル集合を｛Ｘ1 ，Ｘ2 ，…，ＸN｝と
する。これから、次式（２）に従ってｎ×ｎ行列Ｋを計
算する。The feature selection dictionary 16 (= P) is designed, for example, by the following procedure using feature vectors extracted from many learning patterns. First, the set of n-dimensional feature vectors used for creating the dictionary is {X1, X2, ..., XN}. From this, the n × n matrix K is calculated according to the following equation (2).
【００２９】[0029]
【数１】 [Equation 1]
【００３０】次に、この行列Ｋの固有ベクトルを対応す
る固有値の大きい順にφ1 ，φ2 ，…として、 Ｐ＝（φ1 φ2 …φm ）T …（３） で定義されるｍ×ｎ行列Ｐを特徴選択辞書１６とする。
上記行列Ｋの固有ベクトルは、対応する固有値の大きい
順に、特徴ベクトル集合の分布の第１軸、第２軸、…を
表現している。Next, the eigenvectors of this matrix K are set as φ1, φ2, ... In descending order of the corresponding eigenvalues, and the m × n matrix P defined by P = (φ1 φ2 ... φm) T (3) is selected. Dictionary 16
The eigenvectors of the matrix K represent the first axis, the second axis, ... Of the distribution of the feature vector set in descending order of the corresponding eigenvalues.
【００３１】ここで、上記式（１）より、Ｘ′＝（ｘ′
1 ，ｘ′2 ，…，ｘ′n ）T とした場合に、 ｘ′i ＝（Ｘ，φi ） …（４） であるから、即ちｘ′i はＸとφi との内積であるか
ら、上記のようにして求められた特徴選択辞書１６（＝
Ｐ）による特徴選択は、学習特徴ベクトル集合の主成分
空間への射影という意味を持つ。なお、固有値φi に対
応する固有値をλi とした場合に、ｍ×ｎ行列Ｐ（特徴
選択辞書１６）を次式のようにしてもよい。From the above equation (1), X '= (x'
1, x'2, ..., X'n) T , x'i = (X, φi) (4), that is, x'i is the inner product of X and φi. The feature selection dictionary 16 (=
The feature selection by P) has the meaning of projecting the learning feature vector set onto the principal component space. When the eigenvalue corresponding to the eigenvalue φi is λi, the m × n matrix P (feature selection dictionary 16) may be expressed by the following equation.
【００３２】[0032]
【数２】 [Equation 2]
【００３３】このｍ×ｎ行列Ｐ（特徴選択辞書１６）
は、各主軸への学習パターンの射影値の分散を正規化し
たものである。さて、特徴選択部１３により上記（１）
式に従って選択されたｍ次元特徴（特徴ベクトル）Ｘ′
は識別部１４に渡される。識別部１４は、この選択され
た特徴ベクトルＸ′を認識辞書１７と照合し、カテゴリ
に分類することで、認識候補を出力する識別処理を行う
（ステップＳ３）。このステップＳ３の詳細は次の通り
である。This m × n matrix P (feature selection dictionary 16)
Is the normalized variance of the projection value of the learning pattern on each principal axis. By the feature selecting unit 13, the above (1)
M-dimensional feature (feature vector) X ′ selected according to the formula
Is passed to the identification unit 14. The identification unit 14 collates the selected feature vector X ′ with the recognition dictionary 17 and classifies the feature vectors X ′ into categories to perform identification processing for outputting recognition candidates (step S3). The details of this step S3 are as follows.
【００３４】まず、認識辞書１７は、カテゴリ毎に参照
ベクトルと呼ぶ、そのカテゴリを代表するベクトルを１
つ以上有し、全カテゴリで合計Ｍ個（Ｍはカテゴリ数以
上）のｍ次元参照ベクトル集合｛Ｒ1 ，Ｒ2 ，…，ＲM
｝からなる。First, the recognition dictionary 17 calls a reference vector for each category, and a vector representing that category is 1
More than one, and a total of M (M is more than the number of categories) m-dimensional reference vector sets {R1, R2, ..., RM in all categories
} Consists of.
【００３５】このような認識辞書１７の構造の場合、識
別部１４は、特徴選択部１３により選択されたｍ次元の
特徴ベクトルＸ′と認識辞書１７を構成する各参照ベク
トルＲi （ｉ＝１〜Ｍ）との距離ｄ（Ｘ′，Ｒi ）を次
式に従って計算する。In the case of the structure of the recognition dictionary 17 as described above, the identification unit 14 determines the m-dimensional feature vector X'selected by the feature selection unit 13 and each reference vector Ri (i = 1 to 1) that constitutes the recognition dictionary 17. The distance d (X ', Ri) from M) is calculated according to the following equation.
【００３６】 ｄ（Ｘ′，Ｒi ）＝（Ｘ′−Ｒi ）2 …（６） 次に識別部１４は、上記（６）式に従って算出した距離
の小さい順に（即ち両ベクトルＸ′，Ｒi の一致度を示
す評価値の大きい順に）、対応する参照ベクトルＲi の
属するカテゴリを、認識候補として認識結果出力部１５
に出力する。D (X ', Ri) = (X'-Ri) 2 (6) Next, the identifying unit 14 orders the distances calculated in accordance with the above equation (6) in ascending order (that is, the two vectors X', Ri The recognition result output unit 15 selects the category to which the corresponding reference vector Ri belongs as a recognition candidate in the descending order of the evaluation value indicating the matching degree).
Output to
【００３７】認識結果出力部１５は、これを受けて識別
部１４から出力される認識候補を図示せぬ表示装置に表
示出力する。以上が、認識処理の手順である。この認識
処理から明らかなように、特徴選択辞書１６の容量は選
択特徴ベクトルＸ′の次元数に比例する。また、参照ベ
クトルＲi の次元数は、選択特徴ベクトルＸ′の次元数
に一致するので、認識辞書１７の容量も選択特徴ベクト
ルＸ′の次元数に比例する。In response to this, the recognition result output unit 15 displays and outputs the recognition candidates output from the identification unit 14 on a display device (not shown). The above is the procedure of the recognition process. As is clear from this recognition processing, the capacity of the feature selection dictionary 16 is proportional to the number of dimensions of the selection feature vector X '. Since the number of dimensions of the reference vector Ri matches the number of dimensions of the selected feature vector X ', the capacity of the recognition dictionary 17 is also proportional to the number of dimensions of the selected feature vector X'.
【００３８】一方、認識処理に要する計算量（積和の演
算回数）は、特徴選択部１３と識別部１４とで、 特徴選択部１３：（特徴ベクトル次元数）×（選択特徴
ベクトルの次元数）回 識別部１４：（全参照ベクトル数）×（選択特徴ベクト
ルの次元数）回 のようになり、やはり選択特徴ベクトルの次元数に比例
する。On the other hand, the amount of calculation required for the recognition processing (the number of times of product sum calculation) is calculated by the feature selecting unit 13 and the identifying unit 14 as follows: Feature selecting unit 13: (feature vector dimension number) × (feature vector dimension number) ) Times identification section 14: (total number of reference vectors) × (number of dimensions of selected feature vector) times, which is also proportional to the number of dimensions of the selected feature vector.
【００３９】以上のことから、選択特徴ベクトルの次元
数を低くするほど、認識辞書１７の容量（辞書容量）を
小さくでき、少ない演算量（計算量）で認識処理を実行
できることになる。ここで、実際の選択特徴ベクトルの
次元数は、本装置に要求される辞書容量と、計算量の制
約により決定される。From the above, the capacity of the recognition dictionary 17 (dictionary capacity) can be reduced as the number of dimensions of the selected feature vector is reduced, and the recognition processing can be executed with a small amount of calculation (computation amount). Here, the number of dimensions of the actual selected feature vector is determined by the dictionary capacity required for this apparatus and the constraint of the amount of calculation.
【００４０】明らかなように、選択特徴ベクトルの次元
数を低くするほど、辞書容量、計算量の面からは有利に
なるが、その反面、認識辞書１７の情報量は落ちるた
め、認識性能の低下が予想される。As is apparent, the lower the number of dimensions of the selected feature vector is, the more advantageous it is in terms of the dictionary capacity and the amount of calculation, but on the other hand, the information amount of the recognition dictionary 17 decreases, so that the recognition performance deteriorates. Is expected.
【００４１】そこで本装置では、実際に学習パターンを
認識させてみて、誤認識をできるだけ少なくするよう
に、以下に述べる認識辞書１７を修正するという競合学
習を導入することにより、認識性能の向上を図ってい
る。 （ｂ）辞書学習モードでの学習処理（認識辞書修正処
理） 以下、図１の装置が辞書学習モードに設定された場合に
おける学習処理について、図４のフローチャートを参照
して説明する。Therefore, in this apparatus, recognition performance is improved by actually recognizing a learning pattern and introducing competitive learning in which the recognition dictionary 17 described below is modified so as to reduce erroneous recognition as much as possible. I am trying. (B) Learning process in dictionary learning mode (recognition dictionary correction process) Hereinafter, the learning process when the apparatus of FIG. 1 is set to the dictionary learning mode will be described with reference to the flowchart of FIG.
【００４２】まず、前記したような、カテゴリ毎に参照
ベクトルと呼ぶ、そのカテゴリを代表するベクトルを１
つ以上有し、全カテゴリで合計Ｍ個のｍ次元参照ベクト
ル集合｛Ｒ1 ，Ｒ2 ，…，ＲM ｝からなる、初期状態の
認識辞書１７を作成しておく。この初期状態の認識辞書
１７を構成する各参照ベクトルは、例えば、カテゴリ毎
にそのカテゴリに属する複数の学習パターンの選択特徴
ベクトルの平均ベクトルとして設計されたものである。
各カテゴリの参照ベクトルの個数は１つ以上であれば幾
つでもよく、複数の場合には、初期値は全て平均ベクト
ルと同じにすればよい。First, a vector which is called a reference vector for each category, as described above, and which represents the category is 1
An initial state recognition dictionary 17 having one or more and a total of M m-dimensional reference vector sets {R1, R2, ..., RM} in all categories is created. Each reference vector forming the recognition dictionary 17 in the initial state is designed as an average vector of selection feature vectors of a plurality of learning patterns belonging to each category, for example.
The number of reference vectors in each category may be any number as long as it is 1 or more. In the case of a plurality, the initial values may all be the same as the average vector.
【００４３】さて、図１の装置において辞書学習モード
が設定された場合、制御部は、例えば磁気ディスク装置
等の外部記憶装置に予め登録されている全ての学習パタ
ーンをデータ入力部１１により順次入力させ、その都
度、その学習パターンを（図２のフローチャートで示さ
れる手順で）実際に認識させて、その認識結果をもとに
認識辞書１７を修正するという一連の操作を、図４のフ
ローチャートに従って目標とする学習回数（目標学習回
数）だけ繰り返し行う。Now, when the dictionary learning mode is set in the apparatus of FIG. 1, the control section sequentially inputs all the learning patterns registered in advance in an external storage device such as a magnetic disk device through the data input section 11. Then, each time, the learning pattern is actually recognized (by the procedure shown in the flowchart of FIG. 2), and the recognition dictionary 17 is corrected based on the recognition result. Repeat as many times as the target number of learning (target learning number).
【００４４】即ち、学習回数をカウントするカウンタ値
ｔを初期値０に設定した後（ステップＳ１１）、そのカ
ウンタ値ｔが目標学習回数（指定の学習回数）に達して
いないならば（ステップＳ１２）、認識の対象とする学
習パターンをカウントするカウンタ値ｉを初期値０に設
定する（ステップＳ１３）。そして、カウンタ値ｉが予
め定められた（指定の）学習パターン数に達していない
ことから（ステップＳ１４）、ｉ番目の学習パターン
（第ｉ学習パターン）を図１の装置に与えて、図２のフ
ローチャートで示される手順で認識させ（ステップＳ１
５）、その認識結果をもとに、認識辞書修正部１８によ
り、認識辞書１７を修正させる（ステップＳ１６）。こ
のステップＳ１６での修正処理の詳細は後述する。That is, after setting the counter value t for counting the number of learning times to the initial value 0 (step S11), if the counter value t has not reached the target learning number (specified learning number) (step S12). , A counter value i for counting learning patterns to be recognized is set to an initial value 0 (step S13). Then, since the counter value i has not reached the predetermined (specified) number of learning patterns (step S14), the i-th learning pattern (i-th learning pattern) is given to the apparatus of FIG. The procedure shown in the flowchart of FIG.
5) Based on the recognition result, the recognition dictionary correction unit 18 corrects the recognition dictionary 17 (step S16). Details of the correction process in step S16 will be described later.
【００４５】ステップＳ１６が終了すると、カウンタ値
ｉが＋１され（ステップＳ１７）、しかる後、上記ステ
ップＳ１４以降の処理、即ち次の学習パターンについて
の認識処理と、その認識処理の結果を用いた認識辞書１
７の修正処理が行われる。When step S16 is completed, the counter value i is incremented by 1 (step S17), and thereafter, the processes after step S14, that is, the recognition process for the next learning pattern and the recognition using the result of the recognition process are performed. Dictionary 1
Correction processing of No. 7 is performed.
【００４６】やがて、予め定められた学習パターン数分
の学習パターンについての認識処理と、その認識処理の
結果を用いた認識辞書１７の修正処理が全て実行される
と、ステップＳ１４からステップＳ１８に進み、カウン
タ値ｔが＋１される。そして、この＋１後のカウンタ値
ｔ（実際に行われた学習回数ｔ）が目標学習回数に達し
ていないならば（ステップＳ１２）、上記ステップＳ１
３以降の処理が再び行われる。Eventually, when the recognition processing for the learning patterns for the predetermined number of learning patterns and the correction processing of the recognition dictionary 17 using the result of the recognition processing are all executed, the process proceeds from step S14 to step S18. , The counter value t is incremented by one. If the counter value t after +1 (the number of times of learning t actually performed) has not reached the target number of times of learning (step S12), the above step S1.
The processes after 3 are performed again.
【００４７】やがて、カウンタ値ｔが目標学習回数に達
すると、図４のフローチャートに従う一連の学習処理は
終了となる。ここで、認識辞書修正部１８による上記ス
テップＳ１６での認識辞書修正処理は、ステップＳ１５
で学習パターンを認識させたときの誤認識による損失を
定義して、その損失を小さくする方向に参照ベクトルを
修正していくことにより行われ、その詳細は次の通りで
ある。When the counter value t eventually reaches the target learning number, the series of learning processes according to the flowchart of FIG. 4 is completed. Here, the recognition dictionary correction processing in step S16 by the recognition dictionary correction unit 18 is performed in step S15.
This is done by defining the loss due to erroneous recognition when the learning pattern is recognized in step S1, and modifying the reference vector in the direction of reducing the loss. The details are as follows.
【００４８】まず本実施形態では、ある学習パターンの
選択特徴ベクトルＸ′k を認識させた場合に、その学習
パターンと同一カテゴリ（正解カテゴリ）の参照ベクト
ルのうち最も上位候補であった参照ベクトルをＲi 、そ
の学習パターンと異なるカテゴリ（不正解カテゴリ）の
参照ベクトルのうち最も上位候補であった参照ベクトル
をＲj とした場合に、Ｘ′k を認識させたときの損失関
数ｈ（Ｘ′k ）を次のように定義する。First, in the present embodiment, when the selected feature vector X'k of a certain learning pattern is recognized, the reference vector which is the highest candidate among the reference vectors of the same category (correct category) as the learning pattern is selected. Ri, a loss function h (X'k) when X'k is recognized, where Rj is the reference vector which is the highest candidate among reference vectors of a category (incorrect solution category) different from the learning pattern. Is defined as follows.
【００４９】 ｈ（Ｘ′k ）＝ｆ（ｇ（Ｘ′k ）） …（７） ｇ（Ｘ′k ）＝ｄ（Ｘ′k ，Ｒi ）−ｄ（Ｘ′k ，Ｒj ） …（８） ｆ（ｘ）＝１／｛１＋ｅｘｐ（−αｘ）｝ （α＞０）…（９） ここで、関数ｄ（Ｘ′k ，Ｒi ），ｄ（Ｘ′k ，Ｒj ）
は前記（６）式で定義した距離関数であり、前者は、学
習パターンと同一カテゴリの参照ベクトルのうち最上位
候補との一致度（距離が大きいほど一致度は低くなる）
を表し、後者は学習パターンと異なるカテゴリの参照ベ
クトルのうち最上位候補との一致度を表す。また、関数
ｆ（ｘ）は図５に示すようなシグモイド関数である。H (X'k) = f (g (X'k)) (7) g (X'k) = d (X'k, Ri) -d (X'k, Rj) (8) ) F (x) = 1 / {1 + exp (-αx)} (α> 0) (9) Here, the function d (X'k, Ri), d (X'k, Rj)
Is the distance function defined by the equation (6), and the former is the degree of agreement with the highest-ranking candidate among the reference vectors of the learning pattern and the same category (the greater the distance, the lower the degree of agreement).
The latter represents the degree of coincidence with the highest-ranking candidate among reference vectors in a category different from the learning pattern. The function f (x) is a sigmoid function as shown in FIG.
【００５０】以上のように定義された損失関数ｈ（Ｘ′
k ）は、学習パターンの選択特徴ベクトルＸ′k と正解
カテゴリの参照ベクトルとの距離が、不正解カテゴリと
の距離よりも小さいほど小さい値（ここでは０に近い
値）となり、逆に大きいほど大きい値（ここでは１に近
い値）となることから、誤認識の度合いを表す評価関数
となっていることは明らかである。The loss function h (X 'defined as above
k) becomes a smaller value (a value closer to 0 here) as the distance between the selected feature vector X′k of the learning pattern and the reference vector of the correct category becomes smaller than the distance to the incorrect category, and conversely, becomes larger. Since it is a large value (here, a value close to 1), it is clear that it is an evaluation function representing the degree of misrecognition.
【００５１】これにより、全ての学習パターンの選択特
徴ベクトル｛Ｘ′k ｜ｋ＝１，…，Ｎ｝についての、損
失関数ｈ（Ｘ′k ）の平均Ｌを、次式（１０）のように
定めると、この値Ｌが小さいほど良い識別系であるとい
える。As a result, the average L of the loss function h (X'k) for the selected feature vectors {X'k | k = 1, ..., N} of all learning patterns is given by the following equation (10). It can be said that the smaller the value L, the better the discrimination system.
【００５２】[0052]
【数３】 (Equation 3)
【００５３】しかし、上記式（１０）に示すＬ（関数
Ｌ）を最小とするような参照ベクトルを解析的に求める
ことは困難である。そこで本実施形態では、認識辞書修
正部１８での認識辞書修正処理に周知の最急勾配法（最
急降下法）を用いることにより、少しずつ参照ベクトル
を修正（更新）していき、極小解を求めるようにしてい
る。However, it is difficult to analytically obtain a reference vector that minimizes L (function L) shown in the above equation (10). Therefore, in the present embodiment, the well-known steepest gradient method (steepest descent method) is used for the recognition dictionary correction processing in the recognition dictionary correction unit 18, so that the reference vector is corrected (updated) little by little to obtain a minimal solution. I try to ask.
【００５４】具体的には、学習パターンの選択特徴ベク
トルＸ′k を識別部１４により認識させ、その学習パタ
ーンと同一カテゴリ（正解カテゴリ）の参照ベクトルの
うち最も上位候補であった参照ベクトルＲi と、学習パ
ターンと異なるカテゴリ（不正解カテゴリ）の参照ベク
トルのうち最も上位候補であった参照ベクトルＲj と
を、損失関数ｈ（Ｘ′k ）を参照ベクトルＲi ，Ｒj で
微分した値、即ち参照ベクトル空間における損失関数ｈ
（Ｘ′k ）の勾配を用いて、次のようなルールに従い損
失関数ｈ（Ｘ′k ）が減少する方向に認識辞書修正部１
８にて少しずつ修正（更新）する。Specifically, the discriminator 14 recognizes the selected feature vector X'k of the learning pattern, and the reference vector Ri which is the highest candidate among the reference vectors of the same category (correct category) as the learning pattern. , A value obtained by differentiating the loss function h (X'k) by the reference vectors Ri and Rj from the reference vector Rj which was the highest candidate among the reference vectors of the category (incorrect answer category) different from the learning pattern, that is, the reference vector Loss function h in space
Using the gradient of (X'k), the recognition dictionary correction unit 1 is directed in the direction in which the loss function h (X'k) decreases according to the following rules.
Correct (update) little by little at 8.
【００５５】[0055]
【数４】 (Equation 4)
【００５６】なお、上記のルール中のε（ｔ）は学習の
速度を決めるためのもので、正の値をとるカウンタ値ｔ
（学習パターン提示回数ｔ）の減少関数であり、例え
ば、ε（ｔ）＝１／（ｔ＋１０）が用いられる。Note that ε (t) in the above rule is for determining the learning speed, and is a counter value t that takes a positive value.
This is a decreasing function of (the learning pattern presentation count t), and for example, ε (t) = 1 / (t + 10) is used.
【００５７】このようなルールで認識辞書１７の修正を
指定回数繰り返すことにより、誤認識による損失が小さ
い認識辞書１７、即ち誤認識の少ない認識性能の良い認
識辞書１７に修正することができる。By repeating the correction of the recognition dictionary 17 a specified number of times according to such a rule, it is possible to correct the recognition dictionary 17 with a small loss due to erroneous recognition, that is, the recognition dictionary 17 with good recognition performance with few erroneous recognitions.
【００５８】図１の装置で、上記のようにして修正され
た認識辞書１７を用いて手書き文字認識を行った場合
の、計算量（認識辞書容量）に対する認識性能（認識
率）を表す折れ線グラフを、従来手法である部分空間法
と対比させて図６に示す。なお、ここでの認識対象は片
仮名文字である。A line graph showing the recognition performance (recognition rate) with respect to the amount of calculation (recognition dictionary capacity) when handwritten character recognition is performed using the recognition dictionary 17 modified as described above in the apparatus of FIG. Is shown in FIG. 6 in comparison with the conventional subspace method. The recognition target here is a katakana character.
【００５９】図６中、横軸は、（従来から知られてい
る）２５６次元特徴の１６次元部分空間による部分空間
法の積和演算量を１とした場合の積和演算量の比を表し
ており、対数スケールとなっている。この積和演算量の
比は認識辞書容量の比と考えても同じである。一方、縦
軸は、認識率を表している。In FIG. 6, the horizontal axis represents the ratio of the product-sum operation amount when the product-sum operation amount of the subspace method using the 16-dimensional subspace of the 256-dimensional feature (which is conventionally known) is 1. It has a logarithmic scale. The ratio of the product-sum calculation amount is the same as the ratio of the recognition dictionary capacity. On the other hand, the vertical axis represents the recognition rate.
【００６０】さて、図６中、符号６１で示される折れ線
グラフは、本実施形態の装置における認識性能を表して
おり、２５６次元特徴からそれぞれ１６次元特徴、３２
次元特徴、６４次元特徴、１２８次元特徴を選択した場
合に、参照ベクトルを各カテゴリにつき１つとして認識
した場合の認識結果（認識率）を線でつないだものであ
る。A line graph indicated by reference numeral 61 in FIG. 6 represents the recognition performance in the apparatus of this embodiment, and is composed of 256-dimensional features, 16-dimensional features, and 32-dimensional features, respectively.
When dimensional features, 64 dimensional features and 128 dimensional features are selected, the recognition result (recognition rate) when the reference vector is recognized as one for each category is connected by a line.
【００６１】次に、符号６２で示される折れ線グラフ
は、特徴選択をしていない２５６次元特徴をそのまま使
用して、その２５６次元特徴に対して部分空間法を適用
した手法の認識性能を示しており、部分空間次元数を１
次元、２次元、４次元、８次元、１６次元にした場合の
認識結果を線でつないだものである。Next, the line graph indicated by the reference numeral 62 shows the recognition performance of the method in which the 256-dimensional feature without feature selection is used as it is and the subspace method is applied to the 256-dimensional feature. And the number of subspace dimensions is 1
The recognition results in the case of dimension, dimension 2, dimension 4, dimension 8, dimension 16 are connected by lines.
【００６２】同様に、符号６３，６４，６５，６６で示
される折れ線グラフは、それぞれ１６次元特徴、３２次
元特徴、６４次元特徴、１２８次元特徴を選択し、その
選択した特徴に対して部分空間法を適用した手法（特徴
選択＋部分空間法）の認識性能を示しており、いずれも
部分空間次元数を１次元、２次元、４次元、８次元、１
６次元にした場合の認識結果を線でつないだものであ
る。このグラフ６３〜６６の例では、特徴選択を行うこ
とで、グラフ６２の例と比べて積和演算量及び認識辞書
容量を減らしてはいるが、本実施形態のように認識辞書
修正を行っていないため、認識性能は劣る。Similarly, the line graphs indicated by reference numerals 63, 64, 65, 66 select 16-dimensional features, 32-dimensional features, 64-dimensional features, and 128-dimensional features, respectively, and select the subspace for the selected features. The recognition performance of the method (feature selection + subspace method) to which the method is applied is shown. In all cases, the number of subspace dimensions is 1, 2, 4, 8 or 1.
The recognition results in the case of 6 dimensions are connected by lines. In the examples of the graphs 63 to 66, the feature selection is performed to reduce the product-sum calculation amount and the recognition dictionary capacity as compared with the example of the graph 62, but the recognition dictionary is corrected as in the present embodiment. Therefore, the recognition performance is inferior.
【００６３】即ち、従来から知られている、部分空間法
と、特徴選択＋部分空間法とを比較すると、特徴選択＋
部分空間法では、例えば６４次元特徴を選択して積和演
算量を１／４にしても、部分空間法と同程度の認識性能
が得られることが分かる。しかし、それ以上選択次元数
を下げると、認識性能が著しく低下する。That is, comparing the conventionally known subspace method with the feature selection + subspace method, the feature selection +
It can be seen that in the subspace method, the recognition performance equivalent to that of the subspace method can be obtained even if, for example, a 64-dimensional feature is selected and the sum of products calculation amount is set to 1/4. However, if the number of selected dimensions is further reduced, the recognition performance is significantly reduced.
【００６４】次に、部分空間法と本実施形態での手法と
を比較すると、本実施形態での手法では、積和演算量を
約１／３０にしても、部分空間法と同程度の認識性能が
得られることが分かる。Next, comparing the subspace method with the method of the present embodiment, the method of the present embodiment recognizes the same degree of recognition as the subspace method even when the product-sum calculation amount is about 1/30. It can be seen that the performance can be obtained.
【００６５】このように、図６からは、本実施形態での
手法は、特徴選択によって認識処理に必要な計算量を低
く押さえると共に、認識辞書１７を学習により修正する
ことで、高い認識精度を維持できることが読み取れ、本
実施形態での手法の効果が確認できる。 ［第２の実施形態］図７は本発明の第２の実施形態に係
るパターン認識装置の概略構成を示すブロック図であ
る。この図７の構成の特徴は、図１の構成に、識別部１
４の認識結果に基づいて誤認識の度合いを検出し、その
誤認識の度合いが小さくなるように特徴選択辞書１６を
修正する特徴選択辞書修正部１９を追加した点にあり、
辞書学習モードにおいて、認識辞書１７だけでなく特徴
選択辞書１６も修正する点で、図１の構成と異なってい
る。即ち、図１の構成では、主成分分析により作成した
特徴選択辞書１６をそのまま使用していたが、図７の構
成では、当該特徴選択辞書１６を学習により修正するこ
とで、更に識別に有利な特徴選択を可能とし、認識性能
の一層の向上を図るようにしている。なお、認識モード
での認識処理は、前記第１の実施形態と同様に図２のフ
ローチャートに従って行われる。As described above, from FIG. 6, the method according to the present embodiment suppresses the amount of calculation required for the recognition processing by feature selection and corrects the recognition dictionary 17 by learning, thereby achieving high recognition accuracy. It can be read that it can be maintained, and the effect of the method in this embodiment can be confirmed. [Second Embodiment] FIG. 7 is a block diagram showing the schematic arrangement of a pattern recognition apparatus according to the second embodiment of the present invention. The feature of the configuration of FIG. 7 is that the identification unit 1 is different from that of FIG.
The feature selection dictionary correction unit 19 that detects the degree of erroneous recognition based on the recognition result of No. 4 and corrects the feature selection dictionary 16 so as to reduce the degree of erroneous recognition is added.
In the dictionary learning mode, the feature selection dictionary 16 as well as the recognition dictionary 17 is modified, which is different from the configuration of FIG. That is, in the configuration of FIG. 1, the feature selection dictionary 16 created by the principal component analysis is used as it is, but in the configuration of FIG. 7, the feature selection dictionary 16 is corrected by learning, which is more advantageous for identification. It enables feature selection and further improves recognition performance. The recognition process in the recognition mode is performed according to the flowchart of FIG. 2 as in the first embodiment.
【００６６】以下、辞書学習モード時の動作（学習処
理）を特徴選択辞書修正部１９による特徴選択辞書修正
処理を中心に図８のフローチャートを参照して説明す
る。図７の装置において辞書学習モードが設定された場
合、制御部は、外部記憶装置に予め登録されている全て
の学習パターンをデータ入力部１１により順次入力さ
せ、その都度、その学習パターンを（図２のフローチャ
ートで示される手順で）実際に認識させ、その認識結果
をもとに認識辞書１７及び特徴選択辞書１６を修正する
という操作を、図８のフローチャートに従って目標とす
る学習回数だけ繰り返し行う（ステップＳ２１〜Ｓ２
７）。前記第１の実施形態との違いは、第１の実施形態
におけるステップＳ１６に相当する修正処理ステップＳ
２６で、認識辞書１７だけでなく特徴選択辞書１６も修
正する点である。The operation (learning process) in the dictionary learning mode will be described below with reference to the flowchart of FIG. 8 centering on the feature selection dictionary correction process by the feature selection dictionary correction unit 19. When the dictionary learning mode is set in the device of FIG. 7, the control unit causes the data input unit 11 to sequentially input all the learning patterns registered in advance in the external storage device, and each time the learning pattern is set (see FIG. The operation of actually recognizing and correcting the recognition dictionary 17 and the feature selection dictionary 16 based on the recognition result is repeated by the target number of times of learning according to the flowchart of FIG. 8 (in the procedure shown in the flowchart of FIG. 2) ( Steps S21 to S2
7). The difference from the first embodiment is that the correction processing step S corresponding to step S16 in the first embodiment.
In 26, not only the recognition dictionary 17 but also the feature selection dictionary 16 is corrected.
【００６７】このステップＳ２６における認識辞書１７
及び特徴選択辞書１６の修正は、前記第１の実施形態と
同様な損失関数ｈ（Ｘ′k ）＝ｈ（ＰＸk ）を定義し
て、これを小さくする方向に最急勾配法（最急降下法）
で特徴選択辞書１６を修正していくことにより次のよう
に行われる。但し、本実施形態で適用される初期状態の
特徴選択辞書１６（＝Ｐ）は、前記第１の実施形態の場
合と同様に主成分分析により作成されたものであるとす
る。また。初期状態の認識辞書１７は、この初期状態の
特徴選択辞書１６を用いて前記第１の実施形態の場合と
同様に主成分分析により作成されたものであるとする。Recognition dictionary 17 in step S26
And the feature selection dictionary 16 is modified by defining a loss function h (X'k) = h (PXk) similar to that of the first embodiment, and using the steepest gradient method (steepest descent method) in the direction of decreasing it. )
Then, the feature selection dictionary 16 is modified to perform as follows. However, it is assumed that the initial state feature selection dictionary 16 (= P) applied in this embodiment is created by the principal component analysis as in the case of the first embodiment. Also. It is assumed that the recognition dictionary 17 in the initial state is created by the principal component analysis using the feature selection dictionary 16 in the initial state as in the case of the first embodiment.
【００６８】[0068]
【数５】 (Equation 5)
【００６９】ここでは、式（１５）、式（１８）によ
り、損失関数ｈ（Ｘ′k ）＝ｈ（ＰＸk ）を特徴選択辞
書（特徴選択辞書行列）Ｐで微分した値、即ち特徴選択
辞書参照パラメータ空間における損失関数ｈ（Ｘ′k ）
＝ｈ（ＰＸk ）の勾配を用いて、特徴選択辞書Ｐ、即ち
特徴選択辞書１６が修正される。In this case, a value obtained by differentiating the loss function h (X'k) = h (PXk) by the feature selection dictionary (feature selection dictionary matrix) P according to the equations (15) and (18), that is, the feature selection dictionary. Loss function h (X'k) in the reference parameter space
= H (PXk) gradient is used to modify the feature selection dictionary P, ie the feature selection dictionary 16.
【００７０】一方、参照ベクトルＲi の修正（式（１
６）、式（１９））と参照ベクトルＲj の修正（式（１
７）、式（２０））は、前記第１の実施形態における参
照ベクトルＲi の修正（式（１１）、式（１３））と参
照ベクトルＲj の修正（（式（１２）、式（１４））と
同様である。On the other hand, the modification of the reference vector Ri (equation (1
6), equation (19)) and modification of the reference vector Rj (equation (1
7) and equation (20)) are modifications of the reference vector Ri (equations (11) and (13)) and reference vector Rj ((equations (12) and (14)) in the first embodiment. ) Is the same.
【００７１】このようなルールで認識辞書１７及び特徴
選択辞書１６の修正を指定回数繰り返すことにより、誤
認識による損失が小さい認識辞書１７及び特徴選択辞書
１６に修正することができる。By repeating the correction of the recognition dictionary 17 and the feature selection dictionary 16 a specified number of times according to such rules, the recognition dictionary 17 and the feature selection dictionary 16 can be corrected with a small loss due to erroneous recognition.
【００７２】図７の装置（本実施形態の認識手法）で、
上記のようにして修正された認識辞書１７及び特徴選択
辞書１６を用いて類似文字の認識（識別）を行った場合
の認識性能を、図１の装置（第１の実施形態の認識手
法）での認識性能及び従来の手法である特徴選択＋部分
空間法での認識性能と対比させて図９に示す。この例で
は、特徴選択により６４次元特徴を選択しているものと
する。また、部分空間法では３次元の部分空間を利用
し、前記第１の実施形態及び本実施形態（第２の実施形
態）では、参照ベクトル数を各カテゴリ３つとして、同
じ計算量で比較している。In the apparatus of FIG. 7 (recognition method of this embodiment),
The recognition performance when the recognition (identification) of similar characters is performed using the recognition dictionary 17 and the feature selection dictionary 16 modified as described above is performed by the apparatus of FIG. 1 (the recognition method of the first embodiment). 9 and the recognition performance of the feature selection + subspace method, which is a conventional method, are shown in FIG. In this example, it is assumed that 64-dimensional features are selected by feature selection. In the subspace method, a three-dimensional subspace is used. In the first embodiment and the present embodiment (second embodiment), the number of reference vectors is set to three in each category, and comparison is performed with the same calculation amount. ing.
【００７３】図９から明らかなように、第２の実施形態
の認識手法は、従来手法は勿論、前記第１の実施形態よ
り高い認識性能が実現できる。なお、前記実施形態（第
１及び第２の実施形態）における辞書学習モードでは、
予め用意されている複数の学習パターンを１パターンず
つ入力し、その都度、その学習パターンを実際に認識さ
せて、その認識結果をもとに辞書（認識辞書１７、或い
は認識辞書１７と特徴選択辞書１６）を修正するという
一連の操作を、目標学習回数だけ繰り返すものとした
が、これに限るものではない。例えば、１つの学習パタ
ーンについて、その学習パターンを入力して実際に認識
させ、その認識結果をもとに辞書を修正するという操作
を目標学習回数だけ繰り返すと、次の学習パターンに切
り替えるようにしても構わない。但し、この方式では、
１つの学習パターンを用いた辞書の学習処理が目標学習
回数繰り返されないと、次の学習パターンに切り替えら
れないため、一連の学習処理の終了後の辞書（認識辞書
１７、或いは認識辞書１７と特徴選択辞書１６）には、
一連の学習処理の早い段階で用いられた学習パターン
（のカテゴリ）についての学習結果は反映されなくなる
虞がある。したがって、前記実施形態で適用した手順で
学習処理を行った方が学習効果を高めることができる。As is apparent from FIG. 9, the recognition method of the second embodiment can realize higher recognition performance than the first embodiment, as well as the conventional method. In the dictionary learning mode in the above-described embodiment (first and second embodiments),
A plurality of learning patterns prepared in advance are input one by one, each time the learning pattern is actually recognized, and a dictionary (recognition dictionary 17, or recognition dictionary 17 and a feature selection dictionary is used based on the recognition result. Although the series of operations of correcting 16) is repeated the target number of times of learning, the present invention is not limited to this. For example, for one learning pattern, when the learning pattern is input, the recognition is actually performed, and the operation of correcting the dictionary based on the recognition result is repeated the target number of times of learning, the learning pattern is switched to the next learning pattern. I don't mind. However, in this method,
If the learning process of the dictionary using one learning pattern is not repeated the target learning times, the learning pattern cannot be switched to the next learning pattern. Therefore, the dictionary (recognition dictionary 17 or the recognition dictionary 17 The selection dictionary 16) contains
There is a possibility that the learning result of (the category of) the learning pattern used in the early stage of the series of learning processes may not be reflected. Therefore, the learning effect can be enhanced by performing the learning process according to the procedure applied in the above embodiment.
【００７４】[0074]
【発明の効果】以上詳述したように本発明によれば、特
徴選択により識別に使用する特徴量を削減するようにし
たので、認識辞書容量及び認識計算量を低く抑えること
ができ、しかも学習パターンに対する認識結果に基づい
て競合学習により認識辞書を修正するようにしたので、
その修正された認識辞書を使用した認識処理が可能とな
り、高精度の認識性能を実現できる。As described above in detail, according to the present invention, the feature amount used for the identification is reduced by the feature selection, so that the recognition dictionary capacity and the recognition calculation amount can be kept low, and the learning can be performed. Since the recognition dictionary is modified by competitive learning based on the recognition result for the pattern,
The recognition processing using the modified recognition dictionary becomes possible, and highly accurate recognition performance can be realized.
【００７５】また本発明によれば、認識辞書だけでな
く、特徴選択辞書も学習パターンに対する認識結果に基
づいて修正することで、その修正された特徴選択辞書を
用いた特徴選択が可能となって、識別に有効な特徴を選
択できるようになり、一層高精度の認識性能を実現でき
る。Further, according to the present invention, not only the recognition dictionary but also the feature selection dictionary is corrected based on the recognition result for the learning pattern, so that the feature selection using the corrected feature selection dictionary becomes possible. As a result, it becomes possible to select a feature that is effective for identification, and it is possible to realize more highly accurate recognition performance.
【図１】本発明の第１の実施形態に係るパターン認識装
置の概略構成を示すブロック図。FIG. 1 is a block diagram showing a schematic configuration of a pattern recognition device according to a first embodiment of the present invention.
【図２】図１の装置が認識モードに設定された場合にお
ける認識処理を説明するためのフローチャート。FIG. 2 is a flowchart for explaining a recognition process when the device of FIG. 1 is set to a recognition mode.
【図３】入力文字パターンからの特徴ベクトル抽出を説
明するための図。FIG. 3 is a diagram for explaining extraction of a feature vector from an input character pattern.
【図４】図１の装置が辞書学習モードに設定された場合
における認識辞書の学習処理を説明するためのフローチ
ャート。FIG. 4 is a flowchart for explaining a learning process of a recognition dictionary when the apparatus of FIG. 1 is set in a dictionary learning mode.
【図５】損失関数を定義するのに用いられるシグモイド
関数を示す図。FIG. 5 shows a sigmoid function used to define a loss function.
【図６】図１の装置における学習処理で修正された認識
辞書１７を用いて手書き文字認識を行った場合の、計算
量（認識辞書容量）に対する認識性能（認識率）を表す
折れ線グラフを、従来手法である部分空間法と対比させ
て示す図。6 is a line graph showing recognition performance (recognition rate) with respect to calculation amount (recognition dictionary capacity) when handwritten character recognition is performed using the recognition dictionary 17 corrected by the learning process in the apparatus of FIG. The figure shown in contrast with the conventional subspace method.
【図７】本発明の第２の実施形態に係るパターン認識装
置の概略構成を示すブロック図。FIG. 7 is a block diagram showing a schematic configuration of a pattern recognition device according to a second embodiment of the present invention.
【図８】図７の装置が辞書学習モードに設定された場合
における認識辞書及び特徴選択辞書の学習処理を説明す
るためのフローチャート。8 is a flowchart for explaining a learning process of a recognition dictionary and a feature selection dictionary when the apparatus of FIG. 7 is set in a dictionary learning mode.
【図９】図７の装置における学習処理で修正された認識
辞書１７及び特徴選択辞書１６を用いて類似文字の認識
（識別）を行った場合の認識性能を、図１の装置（第１
の実施形態の認識手法）での認識性能及び従来の手法で
ある特徴選択＋部分空間法での認識性能と対比させて示
す図。9 shows recognition performance when recognition (identification) of similar characters is performed using the recognition dictionary 17 and the feature selection dictionary 16 modified by the learning process in the apparatus of FIG.
FIG. 4 is a diagram showing the recognition performance of the recognition method of the embodiment of the present invention) and the recognition performance of the feature selection + subspace method which is a conventional method.
１１…データ入力部、 １２…特徴抽出部、 １３…特徴選択部、 １４…識別部、 １５…認識結果出力部、 １６…特徴選択辞書、 １７…認識辞書、 １８…認識辞書修正部、 １９…特徴選択辞書修正部。 11 ... Data input section, 12 ... Feature extraction section, 13 ... Feature selection section, 14 ... Identification section, 15 ... Recognition result output section, 16 ... Feature selection dictionary, 17 ... Recognition dictionary, 18 ... Recognition dictionary correction section, 19 ... Feature selection dictionary correction unit.
Claims (6)
を抽出する特徴ベクトル抽出手段と、 ｎ次元特徴ベクトルからｍ次元特徴ベクトル（ｍ＜ｎ）
を選択するのに用いられる特徴選択辞書と、 ｍ次元特徴ベクトルの認識に用いられるｍ次元参照ベク
トルの集合からなる認識辞書と、 前記特徴ベクトル抽出手段により抽出されたｎ次元特徴
ベクトルから前記特徴選択辞書を用いて認識に有効なｍ
次元特徴ベクトルを選択する特徴選択手段と、 前記特徴選択手段により選択されたｍ次元特徴ベクトル
と前記認識辞書とを照合することで評価値を算出し、そ
の算出結果に基づく順番で認識候補を出力する識別手段
と、 辞書学習モード時に、前記識別手段の出力結果に基づい
て誤認識の度合いを検出し、その誤認識の度合いが小さ
くなるように前記認識辞書を修正する認識辞書修正手段
とを具備することを特徴とするパターン認識装置。1. A feature vector extraction means for extracting an n-dimensional feature vector from an input pattern, and an m-dimensional feature vector (m <n) from the n-dimensional feature vector.
A feature selection dictionary used to select a feature vector, a recognition dictionary composed of a set of m-dimensional reference vectors used to recognize an m-dimensional feature vector, and the feature selection from the n-dimensional feature vector extracted by the feature vector extraction means. M effective for recognition using a dictionary
An evaluation value is calculated by collating the feature selection unit that selects a dimensional feature vector with the m-dimensional feature vector selected by the feature selection unit and the recognition dictionary, and the recognition candidates are output in the order based on the calculation result. And a recognition dictionary correction means for detecting the degree of erroneous recognition based on the output result of the identifying means in the dictionary learning mode and correcting the recognition dictionary so that the degree of erroneous recognition is reduced. A pattern recognition device characterized by:
を抽出する特徴ベクトル抽出手段と、 ｎ次元特徴ベクトルからｍ次元特徴ベクトル（ｍ＜ｎ）
を選択するのに用いられる特徴選択辞書と、 ｍ次元特徴ベクトルの認識に用いられるｍ次元参照ベク
トルの集合からなる認識辞書と、 前記特徴ベクトル抽出手段により抽出されたｎ次元特徴
ベクトルから前記特徴選択辞書を用いて認識に有効なｍ
次元特徴ベクトルを選択する特徴選択手段と、 前記特徴選択手段により選択されたｍ次元特徴ベクトル
と前記認識辞書とを照合することで評価値を算出し、そ
の算出結果に基づく順番で認識候補を出力する識別手段
と、 辞書学習モード時に、前記識別手段の出力結果に基づい
て誤認識の度合いを検出し、その誤認識の度合いが小さ
くなるように前記特徴選択辞書を修正する特徴選択辞書
修正手段と、 辞書学習モード時に、前記識別手段の出力結果に基づい
て誤認識の度合いを検出し、その誤認識の度合いが小さ
くなるように前記認識辞書を修正する認識辞書修正手段
とを具備することを特徴とするパターン認識装置。2. A feature vector extraction means for extracting an n-dimensional feature vector from an input pattern, and an m-dimensional feature vector (m <n) from the n-dimensional feature vector.
A feature selection dictionary used to select a feature vector, a recognition dictionary composed of a set of m-dimensional reference vectors used to recognize an m-dimensional feature vector, and the feature selection from the n-dimensional feature vector extracted by the feature vector extraction means. M effective for recognition using a dictionary
An evaluation value is calculated by collating the feature selection unit that selects a dimensional feature vector with the m-dimensional feature vector selected by the feature selection unit and the recognition dictionary, and the recognition candidates are output in the order based on the calculation result. Identifying means for detecting the degree of misrecognition based on the output result of the identifying means in the dictionary learning mode, and a feature selection dictionary modifying means for modifying the feature selection dictionary so that the degree of misrecognition becomes small. A recognition dictionary correction unit that detects a degree of erroneous recognition based on an output result of the identification unit in the dictionary learning mode and corrects the recognition dictionary so that the degree of erroneous recognition is reduced. Pattern recognition device.
を抽出し、この抽出したｎ次元特徴ベクトルから特徴選
択辞書を用いて認識に有効なｍ次元特徴ベクトル（ｍ＜
ｎ）を選択し、この選択したｍ次元特徴ベクトルとｍ次
元参照ベクトルの集合からなる認識辞書とを照合するこ
とで評価値を算出して、その算出結果に基づく順番で認
識候補を出力する認識処理を行うパターン認識装置にお
ける辞書修正方法であって、 辞書学習モード時に、多数の学習パターンを順次入力し
て、その都度その学習パターンを対象として前記認識処
理を行い、その認識処理の結果をもとに誤認識の度合い
を検出して、その誤認識の度合いが小さくなるように前
記認識辞書を修正する一連の処理を、予め定められた回
数だけ繰り返すようにしたことを特徴とするパターン認
識装置における辞書修正方法。3. An n-dimensional feature vector is extracted from an input pattern, and an m-dimensional feature vector (m <m <=
n) is selected, an evaluation value is calculated by collating the selected m-dimensional feature vector with a recognition dictionary composed of a set of m-dimensional reference vectors, and recognition candidates are output in the order based on the calculation result. A dictionary correction method in a pattern recognition device for performing a process, wherein a large number of learning patterns are sequentially input in a dictionary learning mode, the recognition process is performed for each learning pattern each time, and the result of the recognition process is also displayed. A pattern recognition device characterized in that a series of processes for detecting the degree of erroneous recognition and correcting the recognition dictionary so as to reduce the degree of erroneous recognition are repeated a predetermined number of times. Dictionary correction method in.
を抽出し、この抽出したｎ次元特徴ベクトルから特徴選
択辞書を用いて認識に有効なｍ次元特徴ベクトル（ｍ＜
ｎ）を選択し、この選択したｍ次元特徴ベクトルとｍ次
元参照ベクトルの集合からなる認識辞書とを照合するこ
とで評価値を算出して、その算出結果に基づく順番で認
識候補を出力する認識処理を行うパターン認識装置にお
ける辞書修正方法であって、 辞書学習モード時に、多数の学習パターンを順次入力し
て、その都度その学習パターンを対象として前記認識処
理を行い、その認識処理の結果をもとに誤認識の度合い
を検出して、その誤認識の度合いが小さくなるように前
記特徴選択辞書及び前記認識辞書を修正する一連の処理
を、予め定められた回数だけ繰り返すようにしたことを
特徴とするパターン認識装置における辞書修正方法。4. An n-dimensional feature vector is extracted from an input pattern, and an m-dimensional feature vector (m <m <=
n) is selected, an evaluation value is calculated by collating the selected m-dimensional feature vector with a recognition dictionary composed of a set of m-dimensional reference vectors, and recognition candidates are output in the order based on the calculation result. A dictionary correction method in a pattern recognition device for performing a process, wherein a large number of learning patterns are sequentially input in a dictionary learning mode, the recognition process is performed for each learning pattern each time, and the result of the recognition process is also displayed. Is characterized in that a series of processes for detecting the degree of erroneous recognition and correcting the feature selection dictionary and the recognition dictionary to reduce the degree of erroneous recognition are repeated a predetermined number of times. Dictionary correction method in a pattern recognition device.
象となった学習パターンと同一カテゴリである正解カテ
ゴリの参照ベクトルのうち最も上位候補であった参照ベ
クトルと、その学習パターンと異なるカテゴリである不
正解カテゴリの参照ベクトルのうち最も上位候補であっ
た参照ベクトルについて修正がなされることを特徴とす
る請求項３または請求項４記載のパターン認識装置にお
ける辞書修正方法。5. In the correction processing of the recognition dictionary, the reference vector which is the highest candidate among the reference vectors of the correct answer category which is the same category as the learning pattern to be recognized and the category different from the learning pattern are used. The dictionary correction method in the pattern recognition apparatus according to claim 3 or 4, wherein the reference vector that is the highest candidate among the reference vectors of a certain incorrect answer category is corrected.
ターンから抽出されたｎ次元特徴ベクトルより選択され
たｍ次元特徴ベクトルと正解カテゴリの参照ベクトルと
の一致度が、不正解カテゴリの参照ベクトルとの一致度
よりも大きいほど第１の境界値に近づき、逆に小さいほ
ど前記第１の境界値とは異なる第２の境界値に近づく損
失関数を用いるようにしたことを特徴とする請求項５記
載のパターン認識装置における辞書修正方法。6. The degree of coincidence between the m-dimensional feature vector selected from the n-dimensional feature vectors extracted from the learning pattern and the reference vector of the correct category is used to represent the degree of misrecognition, and the reference of the incorrect category is referred to. A loss function that is closer to the first boundary value as it is larger than the degree of coincidence with the vector, and is conversely closer to the second boundary value different from the first boundary value as it is smaller, is used. Item 5. A dictionary correction method in the pattern recognition device according to item 5.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04903596A JP3537949B2 (en) | 1996-03-06 | 1996-03-06 | Pattern recognition apparatus and dictionary correction method in the apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04903596A JP3537949B2 (en) | 1996-03-06 | 1996-03-06 | Pattern recognition apparatus and dictionary correction method in the apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09245125A true JPH09245125A (en) | 1997-09-19 |
| JP3537949B2 JP3537949B2 (en) | 2004-06-14 |
Family
ID=12819839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04903596A Expired - Lifetime JP3537949B2 (en) | 1996-03-06 | 1996-03-06 | Pattern recognition apparatus and dictionary correction method in the apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3537949B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000250576A (en) * | 1999-02-23 | 2000-09-14 | Motorola Inc | Feature extracting method for speech recognition system |
| JP2002259911A (en) * | 2001-03-02 | 2002-09-13 | Nec Corp | Pattern recognition device, and pattern recognition method and program |
| US7031923B1 (en) | 2000-03-06 | 2006-04-18 | International Business Machines Corporation | Verbal utterance rejection using a labeller with grammatical constraints |
| JP2006201553A (en) * | 2005-01-21 | 2006-08-03 | Nippon Telegr & Teleph Corp <Ntt> | Discriminative learning method, device, program, speech recognition device, program, and recording medium with recorded program thereof |
| JP2007114413A (en) * | 2005-10-19 | 2007-05-10 | Toshiba Corp | Voice/non-voice discriminating apparatus, voice period detecting apparatus, voice/non-voice discrimination method, voice period detection method, voice/non-voice discrimination program and voice period detection program |
| JP2010182013A (en) * | 2009-02-04 | 2010-08-19 | Toshiba Corp | Linear transformation matrix calculation device, and method thereof and program thereof |
| US8099277B2 (en) | 2006-09-27 | 2012-01-17 | Kabushiki Kaisha Toshiba | Speech-duration detector and computer program product therefor |
| US8380500B2 (en) | 2008-04-03 | 2013-02-19 | Kabushiki Kaisha Toshiba | Apparatus, method, and computer program product for judging speech/non-speech |
| WO2015025472A1 (en) * | 2013-08-22 | 2015-02-26 | 日本電気株式会社 | Feature conversion learning device, feature conversion learning method, and program storage medium |
-
1996
- 1996-03-06 JP JP04903596A patent/JP3537949B2/en not_active Expired - Lifetime
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000250576A (en) * | 1999-02-23 | 2000-09-14 | Motorola Inc | Feature extracting method for speech recognition system |
| US7031923B1 (en) | 2000-03-06 | 2006-04-18 | International Business Machines Corporation | Verbal utterance rejection using a labeller with grammatical constraints |
| JP2002259911A (en) * | 2001-03-02 | 2002-09-13 | Nec Corp | Pattern recognition device, and pattern recognition method and program |
| JP2006201553A (en) * | 2005-01-21 | 2006-08-03 | Nippon Telegr & Teleph Corp <Ntt> | Discriminative learning method, device, program, speech recognition device, program, and recording medium with recorded program thereof |
| JP4533160B2 (en) * | 2005-01-21 | 2010-09-01 | 日本電信電話株式会社 | Discriminative learning method, apparatus, program, and recording medium on which discriminative learning program is recorded |
| JP2007114413A (en) * | 2005-10-19 | 2007-05-10 | Toshiba Corp | Voice/non-voice discriminating apparatus, voice period detecting apparatus, voice/non-voice discrimination method, voice period detection method, voice/non-voice discrimination program and voice period detection program |
| US8099277B2 (en) | 2006-09-27 | 2012-01-17 | Kabushiki Kaisha Toshiba | Speech-duration detector and computer program product therefor |
| US8380500B2 (en) | 2008-04-03 | 2013-02-19 | Kabushiki Kaisha Toshiba | Apparatus, method, and computer program product for judging speech/non-speech |
| JP2010182013A (en) * | 2009-02-04 | 2010-08-19 | Toshiba Corp | Linear transformation matrix calculation device, and method thereof and program thereof |
| WO2015025472A1 (en) * | 2013-08-22 | 2015-02-26 | 日本電気株式会社 | Feature conversion learning device, feature conversion learning method, and program storage medium |
| JPWO2015025472A1 (en) * | 2013-08-22 | 2017-03-02 | 日本電気株式会社 | Feature conversion learning device, feature conversion learning method, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3537949B2 (en) | 2004-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108268838B (en) | Facial expression recognition method and facial expression recognition system | |
| JP3088171B2 (en) | Self-organizing pattern classification system and classification method | |
| US7447338B2 (en) | Method and system for face detection using pattern classifier | |
| Singha et al. | Hand gesture recognition using two-level speed normalization, feature selection and classifier fusion | |
| Hoai et al. | Discriminative sub-categorization | |
| US5555320A (en) | Pattern recognition system with improved recognition rate using nonlinear transformation | |
| EP0539749A2 (en) | A statistical mixture approach to automatic handwriting recognition | |
| US5005205A (en) | Handwriting recognition employing pairwise discriminant measures | |
| JP6532190B2 (en) | Image search apparatus, image search method | |
| JP2011013732A (en) | Information processing apparatus, information processing method, and program | |
| JPH05108883A (en) | Method and device for character recognition | |
| CN111126482A (en) | Remote sensing image automatic classification method based on multi-classifier cascade model | |
| JP2000099632A (en) | Retrieval device, retrieval method and computer readable recording medium recorded with retrieval program | |
| Krishnan et al. | Conditional distance based matching for one-shot gesture recognition | |
| Boranbayev et al. | Analyzing methods of recognition, classification and development of a software system | |
| US20220207305A1 (en) | Multi-object detection with single detection per object | |
| JP3537949B2 (en) | Pattern recognition apparatus and dictionary correction method in the apparatus | |
| JP2001184509A (en) | Device and method for recognizing pattern and recording medium | |
| JP2000137732A (en) | Retrieval device, retrieval method and computer readable recording medium recorded with retrieval program | |
| Mccullagh | Face detection by using haar cascade classifier | |
| JPH10143613A (en) | Pattern recognition method | |
| CN110765809A (en) | Facial expression classification method and device and emotion intelligent robot | |
| JP2001014465A (en) | Method and device for recognizing object | |
| Krishnan et al. | Similarity measure between two gestures using triplets | |
| JPH05314320A (en) | Recognition result evaluating system using difference of recognition distance and candidate order |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040316 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040318 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080326 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090326 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100326 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100326 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110326 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120326 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140326 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term |