JP4802176B2 - Pattern recognition apparatus, pattern recognition program, and pattern recognition method - Google Patents
Pattern recognition apparatus, pattern recognition program, and pattern recognition method Download PDFInfo
- Publication number
- JP4802176B2 JP4802176B2 JP2007304586A JP2007304586A JP4802176B2 JP 4802176 B2 JP4802176 B2 JP 4802176B2 JP 2007304586 A JP2007304586 A JP 2007304586A JP 2007304586 A JP2007304586 A JP 2007304586A JP 4802176 B2 JP4802176 B2 JP 4802176B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- class
- evaluation
- pattern
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Character Discrimination (AREA)
Description
本発明は、文字、画像、音声などのパターン認識を行うパターン認識装置、パターン認識プログラム及びパターン認識方法に関する。 The present invention relates to a pattern recognition apparatus, a pattern recognition program, and a pattern recognition method for recognizing patterns of characters, images, sounds, and the like.
今日、OCRシステムに代表される文字認識処理の他、未知パターンをシステム側に入力し、この未知パターンの所属クラスを特定するパターン認識技術が多数利用されている。パターン認識技術の一つとして、認識辞書を使用した方法が知られている。この方法は、文字認識を例とした場合、濃度や特定領域内での線分の方向性などを特徴量(特徴ベクトル)として予め定めておき、この特徴量を基に認識対象となる字種(クラス)の代表データを抽出して格納した認識辞書を作成する。 Today, in addition to character recognition processing typified by the OCR system, many pattern recognition techniques are used to input unknown patterns to the system and specify the class to which the unknown patterns belong. As one of pattern recognition techniques, a method using a recognition dictionary is known. In this method, when character recognition is taken as an example, the density and directionality of a line segment within a specific area are determined in advance as feature amounts (feature vectors), and the character type to be recognized based on the feature amounts. A recognition dictionary in which representative data of (class) is extracted and stored is created.
一方、システム側に入力される入力パターン(未知パターン)からも同様に、前記の特徴量に基づくデータを抽出する。次いで、この入力パターン及び認識辞書内のデータを基に特徴量の類似性を求め、これにより、入力パターンに最も近い特徴を持つクラスを認識解として特定する。 On the other hand, data based on the feature amount is similarly extracted from an input pattern (unknown pattern) input to the system side. Next, the similarity of the feature amount is obtained based on the input pattern and the data in the recognition dictionary, and thereby the class having the feature closest to the input pattern is specified as the recognition solution.
ここで、上記の特徴量や認識辞書をどのようにして文字認識技術に適用するかについては、様々な提案がなされている。例えば、特徴量の種類を絞り込んだ小規模な認識辞書を複数用いることで、効率的に文字認識を行う技術が知られている(例えば、特許文献1参照)。 Here, various proposals have been made on how to apply the above-described feature amount and recognition dictionary to the character recognition technology. For example, a technique is known in which character recognition is efficiently performed by using a plurality of small-scale recognition dictionaries that narrow down the types of feature quantities (see, for example, Patent Document 1).
すなわち、この文字認識方法は、入力パターンのクラス分類のために複数の小規模辞書を二分木構造で構成することで、前段の小規模辞書の認識結果に応じて、次に使用すべき後段の小規模辞書を順次決定し、入力パターンの所属クラスを段階的に絞り込んで行く方法である。
しかしながら、上記文献の技術では、前段の小規模辞書によるクラス分類の結果、絞り込まれた識別解の候補の中に正解のクラスが存在しなかった場合、この時点で正解に辿り着く可能性がなくなる。つまり、この場合、後段の小規模辞書は、入力パターンのクラス分類機能を有しているものの、誤った識別解の候補の中で意味のないクラス分類を行うことになる。このため、後段の小規模辞書では、クラス分類機能が実質的に機能していないことと同じになり、従来法ではこの点において課題を抱えている。 However, in the technique of the above-mentioned document, if the correct class does not exist among the narrowed-down identification solution candidates as a result of the classification by the small-scale dictionary in the previous stage, there is no possibility of reaching the correct answer at this point. . In other words, in this case, the subsequent small-scale dictionary has an input pattern class classification function, but performs class classification that is meaningless among erroneous identification solution candidates. For this reason, the small-scale dictionary in the latter stage is the same as the class classification function not substantially functioning, and the conventional method has a problem in this respect.
本発明は、上記課題を解決するためになされたもので、認識対象のパターンを識別する処理に改善を加えることで、パターンの認識精度を向上させることができるパターン認識装置、パターン認識プログラム及びパターン認識方法の提供を目的とする。 The present invention has been made in order to solve the above-described problems. A pattern recognition apparatus, a pattern recognition program, and a pattern that can improve pattern recognition accuracy by improving processing for identifying a pattern to be recognized. The purpose is to provide a recognition method.
上記目的を達成するために、本発明に係るパターン認識装置は、複数に分類されたクラスのいずれかに所属するパターンを入力可能な入力部と、前記入力部で入力された前記パターンから互いに異なる視点で特徴を各々抽出することにより前記複数のクラスごとに当該パターンの評価値を各々算出する複数の評価部と、前記複数の評価部で各々算出された前記評価値を前記複数のクラスごとに累積する累積部と、前記累積部による累積結果に基づいて、前記入力部で入力された前記パターンの所属するクラスを特定するクラス特定部と、前記複数の評価部の中から一又は二以上の評価部を選択する第1の選択部と、前記第1の選択部で選択された評価部による評価値に基づいて、前記第1の選択部で選択された評価部を除く他の一又は二以上の評価部を選択する第2の選択部と、を具備することを特徴とする。 In order to achieve the above object, a pattern recognition apparatus according to the present invention is different from an input unit capable of inputting a pattern belonging to any of a plurality of classes and the pattern input from the input unit. A plurality of evaluation units that respectively calculate evaluation values of the pattern for each of the plurality of classes by extracting features from the viewpoint, and the evaluation values calculated by the plurality of evaluation units for each of the plurality of classes An accumulating unit that accumulates, a class specifying unit that identifies a class to which the pattern input by the input unit belongs based on an accumulating result by the accumulating unit, and one or more of the plurality of evaluating units One or two other than the evaluation unit selected by the first selection unit based on the evaluation value by the first selection unit that selects the evaluation unit and the evaluation unit selected by the first selection unit more than A second selector which selects an evaluation unit, characterized by including the.
本発明では、入力パターンから互いに異なる視点で特徴を各々抽出することより各評価部で評価値を算出し、しかもこれらの評価部の評価値をクラスごとに累積した結果で、入力パターンの識別を行うことができる。すなわち、本発明によれば、複数の種類の評価部による全クラスの総合的な評価結果を入力パターンの所属クラスの分類に適用することができ、これにより、パターンの認識精度を高めることができる。 In the present invention, each evaluation unit calculates an evaluation value by extracting features from different viewpoints from the input pattern, and the evaluation value of these evaluation units is accumulated for each class, thereby identifying the input pattern. It can be carried out. That is, according to the present invention, it is possible to apply the overall evaluation result of all classes by a plurality of types of evaluation units to the classification of the class to which the input pattern belongs, thereby improving the pattern recognition accuracy. .
また、本発明のパターン認識プログラムは、複数に分類されたクラスのいずれかに所属するパターンを入力可能な入力部と、前記入力部で入力された前記パターンから互いに異なる視点で特徴を各々抽出することにより前記複数のクラスごとに当該パターンの評価値を各々算出する複数の評価部と、前記複数の評価部で各々算出された前記評価値を前記複数のクラスごとに累積する累積部と、前記累積部による累積結果に基づいて、前記入力部で入力された前記パターンの所属するクラスを特定するクラス特定部と、前記複数の評価部の中から一又は二以上の評価部を選択する第1の選択部と、前記第1の選択部で選択された評価部による評価値に基づいて、前記第1の選択部で選択された評価部を除く他の一又は二以上の評価部を選択する第2の選択部、としてコンピュータを機能させることを特徴とする。
In addition, the pattern recognition program of the present invention extracts features from different viewpoints from an input unit that can input a pattern belonging to any of a plurality of classified classes and the pattern input from the input unit. A plurality of evaluation units for calculating the evaluation value of the pattern for each of the plurality of classes, a cumulative unit for accumulating the evaluation values calculated by the plurality of evaluation units for each of the plurality of classes, A class specifying unit that specifies a class to which the pattern input by the input unit belongs , and one or more evaluation units from the plurality of evaluation units are selected based on the accumulation result by the accumulation unit . And one or more evaluation units other than the evaluation unit selected by the first selection unit are selected based on the evaluation value by the selection unit and the evaluation unit selected by the
さらに、本発明のパターン認識方法は、複数に分類されたクラスのいずれかに所属するパターンを入力部が入力するステップと、前記入力部で入力された前記パターンから、複数の評価部が、互いに異なる視点で特徴を各々抽出することにより前記複数のクラスごとに当該パターンの評価値を各々算出するステップと、前記複数の評価部で各々算出された前記評価値を累積部が前記複数のクラスごとに累積するステップと、前記累積部による累積結果に基づいて、クラス特定部が、前記入力部で入力された前記パターンの所属するクラスを特定するステップと、前記複数の評価部の中から一又は二以上の評価部を第1の選択部が選択するステップと、前記第1の選択部で選択された評価部による評価値に基づいて、前記第1の選択部で選択された評価部を除く他の一又は二以上の評価部を第2の選択部が選択するステップと、を有することを特徴とする。 Furthermore, in the pattern recognition method of the present invention, the input unit inputs a pattern belonging to one of a plurality of classified classes, and the plurality of evaluation units are mutually connected from the pattern input by the input unit. A step of calculating evaluation values of the pattern for each of the plurality of classes by extracting features from different viewpoints; and a cumulative unit for each of the plurality of classes of the evaluation values calculated by the plurality of evaluation units. And a step of the class specifying unit specifying a class to which the pattern input by the input unit belongs, based on a result of accumulation by the accumulating unit, and one or more of the plurality of evaluation units The first selection unit selects the two or more evaluation units based on the step of the first selection unit selecting and the evaluation value by the evaluation unit selected by the first selection unit. And the other one or more evaluation unit except the evaluation unit a second selecting unit and having the steps of: selecting.
本発明によれば、認識対象のパターンを識別する処理に改善を加えることで、パターンの認識精度を向上させることが可能なパターン認識装置、パターン認識プログラム及びパターン認識方法を提供することができる。 According to the present invention, it is possible to provide a pattern recognition apparatus, a pattern recognition program, and a pattern recognition method capable of improving the pattern recognition accuracy by improving the process for identifying a pattern to be recognized.
以下、本発明を実施するための最良の形態を図面に基づき説明する。
[第1の実施の形態]
図1は、本発明の第1の実施形態に係るパターン認識装置10の機能ブロック図であり、図2は、パターン認識装置10により認識可能な複数のパターンを分類するクラス及びクラス群P、Q、S、Tを概念的に示す図である。
The best mode for carrying out the present invention will be described below with reference to the drawings.
[First Embodiment]
FIG. 1 is a functional block diagram of a
図1に示すように、本実施形態のパターン認識装置10は、入力部11と、パターン認識処理部12と、累積部13と、クラス特定部として機能する判断部14と、出力部15と、を備える文字認識装置として構成されている。ここで、パターン認識装置10は、ハードウェアとしてCPU、メインメモリ、外部記憶装置などを備える。外部記憶装置に格納された例えばパターン認識プログラム本体がCPUによりメインメモリ上にロードされることによって、上記した入力部11、パターン認識処理部12、累積部13、判断部14、出力部15が、例えばソフトウェアにより実現される。また、これらの構成要素は、ソフトウェアに代えて、各種の電子部品を組み合わせて構成したハードウェアにより実現されるものであってもよい。
As shown in FIG. 1, the
この実施形態のパターン認識装置10は、認識対象の未知パターンを入力し、入力したこのパターンがどのクラスに分類されるか(所属しているか)を識別する装置である。言い換えれば、パターン認識装置10では、予め用意(識別器A、B、C…に登録)されている複数のクラスに対応する入力パターンを識別することが可能となる。ここで、認識対象のパターンとしては、漢字、数字、ひらがな、カタカナなど、あらゆる属性の文字パターンを認識対象とすることが可能であるが、本実施形態では、発明をより明確に説明するために、認識対象のパターンとして数字を適用する。
The
また、上述したように、認識対象のパターンを分類するためのクラスについては、認識対象のパターンが上記数字の場合、入力パターン「0〜9」に一対一で対応するクラス「0〜9」が用意されていることになる。また、図2に示すように、クラス群とは、特徴(特徴パターン)の類似するクラスどうしをまとめたものであり、例えば、クラス群Pは、ループ構造を有する数字パターンのまとまりである。また、例えば、図2に示すクラス群Sは、線分に直線的特徴の多い数字パターンのまとまりである。 As described above, regarding the class for classifying the pattern to be recognized, if the pattern to be recognized is the number, the class “0-9” corresponding to the input pattern “0-9” on a one-to-one basis. It will be prepared. As shown in FIG. 2, the class group is a group of classes having similar features (feature patterns). For example, the class group P is a group of numerical patterns having a loop structure. Also, for example, the class group S shown in FIG. 2 is a group of numerical patterns having many linear features in the line segment.
上記した入力部11は、複数に分類されたクラスのいずれかに所属するパターンを入力可能であり、入力を受け付けたこの入力パターンを認識処理に適した形式に変換してパターン認識処理部12に出力する。入力部11は、スキャナなどの機器で取り込んだ入力パターン、ネットワーク回線から送信されたものなど、様々な入力方式を許容する。また、入力部11は、入力パターンの形式が認識処理に適していない場合は、既知の手段により適切な形式に変換する。例えば、入力部11は、文字切り出しによる文字個別の領域の抽出、正規化による大きさ調整、二値化といった処理により適切な形式に変換する。
The
次に、パターン認識処理部12、累積部13及び判断部14の構成を、上記図1、図2に加え、図3〜図12に基づき説明する。ここで、図3は、パターン認識装置10が備える識別器A、B、C…の識別性能を説明するための図である。さらに、図4は、図3の補足説明として識別性能の低い識別器の構成を示す図であり、図5は、図3、図4の補足説明として識別性能の高い識別器の構成を示す図である。また、図6は、パターン認識装置10が備えるパターン認識処理部12、累積部13及び判断部14の構成を概念的に示す図であり、図7は、パターン認識装置10の累積部13に記憶された累積スコアの計算式データである。
Next, configurations of the pattern
さらに、図8は、パターン認識装置10による累積スコアの算出例を具体的に示す図であり、図9は、パターン認識装置10が備える複数の識別器A、B、C…の構成を模式的に示す図である。また、図10は、パターン認識装置10の判断部14に記憶された識別器選択候補リスト14aを示すものであり、図11は、パターン認識装置10の累積部13に記憶される処理経過リスト13aを示す図である。さらに、図12は、パターン認識装置10の出力部15が表示出力する認識結果表示リスト15aを示す図である。
8 is a diagram specifically illustrating an example of calculation of the accumulated score by the
図1、図9に示すように、パターン認識処理部12は、評価部として機能する複数の種類の識別器A、B、C…を備える。複数の識別器A、B、C…は、入力部11で入力されたパターンから互いに異なる視点で特徴を各々抽出することにより、図6、図8に示すように、複数のクラスごとに当該パターンの評価値としての重み付き認識スコア(以下、この「重み付き認識スコア」を後述する第2、第3の実施形態を含み、単に「認識スコア」と記述)を各々算出する。このような識別器A、B、C…を備えるパターン認識処理部12は、クラスごとに求めた認識スコアを累積部13及び判断部14に出力する。
As shown in FIGS. 1 and 9, the pattern
詳細には、複数の識別器A、B、C…は、複数のクラス群の中から個別に選択した各々異なるクラス群についての識別精度(識別信頼性)が、選択的に高く設定されている。つまり、識別器A、B、C…は、入力された認識対象のパターンに対し、互いに異なる特徴部分に特化(着目)して評価を行い、この評価結果として認識スコアを算出する。したがって、識別精度の高いクラス群の種類は、識別器ごとに異なる。また、このような識別器A、B、C…は、それぞれ記憶部を有し、これらの記憶部には、図1に示すように、識別器ごとに異なった後述する識別関数A1、B1、C1…及び重み付け情報A2、B2、C2…が記憶されている。 Specifically, in the plurality of classifiers A, B, C,..., The identification accuracy (identification reliability) for each different class group individually selected from the plurality of class groups is selectively set high. . That is, the discriminators A, B, C,... Evaluate the input recognition target pattern by specializing (focusing on) different characteristic portions, and calculate a recognition score as the evaluation result. Therefore, the type of class group with high identification accuracy differs for each classifier. Further, each of such discriminators A, B, C... Has a storage unit, and as shown in FIG. 1, the discriminator functions A1, B1,. C1... And weighting information A2, B2, C2.
ここで、上記したクラス群(クラス群P、Q、S、T)についてさらに詳述する。図2に示すように、どのようなクラスどうしをまとめて、クラス群とするかについては、クラスター分析などを用いる。クラスター分析は、何らかの定義により類似していると判断できるものどうしを、幾つかのグループに分類して行く手法である。例えば、文字パターンの分類を考えた場合、まず、「横線の数」、「縦線の数」、「ループの数」といった特徴量を設定する。 Here, the above-described class group (class groups P, Q, S, T) will be described in further detail. As shown in FIG. 2, cluster analysis or the like is used to determine what classes are grouped into a class group. Cluster analysis is a method of classifying what can be judged to be similar by some definition into several groups. For example, when character pattern classification is considered, first, feature quantities such as “number of horizontal lines”, “number of vertical lines”, and “number of loops” are set.
その特徴量の値を空間上の座標と考え、分類対象の中で最もユークリッド距離的に近い文字パターンどうしを「類似したもの」として同じグループに分類する。次に、同じグループに分類したパターンの中心の座標を、新たなパターンの座標として考えた上で、再度最も近いパターンどうしを求めて同じグループに分類する。以降、任意のグループ数に分類できるまで同様の操作を繰り返す。 The feature value is considered as a coordinate in space, and the character patterns closest in Euclidean distance among the classification targets are classified as “similar” into the same group. Next, the coordinates of the centers of the patterns classified into the same group are considered as the coordinates of a new pattern, and the closest patterns are obtained again and classified into the same group. Thereafter, the same operation is repeated until it can be classified into an arbitrary number of groups.
なお、設定する特徴量、距離の計算方法については、前述の方法の他、どのようなものを用いてよい。また、クラスター分析の他、判別分析など、分類方法についても既知のいかなる方法を用いてよい。さらに、クラス群が含むクラスの数についても、一つから認識対象となるクラスの総数までの範囲で任意に定めてもよい。 In addition to the method described above, any method may be used as the feature amount and distance calculation method to be set. In addition to the cluster analysis, any known classification method such as discriminant analysis may be used. Furthermore, the number of classes included in the class group may be arbitrarily determined within a range from one to the total number of classes to be recognized.
この点を踏まえて、パターン認識処理部12について詳述すると、識別器A、B、C…は、入力パターンをXとした場合、g(x)で表される識別関数の値の分布により、パターン認識対象となるクラス群中の一部のクラス群の識別精度が高くなるように設計したものである。例えば、図2に示すように、クラス群Pに数字「0、6、9、8」が、クラス群Qに数字「2」が含まれていたとする。この際、g(x)を「クラス群に含まれる文字パターンがループ構造を持つ度合い」を測定する関数として設計する。クラス群Pの数字は、ループ構造を持ち、クラス群Qの数字はループ構造を持たないため、この関数で設計された識別器は重複なくクラス群P、Qを分離する位置に後述する識別境界線を設定することができる。
Based on this point, the pattern
このような識別関数を設定できず、識別関数の値の分布に重なりを生じた場合は、誤分類されるパターン数が最も少なくなるように識別境界線を引く。図4、図5に例示するように、識別境界線17b、17cを識別関数の値の最小値から最大値の幅まで動かし(範囲18a、範囲18b)、誤分類されるパターン数が最も少なくなる、すなわち、誤分類となる領域19a及び領域19bが最小となるような識別関数の値U3、U4の位置に、識別境界線17b、17cを引く。このように設計した識別器は、図3に示すように、クラス群P、Q以外のクラス群S、Tについても識別関数g(x)の値を算出できる。なお、前記の例の他、識別関数は、クラス群識別に際しての具体的な基準となるスカラー値を出力する関数である限りにおいて、いかなるものを用いてよい。
When such a discriminant function cannot be set and the distribution of discriminant function values overlaps, a discriminant boundary line is drawn so that the number of misclassified patterns is minimized. As illustrated in FIGS. 4 and 5, the
続いて、この識別関数g(x)の値から、認識処理の評価値として用いる認識スコアを算出する。前述のように、入力パターンをX、識別関数の値をg(x)、また、認識対象のあるクラス群をYとした場合、母集団Yから標本Xが得られる確率(尤度[ゆうど])は、P(g(x)|Y)で算出できる。具体的には、あるクラス群Yにおける識別関数g(x)の値の頻度分布を求めてヒストグラム化し、それぞれの頻度を全体のデータ数で除算することで母集団Yの確率密度関数f(g(x),Y)を得る。 Subsequently, a recognition score used as an evaluation value of the recognition process is calculated from the value of the identification function g (x). As described above, when the input pattern is X, the value of the discriminant function is g (x), and the class group to be recognized is Y, the probability of obtaining the sample X from the population Y (likelihood [Yudo ]) Can be calculated by P (g (x) | Y). Specifically, the frequency distribution of the value of the discriminant function g (x) in a certain class group Y is obtained and formed into a histogram, and the probability density function f (g) of the population Y is obtained by dividing each frequency by the total number of data. (X), Y) are obtained.
ここで、n個のg(x)が観測された場合、前記の尤度(ゆうど)は、このn個の確率密度関数の積f(g(x1),Y)*f(g(x2),Y)*…*f(g(xn),Y)で求めることができる。計算の便宜上(計算を乗算から加算に変更するために)、この尤度(ゆうど)の対数を取ることで算出した(log(P(f(x)|Y))の値を認識スコアとし、以後の認識処理の評価値として使用する。なお、この認識スコアは、高速な認識処理を実現できる限りにおいて、かつ、後述する累積部13にて、値の取り得る範囲などの計算基準を揃えた上での累積演算が可能である限りにおいて、前記対数尤度の他、どのようなものに定めてもよい。 Here, when n g (x) are observed, the likelihood (yudo) is the product f (g (x1), Y) * f (g (x2) of the n probability density functions. ), Y) *... * F (g (xn), Y). For convenience of calculation (to change the calculation from multiplication to addition), the value of (log (P (f (x) | Y))) calculated by taking the logarithm of this likelihood (Yudo) is used as the recognition score. This recognition score is used as an evaluation value for subsequent recognition processing, as long as a high-speed recognition processing can be realized, and the accumulating unit 13 (to be described later) prepares calculation criteria such as a possible range of values. In addition to the logarithmic likelihood, any value may be set as long as the cumulative operation can be performed.
累積部13は、複数の識別器A、B、C…で各々算出された認識スコアを複数のクラスごとに累積し、これを累積スコアとして判断部14に出力する。つまり、累積部103は、記憶部を備えており、この記憶部には、図7に示す累積スコアの計算式及び図11に示す処理経過リスト13aが記憶されている。
The accumulating
具体的には、図7、図11に示すように、例えば、数字「0〜9」を認識対象のパターンとし、識別器A、B、Cの順番で識別処理が行われた場合に、ある識別器Xの基で得られる各クラスYの認識スコアをF(X,Y)とする。また、識別器ごとの各クラス群の識別性能を数値化した重み(重み付け情報A2、B2、C2…)を、X及びYを用いてW(X,Y)と表す。 Specifically, as shown in FIGS. 7 and 11, for example, when the number “0-9” is set as a recognition target pattern and the identification processing is performed in the order of the classifiers A, B, and C, The recognition score of each class Y obtained on the basis of the discriminator X is assumed to be F (X, Y). Further, the weight (weighting information A2, B2, C2,...) Obtained by quantifying the identification performance of each class group for each classifier is expressed as W (X, Y) using X and Y.
この重みは、各クラス群の信頼性を表す指標であり、識別器の前記識別境界線がよくクラス群を分離しているならば(図5の識別境界線17c参照)、信頼性が高いとして重みの値を大きくし、そうでなければ(図4の識別境界線17b参照)、信頼性が低いとして重みの値を小さく設定する。具体的には、その識別器における誤分類(図4の領域19a内及び図5の領域19b内)のパターン数をカウントし、“(パターン総数−誤分類パターン数)/パターン総数”で与えられる式から重みの値を算出する。なお、前記式を利用する方法の他、重みの算出方法は、いかなる方法を適用してもよい。
This weight is an index representing the reliability of each class group. If the class boundary of the discriminator well separates the class group (see the
したがって、各識別器A、B、C…が算出する重み付きの認識スコアは、図7に示すように、W(X,Y)*F(X,Y)で表現できる。つまり、個々の識別器A、B、C…は、入力部11に入力されたパターンの特徴をパラメータ化(定量化)した特徴パラメータ(特徴量)をまず独立変数として取得する。次に、図1、図6に示すように、識別器A、B、C…は、この特徴パラメータ(独立変数V1、V2、V3…)を自身の識別関数A1、B1、C1…に代入し、この出力となる識別関数A1、B1、C1の値に上記重み(重み付け情報A2、B2、C2…)を付与し、これを、複数のクラスP1、Q1、S1、T1(図6参照)ごとの重み付きの認識スコア“W(X,Y)*F(X,Y)”として算出する。なお、詳細には、識別器A、B、C…が記憶する上記識別関数A1、B1、C1…及び重み付け情報A2、B2、C2…は、クラスごとに相違していることになる。
Therefore, the weighted recognition score calculated by each discriminator A, B, C... Can be expressed by W (X, Y) * F (X, Y) as shown in FIG. That is, each classifier A, B, C... First acquires a feature parameter (feature amount) obtained by parameterizing (quantifying) the feature of the pattern input to the
さらに詳述すると、図8に示すように、例えば、識別器Aは、文字パターンの例えばループ構造に特化して構成した識別関数(ループ構造の特徴量を増加させる関数)を記憶し、例えば、識別器Bは、文字パターンの例えば濃度分布に着目して構成した識別関数を記憶し、識別器Cは、文字パターンの例えば縦線の成分に着目して構成した識別関数を記憶する、といったように構成されている。これにより、図8に示すように、入力パターンが「8」である場合には、例えば、ループを強調する識別器Aでは、ループを持つクラス「8」、「9」及び「0」に対応する認識スコアが高得点となり、ループを持たない例えばクラス「1」に対応する認識スコアは低い得点となる。一方、縦線成分を強調する識別器Cでは、クラス「1」に対応する認識スコアが高得点となり、縦線成分あまり持たない例えばクラス「8」や「9」に対応する認識スコアが低い得点となる。 More specifically, as shown in FIG. 8, for example, the discriminator A stores a discriminating function (function that increases the feature amount of the loop structure) specially configured to, for example, a loop structure of a character pattern, for example, The discriminator B stores a discriminant function configured by focusing on the density distribution of the character pattern, for example, and the discriminator C stores the discriminant function configured by focusing on the vertical line component of the character pattern, etc. It is configured. Accordingly, as shown in FIG. 8, when the input pattern is “8”, for example, the classifier A that emphasizes the loop corresponds to the classes “8”, “9”, and “0” having the loop. The recognition score corresponding to class “1” that does not have a loop, for example, has a low score. On the other hand, in the discriminator C that emphasizes the vertical line component, the recognition score corresponding to the class “1” has a high score, and for example, the recognition score corresponding to the class “8” or “9” that does not have the vertical line component is low. It becomes.
一方、累積部13は、図6〜図8及び図11に示すように、処理に適用した識別器の種類(コードなど)と、処理に適用した識別器の使用順序と、それぞれの識別器がクラスごとに算出した認識スコアをさらにクラスごとに累積した累積スコアを、現識別処理状況として処理経過リスト13aに記録して行く。つまり、処理経過リスト13aの末尾に記録したデータが現識別処理状況となる。このようなデータ構造は構造体により実現する。例えば入力パターンの累積スコアは、図7に示すように、W(A,Y)*F(A,Y)+W(B,Y)*F(B,Y)+W(C,Y)*F(C,Y)…として得られる。累積部13は、この累積スコアを判断部14に出力し、これを入力した判断部14は、識別器の選択処理の判断の基準とする。
On the other hand, as shown in FIGS. 6 to 8 and 11, the accumulating
ここで、既述してきたクラスごとに算出される認識スコア及び累積スコアは、図6、図8に示すように、入力パターンが所定のクラスに属している確からしさ(確率又は可能性)を得点で表しており、高得点の場合、入力パターンがそのクラスに属している確からしさが大きく、一方、得点の低い場合、入力パターンがそのクラスに属している確からしさが小さいことになる。 Here, the recognition score and cumulative score calculated for each class described above are scored with certainty (probability or possibility) that the input pattern belongs to a predetermined class, as shown in FIGS. When the score is high, the probability that the input pattern belongs to the class is large. On the other hand, when the score is low, the probability that the input pattern belongs to the class is small.
上記判断部14は、累積部による累積結果としてのクラスごとの累積スコアに基づいて、入力部11で入力されたパターンの所属するクラスを特定(認識解を決定)する。また、判断部14は、認識処理終了条件を満足しているか否かを判断する。詳細には、判断部14は、記憶部を有しており、この記憶部内には、図10に示すように、識別器選択候補リスト14aが記憶されている。
The
また、判断部14は、複数の識別器A、B、C…の中から一つの識別器を選択する第1の選択部と、この第1の選択部で選択された識別器による認識スコア(及び/又は累積スコア)に基づいて、第1の選択部で選択された識別器を除く他の一つの識別器を選択する第2の選択部と、の2種類の選択部として機能する。
In addition, the
具体的には、本実施形態の判断部14は、識別器A、B、C…により認識スコアを算出した結果、認識スコアが最大となったクラスを含むクラス群に対し、識別精度(識別信頼性)を高く設定した識別器を、次に使用すべき識別器として選択する。この選択により、クラス(クラス群)の絞り込みを行う。この絞り込み処理を繰り返し、最終的に単一のクラスを特定することが判断部14の最も重要な処理となる。ここで、本実施形態では、識別器選択候補リスト14aに識別器の選択候補が予め記述されており、判断部14は、認識スコアが最大となったクラスを含むクラス群の他のクラス群に対する識別精度(識別信頼性)を高く設定してある次に使用すべき識別器を、予め絞り込まれている選択候補の中から選択する。
Specifically, the
詳述すると、上記識別器選択候補リスト14aには、図12に示すように、現時点で識別処理に使用していた識別器のコード、及びこの識別器のコードに対応付けて、次に使用すべき選択候補の識別器のコードなどが、少なくとも一つ以上に記述されている。識別器選択候補リスト14a中に選択候補が複数ある場合には、判断部14は、上述したように、認識スコアが最大となったクラスを含むクラス群の(他のクラス群に対する)識別精度を最も高く設定した識別器を選択する。なお、選択候補の数は、図10に示す2つの他、0個から識別器A、B、C…の総数までの範囲内において、どのような値としてもよい。クラスの絞り込みの最終的段階では、識別器選択候補リスト14a中の選択候補の数が1からさらに0となって行く。識別器選択候補リスト14a中の選択候補の数が0である場合、判断部14は、認識処理終了条件を満たしていると判断する。
More specifically, as shown in FIG. 12, the classifier
ここで、識別器選択候補リスト14a中に選択候補としてどの識別器を登録するかについては以下のように行う。まず、選択候補を選ぶ前の識別器において、この識別器にて識別信頼性を高めているクラス群をランダムにN分割し、その分離度合いを算出する。この分離度合いは、以下の方法により評価する。まず当該分割クラス群の識別信頼性を高めた識別器を設計し、学習パターンを基に識別関数の値の確率分布を推定する。推定した確率分布を基にベイズ誤り確率を算出し、このベイズ誤り確率の対数の−1倍を分離度合いとする。
Here, which classifier is registered as a selection candidate in the classifier
上記方法の以外の他の方法で分離度合いを評価してもよい。この分割及び分離度合い算出処理をM回繰り返し、最も分離度合いが大きな分割を選択し、それぞれの分割クラス群の識別信頼性を高めた識別器を選択候補とする。なお、N及びMは任意の自然数とする。この他、設計者の知識及び経験に基づいて決定するなど、任意の決定方法を用いることが可能である。 The degree of separation may be evaluated by a method other than the above method. This division and separation degree calculation process is repeated M times, a division having the largest separation degree is selected, and a classifier that improves the identification reliability of each divided class group is selected. N and M are arbitrary natural numbers. In addition, any determination method such as determination based on the knowledge and experience of the designer can be used.
また、判断部14は、図6に示すように、4種類の閾値J1〜J4を記憶している。閾値J1は、図6に示すように、所定の識別器による評価結果として、認識スコアが1位のクラスの当該認識スコアの許容下限値である。閾値J2は、識別器による評価結果として、認識スコアが1位のクラスと2位のクラスとのスコア差の許容下限値である。閾値J3は、複数の識別器による評価の結果、累積スコアが1位のクラスの当該累積スコアの許容下限値である。閾値J4は、複数の識別器による評価の結果、累積スコアが1位のクラスと2位のクラスとのスコア差の許容下限値である。
Moreover, the
すなわち、判断部14は、図6に示すように、算出された累積スコアが閾値J3及び閾値J4で定めた条件が満足していることを確認した場合、累積スコアが1位のクラスを入力パターンの所属クラスとして特定し(認識解として決定し)、例えば、そのクラスの文字コード(テキストデータ)を出力部15側へ出力する。一方、判断部14は、認識スコアを算出した結果、例えば閾値J1及び閾値J2で定めた条件を満たしていない場合や、累積スコアを算出した結果、例えば閾値J3、J4で定めた条件を満足していない場合には、リジェクトコードを出力部15側へ出力する。
That is, as shown in FIG. 6, when the
出力部15は、判断部14からの入力を受け付け、認識結果についての情報を、例えば画像表示装置に対し表示出力するものであって、上記した認識解としての文字コードや、認識エラーの場合のリジェクトコードを表示出力する。また、出力部15は、図12に示すように、判断部14により入力パターンが属していると判断されたクラス及びそのクラスの累積スコア、並びに累積スコアが上位となったクラスの一覧、順位及びそれらのクラスの累積スコアを表した認識結果表示リスト15aを表示出力する。
The
次に、このように構成されたパターン認識装置10によるパターン認識方法を図13に示すフローチャートに基づき説明する。
図13に示すように、まず、パターン認識要求の発生により認識処理に用いる各種変数の初期化が行われると(S[Step]1)、入力部11は、認識対象の未知パターンの入力の受け付けを開始する(S2)。ここで、初期化は、累積スコア用の変数に初期値0を代入することで行う。また、その他、初期化が必要な変数に対しても初期値0を格納する。ただし、累積処理用の変数以外は、後の処理で格納するデータと値が重複するなど認識処理に悪影響を及ぼさない限り、どのような初期値を適用してもよい。
Next, a pattern recognition method by the
As shown in FIG. 13, first, when various variables used for recognition processing are initialized by the generation of a pattern recognition request (S [Step] 1), the
さらに、入力部11は、入力パターンが、認識処理に適した形式であるか否かを判断し(S3)、処理に適していないパターン形式である場合(S3のNO)、正規化や二値化などの処理を行い(S4)、入力パターンを適切な形式に変換する。次いで、判断部14が、図1、図9に示すように、パターン認識処理部12が備える複数の識別器A、B、C…の中から、予め決められた一つの識別器Aを選択する(S5)。選択された識別器Aは、入力パターンの評価値としての各クラスごとに認識スコアを算出する(S6)。この際、累積部13は、処理経過リスト13a中に識別器Aによる(識別器一つ分の)累積スコアR(A,Y)を記述する。
Furthermore, the
ここで、判断部14は、識別器Aにより認識スコアが算出された結果、図6に示す閾値J1及び閾値J2で定めた条件を満たしていないことを認識した場合には(S7のNO)、リジェクトコードを出力部15側へ出力し(S8)、これを検出した出力部15は、リジェクトコードを表示出力する(S9)。
Here, when the
一方、判断部14は、識別器Aによる認識スコアの算出の結果、図6に示す閾値J1及び閾値J2で定めた条件を満足することを確認した場合で(S7のYES)、かつパターン認識要求発生後、識別器を初めて選択したのであれば(S10のYES)、識別器A以外の次の識別器を選択する。具体的には、判断部14は、図10に示すように、識別器選択候補リスト14a中の識別器選択候補(図10の例では識別器B、E)の中から、識別器Aによる評価で認識スコアが最大となったクラスを含むクラス群に対し識別精度(識別信頼性)を高く設定してある識別器(図9、図11の例では識別器B)を選択する(S11)。
On the other hand, the
次に、選択された識別器Bは、入力パターンを評価してクラスごとに認識スコアを算出する(S6)。この後、判断部14が、識別器Bによる認識スコアの算出の結果、図6に示す閾値J1及び閾値J2で定めた条件を満たしていることを確認した場合(S7のYES)、累積部13は、先に算出された識別器Aによる認識スコアと、識別器Bによる認識スコアとをクラスごとに累積した累積スコアを求める(S12)。この際、累積部13は、識別器A、Bによる累積スコアR(B,Y)を現識別処理状況として図11に示すように、処理経過リスト13a中に記憶させる。
Next, the selected classifier B evaluates the input pattern and calculates a recognition score for each class (S6). Thereafter, when the
次いで、判断部14は、認識処理終了条件を満足するか否を確認する(S13)。識別器選択候補リスト14a中に次の選択候補の識別器がないこと、すなわち、識別器選択候補の数が、0である場合、認識処理終了条件が満たされることになる。具体的には、判断部14は、識別器選択候補リスト14a中の識別器選択候補の格納された変数の値が初期値か否かをチェックすることにより、認識処理終了条件を満たしているか否を判定する。
Next, the
認識処理終了条件を満たしていない場合、判断部14は、図10に示すように、識別器選択候補リスト14a中の識別器選択候補(図10の例では識別器C、D)の中から、識別器Bによる評価で認識スコアが最大となったクラスを含むクラス群と他のクラス群との識別精度を高く設定した識別器(図9、図11の例では識別器C)を選択する(上記S11)。ここで、判断部14は、上記の認識スコア及び/又は累積スコアに基づいて、既に選択された識別器を除く他の識別器を選択するものであってもよい。
When the recognition process end condition is not satisfied, the
すなわち、判断部14は、識別器選択候補リスト14a中の識別器選択候補の中から、識別器A、Bによる評価で累積スコアが最大となったクラスを含むクラス群と他のクラス群との識別精度を高く設定してある識別器を選択するものであってもよい。また、識別器選択候補リスト14aを用いずに、上記の認識スコア又は累積スコアが最大となったクラスを含むクラス群の他のクラス群に対する識別精度を高く設定してある識別器を選択するものとして判断部14を構成することもできる。さらに例えば、識別器選択候補リスト14aを用いずに、認識スコア及び累積スコアをそれぞれ参照すると共に、累積スコアの最高得点を評価に用いた識別器の個数で除算した平均累積スコアと認識スコアの最高得点とを比較し、得点の高い方のスコアに対応するクラスを含むクラス群と他のクラス群との識別精度を高く設定した識別器を選択できる判断部を構成してもよい。
That is, the
図13に示すように、このようなパターン認識処理を繰り返しているうちに、判断部14が、認識処理終了条件を満たしていること(選択候補の識別器が0になったこと)を確認した場合には(S13のYES)、判断部14は、累積部13によりクラスごとに算出された累積スコアが、図6に示す閾値J3及び閾値J4で定めた条件を満たしているか否かを判断する(S14)。条件を満足しない場合には(S14のNO)、上記したリジェクト処理が行われる(上記S8)。一方、条件を満たした場合には(S14のYES)、判断部14は、累積スコアが1位のクラスを入力パターンの所属クラスとして特定し、さらに、出力部15は、特定されたそのクラスの文字コードと共に認識結果表示リスト15aを表示出力する(上記S9)。
As shown in FIG. 13, while repeating such pattern recognition processing, the
既述したように、本実施形態のパターン認識装置10では、入力パターンから互いに異なる視点で特徴を各々抽出することより各識別器で認識スコアを算出し、しかもこれらの識別器の認識スコアをクラスごとに累積した累積スコアにて、入力パターンの識別を行うことができる。すなわち、本実施形態のパターン認識装置10によれば、複数の識別器を用いかつ常に全クラスの累積スコアを求め、これを入力パターンの所属クラスの分類に適用できるので、例えば、認識誤りによって正解のクラスを識別対象から外してしまう事態を回避でき、これにより、認識エラーを抑制した高精度なパターン認識を行うことができる。また、本実施形態のパターン認識装置10によれば、クラス別に得られる認識スコア及び/又は累積スコアの算出結果に基づいて、特定のクラス群を他のクラス群と高い識別精度で識別する識別器を、複数の中から適宜選択することによりクラスの絞り込みを行えるので、効率的なパターン認識処理を実現することができる。
As described above, in the
なお、第1の実施形態の図13及び後述する第2、第3の実施形態の図19、図25に示すステップ14(S14)の処理では、累積スコアについて閾値J3のみを満足する条件でリジェクトと非リジェクトとを判断するようにしてもよい。また、第1の実施形態の図13及び後述する第2の実施形態の図19に示すステップ7(S7)の処理では、認識スコアについて閾値J1のみを満足する条件でリジェクトと非リジェクトとを判断するようにしてもよい。さらにまた、第1の実施形態の図13及び後述する第2の実施形態の図19に示すステップ7自体の処理を削除し、リジェクト処理の実行/非実行を認識スコアの算出結果に依存させないようにしてもよい。
In the process of step 14 (S14) shown in FIG. 13 of the first embodiment and FIGS. 19 and 25 of the second and third embodiments described later, the cumulative score is rejected under a condition that satisfies only the threshold value J3. And non-rejection may be determined. Further, in the process of step 7 (S7) shown in FIG. 13 of the first embodiment and FIG. 19 of the second embodiment to be described later, whether the recognition score is rejected or not is determined on the condition that only the threshold value J1 is satisfied. You may make it do. Furthermore, the processing of
[第2の実施の形態]
次に、本発明の第2の実施形態を図14〜図19に基づき説明する。ここで、図14は、第2の実施形態に係るパターン認識装置20の機能ブロック図であり、図15は、このパターン認識装置20の判断部24に記憶された識別器選択候補リスト24aである。さらに、図16は、パターン認識装置20が行う後戻り処理を概念的に示す図であり、図17は、上記判断部24に記憶されるクラス別チェックリスト24bを示すものである。また、図18は、パターン認識装置20の累積部23に記憶される処理経過リスト23aを示す図であり、図19は、パターン認識装置20により実現されるパターン認識方法を示すフローチャートである。なお、図14において、図1に示した第1の実施形態のパターン認識装置10が備えていたものと同一の構成要素については、同一の符号を付与しその説明を省略する。また、図19において、図13に示した第1の実施形態のパターン認識方法で行われた処理と同一の処理については、同一のステップ番号を付与しその説明を省略する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to FIGS. Here, FIG. 14 is a functional block diagram of the
すなわち、この実施形態のパターン認識装置20は、第1の実施形態のパターン認識装置10に設けられていた累積部13及び判断部14に代えて、図14に示すように、累積部23及び判断部24を備えて構成されている。図14に示すように、判断部24は、第1の実施形態の識別器選択候補リスト14aと同様の識別器選択候補リスト24aに加え、さらに、クラス別チェックリスト24bを有する(記憶している)。識別器選択候補リスト24aには、図15に示すように、分類可能な複数のクラス群の中から個別に選ばれた各々異なる特定のクラスについての識別精度(識別信頼性)を選択的に高く設定した複数の種類の識別器A、B、C…、及び判断部24が選択する選択候補の識別器が記録されている。
That is, the
また、図17に示すように、このクラス別チェックリスト24bは、識別器のコードにそれぞれ対応付けて、各クラスのコード、クラスチェック値、及び使用チェック値(変数)が記録されている。クラス別チェックリスト24bには、識別器のコードとクラスとを一対一で対応付けたかたちでクラスチェック値が記録されている。
Also, as shown in FIG. 17, the
クラスチェック値は、個々の識別器において、あるクラスが、識別精度(識別信頼性)を高く設定した特定のクラス群の中に含まれているか否かを表すものである。例えば、入力パターンが数字「0〜9」であり、また、パターン認識処理部12の識別器A、B、C…が、図16に示すように、識別器群27、28を有するツリー構造で構成されていたとする。
The class check value indicates whether or not a certain class is included in a specific class group in which identification accuracy (identification reliability) is set high in each classifier. For example, the input pattern is a number “0-9”, and the classifiers A, B, C... Of the pattern
図15、図16に示すように、識別器Aが、数字「0、1、8、9」の識別精度を高く設定してある場合、図17に示すように、クラス別チェックリスト24b中の識別器Aのコードに対応するクラス「0、1、8、9」それぞれのクラスチェック値に“1”を格納する。同様に、識別器Bが、数字「0、8」の識別精度を高く設定してある場合、クラス「0、8」のクラスチェック値に“1”を、また他のクラスのクラスチェック値に"0"を格納する。 As shown in FIGS. 15 and 16, when the discriminator A has set the identification accuracy of the numbers “0, 1, 8, 9” high, as shown in FIG. 17, as shown in FIG. “1” is stored in the class check value of each class “0, 1, 8, 9” corresponding to the code of the discriminator A. Similarly, when the discriminator B has set the discrimination accuracy of the numbers “0, 8” high, the class check value of the class “0, 8” is set to “1”, and the class check value of another class is set. “0” is stored.
ここで、図15〜図17に示すように、クラスチェック値の"0"は、識別器B及び識別器Bの次に選択される選択候補の識別器C、Dを含む識別器群27、並びに識別器E及び識別器Eの次に選択される選択候補の識別器F、Gを含む識別器群28といったツリー構造で繋がる下位の識別器群の中に、"0"を格納したクラスの識別精度(識別信頼性)を高く設定してある識別器が存在しないことを示す。つまり、クラス別チェックリスト24bは、複数の識別器A、B、C…で構成されるツリー構造に対応するようにして作成されている。
Here, as shown in FIG. 15 to FIG. 17, the class check value “0” is a
ただし、所定のクラスのクラスチェック値に“0”が格納されている識別器は、そのクラスの識別精度(識別信頼性)が高くないだけで、第1の実施形態で説明したように、そのクラスの認識スコア及び累積スコアは算出される。クラス別チェックリスト24bには、このようなクラスチェック値が予め記憶されていることに加え、使用チェック値が追加記憶される。この使用チェック値は、その識別器を使用したか否かを表し、使用した場合"1"が、未使用の場合“0”が格納される。なお、判断部24は、クラス別チェックリスト24bへの値の格納を認識処理の開始前に行う。
However, a discriminator in which “0” is stored in the class check value of a predetermined class does not have a high class identification accuracy (identification reliability), and as described in the first embodiment, A class recognition score and a cumulative score are calculated. The
また、判断部24は、図19に示すように、ステップ6、7において、所定の識別器で算出された認識スコアの確認時、認識スコアが1位となったクラスのコードを基に、クラス別チェックリスト24b中の当該クラスにおけるクラスチェック値を確認する(S31)。また、判断部24は、認識スコアを算出した識別器の使用チェック値に“1”を格納する。さらに、判断部24は、認識スコアが1位となったクラスのクラスチェック値が“0”であった場合(S31のNO)、後戻り処理を開始すると共に(S32)、図18に示す処理経過リスト23aを確認し、所定の条件を満足する識別器を検索する(S32)。識別器を検索できなかった場合(S33のNO)、リジェクト処理となり(上記S8)、一方、識別器を検索できた場合(S33のYES)、判断部24は、後戻り処理の最終段階で当該識別器を選択して(S34)、認識スコアの算出処理を実行させる。
Further, as shown in FIG. 19, the
この後戻り処理の具体例を図14〜図19に基づき説明する。例えば、数字「0〜9」を入力パターンとして、識別器A、B、Cの順に識別処理が行われたものとする。また、識別器Cによる認識スコアの1位となったクラスが「9」であったとする。ここで、クラス別チェックリスト24bにおいて、識別器Cのクラス「9」に格納されたクラスチェック値が“0”であった場合、判断部24は、クラス「9」のクラスチェック値に“1”が格納された識別器(識別器A)を検索する。
Specific examples of the return processing will be described with reference to FIGS. For example, it is assumed that the identification processing is performed in the order of the classifiers A, B, and C using the numbers “0 to 9” as input patterns. Further, it is assumed that the class having the first recognition score by the classifier C is “9”. Here, if the class check value stored in the class “9” of the classifier C is “0” in the
判断部24は、累積部23に記憶された処理経過リスト23a中の、使用した識別器の種類及び使用順序を参照しつつ、現段階での累積スコアを示す現識別処理状況に対応した識別器(現段階で選択されている識別器)側から、過去に選択されていた識別器側へ一つずつ戻るようにクラス別チェックリスト24bの値を確認する。詳細には、判断部24は、識別器のコードとクラス別チェックリスト24bに記録した識別器のコードとのマッチングを取りつつ、マッチングの取れたところの認識スコアが1位となったクラスのクラスチェック値を順次確認するといった手順をとる。なお、後戻り処理の開始前に認識スコアが1位となっていたクラスや、後戻り処理の開始直前に選択されていた識別器Cにおける現識別処理状況(当該識別器Cに対応する累積スコアなど)は、判断部24が別途記憶部に記録しておくものとする。
The judging
判断部24は、後戻り先として選択される識別器を決定した後、累積部23の処理経過リスト23aを再び参照し、マッチングの取れた識別器のコード及び各クラスごとの累積スコアを、図18に示すように、処理経過リスト23aの末尾に格納する。ここで、後戻り処理の直前に使用していた識別器をm−1番目とした場合、新たに格納したデータがm番目に使用した識別器及びその時点での累積スコア、すなわち新しい現識別処理状況となる。後戻り処理の最終段階で、図15に示す識別器選択候補リスト24aと図17に示すクラス別チェックリスト24bを参照し、未使用の識別器を選択する(上記S34)。
After determining the discriminator to be selected as the retroactive destination, the determining
具体例を以下に述べる。クラス別チェックリスト24bの使用チェック値には、前述したように、未使用の場合は初期値「0」が、使用した場合は「1」が格納されている。識別器選択候補リスト24aに記録された複数の識別器のうち、使用チェック値が「0」であり、かつ後戻り処理直前に選択されていた識別器で認識スコアが1位であったクラスのクラスチェック値が1である、すなわち、当該認識スコアが1位のクラスを含むクラス群の(他のクラス群に対する)識別精度(識別信頼性)を高く設定した識別器を新しく選択する識別器として決定する。これらの条件を満たす識別器が複数存在した場合は、後戻り処理後の現段階での累積スコアが最も高いクラスを含むクラス群と他のクラス群との識別精度を高く設定した識別器を選択する。この場合の識別器の選択は、あるクラスが選ばれた時にこれに応じて選ばれる識別器の対応表を予め作成しておき、この対応表を判断部24が参照することで実現する。なお、このようにして新たに選択された識別器に対応するクラス別チェックリスト24bの使用チェック値に、使用済みを示す値「1」を格納しておく。
Specific examples are described below. The use check value of the
さらに、後戻り処理の際、認識スコアが1位のクラスのクラスチェック値が「1」でかつ未使用の識別器を発見できなかった場合(上記S33のNO)、現識別処理状況(累積スコア)を、後戻り直前の累積スコアの値に戻し、さらにリジェクト処理を行う(上記S8)。なお、この場合、リジェクト処理を行わず、後戻りする直前に選択されていた識別器を用いて認識処理を続行するようにしてもよい。さらに、後戻り処理の条件の一つとして、後戻りの制限回数(異なる識別器のデータの参照回数の制限)を設定しておいてもよい。この条件は、後戻りカウント用の変数を準備しておき、それが一定の回数に達した場合は後戻り処理を行わせないようにするものである。 Further, when the class check value of the class having the first recognition score is “1” and an unused classifier cannot be found during the backtracking process (NO in S33), the current identification processing status (cumulative score) Is returned to the value of the cumulative score immediately before the return, and the rejection process is further performed (S8). In this case, the recognition process may be continued using the discriminator selected immediately before returning without performing the reject process. Furthermore, as one of the conditions for the backtracking process, a backtracking limit number (a limit on the number of times of reference of data of different discriminators) may be set. This condition prepares a variable for backcounting, and prevents it from being performed when it reaches a certain number of times.
したがって、本実施形態のパターン認識装置20によれば、入力パターンの評価に用いる識別器の選択のやり直しができるので、正しい認識解に辿り着く可能性の向上、つまり、入力パターンの所属クラスの識別を高精度に行うことができる。
Therefore, according to the
[第3の実施の形態]
次に、本発明の第3の実施形態を図20〜図25に基づき説明する。ここで、図20は、第3の実施形態に係るパターン認識装置30の機能ブロック図であり、図21は、このパターン認識装置30の判断部34に記憶された識別器選択候補リスト34aを示すものである。また、図22は、上記判断部34による識別器の選択方法を説明するための図であり、図23は、判断部34に記憶されるスコア差評価リスト34bを示すものである。さらに、図24は、このパターン認識装置30の累積部33に記憶される処理経過リスト33aを示す図であり、図25は、パターン認識装置30により実現されるパターン認識方法を示すフローチャートである。なお、図20において、図1に示した第1の実施形態のパターン認識装置10が備えていたものと同一の構成要素については、同一の符号を付与しその説明を省略する。また、図25において、図13に示した第1の実施形態のパターン認識方法で行われた処理と同一の処理については、同一のステップ番号を付与しその説明を省略する。
[Third Embodiment]
Next, a third embodiment of the present invention will be described with reference to FIGS. Here, FIG. 20 is a functional block diagram of the
つまり、この実施形態のパターン認識装置30は、第1の実施形態のパターン認識装置10に設けられていた累積部13及び判断部14に代えて、図20に示すように、累積部33及び判断部34を備えて構成されている。判断部34は、記憶部を有し、図21〜図23に示すように、この記憶部内には識別器選択候補リスト34a及びスコア差評価リスト34bが記憶されている。また、パターン認識処理部12の備える識別器A、B、C…は、図22に示すように、識別器群37と識別器群38とに分岐するツリー構造で構成されている。
That is, the
判断部34は、複数の識別器A、B、C…の中から二つ以上(本実施形態では2つ)の識別器を選択する第1の選択部と、この第1の選択部で選択された識別器による認識スコア(及び/又は累積スコア)に基づいて、第1の選択部で選択された識別器を除く他の二つ以上(本実施形態では2つ)の識別器を選択する第2の選択部と、の2種類の選択部として機能する。判断部14は、図21〜図25に示すように、まず、識別器選択候補リスト34aを参照して、まず二つの識別器A、識別器Hを選択し(S51)、この識別器A、Hのそれぞれにおいてクラスごとに認識スコアを算出させる(S52)。この際、識別器A、Hで算出された認識スコアがスコア差評価リスト34bに登録される。
The
また、判断部14は、識別器A及び識別器Hそれぞれの認識スコアを確認し、図6に示す閾値J1及び閾値J2で定めた条件をいずれかの識別器が満たしているか否かを判断する(S53)。いずれの識別器も条件を満足していない場合には(S53のNO)、リジェクト処理となる(上記S8)。識別器A及び識別器Hのいずれかが、閾値J1及び閾値J2で定めた条件を満足している場合であって(S53のYES)、かつパターン認識要求発生後、二つの識別器を初めて選択したのであれば(S54のYES)、判断部14は、新たな識別器の選択処理に移行する。
Further, the
すなわち、判断部14は、スコア差評価リスト34bを参照して、識別器A、Hごとに1位の認識スコアと、2位の認識スコアと、のスコア差を求め、スコア差が大きい方の識別器A(識別器群37側)の下位にツリー構造で繋がる二つの識別器B、Eを、識別器選択候補リスト34aを参照しつつ新たに選択する(S55)。例えば、図22に示すように、入力パターンが数字「1、5」であって、識別器Aが濃度に特化した識別精度を高めて構成され、一方、識別器Hがループ構造に特化した識別精度を高めて構成されてたとする。この場合、識別器Hでは、数字「1、5」のいずれにも、ループが存在しないため、スコア差が大きくならないものの、識別器Aでは、数字「1、5」に大きな濃度差があるため、これに伴いスコア差も大きくなる。このような判断により、識別器群を徐々に絞り込むと共にクラス(クラス群)の絞り込みを行う。判断部14は、この絞り込み処理を繰り返して、最終的に単一のクラスを特定する。
That is, with reference to the score
さらに、判断部34は、図21〜図25に示すように、識別器選択候補リスト34aを参照して、新たに選択された二つの識別器B、Eのそれぞれにおいてクラスごとに認識スコアを算出させる(上記S52)。この後、累積部33は、累積スコアを算出する(S56)。ここで、累積部33は、1位の認識スコアと2位の認識スコアとのスコア差がそれぞれ大きかった方の例えば識別器A及び識別器Bの認識スコアどうしをグラスごとに累積して累積スコアを求める(S56)。なお、このような累積計算に代えて、スコア差が大きかった方の上記識別器A及び識別器B、並びにスコア差が小さかった方の識別器H及び識別器Eの全てで算出された認識スコアを全て累積して累積スコアを求めてもよい。このようにして算出された累積スコアは、図20、図24に示すように、累積部33の記憶部内に処理経過リスト33aとして記憶される。
Further, as shown in FIGS. 21 to 25, the
なお、判断部34は、上記した例示では、1位の認識スコアと2位の認識スコアとのスコア差に基づいて、次に選択する識別器を決定していたが、これに代えて1位の累積スコアと2位の累積スコアとのスコア差に基づいて、次に選択する識別器を決定してもよい。また、図25に示すステップ53の処理では、認識スコアについて閾値J1のみを満足する条件でリジェクトと非リジェクトとを判断するようにしてもよい。さらにまた、ステップ53自体の処理を削除し、リジェクト処理の実行/非実行を認識スコアの算出結果に依存させないようにしてもよい。
In the above-described example, the
既述したように本実施形態のパターン認識装置30によれば、クラスどうしの認識スコアのスコア差(又は累積スコアのスコア差)の大小関係に基づいて、所定の入力パターンに対する識別精度の高い識別器を順次選択して行くことができるので、効果的な正解クラスの絞り込みを行うことができ、効率的なパターン認識処理を実現することができる。
As described above, according to the
以上、本発明を各実施の形態により具体的に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、上述した実施形態では、文字パターンの認識を例示したが、これに代えて、音声パターンの認識や、色情報などを持つ文字以外の画像パターンの認識に本発明を適用することができる。つまり、上記した個々の識別器A、B、C…は、入力された文字パターンの特徴をパラメータ化した特徴パラメータ(特徴量)を独立変数として抽出し、この特徴パラメータ(変数)を自身の識別関数A1、B1、C1…に代入し、さらにこの出力となる識別関数A1、B1、C1の値に重み(重み付け情報A2、B2、C2…)を付与して認識スコアを算出するものであった。そこで、既知の方法で画像パターンや音声パターンから特徴パラメータ(特徴量)を抽出できるように、上記識別器の構成を一部変更すると共に、設計値の変更や実測値の計測などで求まる識別関数や重み付け情報を画像パターンや音声パターンに対応させることで、これら音声パターンや画像パターンの認識処理に本発明を適用することができる。 The present invention has been specifically described above with reference to the embodiments. However, the present invention is not limited to these embodiments, and various modifications can be made without departing from the scope of the invention. For example, in the above-described embodiment, the recognition of the character pattern is exemplified, but instead of this, the present invention can be applied to the recognition of the voice pattern and the recognition of the image pattern other than the character having the color information. That is, each of the classifiers A, B, C... Described above extracts a feature parameter (feature amount) obtained by parameterizing the feature of the input character pattern as an independent variable, and identifies the feature parameter (variable) by itself. Substituting into the functions A1, B1, C1,..., And further assigning weights (weighting information A2, B2, C2,...) To the values of the discrimination functions A1, B1, C1, which are the outputs, to calculate a recognition score. . Therefore, in order to extract feature parameters (features) from image patterns and sound patterns by a known method, a part of the classifier configuration is changed, and a discrimination function obtained by changing design values or measuring actual values. The present invention can be applied to the recognition processing of the sound pattern and the image pattern by associating the weighting information with the image pattern and the sound pattern.
ここで、画像パターンからの特徴量の抽出には、次のような方法が例示される。例えば、色情報(R・G・Bの各値がどれほどか)、明度(明るさの度合い)、濃度方向性(濃度の分布から得られる、その領域が縦横斜めどちらに向いているかの指標)などの特徴量を、画像を一定の大きさごとに分割して(マス目状に区切って)得られる領域から抽出する。一方、音声パターンにおいては、周波数分布における音声の強さのピークの出現位置、周波数分布における音声の弱さのピークの出現位置、一定時間内における周波数の変動の度合い、さらに、横軸を周波数、縦軸を音声の強さとした場合に、強さのピーク(山)はどの周波数の時に現れるかなどといった点を、特徴量として抽出することが可能である。 Here, the following method is exemplified for extracting the feature amount from the image pattern. For example, (each value how much R · G · B) color information, luminance (brightness degree of) concentration directional (obtained from the distribution of the concentration, an indication of whether the region is facing either vertical, horizontal, and diagonal) Are extracted from an area obtained by dividing an image into a certain size (divided into squares). On the other hand, in the sound pattern, the appearance position of the sound intensity peak in the frequency distribution, the appearance position of the sound weakness peak in the frequency distribution, the degree of frequency fluctuation within a certain time, and the horizontal axis the frequency, When the vertical axis is the voice strength, it is possible to extract a point such as at which frequency the strength peak (mountain) appears as a feature amount.
10,20,30…パターン認識装置、11…入力部、12…パターン認識処理部、13,23,33…累積部、13a,23a,33a…処理経過リスト、14,24,34…判断部、14a,24a,…識別器選択候補リスト、15…出力部、15a…認識結果表示リスト、24b…クラス別チェックリスト、34b…スコア差評価リスト、27,28,37,38…識別器群、A,B,C〜…識別器、A1,B1,C1〜…識別関数、A2,B2,C2〜…重み付け情報、P,Q,S,T…クラス群、P1,Q1,S1,T1…クラス。
DESCRIPTION OF
Claims (5)
前記入力部で入力された前記パターンから互いに異なる視点で特徴を各々抽出することにより前記複数のクラスごとに当該パターンの評価値を各々算出する複数の評価部と、
前記複数の評価部で各々算出された前記評価値を前記複数のクラスごとに累積する累積部と、
前記累積部による累積結果に基づいて、前記入力部で入力された前記パターンの所属するクラスを特定するクラス特定部と、
前記複数の評価部の中から一又は二以上の評価部を選択する第1の選択部と、
前記第1の選択部で選択された評価部による評価値に基づいて、前記第1の選択部で選択された評価部を除く他の一又は二以上の評価部を選択する第2の選択部と、
を具備することを特徴とするパターン認識装置。 An input unit that can input a pattern belonging to one of a plurality of classes,
A plurality of evaluation units each calculating an evaluation value of the pattern for each of the plurality of classes by extracting features from different viewpoints from the pattern input by the input unit;
An accumulating unit that accumulates the evaluation values calculated by the plurality of evaluation units for each of the plurality of classes;
Based on the accumulated result by the accumulating unit, a class identifying unit that identifies a class to which the pattern input by the input unit belongs,
A first selection unit that selects one or more evaluation units from the plurality of evaluation units;
A second selection unit that selects one or more evaluation units other than the evaluation unit selected by the first selection unit based on the evaluation value by the evaluation unit selected by the first selection unit When,
A pattern recognition apparatus comprising:
前記第2の選択部は、前記累積部により前記クラスごとに算出された前記累積値に基づいて、前記第1の選択部で選択された評価部を除く他の一又は二以上の評価部を選択する、
ことを特徴とする請求項1記載のパターン認識装置。 The accumulating unit calculates an accumulated value obtained by accumulating the evaluation value by the evaluating unit selected by the first selecting unit for each class,
The second selection unit includes one or more evaluation units other than the evaluation unit selected by the first selection unit based on the accumulated value calculated for each class by the accumulation unit. select,
The pattern recognition apparatus according to claim 1 .
前記第2の選択部は、前記第1の選択部で選択された評価部による評価値と前記累積部により前記クラスごとに算出された前記累積値とに基づいて、前記第1の選択部で選択された評価部を除く他の一又は二以上の評価部を選択する、
ことを特徴とする請求項1記載のパターン認識装置。 The accumulating unit calculates an accumulated value obtained by accumulating the evaluation value by the evaluating unit selected by the first selecting unit for each class,
The second selection unit is a first selection unit based on an evaluation value by the evaluation unit selected by the first selection unit and the cumulative value calculated for each class by the accumulation unit. Select one or more evaluation parts other than the selected evaluation part,
The pattern recognition apparatus according to claim 1 .
前記入力部で入力された前記パターンから互いに異なる視点で特徴を各々抽出することにより前記複数のクラスごとに当該パターンの評価値を各々算出する複数の評価部と、
前記複数の評価部で各々算出された前記評価値を前記複数のクラスごとに累積する累積部と、
前記累積部による累積結果に基づいて、前記入力部で入力された前記パターンの所属するクラスを特定するクラス特定部と、
前記複数の評価部の中から一又は二以上の評価部を選択する第1の選択部と、
前記第1の選択部で選択された評価部による評価値に基づいて、前記第1の選択部で選択された評価部を除く他の一又は二以上の評価部を選択する第2の選択部、
としてコンピュータを機能させることを特徴とするパターン認識プログラム。 An input unit that can input a pattern belonging to one of a plurality of classes,
A plurality of evaluation units each calculating an evaluation value of the pattern for each of the plurality of classes by extracting features from different viewpoints from the pattern input by the input unit;
An accumulating unit that accumulates the evaluation values calculated by the plurality of evaluation units for each of the plurality of classes;
Based on the accumulated result by the accumulating unit, a class identifying unit that identifies a class to which the pattern input by the input unit belongs ,
A first selection unit that selects one or more evaluation units from the plurality of evaluation units;
A second selection unit that selects one or more evaluation units other than the evaluation unit selected by the first selection unit based on the evaluation value by the evaluation unit selected by the first selection unit ,
A pattern recognition program for causing a computer to function as
前記入力部で入力された前記パターンから、複数の評価部が、互いに異なる視点で特徴を各々抽出することにより前記複数のクラスごとに当該パターンの評価値を各々算出するステップと、
前記複数の評価部で各々算出された前記評価値を累積部が前記複数のクラスごとに累積するステップと、
前記累積部による累積結果に基づいて、クラス特定部が、前記入力部で入力された前記パターンの所属するクラスを特定するステップと、
前記複数の評価部の中から一又は二以上の評価部を第1の選択部が選択するステップと、
前記第1の選択部で選択された評価部による評価値に基づいて、前記第1の選択部で選択された評価部を除く他の一又は二以上の評価部を第2の選択部が選択するステップと、
を有することを特徴とするパターン認識方法。 A step in which the input unit inputs a pattern belonging to one of the classes classified into a plurality of classes;
A plurality of evaluation units respectively calculating the evaluation value of the pattern for each of the plurality of classes by extracting features from different viewpoints from the pattern input by the input unit;
A step of accumulating the evaluation values respectively calculated by the plurality of evaluation units for each of the plurality of classes;
Based on the accumulation result by the accumulating unit, the class identifying unit identifies the class to which the pattern input by the input unit belongs,
A first selection unit selecting one or more evaluation units from the plurality of evaluation units;
Based on the evaluation value by the evaluation unit selected by the first selection unit, the second selection unit selects one or more evaluation units other than the evaluation unit selected by the first selection unit. And steps to
A pattern recognition method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007304586A JP4802176B2 (en) | 2007-11-26 | 2007-11-26 | Pattern recognition apparatus, pattern recognition program, and pattern recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007304586A JP4802176B2 (en) | 2007-11-26 | 2007-11-26 | Pattern recognition apparatus, pattern recognition program, and pattern recognition method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009129253A JP2009129253A (en) | 2009-06-11 |
JP4802176B2 true JP4802176B2 (en) | 2011-10-26 |
Family
ID=40820093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007304586A Active JP4802176B2 (en) | 2007-11-26 | 2007-11-26 | Pattern recognition apparatus, pattern recognition program, and pattern recognition method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4802176B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5931662B2 (en) * | 2012-09-14 | 2016-06-08 | 株式会社東芝 | Road condition monitoring apparatus and road condition monitoring method |
JP6062273B2 (en) * | 2013-02-05 | 2017-01-18 | 株式会社東芝 | Pattern recognition apparatus, pattern recognition method, and pattern recognition program |
JP6847421B2 (en) * | 2015-12-18 | 2021-03-24 | 国立大学法人東京農工大学 | Programs, information storage media and character string recognition devices |
JP6282711B2 (en) * | 2016-10-25 | 2018-02-21 | 株式会社東芝 | Pattern recognition apparatus, pattern recognition method, and pattern recognition program |
JP2018112839A (en) * | 2017-01-10 | 2018-07-19 | 富士通株式会社 | Image processing program, image recognition program, image processing device, image recognition device, image recognition method, and image processing method |
JP7336422B2 (en) * | 2020-08-27 | 2023-08-31 | 株式会社日立製作所 | Form work support method, form work support device, and form work support system |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02268388A (en) * | 1989-04-10 | 1990-11-02 | Hitachi Ltd | Character recognizing method |
JPH03268088A (en) * | 1990-03-19 | 1991-11-28 | Fujitsu Ltd | General evaluation circuit |
JP2945454B2 (en) * | 1990-09-03 | 1999-09-06 | 日本電信電話株式会社 | Pattern identification method |
JPH04337888A (en) * | 1991-05-15 | 1992-11-25 | N T T Data Tsushin Kk | Device for recognizing character |
JP3487345B2 (en) * | 2000-02-28 | 2004-01-19 | 日本電気株式会社 | Character input / recognition system and method for small electronic equipment |
-
2007
- 2007-11-26 JP JP2007304586A patent/JP4802176B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009129253A (en) | 2009-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7362892B2 (en) | Self-optimizing classifier | |
US7958070B2 (en) | Parameter learning method, parameter learning apparatus, pattern classification method, and pattern classification apparatus | |
US8340429B2 (en) | Searching document images | |
US5917941A (en) | Character segmentation technique with integrated word search for handwriting recognition | |
EP1388804A2 (en) | Method and system for face detection using pattern classifier | |
JP6897749B2 (en) | Learning methods, learning systems, and learning programs | |
JP4802176B2 (en) | Pattern recognition apparatus, pattern recognition program, and pattern recognition method | |
CN106372624B (en) | Face recognition method and system | |
JP5003051B2 (en) | Automatic mail sorting machine and automatic mail sorting method | |
JP4039708B2 (en) | Pattern recognition method and pattern recognition apparatus | |
JP2002074268A (en) | System for recognizing characters | |
WO1996009607A1 (en) | Handwritten pattern recognizer | |
Obaidullah et al. | Comparison of different classifiers for script identification from handwritten document | |
JP3917349B2 (en) | Retrieval device and method for retrieving information using character recognition result | |
CN111428064A (en) | Small-area fingerprint image fast indexing method, device, equipment and storage medium | |
Azizi et al. | From static to dynamic ensemble of classifiers selection: Application to Arabic handwritten recognition | |
US8755594B2 (en) | Information processing device and method, and program | |
Khayyat et al. | Arabic handwritten word spotting using language models | |
JP3095069B2 (en) | Character recognition device, learning method, and recording medium storing character recognition program | |
JP2016062249A (en) | Identification dictionary learning system, recognition dictionary learning method and recognition dictionary learning program | |
Amrouch et al. | A novel feature set for recognition of printed amazigh text using maximum deviation and hmm | |
JP3334029B2 (en) | Cluster classification method and cluster classification device | |
JPH0638276B2 (en) | Pattern identification device | |
CN111310712B (en) | Quick searching method based on fingerprint word bag characteristics | |
JP4215385B2 (en) | PATTERN RECOGNIZING DEVICE, PATTERN RECOGNIZING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING PROGRAM FOR CAUSING COMPUTER TO EXECUTE THE METHOD |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110207 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110712 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110808 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140812 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4802176 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |