JPH08314879A - Method for learning neural network and neural network type pattern recognition device - Google Patents
Method for learning neural network and neural network type pattern recognition deviceInfo
- Publication number
- JPH08314879A JPH08314879A JP7117030A JP11703095A JPH08314879A JP H08314879 A JPH08314879 A JP H08314879A JP 7117030 A JP7117030 A JP 7117030A JP 11703095 A JP11703095 A JP 11703095A JP H08314879 A JPH08314879 A JP H08314879A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- data
- quality
- sample data
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Character Discrimination (AREA)
Abstract
Description
【0001】本発明は、ニュ−ラルネットの学習方法及
びニュ−ラルネット型パターン認識装置に関する。The present invention relates to a neural net learning method and a neural net pattern recognition device.
【0002】[0002]
【従来の技術】ニュ−ラルネットに関しては、以下の文
献等により極めて周知である。 (a).産業図書株式会社1994年9月12日発行の「ニュ
−ロ・ファジィ・遺伝的アルゴリズム」。 (b).オ−ム社平成5年1月25日発行の「ニュ−ロ・フ
ァジィ・カオス」。2. Description of the Related Art A neural net is extremely well known from the following documents. (A). Sangyo Tosho Co., Ltd. “Neuro-fuzzy genetic algorithm” published on September 12, 1994. (B). "Neuro Fuzzy Chaos" issued by Ormesha on January 25, 1993.
【0003】ニュ−ラルネットの実用的使用分野には、
音声認識・文字認識等のパターン認識の分野がある。文
字認識装置にニュ−ラルネットを用いた従来例を図1〜
図11を参照しつつ、説明する。尚、公知の事項なので
「発明が解決しようとする課題」の項まで、読み飛ばし
てもらっても結構である。In the field of practical use of the neural net,
There is a field of pattern recognition such as voice recognition and character recognition. A conventional example using a neural net for a character recognition device is shown in FIGS.
This will be described with reference to FIG. Since this is a publicly known matter, you may skip the section "Problems to be solved by the invention".
【0004】この例のニュ−ラルネット型文字認識装置
は、「0」〜「9」までの数字を認識するものである。
そして、時間のかかる学習を、予め高性能なコンピュー
タにより行う。そして、この学習結果である結合係数を
ROMに覚え込ませる。商品に、このROMを搭載し
て、結合係数による演算を行い文字認識を行うものであ
る。つまり、商品後には、学習を行わないタイプであ
る。The neural net type character recognizing device of this example recognizes the numbers "0" to "9".
Then, time-consuming learning is performed in advance by a high-performance computer. Then, the coupling coefficient as the learning result is stored in the ROM. This ROM is installed in a product, and a character is recognized by performing an operation using a coupling coefficient. In other words, it is a type where learning is not performed after the product is sold.
【0005】図1は、第1従来例の学習用のニュ−ラル
ネット型文字認識装置の構成を示す図である。図2は、
ROMを搭載したニュ−ラルネット型文字認識装置(商
品)の構成を示す図である。図3は、学習用のサンプル
データを示す図であり、この例では、「0」〜「9」を
1セットとし、1000セット(計1万個)のサンプル
データである。FIG. 1 is a diagram showing a structure of a neural net type character recognition device for learning of a first conventional example. Figure 2
It is a figure which shows the structure of the neural net type character recognition device (commodity) which mounts ROM. FIG. 3 is a diagram showing sample data for learning. In this example, “0” to “9” are set as one set, and there are 1000 sets (10,000 pieces in total) of sample data.
【0006】図4は、「その他」用の10個の学習用の
サンプルデータである。図5は、正規化の1例を示す図
であり、ここでは8×8画素のデータとしている。図6
は、ニュ−ラルネット型文字認識部(16)周辺を示す
図である。図7は、この第1従来例の教師信号を示す図
である。FIG. 4 shows 10 pieces of learning sample data for "others". FIG. 5 is a diagram showing an example of normalization, and here, data of 8 × 8 pixels is used. Figure 6
FIG. 6 is a diagram showing the vicinity of a neural net type character recognition unit (16). FIG. 7 is a diagram showing the teacher signal of the first conventional example.
【0007】図8は、この第1従来例とは、異なる従来
の教師信号の一例を示す図である。図9は、この第1従
来例の動作を示す図である。図10は、数を増やした学
習用のサンプルデータを示す図であり、ここでは、
「0」〜「9」を2000セット(計2万個)のサンプ
ルデータを学習することになる。FIG. 8 is a diagram showing an example of a conventional teacher signal different from the first conventional example. FIG. 9 is a diagram showing the operation of the first conventional example. FIG. 10 is a diagram showing sample data for learning in which the number is increased, and here,
2000 sets (total of 20,000) of sample data of "0" to "9" will be learned.
【0008】図11は、この第1従来例とは、異なる従
来のニュ−ラルネット型文字認識部(16)周辺を示す
図である。まず、この第1従来例について、説明する。
尚、パターン認識等については、特開平4-219883号公報
(G06K9/66)、特開平5-324838号公報(G06K9/66)等にも示
されるように周知技術であるので、説明は簡単なものと
する。FIG. 11 is a diagram showing the periphery of a conventional neural net type character recognition unit (16) different from the first conventional example. First, the first conventional example will be described.
Regarding pattern recognition, etc., Japanese Patent Laid-Open No. 4-219883
(G06K9 / 66) and Japanese Patent Application Laid-Open No. 5-324838 (G06K9 / 66), which are well-known techniques, the description will be simple.
【0009】図1において、10は学習用サンプルデー
タ(教師用サンプルデータ)が、格納された記憶部であ
る。この教師用サンプルデータ記憶部10には、図3及
び図4に示されるように予かじめ正解の分かっているサ
ンプルデータが、10010個格納されている。12
は、入力されたサンプルデータを正規化する正規化部で
ある。ここでは、図5に示される様に、8×8画素のデ
ータに揃える。In FIG. 1, reference numeral 10 denotes a storage unit in which learning sample data (teacher sample data) is stored. The teacher sample data storage unit 10 stores 10010 pieces of sample data whose pre-correct answer is known as shown in FIGS. 3 and 4. 12
Is a normalization unit that normalizes the input sample data. Here, as shown in FIG. 5, the data is aligned to 8 × 8 pixels.
【0010】図1の14は、認識処理を容易にするため
の特徴抽出部である。この特徴抽出部14は、前処理部
とも呼ばれる。この特徴抽出部14の処理としては、骨
格化(細線化)、平均輝度抽出、方向成分の抽出等の種
々の処理が、従来から提案されている。この部14は、
認識処理を容易にするためのものであり、削除しても動
作するが、一般的には、認識率は低下する。当然、この
特徴抽出部での抽出する特徴を下手に選ぶと、反対に認
識率は低下する。Reference numeral 14 in FIG. 1 is a feature extraction unit for facilitating the recognition process. The feature extraction unit 14 is also called a preprocessing unit. As the processing of the feature extraction unit 14, various processing such as skeletonization (thinning), average luminance extraction, and direction component extraction have been conventionally proposed. This part 14
This is for facilitating the recognition process, and even if it is deleted, it operates, but in general, the recognition rate is lowered. Naturally, if the feature to be extracted by the feature extracting unit is poorly selected, the recognition rate will be lowered.
【0011】16は、ニュ−ラルネット型文字認識部で
ある。この詳細は、図6で述べる。図1の18は、教師
信号出力部である。この教師信号出力部18には、サン
プルデータの正解データが、入力され、この正解データ
に対応する図7の教師信号を出力する。尚、この例で
は、ニュ−ラルネット型文字認識部16の出力層の端子
数は、図6の如く、11端子である。従って、図7の如
く、設計したが、端子数が4ならば、図8の如く設計す
ることも考えられる。Reference numeral 16 is a neural net type character recognition unit. The details will be described with reference to FIG. Reference numeral 18 in FIG. 1 is a teacher signal output unit. Correct data of the sample data is input to the teacher signal output unit 18, and the teacher signal of FIG. 7 corresponding to the correct data is output. In this example, the number of terminals in the output layer of the neural net type character recognition unit 16 is 11, as shown in FIG. Therefore, although it is designed as shown in FIG. 7, if the number of terminals is 4, it is also possible to design as shown in FIG.
【0012】図1の20は、学習を制御する学習制御部
である。この学習制御部20は、ニュ−ラルネット型文
字認識部16の出力信号と、教師信号との差(誤差)に
より、学習を制御する。そして、バックプロパゲ−ショ
ン法(BP法)により、ニュ−ラルネット型文字認識部
16内の各階層間の結合係数(重み係数)を少しずつ修
正する。Reference numeral 20 in FIG. 1 is a learning control unit for controlling learning. The learning control unit 20 controls learning based on the difference (error) between the output signal of the neural net type character recognition unit 16 and the teacher signal. Then, the back-propagation method (BP method) is used to gradually correct the coupling coefficient (weighting coefficient) between the layers in the neural net type character recognition unit 16.
【0013】22は、ROMである。このROM22に
は、学習終了後にニュ−ラルネット型文字認識部16内
の各階層間の結合係数(重み係数)が、記憶される。図
2は、商品を示す図である。24は、文字列データの入
力部である。26は、文字列データを1字に切り分ける
文字切り出し部である。Reference numeral 22 is a ROM. The ROM 22 stores the coupling coefficient (weighting coefficient) between layers in the neural net type character recognition unit 16 after learning is completed. FIG. 2 is a diagram showing products. Reference numeral 24 is an input unit for character string data. Reference numeral 26 is a character cutout unit that divides the character string data into one character.
【0014】12aは、切り出された文字データを正規
化する正規化部である。ここでは、図5に示される様
に、8×8画素のデータに揃える。図1の正規化部12
と全く同じ処理を行う。14aは、認識処理を容易にす
るための特徴抽出部である。この特徴抽出部14aは、
前述の特徴抽出部14と全く同じ処理を行う。もし、図
1の特徴抽出部14が設けられていなければ、当然、こ
の特徴抽出部14aも設けない。Reference numeral 12a is a normalization unit for normalizing the cut out character data. Here, as shown in FIG. 5, the data is aligned to 8 × 8 pixels. Normalization unit 12 in FIG.
Do exactly the same as. Reference numeral 14a is a feature extraction unit for facilitating the recognition process. This feature extraction unit 14a
The same processing as the above-mentioned feature extraction unit 14 is performed. If the feature extraction unit 14 of FIG. 1 is not provided, naturally, the feature extraction unit 14a is not provided.
【0015】16aは、ニュ−ラルネット型文字認識部
である。ニュ−ラルネット型文字認識部16aは、ニュ
−ラルネット型文字認識部16と同じ構成であり、且
つ、結合係数は前記ROM22により、設定される。2
4は、文字認識結果を出力する出力部である。図6は、
学習時のニューラルネット型認識部16の周辺を示す図
である。Reference numeral 16a is a neural net type character recognition unit. The neural net type character recognition unit 16a has the same configuration as the neural net type character recognition unit 16, and the coupling coefficient is set by the ROM 22. Two
An output unit 4 outputs a character recognition result. FIG.
It is a figure which shows the periphery of the neural network type recognition part 16 at the time of learning.
【0016】ここでは、正規化部12の8×8画素の文
字データをそのまま特徴抽出データとしている。つま
り、8×8=64個のデータを出力している。ニューラ
ルネット型認識部16は、3層である。認識部16の入
力層の端子数は、64個である。出力層の端子数は、1
1個であり、左から「0」〜「9」「EX(その他)」
に対応している。Here, the character data of 8 × 8 pixels of the normalization unit 12 is directly used as the feature extraction data. That is, 8 × 8 = 64 pieces of data are output. The neural network type recognition unit 16 has three layers. The number of terminals in the input layer of the recognition unit 16 is 64. The number of terminals in the output layer is 1
1 from the left, "0" to "9""EX(other)"
It corresponds to.
【0017】20aは、認識部16の出力信号と、教師
信号との差を出力する誤差出力部である。20bは、こ
の誤差に応じて、BP法により、各層間の結合係数(W
ho,Vij)を少しずつ補正する修正部である。20
cは、この誤差の総和が所定値より大きな場合に、前記
修正部20bによる補正を行わしめる誤差総和検出部で
ある。言い換えれば、誤差総和検出部20cは、誤差の
総和が所定値より小さな場合は、修正部20bによる学
習処理(結合係数の修正処理)を停止させる。Reference numeral 20a is an error output unit for outputting the difference between the output signal of the recognition unit 16 and the teacher signal. 20b, according to this error, by the BP method, the coupling coefficient (W
ho, Vij) is a correction unit for correcting little by little. 20
Reference numeral c is an error sum detection unit for performing correction by the correction unit 20b when the sum of the errors is larger than a predetermined value. In other words, the error sum total detection unit 20c stops the learning process (coupling coefficient correction process) by the correction unit 20b when the error sum is smaller than the predetermined value.
【0018】この誤差出力部20a,修正部20b,誤
差総和検出部20cが、前述の学習制御部20を構成し
ている。この第1従来例での学習時の動作を図9を参照
しつつ、説明する。尚、第1従来例の学習は、巡回回数
(繰り返し回数)を設定するタイプである。このタイプ
は、所定回数巡回すると、学習を終了する。尚、当然、
収束条件を満たす場合に、学習を終了する様にしてもよ
い。The error output unit 20a, the correction unit 20b, and the error sum detection unit 20c constitute the learning control unit 20 described above. The operation during learning in the first conventional example will be described with reference to FIG. The learning of the first conventional example is a type in which the number of rounds (the number of repetitions) is set. With this type, learning is completed after a predetermined number of rounds. Of course,
The learning may be terminated when the convergence condition is satisfied.
【0019】まず、図9のS1に示すように、巡回回数
mを設定する。そして、図9のS2に示すように、サン
プルデータを入力する。つまり、図1の教師用サンプル
データ記憶部10は、図3又は図4に示すサンプルデー
タを図1の正規化部12に順次出力し、対応する正解デ
ータを教師信号出力部18に出力する。First, as shown in S1 of FIG. 9, the number of rounds m is set. Then, as shown in S2 of FIG. 9, sample data is input. That is, the teacher sample data storage unit 10 of FIG. 1 sequentially outputs the sample data shown in FIG. 3 or 4 to the normalization unit 12 of FIG. 1, and outputs the corresponding correct answer data to the teacher signal output unit 18.
【0020】サンプルデータは、正規化部12で正規化
され、特徴抽出部14を介して、認識部16に入力され
る。認識部16は、結合係数に基づいて演算処理を行
い、出力層から出力信号を出す。図9のS3に示すよう
に、出力信号と教師信号とを比較して、誤差を求める。The sample data is normalized by the normalization unit 12 and input to the recognition unit 16 via the feature extraction unit 14. The recognition unit 16 performs arithmetic processing based on the coupling coefficient and outputs an output signal from the output layer. As shown in S3 of FIG. 9, the error is obtained by comparing the output signal with the teacher signal.
【0021】つまり、図6の誤差出力部20aは、出力
信号と教師信号とを比較して、誤差を出力する。図9の
S4,S5に示す様に、誤差の総和が、0.5以下か否
かを求める。0.5以下であれば、学習の必要無しとす
る。0.5より大きければ、S5でBP法により、誤差
が小さくなるように、結合係数を微調整する。That is, the error output unit 20a in FIG. 6 compares the output signal with the teacher signal and outputs the error. As shown in S4 and S5 of FIG. 9, it is determined whether the total error is 0.5 or less. If it is 0.5 or less, learning is not required. If it is larger than 0.5, the coupling coefficient is finely adjusted in S5 by the BP method so that the error becomes small.
【0022】つまり、図6の誤差総和検出部20cは、
誤差の総和が、0.5以下であれば、修正部20bの動
作を停止させる。これにより、不必要な学習を除外出
来、学習効率が上がる。図9のS6に示すように、最後
のデータ(1万10個目のデータ)でなければ、次のサ
ンプルデータで同様に処理する。That is, the error sum detection unit 20c shown in FIG.
If the total error is 0.5 or less, the operation of the correction unit 20b is stopped. As a result, unnecessary learning can be excluded and learning efficiency is improved. As shown in S6 of FIG. 9, if it is not the last data (10th data), the next sample data is similarly processed.
【0023】図9のS7,S8に示すように、この1万
10個目のデータによる学習をm回繰り返した後に、S
9の如く、学習を終了し、結合係数をROM22に取り
出す。そして、図2に示すように、このROM22を使
用すれば、学習済みの図1のニュ−ラルネット型認識部
16を図2のニュ−ラルネット型認識部16aにそっく
り再生出来るので、これを用いて文字認識を行う。As shown in S7 and S8 of FIG. 9, after learning with the 10th data is repeated m times, S
As shown in 9, the learning is finished and the coupling coefficient is taken out to the ROM 22. As shown in FIG. 2, if the ROM 22 is used, the learned neural net type recognition unit 16 of FIG. 1 can be reproduced exactly like the neural net type recognition unit 16a of FIG. Performs character recognition.
【0024】このようなニュ−ラルネット型認識部の認
識率を上げるには、図10に示すようにサンプルデータ
数を増やせば良い。又、この図6の例では、特徴抽出部
14は不動作であったが、図11のように、正規化後の
データを8方向の4×4画素の方向成分に変換する特徴
抽出部14を設けて、これを入力してもよい。尚、この
図11の認識部16の入力層の端子数は、8×4×4=
128個となる。To increase the recognition rate of such a neural net type recognition unit, the number of sample data may be increased as shown in FIG. Further, in the example of FIG. 6, the feature extracting unit 14 is inoperative, but as shown in FIG. 11, the feature extracting unit 14 that converts the normalized data into the directional components of 4 × 4 pixels in eight directions. May be provided and this may be input. The number of terminals in the input layer of the recognition unit 16 in FIG. 11 is 8 × 4 × 4 =
It will be 128.
【0025】[0025]
【発明が解決しようとする課題】認識の性能を上げるた
めには、前述の図10のように、学習するサンプル数を
増加する。そして、学習するサンプル数を増加しても、
十分に学習できるように、巡回(繰り返し学習)の回数
を増やす。In order to improve the recognition performance, the number of samples to be learned is increased as shown in FIG. And even if you increase the number of samples to learn,
Increase the number of cycles (repetitive learning) so that you can fully learn.
【0026】しかし、このような手法は、新たな問題を
引き起こす。増加した多くのサンプルデータの中には、
正解データは異なるが、サンプルデータは非常に類似し
ているものがある。このようなサンプルデータで学習を
行うと、以下の問題が発生しやすくなる。However, such a method causes a new problem. Among the many increased sample data,
Although the correct data are different, some sample data are very similar. When learning is performed using such sample data, the following problems are likely to occur.
【0027】.学習に時間がかかる。 .認識率が低下する。 .さらに、認識時に、学習時のサンプルと同じデータ
が入力されると、正確な答えを出力する。しかし、認識
時に、学習時のサンプルのデータと近い他のデータが入
力されると、大きくかけ離れた(とんでもない)答えを
出力する可能性が高まる。[0027] It takes time to learn. . The recognition rate decreases. . Furthermore, when the same data as the sample at the time of learning is input at the time of recognition, an accurate answer is output. However, at the time of recognition, if other data that is close to the sample data at the time of learning is input, there is an increased possibility of outputting an answer that is far apart (ridden).
【0028】このように、ニューラルネットも、人間と
同様に、一般的には、時間をかけて学習すればするほ
ど、「賢く」なるが、教師の与える練習問題に矛盾があ
ると、ニューラルネットは混乱を起こして、認識率が低
下したり、独特な認識処理を行うようになる。このた
め、このようなことを引き起こすサンプルデータの学習
を停止することが、考えられている。As described above, the neural network generally becomes "wiser" as it takes more time to learn, like a human, but if the training problem given by the teacher is inconsistent, the neural network is Causes confusion, the recognition rate is reduced, and unique recognition processing is started. Therefore, it is considered to stop the learning of the sample data that causes such a thing.
【0029】しかし、これでは、いままでの学習によっ
て得た知識に合致しやすいデータだけ学習し、いままで
の学習によって得た知識と合致しにくい(矛盾する可能
性を持つ)データは、学習しないこととなる。この手法
は、自分の殻に閉じこもる学習であり、「自閉的学習」
である。本願は、上記の欠点(過剰学習、又は、過学習
と呼ばれている)を「自閉的学習」とは、異なる手法
で、改善することを、目的とする。However, in this case, only the data that is easy to match the knowledge acquired by the previous learning is learned, and the data that is difficult to match the knowledge acquired by the previous learning (possibly inconsistent) is not learned. It will be. This method is learning that stays in your own shell, and is called "autistic learning".
Is. The present application aims to remedy the above-mentioned drawbacks (which are referred to as over-learning or over-learning) by a method different from “autistic learning”.
【0030】つまり、本願は、矛盾する可能性を持つデ
ータを含む数多くのデータを学習しても、学習が収束し
やすいニューラルネットの学習法及び装置を提案するも
のである。That is, the present application proposes a learning method and apparatus for a neural network in which learning is likely to converge even if a large number of data including data having a possibility of inconsistency are learned.
【0031】[0031]
【課題を解決するための手段】本発明は、ニュ−ラルネ
ットの学習方法において、品質の高い学習用のデータは
確実に学習し、品質の低い学習用のデータは曖昧に学習
することを特徴とする。本発明は、出力信号と教師信号
との誤差が所定値(G)より大きな場合に学習を行うニ
ュ−ラルネットの学習方法において、品質の低い学習用
のデータが入力された場合、品質の高い学習用のデータ
が入力された場合に比べて、前記所定値(G)の値を上
げることを特徴とする。The present invention is characterized in that, in a neural net learning method, high-quality learning data is surely learned, and low-quality learning data is ambiguously learned. To do. The present invention is a method of learning a neural net that performs learning when an error between an output signal and a teacher signal is larger than a predetermined value (G), and when high-quality learning data is input, high-quality learning is performed. It is characterized in that the value of the predetermined value (G) is increased as compared with the case where data for input is input.
【0032】本発明は、出力信号と教師信号との誤差が
所定値より大きな場合に学習を行うニュ−ラルネットの
学習方法において、品質の高い学習用のデータが入力さ
れた場合と、品質の低い学習用のデータが入力された場
合とで、前記教師信号の値を変更することを特徴とす
る。本発明は、学習用のサンプルデータと、この学習用
のサンプルデータの正解データにより、学習を行うニュ
ーラルネットの学習方法において、前記サンプルデータ
を品質に応じて分類し、学習時に、前記正解データより
作成される教師信号の値を、前記分類によって変更する
ことを特徴とする。According to the present invention, in a learning method of a neural net which performs learning when an error between an output signal and a teacher signal is larger than a predetermined value, a case where high quality learning data is input and a quality is low. The value of the teacher signal is changed when learning data is input. The present invention, in a learning method of a neural network that performs learning by using sample data for learning and correct answer data of the sample data for learning, classifies the sample data according to quality, and at the time of learning, from the correct answer data It is characterized in that the value of the teacher signal created is changed according to the classification.
【0033】本発明は、学習用のサンプルデータを入力
した結果の出力信号と、この学習用のサンプルデータの
正解データより作成した教師信号との誤差が、所定値
(G)より大きな場合に学習を行うニュ−ラルネットの
学習方法において、前記サンプルデータを品質に応じて
分類し、学習時に、前記分類によって前記所定値(G)
の値を変更することを特徴とする。According to the present invention, learning is performed when an error between an output signal obtained as a result of inputting learning sample data and a teacher signal created from correct data of the learning sample data is larger than a predetermined value (G). In the learning method of a neural net, the sample data is classified according to quality, and at the time of learning, the predetermined value (G) is classified by the classification.
It is characterized by changing the value of.
【0034】本発明は、ニューラルネット型認識装置に
おいて、上述のいずれかの学習方法で求めたニューラル
ネットの結合係数(Vih,Who)により、認識処理
を行うことを特徴とする。本発明は、学習用のサンプル
データ及びこのデータに対応する正解データを備えるデ
ータ入力手段(10)と、前記サンプルデータから作成
した情報データを入力とするニューラルネット型認識部
(16)と、前記正解データから教師信号を作成する教
師信号出力手段(18)と、前記ニューラルネット型認
識部(16)の出力信号と前記教師信号とを比較する誤
差出力手段(20a)と、この誤差に応じて前記結合係
数を調整する修正手段(20b)とを備えるニューラル
ネット型認識装置において、前記サンプルデータの品質
に応じた分類により、前記学習の程度を変更する変更手
段(21a,21b)を備えることを特徴とする。The present invention is characterized in that, in the neural network type recognition apparatus, the recognition processing is performed by the coupling coefficient (Vih, Who) of the neural network obtained by any one of the learning methods described above. The present invention provides a data input means (10) comprising sample data for learning and correct data corresponding to this data, a neural network type recognition section (16) which inputs information data created from the sample data, Teacher signal output means (18) for creating a teacher signal from correct data, error output means (20a) for comparing the output signal of the neural network type recognition section (16) with the teacher signal, and the error output means (20a) according to this error. A neural net type recognition device comprising a correction means (20b) for adjusting the coupling coefficient, and a change means (21a, 21b) for changing the degree of learning by classification according to the quality of the sample data. Characterize.
【0035】本発明は、学習用のサンプルデータ及びこ
のデータに対応する正解データを備えるデータ入力手段
(10)と、前記サンプルデータから作成した情報デー
タを入力とするニューラルネット型認識部(16)と、
前記正解データから教師信号を作成する教師信号出力手
段(18)と、前記ニューラルネット型認識部(16)
の出力信号と前記教師信号を比較する誤差出力手段(2
0a)と、この誤差が所定値(G)より大きな場合に、
この誤差に応じて前記結合係数を調整する修正手段(2
0b,20c)とを備えるニューラルネット型パターン
認識装置において、前記サンプルデータの品質に応じた
分類により、前記所定値(G)を変更する変更手段(2
1a)を備えることを特徴とする。According to the present invention, data input means (10) having sample data for learning and correct data corresponding to this data, and a neural network type recognition unit (16) which receives information data created from the sample data as input. When,
Teacher signal output means (18) for generating a teacher signal from the correct answer data, and the neural network type recognition unit (16)
Error output means (2) for comparing the output signal of
0a) and this error is larger than a predetermined value (G),
Correction means for adjusting the coupling coefficient according to this error (2
0b, 20c), the changing means (2) for changing the predetermined value (G) according to the classification according to the quality of the sample data.
1a).
【0036】本発明は、学習用のサンプルデータ及びこ
のデータに対応する正解データを備えるデータ入力手段
(10)と、前記サンプルデータから作成した情報デー
タを入力とするニューラルネット型認識部(16)と、
前記正解データから教師信号を作成する教師信号出力手
段(18)と、前記ニューラルネット型認識部(16)
の出力信号と前記教師信号を比較する誤差出力手段(2
0a)と、この誤差に応じて前記結合係数を調整する学
習制御手段(20b)とを備えるニューラルネット型パ
ターン認識装置において、前記サンプルデータの品質に
応じて、前記教師信号の値を変更する変更手段(21
b)を備えることを特徴とする。According to the present invention, data input means (10) having sample data for learning and correct data corresponding to this data, and a neural network type recognition unit (16) which receives information data created from the sample data as input. When,
Teacher signal output means (18) for generating a teacher signal from the correct answer data, and the neural network type recognition unit (16)
Error output means (2) for comparing the output signal of
0a) and a learning control means (20b) for adjusting the coupling coefficient according to the error, a change for changing the value of the teacher signal according to the quality of the sample data. Means (21
b) is provided.
【0037】本発明は、前述のデータ入力手段(10)
は、更に前記サンプルデータに対応し、このサンプルデ
ータの品質を示す品質データを格納し、前記変更手段
(21a)は、この品質データにより制御されることを
特徴とする。本発明は、前述のデータ入力手段(10)
は、前記データ入力手段(10)は、更に前記サンプル
データに対応し、このサンプルデータの品質を示す品質
データを格納し、前記変更手段(21b)は、この品質
データにより制御されることを特徴とする。The present invention provides the above-mentioned data input means (10).
Further stores quality data corresponding to the sample data and indicating the quality of the sample data, and the changing means (21a) is controlled by the quality data. The present invention provides the above-mentioned data input means (10).
The data input means (10) further stores quality data corresponding to the sample data and indicating the quality of the sample data, and the changing means (21b) is controlled by the quality data. And
【0038】[0038]
【作用】本発明によれば、品質の高い(信頼性の高い)
教師用データは真面目に学習し、品質の低い(信頼性の
低い)教師用データは曖昧に学習するので、信頼性の低
い教師用データにより、ニューラルネットが、不必要に
混乱することを防止できる。According to the present invention, high quality (high reliability)
Since the teacher data is learned seriously and the low-quality (low-reliability) teacher data is vaguely learned, the unreliable teacher data can prevent the neural network from being confused unnecessarily. .
【0039】本発明によれば、所定値(G)の値を上げ
ることにより、ニューラルネットが、不必要に混乱する
(過学習する)ことを防止できる。本発明によれば、品
質の高い学習用のデータが入力された場合と、品質の低
い学習用のデータが入力された場合とで、前記教師信号
の値を変更することにより、ニューラルネットが不必要
に混乱する(過学習する)ことを防止できる。According to the present invention, by increasing the value of the predetermined value (G), it is possible to prevent the neural network from being unnecessarily confused (overlearned). According to the present invention, the neural network is disabled by changing the value of the teacher signal depending on whether high-quality learning data is input or low-quality learning data is input. It can prevent you from being confused (over-learning) when necessary.
【0040】本発明によれば、サンプルデータを品質に
応じて分類し、学習時に、教師信号の値を、前記品質の
分類によって変更することにより、ニューラルネットが
不必要に混乱する(過学習する)ことを防止できる。本
発明によれば、サンプルデータを品質に応じて分類し、
学習時に、前記分類によって誤差総和所定値(G)の値
を、前記分類した品質に応じて変更することにより、ニ
ューラルネットが不必要に混乱する(過学習する)こと
を防止できる。According to the present invention, the sample data is classified according to the quality and the value of the teacher signal is changed at the time of learning by the classification of the quality, so that the neural network is unnecessarily confused (over-learning). ) Can be prevented. According to the present invention, sample data is classified according to quality,
By changing the value of the error sum predetermined value (G) according to the classified quality at the time of learning, it is possible to prevent the neural network from being unnecessarily confused (overlearned).
【0041】本発明によれば、ニューラルネット型認識
装置は、上述の学習法により、得られたニューラルネッ
トの結合係数(Vih,Who)により、認識処理を行
う。本発明によれば、変更手段(21a,21b)によ
り、サンプルデータの品質に応じて、学習が為される。
本発明によれば、変更手段(21a)により、サンプル
データの品質に応じて誤差総和所定値(G)が変更され
る。According to the present invention, the neural network type recognition apparatus performs the recognition processing by the coupling coefficient (Vih, Who) of the obtained neural network by the above learning method. According to the present invention, the changing unit (21a, 21b) performs learning according to the quality of the sample data.
According to the present invention, the changing means (21a) changes the error sum predetermined value (G) according to the quality of the sample data.
【0042】本発明によれば、変更手段(21b)によ
り、サンプルデータの品質に応じて、前記教師信号の値
が変更される。更に、本発明によれば、データ入力手段
(10)は、更に前記サンプルデータに対応しこのサン
プルデータの品質を示す品質データを格納し、前記変更
手段(21a)は、この品質データにより制御される。According to the present invention, the changing means (21b) changes the value of the teacher signal according to the quality of the sample data. Furthermore, according to the present invention, the data input means (10) further stores quality data corresponding to the sample data and indicating the quality of the sample data, and the changing means (21a) is controlled by the quality data. It
【0043】更に、本発明によれば、データ入力手段
(10)は、更に前記サンプルデータに対応しこのサン
プルデータの品質を示す品質データを格納し、前記変更
手段(21b)は、この品質データにより制御される。Furthermore, according to the present invention, the data input means (10) further stores quality data corresponding to the sample data and indicating the quality of the sample data, and the changing means (21b) stores the quality data. Controlled by.
【0044】[0044]
【実施例】図12〜図14、図1を参照しつつ、本発明
の第1実施例を説明する。まず、学習するデータを示す
図13を説明する。従来の図10で示した2000セッ
トの「0」〜「9」のデータを品質に応じてセット単位
で並べ替える。DESCRIPTION OF THE PREFERRED EMBODIMENTS A first embodiment of the present invention will be described with reference to FIGS. First, FIG. 13 showing data to be learned will be described. The 2000 sets of “0” to “9” data shown in FIG. 10 of the related art are rearranged in set units according to quality.
【0045】この並び替えたデータが、図13である。
ここで、101セット目(1010個目のデータ)まで
は、品質が良いものとする。それ以降は、品質は悪いも
のとする。このデータを図1の教師用サンプルデータ記
憶部10に記憶させる。図12の説明をする。なお、図
6,図11と同一部分には同一符号を付した。The rearranged data is shown in FIG.
Here, up to the 101st set (1010th data), the quality is good. After that, the quality will be poor. This data is stored in the teacher sample data storage unit 10 of FIG. 12 will be described. The same parts as those in FIGS. 6 and 11 are designated by the same reference numerals.
【0046】図12において、14は特徴抽出部であ
る。この特徴抽出部14は、正規化部12の8×8画素
のデータをそのまま出力すると共に、このデータから抽
出した4方向の成分を4×4画素のデータとして出力す
る。つまり、8×8+4×4×4=128個のデータを
出力する。ニューラルネット認識部16は、これらの1
28画素のデータにより、文字認識のための学習を行
う。In FIG. 12, 14 is a feature extraction unit. The feature extraction unit 14 outputs the data of 8 × 8 pixels of the normalization unit 12 as it is, and outputs the components in four directions extracted from this data as data of 4 × 4 pixels. That is, 8 × 8 + 4 × 4 × 4 = 128 pieces of data are output. The neural network recognition unit 16 uses these 1
Learning for character recognition is performed using 28-pixel data.
【0047】21aは、第1実施例の特徴である学習特
性切替回路(変更手段)である。この切替回路21a
は、1010個目までのデータには誤差総和所定値を
0.5とし、1011個目以降の誤差総和所定値を1.
0に切り替える。この第1実施例の動作を図14を参照
しつつ、説明する。図14のS1に示すように、巡回回
数mを設定する。Reference numeral 21a is a learning characteristic switching circuit (changing means) which is a feature of the first embodiment. This switching circuit 21a
The predetermined error sum total value is 0.5 for the 1010th data, and the error sum predetermined value after the 1011th data is 1.
Switch to 0. The operation of the first embodiment will be described with reference to FIG. As shown in S1 of FIG. 14, the number of rounds m is set.
【0048】図14のS11に示すように、誤差総和所
定値Gを0.5に設定する。つまり、図12の切替回路
21aは、誤差総和部20cの誤差総和所定値Gを0.
5に設定する。図14のS2に示すように、サンプルデ
ータを入力する。つまり、図13又は図4に示すサンプ
ルデータを正規化部12に出力し、正解データを教師信
号出力部18に出力する。As shown in S11 of FIG. 14, the error sum predetermined value G is set to 0.5. That is, the switching circuit 21a in FIG. 12 sets the error sum predetermined value G of the error summation unit 20c to 0.
Set to 5. As shown in S2 of FIG. 14, sample data is input. That is, the sample data shown in FIG. 13 or 4 is output to the normalization unit 12, and the correct answer data is output to the teacher signal output unit 18.
【0049】サンプルデータは、正規化部12で正規化
され、特徴抽出部14を介して、認識部16に入力され
る。認識部16は、結合係数に基づいて演算処理を行
い、出力層から出力信号を出す。図14のS3に示すよ
うに、出力信号と教師信号とを比較して、誤差を求め
る。図12の誤差出力部20aは、出力信号と教師信号
とを比較して、誤差を出力する。The sample data is normalized by the normalization unit 12 and input to the recognition unit 16 via the feature extraction unit 14. The recognition unit 16 performs arithmetic processing based on the coupling coefficient and outputs an output signal from the output layer. As shown in S3 of FIG. 14, the error is obtained by comparing the output signal with the teacher signal. The error output unit 20a in FIG. 12 compares the output signal with the teacher signal and outputs the error.
【0050】図14のS4,S5に示す様に、誤差の総
和が、G以下か否かを求める。ここで、G=0.5なの
で、0.5以下であれば、学習の必要無しとする。0.
5より大きければ、S5でBP法により、誤差が小さく
なるように、結合係数を微調整する。つまり、図12の
誤差総和検出部20cは、誤差の総和が、0.5以下で
あれば、修正部20bの動作を停止させる。As shown in S4 and S5 of FIG. 14, it is determined whether the total sum of the errors is G or less. Here, since G = 0.5, if 0.5 or less, learning is not required. 0.
If it is larger than 5, the coupling coefficient is finely adjusted by the BP method in S5 so that the error becomes small. That is, the error sum total detection unit 20c in FIG. 12 stops the operation of the correction unit 20b when the error sum total is 0.5 or less.
【0051】これにより、不必要な学習を除外出来、学
習効率が上がる。図14のS6に示すように、最後のデ
ータ(2万10個目のデータ)でなければ、次のサンプ
ルデータで同様に処理する。しかし、図14のS51,
S52に示すように、1011番目のデータ以降のは、
G=1.0として、サンプルデータを処理している。As a result, unnecessary learning can be excluded and learning efficiency is improved. As shown in S6 of FIG. 14, if it is not the last data (20th data), the next sample data is similarly processed. However, S51 of FIG.
As shown in S52, after the 1011th data,
The sample data is processed with G = 1.0.
【0052】つまり、図12の切替回路21aは、10
11番目のサンプルデータ以降は、誤差総和検出部20
cの誤差総和所定値Gを1.0に設定変更する。101
1番目以降のサンプルデータは、図14のS4,S5に
示す様に、誤差の総和が、G以下か否かを求める。ここ
で、G=1.0なので、1.0以下であれば、学習の必
要無しとする。1.0より大きければ、S5でBP法に
より、誤差が小さくなるように、結合係数を微調整す
る。That is, the switching circuit 21a of FIG.
After the 11th sample data, the error sum detection unit 20
The error sum predetermined value G of c is changed to 1.0. 101
For the first and subsequent sample data, as shown in S4 and S5 of FIG. 14, it is determined whether the total error is G or less. Here, since G = 1.0, if 1.0 or less, learning is not required. If it is larger than 1.0, the coupling coefficient is finely adjusted in S5 by the BP method so that the error becomes small.
【0053】つまり、図12の誤差総和検出部20c
は、誤差の総和が、1.0以下であれば、修正部20b
の動作を停止させる。これにより、低品質のデータに対
しては、学習する基準を低く設定することにより、曖昧
な学習が出来、学習効率が上がる。図14のS7,S8
に示すように、この2万10個目のデータによる学習を
m回繰り返した後に、S9の如く、学習を終了し、結合
係数をROM22に取り出す。That is, the error sum detection unit 20c of FIG.
If the sum of the errors is 1.0 or less, the correction unit 20b
Stop the operation of. As a result, ambiguous learning can be performed and learning efficiency can be improved by setting a low learning standard for low-quality data. S7 and S8 of FIG.
As shown in FIG. 5, after repeating the learning with the 2010th data m times, the learning is ended and the coupling coefficient is taken out to the ROM 22 as in S9.
【0054】尚、この第1実施例では、データを品質を
2種類に分けたが、本願は、別にこれに限定される訳で
はなく、多くの種類に分類してもよい。また、データの
品質を「0」〜「9」のセット単位で分類したが、本願
はこれに限定される訳ではなく、1データ単位で分類し
てもよい。また、本願では、予めデータを品質順に並び
替え、1011個目から切替回路21aにより、誤差総
和所定値Gを切り替えたが、本願は別にこれに限定され
る訳ではない。つまり、1データ毎にこのデータの品質
を表す品質データを予め付与し、この品質データによ
り、誤差総和所定値Gを切り替えるようにしてもよい。Although the quality of the data is divided into two types in the first embodiment, the present invention is not limited to this and may be classified into many types. Further, although the quality of data is classified in set units of “0” to “9”, the present application is not limited to this, and may be classified in one data unit. Further, in the present application, the data is rearranged in order of quality in advance, and the error sum predetermined value G is switched by the switching circuit 21a from the 1011th item, but the present application is not limited to this. That is, quality data representing the quality of this data may be provided in advance for each data, and the error sum predetermined value G may be switched according to this quality data.
【0055】また、曖昧学習を誤差総和所定値Gを切り
替えずに行ってもよい。このような例を図15〜図1
7,図1,図7,図13を参照しつつ、本発明の第2実
施例として説明する。尚、第1実施例と同一部分には同
一符号を付して説明を省略する。まず、第1実施例と同
様に学習するデータは、図13のものである。Further, the ambiguity learning may be performed without switching the error sum predetermined value G. Such an example is shown in FIGS.
A second embodiment of the present invention will be described with reference to FIG. 7, FIG. 1, FIG. 7, and FIG. The same parts as those in the first embodiment are designated by the same reference numerals and the description thereof will be omitted. First, the data to be learned in the same manner as in the first embodiment is that of FIG.
【0056】ここでも、101セット目(1010個目
のデータ)までは、品質が良いものとする。それ以降
は、品質は悪いものとする。このデータを図1の教師用
サンプルデータ記憶部10に記憶させる。図15におい
て、14は特徴抽出部である。この特徴抽出部14は、
8×8画素のデータと、このデータから抽出した4方向
の4×4画素のデータを出力する。Here again, the quality is good up to the 101st set (1010th data). After that, the quality will be poor. This data is stored in the teacher sample data storage unit 10 of FIG. In FIG. 15, 14 is a feature extraction unit. This feature extraction unit 14
The data of 8 × 8 pixels and the data of 4 × 4 pixels in four directions extracted from this data are output.
【0057】ニューラルネット認識部16は、これらの
128画素のデータにより、文字認識のための学習を行
う。18は、教師信号出力部である。この教師信号出力
部18は、正解データに対応して、教師信号を出力す
る。この出力テーブルとして、図7以外に図16のテー
ブルも備えている。The neural network recognition unit 16 carries out learning for character recognition based on these 128 pixel data. Reference numeral 18 is a teacher signal output unit. The teacher signal output unit 18 outputs a teacher signal corresponding to the correct answer data. As this output table, the table of FIG. 16 is also provided in addition to FIG. 7.
【0058】21bは、第2実施例の特徴である教師特
性切替回路(変更手段)である。この切替回路21b
は、1010個目までのデータには、図7の教師信号を
教師信号出力回路18より出力させる。そして、101
1個目以降のデータに対しては、図16の教師信号を教
師信号出力回路18より出力させる。この第2実施例の
動作を図17を参照しつつ、説明する。Reference numeral 21b is a teacher characteristic switching circuit (changing means) which is a feature of the second embodiment. This switching circuit 21b
Causes the teacher signal output circuit 18 to output the teacher signal of FIG. 7 for up to the 1010th data. And 101
The teacher signal output circuit 18 outputs the teacher signal shown in FIG. 16 for the first and subsequent data. The operation of the second embodiment will be described with reference to FIG.
【0059】図17のS1に示すように、巡回回数mを
設定する。図17のS12に示すように、教師信号のテ
ーブルを図7のものに設定する。つまり、図15の切替
回路21bは、教師信号出力部18のテーブルを図7の
ものに設定する。図17のS2に示すように、サンプル
データを順次入力する。つまり、図13又は図4に示す
サンプルデータを正規化部12に出力し、正解データを
教師信号出力部18に出力する。As shown in S1 of FIG. 17, the number of rounds m is set. As shown in S12 of FIG. 17, the teacher signal table is set to that of FIG. That is, the switching circuit 21b of FIG. 15 sets the table of the teacher signal output unit 18 to that of FIG. As shown in S2 of FIG. 17, sample data is sequentially input. That is, the sample data shown in FIG. 13 or 4 is output to the normalization unit 12, and the correct answer data is output to the teacher signal output unit 18.
【0060】サンプルデータは、正規化部12で正規化
され、特徴抽出部14を介して、認識部16に入力され
る。認識部16は、結合係数に基づいて演算処理を行
い、出力層から出力信号を出す。図17のS3に示すよ
うに、出力信号と教師信号とを比較して、誤差を求め
る。図15の誤差出力部20aは、出力信号と教師信号
とを比較して、誤差を出力する。The sample data is normalized by the normalization unit 12 and input to the recognition unit 16 via the feature extraction unit 14. The recognition unit 16 performs arithmetic processing based on the coupling coefficient and outputs an output signal from the output layer. As shown in S3 of FIG. 17, the error is obtained by comparing the output signal and the teacher signal. The error output unit 20a in FIG. 15 compares the output signal with the teacher signal and outputs the error.
【0061】図17のS4,S5に示す様に、誤差の総
和が、0.5以下であれば、学習の必要無しとする。
0.5より大きければ、S5でBP法により、誤差が小
さくなるように、結合係数を微調整する。つまり、図1
5の誤差総和部20cは、誤差の総和が、0.5以下で
あれば、修正部20bの動作を停止させる。As shown in S4 and S5 of FIG. 17, if the total error is 0.5 or less, learning is not required.
If it is larger than 0.5, the coupling coefficient is finely adjusted in S5 by the BP method so that the error becomes small. That is, FIG.
The error summation unit 20c of 5 stops the operation of the correction unit 20b when the sum of the errors is 0.5 or less.
【0062】これにより、不必要な学習を除外出来、学
習効率が上がる。図17のS6に示すように、最後のデ
ータ(2万10個目のデータ)でなければ、次のサンプ
ルデータで同様に処理する。しかし、図17のS51,
S53に示すように、1011番目のデータ以降のは、
教師信号を図16のものに、設定変更して、サンプルデ
ータを処理している。As a result, unnecessary learning can be excluded and learning efficiency is improved. As shown in S6 of FIG. 17, if it is not the last data (20th data), the same processing is performed with the next sample data. However, S51 of FIG.
As shown in S53, after the 1011th data,
The sample signal is processed by changing the setting of the teacher signal to that of FIG.
【0063】つまり、図15の切替回路21bは、10
11番目のサンプルデータ以降は、教師信号出力部18
のテ−ブルを図16のものに設定変更する。つまり、1
011番目以降のサンプルデータは、図16に示す様
に、教師信号の正解得点が低く(1.0→0.7)設定
変更され、不正解得点が高く(0.0→0.1,0.
2,0.3)設定変更されている。That is, the switching circuit 21b of FIG.
After the 11th sample data, the teacher signal output unit 18
The table is changed to that shown in FIG. That is, 1
As shown in FIG. 16, the correct answer score of the teacher signal is low (1.0 → 0.7), and the incorrect answer score is high (0.0 → 0.1, 0) for the sample data after the 011th. .
2, 0.3) The setting has been changed.
【0064】これにより、低品質のデータに対しては、
学習する基準を低く設定することにより、曖昧な学習が
出来、学習効率が上がる。図17のS7,S8に示すよ
うに、この2万10個目のデータによる学習をm回繰り
返した後に、S9の如く、学習を終了し、結合係数をR
OM22に取り出す。As a result, for low quality data,
By setting a low learning standard, ambiguous learning can be performed and learning efficiency can be improved. As shown in S7 and S8 of FIG. 17, after repeating the learning by the 210,000th data m times, the learning is terminated and the coupling coefficient is set to R as shown in S9.
Take out to OM22.
【0065】この第2実施例では、1010個目のデー
タまでは、高得点の回答が認識部16より出力されない
と(教師信号の正解得点が高く、教師信号の不正解得点
が低い)、高得点を出力するように、学習を行ってい
た。しかし、1011個目以降のデータでは、中得点
(教師信号の正解得点を少し低くし、教師信号の不正解
得点を少し高くする)の回答が認識部16より出力され
ないと、学習を行う。つまり、認識部16が、高得点の
回答を出力したり、低得点の回答を出力すると、中得点
になるように学習を行う。In the second embodiment, up to the 1010th data, if the answer of high score is not output from the recognition unit 16 (the correct answer score of the teacher signal is high and the incorrect answer score of the teacher signal is low), it is high. Learning was performed so as to output the score. However, in the 1011th and subsequent data, if the answer of the medium score (the correct answer score of the teacher signal is slightly lowered and the incorrect answer score of the teacher signal is slightly raised) is not output from the recognition unit 16, the learning is performed. That is, when the recognition unit 16 outputs a high-scoring response or a low-scoring response, the recognition unit 16 performs learning so as to have a medium score.
【0066】尚、第2実施例でも、教師信号のテーブル
を品質に応じて2種類に分けたが、本願は、別にこれに
限定される訳ではなく、多くの種類に分類してもよい。
また、データの品質をセット単位で分類したが、本願は
これに限定される訳ではなく、1データ単位で分類して
もよい。また、第1,2実施例では、予めデータを品質
順に並び替え、1011個目から切り換え回路21a,
21bにより、特性を切り替えたが、本願は別にこれに
限定される訳ではない。つまり、1データ毎にこのデー
タの品質を表す品質データを予め付与し、この品質デー
タにより、教師信号テーブルを切り替えるようにしても
よい。In the second embodiment as well, the table of teacher signals is divided into two types according to quality, but the present invention is not limited to this and may be classified into many types.
Further, although the quality of data is classified in units of sets, the present application is not limited to this, and may be classified in units of one data. Further, in the first and second embodiments, the data is rearranged in order of quality in advance, and the switching circuit 21a from the 1011 th
21b, the characteristics are switched, but the present application is not limited to this. That is, quality data representing the quality of this data may be added in advance for each data, and the teacher signal table may be switched according to this quality data.
【0067】また、この品質データとしては、単に、高
品質、中品質、低品質だけでなく、他の正解データへの
類似度をも示すようにしてもよい。この一例を図18に
示す。図18において、図1,図12,図15と同一部
分には、同一符号を付して、重複説明を省略する。Further, as the quality data, not only high quality, medium quality and low quality but also the degree of similarity to other correct answer data may be shown. An example of this is shown in FIG. 18, the same parts as those in FIGS. 1, 12 and 15 are designated by the same reference numerals, and the duplicate description will be omitted.
【0068】10は学習用サンプルデータ(教師用サン
プルデータ)が、格納された記憶部である。この教師用
サンプルデータ記憶部10には、サンプルデータに対応
する正解データが、格納されている。さらに、サンプル
データに対応する品質データも格納されている。21b
は、教師特性切替回路(変更手段)である。Reference numeral 10 denotes a storage unit in which learning sample data (teacher sample data) is stored. Correct data corresponding to the sample data is stored in the teacher sample data storage unit 10. Further, quality data corresponding to the sample data is also stored. 21b
Is a teacher characteristic switching circuit (changing means).
【0069】21bは、学習特性切替回路(変更手段)
である。この切替回路21aは、品質データにより、教
師信号の特性を変更している。切替回路21bは、品質
データにより、誤差総和所定値Gを変更している。とこ
ろで、上記実施例1,2,3では、曖昧学習を、誤差総
和所定値Gを変更したり、教師用テーブルを変更するこ
とにより、行った。Reference numeral 21b is a learning characteristic switching circuit (changing means).
Is. The switching circuit 21a changes the characteristics of the teacher signal according to the quality data. The switching circuit 21b changes the error sum predetermined value G according to the quality data. By the way, in the above-mentioned Examples 1, 2, and 3, the ambiguity learning is performed by changing the error sum predetermined value G or changing the teacher table.
【0070】本願は、別にこれに限定される訳でなく、
例えば、曖昧学習時に、正解データに対応する認識部1
6の出力端子の値が他の出力端子の値に比べて、一番大
きい場合(又は2番以内の場合)に、学習を行わず、そ
れ以外の場合に学習を行うようにしてもよい。尚、上記
実施例は、図1の学習時の装置と図2の認識時の装置と
は、別々の装置であるが、本願は、これに限定されるも
のでない。The present application is not limited to this, and
For example, at the time of fuzzy learning, the recognition unit 1 corresponding to the correct answer data
If the value of the output terminal 6 is larger than the values of the other output terminals (or within 2), learning may not be performed, and learning may be performed in other cases. In the above embodiment, the learning device of FIG. 1 and the recognition device of FIG. 2 are separate devices, but the present application is not limited to this.
【0071】また、上記実施例は、商品化後は、学習を
行わない例を示したが、本願は、これに限定されるもの
でない。また、本願は、ソフトウエアにより、実現して
もよい。また、本実施例では、基本的な3層の階層型ニ
ュ−ラルネットについて、述べたが、当然、本願は、3
層型に限定されるものではなく、教師付き学習を行うニ
ュ−ラルネットに適用可能である。Further, although the above-described embodiment shows an example in which learning is not performed after commercialization, the present application is not limited to this. Further, the present application may be realized by software. Further, in this embodiment, a basic three-layer hierarchical neural net has been described.
The present invention is not limited to the layer type, but can be applied to a neural net that performs supervised learning.
【0072】又、特開平2-306387号公報(G06K9/66),特
開平4-155480号公報(G06F15/70)等の如く、教師用デー
タを予め複数のグループに分類し、この分類毎に個別に
学習させるものに、本願を用いても良い。また、本願で
は、文字認識について述べたが、本願は、当然、これに
限定されるものではない。Further, as in Japanese Patent Laid-Open No. 2-306387 (G06K9 / 66) and Japanese Patent Laid-Open No. 4-155480 (G06F15 / 70), teacher data is classified into a plurality of groups in advance, and each class is divided into groups. The present application may be used for learning individually. Although the present application describes character recognition, the present application is not limited to this.
【0073】また、本願では、ニュ−ラルネットだけに
より文字認識を行う文字認識装置について述べたが、当
然、本願は、他の文字認識手法と組み合わせて、文字認
識を行う文字認識装置に用いても良い。Further, although the present application describes a character recognition device that performs character recognition only by a neural net, the present application can be naturally used in a character recognition device that performs character recognition in combination with another character recognition method. good.
【0074】[0074]
【発明の効果】本願によれば、教師用データとして、矛
盾するようなデータが学習の対象となっても、認識率を
下げることなく、学習時間をいたずらに長くすること無
く学習することが出来る。つまり、本願によれば、過学
習を防止できる。According to the present invention, even if inconsistent data is targeted for learning as teacher data, it is possible to perform learning without lowering the recognition rate and without unnecessarily lengthening the learning time. . That is, according to the present application, overlearning can be prevented.
【図1】文字認識にニューラルネットを用いた場合の学
習時の回路を示す図である。FIG. 1 is a diagram showing a circuit at the time of learning when a neural network is used for character recognition.
【図2】文字認識にニューラルネットを用いた場合の認
識時の回路を示す図である。FIG. 2 is a diagram showing a circuit at the time of recognition when a neural network is used for character recognition.
【図3】学習用の1万個のサンプルデータを示す図であ
る。FIG. 3 is a diagram showing 10,000 sample data for learning.
【図4】学習用の10個のサンプルデータを示す図であ
る。FIG. 4 is a diagram showing 10 sample data for learning.
【図5】正規化の1例を示す図である。FIG. 5 is a diagram showing an example of normalization.
【図6】ニューラルネット型文字認識部周辺を示す図で
ある。FIG. 6 is a diagram showing the vicinity of a neural net type character recognition unit.
【図7】従来の教師信号を示す図である。FIG. 7 is a diagram showing a conventional teacher signal.
【図8】出力層の端子が4個の場合の、教師信号の他の
一例を示す図である。FIG. 8 is a diagram showing another example of the teacher signal when the number of terminals of the output layer is four.
【図9】学習時の動作を説明するための図である。FIG. 9 is a diagram for explaining an operation during learning.
【図10】学習用の2万個のサンプルデータを示す図で
ある。FIG. 10 is a diagram showing 20,000 sample data for learning.
【図11】従来の他のニューラルネット型文字認識部周
辺を示す図である。FIG. 11 is a diagram showing the vicinity of another conventional neural net type character recognition unit.
【図12】本発明の第1実施例を示す図である。FIG. 12 is a diagram showing a first embodiment of the present invention.
【図13】この第1実施例の学習用の2万個のサンプル
データを示す図である。FIG. 13 is a diagram showing 20,000 sample data for learning according to the first embodiment.
【図14】この第1実施例の動作を説明するための図で
ある。FIG. 14 is a diagram for explaining the operation of the first embodiment.
【図15】本発明の第2実施例を示す図である。FIG. 15 is a diagram showing a second embodiment of the present invention.
【図16】この第2実施例での追加された教師信号を示
す図である。FIG. 16 is a diagram showing an added teacher signal in the second embodiment.
【図17】この第2実施例の動作を説明するための図で
ある。FIG. 17 is a diagram for explaining the operation of the second embodiment.
【図18】本発明の第3実施例を示す図である。FIG. 18 is a diagram showing a third embodiment of the present invention.
(10)・・・・・・教師用サンプルデータ記憶部(データ
入力手段)、 (16)・・・・・・ニューラルネット型認識部、 (18)・・・・・・教師信号出力部(教師信号出力手
段)、、 (20)・・・・・・学習制御部(学習制御手段)、 (20a)・・・・・・誤差出力部(誤差出力手段)、 (20b)・・・・・・修正部(修正手段)、 (20c)・・・・・・誤差総和検出部、 (G)・・・・・・誤差総和所定値、 (21a)・・・・・・学習特性切替回路(変更手段)、 (21b)・・・・・・教師特性切替回路(変更手段)。(10) --- Teacher sample data storage unit (data input means) (16) --- Neural network type recognition unit (18) --- Teacher signal output unit ( Teacher signal output means), (20) ... Learning control section (learning control means), (20a) ... Error output section (error output means), (20b) ... ..Correction unit (correction means), (20c) ..... Total error detection unit, (G) ........ Predetermined total error value, (21a) ........ Learning characteristic switching circuit (Changing means), (21b) ... Teacher characteristic switching circuit (changing means).
───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀井 洋 大阪府守口市京阪本通2丁目5番5号 三 洋電機株式会社内 (72)発明者 真鍋 圭三 大阪府守口市京阪本通2丁目5番5号 三 洋電機株式会社内 ─────────────────────────────────────────────────── ─── Continuation of front page (72) Inventor Hiroi Horii 2-5-5 Keihan Hondori, Moriguchi-shi, Osaka Sanyo Electric Co., Ltd. (72) Inventor Keizo Manabe 2-chome, Keihanhondori, Moriguchi-shi, Osaka No. 5 Sanyo Electric Co., Ltd.
Claims (11)
学習用のデータは曖昧に学習することを特徴とするニュ
−ラルネットの学習方法。1. A method of learning a neural net, wherein learning data of high quality is surely learned, and learning data of low quality is ambiguously learned.
(G)より大きな場合に学習を行うニュ−ラルネットの
学習方法において、 品質の低い学習用のデータが入力された場合、品質の高
い学習用のデータが入力された場合に比べて、前記所定
値(G)の値を上げることを特徴とするニュ−ラルネッ
トの学習方法。2. A neural net learning method for learning when an error between an output signal and a teacher signal is larger than a predetermined value (G). When a learning data of low quality is input, high quality is obtained. A method of learning a neural net, comprising increasing the value of the predetermined value (G) as compared with a case where learning data is input.
り大きな場合に学習を行うニュ−ラルネットの学習方法
において、 品質の高い学習用のデータが入力された場合と、品質の
低い学習用のデータが入力された場合とで、前記教師信
号の値を変更することを特徴とするニュ−ラルネットの
学習方法。3. A neural net learning method for performing learning when an error between an output signal and a teacher signal is larger than a predetermined value, in the case where high-quality learning data is input and when a low-quality learning data is input. The method of learning a neural net, characterized in that the value of the teacher signal is changed depending on whether the data is input.
のサンプルデータの正解データにより、学習を行うニュ
ーラルネットの学習方法において、 前記サンプルデータを品質に応じて分類し、 学習時に、前記正解データより作成される教師信号の値
を、前記分類によって変更することを特徴とするニュー
ラルネット学習方法。4. A learning method of a neural network for learning using sample data for learning and correct answer data of the sample data for learning, wherein the sample data is classified according to quality, and the correct answer data at the time of learning. A method of learning a neural network, characterized in that the value of the teacher signal created by the above is changed according to the classification.
の出力信号と、この学習用のサンプルデータの正解デー
タより作成した教師信号との誤差が、所定値(G)より
大きな場合に学習を行うニュ−ラルネットの学習方法に
おいて、 前記サンプルデータを品質に応じて分類し、学習時に、
前記分類によって前記所定値(G)の値を変更すること
を特徴とするニューラルネット学習方法。5. Learning is performed when an error between an output signal obtained as a result of inputting learning sample data and a teacher signal created from correct data of the learning sample data is larger than a predetermined value (G). In a neural net learning method, the sample data is classified according to quality, and at the time of learning,
A method for learning a neural network, wherein the value of the predetermined value (G) is changed according to the classification.
ラルネットの結合係数(Vih,Who)により、認識
処理を行うニューラルネット型認識装置。6. A neural network type recognition device for performing recognition processing by means of a coupling coefficient (Vih, Who) of a neural net obtained by the learning method according to claim 1.
に対応する正解データを備えるデータ入力手段(10)
と、 前記サンプルデータから作成した情報データを入力とす
るニューラルネット型認識部(16)と、 前記正解データから教師信号を作成する教師信号出力手
段(18)と、 前記ニューラルネット型認識部(16)の出力信号と前
記教師信号とを比較する誤差出力手段(20a)と、 この誤差に応じて前記結合係数を調整する修正手段(2
0b)とを備えるニューラルネット型認識装置におい
て、 前記サンプルデータの品質に応じた分類により、前記学
習の程度を変更する変更手段(21a,21b)を備え
ることを特徴とするニューラルネット型認識装置。7. A data input means (10) comprising sample data for learning and correct data corresponding to this sample data.
A neural network type recognition unit (16) that receives information data created from the sample data, a teacher signal output unit (18) that creates a teacher signal from the correct answer data, and the neural network type recognition unit (16) Error output means (20a) for comparing the output signal of (1) with the teacher signal, and correction means (2) for adjusting the coupling coefficient according to the error.
0b), a neural network type recognition device comprising: changing means (21a, 21b) for changing the degree of learning by classification according to the quality of the sample data.
に対応する正解データを備えるデータ入力手段(10)
と、 前記サンプルデータから作成した情報データを入力とす
るニューラルネット型認識部(16)と、 前記正解データから教師信号を作成する教師信号出力手
段(18)と、 前記ニューラルネット型認識部(16)の出力信号と前
記教師信号を比較する誤差出力手段(20a)と、 この誤差が所定値(G)より大きな場合に、この誤差に
応じて前記結合係数を調整する修正手段(20b,20
c)とを備えるニューラルネット型パターン認識装置に
おいて、 前記サンプルデータの品質に応じた分類により、前記所
定値(G)を変更する変更手段(21a)を備えること
を特徴とするニューラルネット型認識装置。8. A data input means (10) comprising sample data for learning and correct data corresponding to the sample data.
A neural network type recognition unit (16) that receives information data created from the sample data, a teacher signal output unit (18) that creates a teacher signal from the correct answer data, and the neural network type recognition unit (16) Error output means (20a) for comparing the output signal of (4) with the teacher signal, and correction means (20b, 20) for adjusting the coupling coefficient according to the error when the error is larger than a predetermined value (G).
A neural network type pattern recognition device comprising: c) and a change means (21a) for changing the predetermined value (G) according to the classification according to the quality of the sample data. .
に対応する正解データを備えるデータ入力手段(10)
と、 前記サンプルデータから作成した情報データを入力とす
るニューラルネット型認識部(16)と、 前記正解データから教師信号を作成する教師信号出力手
段(18)と、 前記ニューラルネット型認識部(16)の出力信号と前
記教師信号を比較する誤差出力手段(20a)と、 この誤差に応じて前記結合係数を調整する学習制御手段
(20b)とを備えるニューラルネット型パターン認識
装置において、 前記サンプルデータの品質に応じて、前記教師信号の値
を変更する変更手段(21b)を備えることを特徴とす
るニューラルネット型パターン認識装置。9. A data input means (10) comprising sample data for learning and correct data corresponding to this sample data.
A neural network type recognition unit (16) that receives information data created from the sample data, a teacher signal output unit (18) that creates a teacher signal from the correct answer data, and the neural network type recognition unit (16) In the neural net type pattern recognition device, the sample data is provided with an error output means (20a) for comparing the output signal of (1) with the teacher signal, and a learning control means (20b) for adjusting the coupling coefficient according to the error. A neural net type pattern recognition device comprising a changing means (21b) for changing the value of the teacher signal according to the quality of the pattern.
前記サンプルデータに対応し、このサンプルデータの品
質を示す品質データを格納し、 前記変更手段(21a)は、この品質データにより制御
されることを特徴とする請求項8のニューラルネット型
認識装置。10. The data input means (10) further stores quality data corresponding to the sample data and indicating the quality of the sample data, and the changing means (21a) is controlled by the quality data. 9. The neural network type recognition device according to claim 8, wherein
前記サンプルデータに対応し、このサンプルデータの品
質を示す品質データを格納し、 前記変更手段(21b)は、この品質データにより制御
されることを特徴とする請求項9のニューラルネット型
認識装置。11. The data input means (10) further stores quality data corresponding to the sample data and indicating the quality of the sample data, and the changing means (21b) is controlled by the quality data. 10. The neural network type recognition device according to claim 9, wherein.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7117030A JPH08314879A (en) | 1995-05-16 | 1995-05-16 | Method for learning neural network and neural network type pattern recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7117030A JPH08314879A (en) | 1995-05-16 | 1995-05-16 | Method for learning neural network and neural network type pattern recognition device |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH08314879A true JPH08314879A (en) | 1996-11-29 |
Family
ID=14701717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7117030A Pending JPH08314879A (en) | 1995-05-16 | 1995-05-16 | Method for learning neural network and neural network type pattern recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH08314879A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019046058A (en) * | 2017-08-31 | 2019-03-22 | キヤノン株式会社 | Information processing device, and information processing method and program |
JP2020508531A (en) * | 2017-09-08 | 2020-03-19 | ジョンアン インフォメーション テクノロジー サービシズ カンパニー リミテッド | Image quality evaluation method and image quality evaluation system |
-
1995
- 1995-05-16 JP JP7117030A patent/JPH08314879A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019046058A (en) * | 2017-08-31 | 2019-03-22 | キヤノン株式会社 | Information processing device, and information processing method and program |
JP2020508531A (en) * | 2017-09-08 | 2020-03-19 | ジョンアン インフォメーション テクノロジー サービシズ カンパニー リミテッド | Image quality evaluation method and image quality evaluation system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3329806B2 (en) | Neural network construction device | |
CN109948692B (en) | Computer-generated picture detection method based on multi-color space convolutional neural network and random forest | |
KR20040015613A (en) | Face recognition method using artificial neural network, and the apparatus using thereof | |
JPH08227408A (en) | Neural network | |
US5528700A (en) | Character recognition system based on a neural network | |
Nie | Research on facial expression recognition of robot based on CNN convolution neural network | |
US6560582B1 (en) | Dynamic memory processor | |
JPH08314879A (en) | Method for learning neural network and neural network type pattern recognition device | |
JPH08329032A (en) | Neural net type pattern recognition device and learning method for neural net | |
Behme et al. | Speech recognition by hierarchical segment classification | |
JP3469677B2 (en) | Character recognition device and learning method thereof | |
JP3243313B2 (en) | Fuzzy neuron for pattern recognition | |
JPH07271916A (en) | Learning pattern generating device and character recognizing device using the same | |
JP2736361B2 (en) | Neural network configuration method | |
JPH0233687A (en) | Neural network learning method for recognizing multi-font character | |
JP2000172662A (en) | Learning method for neural network | |
JPH0535710A (en) | Learning method/device for neural network | |
EP0450521B1 (en) | A learning method for a data processing system | |
JPH11265197A (en) | Voice recognizing method utilizing variable input neural network | |
JPH04501327A (en) | pattern transfer neural network | |
JPH10283336A (en) | Waveform learning device and waveform recognition device | |
JP3085312B2 (en) | Character recognition learning method and character recognition device | |
JPH03294983A (en) | Character recognizing device | |
CN118038520A (en) | Facial expression recognition method and device | |
JPH0494000A (en) | Voice recognition device |