JPH01233579A - Neural net type pattern recognition device - Google Patents

Neural net type pattern recognition device

Info

Publication number
JPH01233579A
JPH01233579A JP63060719A JP6071988A JPH01233579A JP H01233579 A JPH01233579 A JP H01233579A JP 63060719 A JP63060719 A JP 63060719A JP 6071988 A JP6071988 A JP 6071988A JP H01233579 A JPH01233579 A JP H01233579A
Authority
JP
Japan
Prior art keywords
unit
output
layer section
units
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP63060719A
Other languages
Japanese (ja)
Inventor
Yukio Tokunaga
徳永 幸生
Katsunori Shimohara
勝憲 下原
Tatsuo Matsuoka
達雄 松岡
Yoshimasa Kimura
木村 義政
Tadashi Uchiyama
匡 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP63060719A priority Critical patent/JPH01233579A/en
Publication of JPH01233579A publication Critical patent/JPH01233579A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

PURPOSE:To efficiently learn a new item as maintaining the identification capacity of a learned neural net by attaching new units on an intermediate layer part and an output layer part and providing a connection newly. CONSTITUTION:A unit 33 is provided on the intermediate layer part 30 of a neural net part 10 consisting of an input layer part 20, the intermediate layer part 30, and the output layer part 40, and a unit 42 on the layer part 40 newly, and furthermore, the connections (61-67) are provided newly corresponding to the extension of the units. Also, a comparator 90 compares and decides the output value of an existing unit 41 in the layer 40 with that of an attached unit 42, and issues output corresponding to each unit. In such a case, as a concrete comparison method, for example, a logical equation such as a method in which the output value of the unit with the maximum output value is set as '1' (true) and other as '0' (false), or a method in which the output value of the unit 42 as '1' when the output values of the units 41 and 42 exceed the prescribed value and the other as '0', etc., is used. In such a way, it is possible to learn the new item efficiently as maintaining the identification capacity of the learned net 10.

Description

【発明の詳細な説明】 〔孕業上の利用分野〕   。[Detailed description of the invention] [Field of use in pregnancy].

本発明はニューラルネット型パターン識別装置に関し、
特に、既に学習したニューラル′禾ツバ′トの識別能力
を維持しつつ、新しい項目を効率良く学習することが可
能な、ニューラルネット型パターン識別装置に関する。
The present invention relates to a neural network pattern identification device,
In particular, the present invention relates to a neural network pattern recognition device that can efficiently learn new items while maintaining the ability to identify neural patterns that have already been learned.

〔従来の技術〕[Conventional technology]

従来の、この種の装置としては、例えば、稲葉により「
ニューラルネットをパターン認識、信号処理、知識処理
に使う」(日経エレクトロニクス、 1’187年8月
10日号(427)p、115)に開示されている装置
が知られている。この装置は、第6図に示す如き構造の
ユニットにより構成されるニューラルネットを用いるも
のである。
Conventional devices of this type include, for example, the one described by Inaba
A device disclosed in "Using Neural Nets for Pattern Recognition, Signal Processing, and Knowledge Processing" (Nikkei Electronics, August 10, 1'187 issue (427), p. 115) is known. This device uses a neural network composed of units having the structure shown in FIG.

第6図に示すユニットは、他のユニットからの入力を受
ける部分、入力を一定の規則に従って変換する部分およ
び結果を出力する部分から成っている。また、他のユニ
ットとの結合部には、それぞれ可変の重みWiJを付け
る機能を有する。
The unit shown in FIG. 6 consists of a part that receives input from other units, a part that converts the input according to certain rules, and a part that outputs the result. In addition, each unit that connects to another unit has a function of attaching a variable weight WiJ.

あるユニットが複数のユニットから入力を受けた場合、
その出力と重みの荷重総和を入力値とする。すなわち、
入力の総和”net″′は、neti:ΣWLJoj 
       −・−(1)である。各ユニットは、入
力の総和netを非線形関数fに適用して変換する。こ
こで代表的な関数がsigmoid関数、すなわち。
When a unit receives input from multiple units,
The output and the sum of the weights are used as the input value. That is,
The sum of inputs “net”′ is neti:ΣWLJoj
−・−(1). Each unit transforms the input summation net by applying it to a nonlinear function f. A typical function here is the sigmoid function, ie.

である。なお、閾値Oを加えて、 を用いても良い。It is. In addition, adding the threshold O, You may also use

第7図は、上記ユニットを電子的に実現した場合の構成
例を示すものである。前述のコネクションの重みは、可
変抵抗により実現され、ユニットの非線形性は、インバ
ータのアナログ的な入出力特性を利用する。なお、イン
バータの代りに、オペアンプを用いることも可能である
FIG. 7 shows an example of the configuration when the above unit is implemented electronically. The aforementioned connection weights are realized by variable resistors, and the nonlinearity of the unit utilizes the analog input/output characteristics of the inverter. Note that it is also possible to use an operational amplifier instead of an inverter.

第8図は、上述のユニットを組合せた、従来のニューラ
ルネット型パターン識別装置の構成例を示すものである
0図中の丸印は、上記ユニットを示している0本装置は
、入力層部、中間層部および出力層部から成り、この方
向に前記コネクションにより接続されている。
FIG. 8 shows an example of the configuration of a conventional neural network pattern recognition device that combines the above-mentioned units. The circles in the figure indicate the above-mentioned units. , an intermediate layer section and an output layer section, which are connected in this direction by the connections.

各コネクションの重みの学習のアルゴリズムとして、代
表的な「逆伝播法」について、以下、説明する。
A typical "backpropagation method" will be described below as an algorithm for learning the weights of each connection.

入力層部の各ユニットに入カバターンが与えられると、
各入カバターンは入力層部の各ユニットにより、中間層
部の全部あるいは一部のユニットに出力され、中間層部
以降の各ユニットは、すべての入カバターンの荷重和、
すなわち、前段の各出力値とコネクションの重みの積の
和を非線形関数で変換し、最終的に出力層部に出力する
When input cover turns are given to each unit in the input layer,
Each input cover turn is output by each unit of the input layer section to all or some units of the middle layer section, and each unit after the middle layer section outputs the weighted sum of all input cover turns,
That is, the sum of the products of each output value of the previous stage and the weight of the connection is transformed by a nonlinear function, and finally output to the output layer section.

この出力値と望ましい出力値、すなおち、教師データま
たは期待値と比較し、両者の差を減らすように、コネク
ションの重みを変更する。
This output value is compared with a desired output value, that is, training data or an expected value, and the weight of the connection is changed to reduce the difference between the two.

あるパターンpを与えた場合、出力層部のあるユニット
の実際の出力値(0□)と望ましい出力値(tPJ)と
の差を、 EP=  (tPJ−○Pj)”     ・・・・(
3)で評価する。学習は、この差が小さくなるように前
記重みWを変化させる。
When a certain pattern p is given, the difference between the actual output value (0□) and the desired output value (tPJ) of a certain unit in the output layer section is expressed as EP= (tPJ-○Pj)''...
Evaluate using 3). During learning, the weight W is changed so that this difference becomes smaller.

pを与えたときの、ユニットiとユニットjを結ぶコネ
クションの重みWiJの変化量は。
When p is given, the amount of change in the weight WiJ of the connection connecting unit i and unit j is.

Δ、wiJ::ηδ、、0.、    ・・・・(4)
である。ここで、○Piは、前段のユニットiのユニッ
トjへの出力値であり、δ、Jは、ユニットjが出カニ
ニットか中間ユニットかで異なる。二ニットjが出カニ
ニットの場合は、 δP J =(j P J−○PJ) f ’ =(n
etr=)””(5)また、ユニットjが中間ユニット
の場合は、δP J ” f ’ J (netp =
)Σδ、wk、・・・・(6)である。
Δ,wiJ::ηδ,,0. , ...(4)
It is. Here, ○Pi is the output value of unit i in the previous stage to unit j, and δ and J differ depending on whether unit j is an output unit or an intermediate unit. If the second knit j is the outgoing kani knit, δP J = (j P J−○PJ) f' = (n
etr=)””(5) Also, if unit j is an intermediate unit, δP J ” f ′ J (netp =
) Σδ, wk, (6).

式(4)によるΔWの計算は、出力層部のユニットから
始めて、中間層部のユニットに移り、最後に入力層部ま
で遡る。なお、この際、中間層部は複数段あっても良い
Calculation of ΔW according to equation (4) starts from the unit in the output layer, moves to the unit in the intermediate layer, and finally goes back to the input layer. In addition, in this case, the intermediate layer portion may have multiple stages.

学習を実行する際には、学習用のパターンを入力して結
果を出力し、前述の如く、結果の誤差を減らすようにコ
ネクションの重みを変える。これを繰り返すことによっ
て、入カバターンに対して正しい出カバターンを出すよ
う、重みが収束して行く。以上が、従来のニューラルネ
ット型パターン識別装置の構成および基本動作である。
When performing learning, a learning pattern is input, a result is output, and, as described above, connection weights are changed to reduce errors in the result. By repeating this, the weights converge so that the correct output cover turn is produced for the input cover turn. The above is the configuration and basic operation of the conventional neural network pattern identification device.

〔発明が解決しようとする課題〕[Problem to be solved by the invention]

このように、コネクションの重みを変える、すなわち、
学習することによって、入力情報から特徴や規則性を抽
出し、適正な情報を識別するニューラルネット型パター
ン識別装置においては、中間層部のユニットの個数によ
って、識別能力が規定される。従って、中間層部のユニ
ット数を一定にして多数のパターンについて学習させて
行くと識別能力が低下して来る。
In this way, you can change the connection weights, i.e.
In a neural network pattern identification device that extracts features and regularities from input information through learning and identifies appropriate information, the identification ability is defined by the number of units in the intermediate layer. Therefore, if a large number of patterns are learned while keeping the number of units in the intermediate layer constant, the discrimination ability will deteriorate.

しかしながら、ニューラルネットを用いたパターン識別
装置では、入力層部のユニット数は変えずに、識別能力
を高めたり、新しいパターンの学習を求められる場合が
多い。このような場合、中間層部、出力層部のユニット
数を増加させ、各店部間のユニットに任意(通常はすべ
て)のコネクションを設けて、前述のように始めから学
習し直させれば良いが、既に学習した部分のニューラル
ネットが生かせず、また、学習に多大の労力を要すると
いう問題があった。
However, in a pattern recognition device using a neural network, it is often necessary to improve the recognition ability or learn new patterns without changing the number of units in the input layer section. In such a case, you can increase the number of units in the middle layer and output layer, create arbitrary (usually all) connections between the units between each store, and re-learn from the beginning as described above. However, there was a problem in that the parts of the neural network that had already been learned could not be utilized, and learning required a great deal of effort.

本発明は上記事情に鑑みてなされたもので、その目的と
するところは、従来のニューラルネット型パターン識別
装置における上述の如き問題を解消し、既に学習したニ
ューラルネットの識別能力を維持しつつ、新しい項目を
効率良く学習することが可能な、ニューラルネット型パ
ターン識別装置を提供することにある。
The present invention has been made in view of the above circumstances, and its purpose is to solve the above-mentioned problems in conventional neural network pattern identification devices, maintain the already learned identification ability of the neural network, and An object of the present invention is to provide a neural network pattern recognition device that can efficiently learn new items.

〔課題を解決するための手段〕[Means to solve the problem]

本発明の上記目的は、複数のユニットから構成される入
力層部、中間層部、出力層部がこの順に配置され、かつ
、前記各部のユニットを結ぶ出力層部方向への有向性コ
ネクションを有し、前記入力層部の各ユニットに入力さ
れた入力値に対する前記出力層部での出力と望ましい出
力値との差分を用いて、前記コネクションの重みを変化
させ、正しい値を出力するよう学習させるようにしたニ
ューラルネット型パターン識別装置において、学習が進
んだ段階で、前記中間層部と出力層部に新しいユニット
を付加し、該中間層部の新しいユニットと前記入力層部
の任意のユニットとのコネクション、および、前記出力
層部の新しいユニットと前記中間層部の付加ユニットお
よび他の任意のユニットとのコネクションを設けるとと
もに、前記出力層部の新しいユニットに正しい出力値を
出力させる学習では、前記新しく設けられたコネクショ
ンのみの重みを変化させる如く構成したことを特徴とす
るニューラルネット型パターン識別装置によって達成さ
れる。
The above-mentioned object of the present invention is to provide an input layer section, an intermediate layer section, and an output layer section composed of a plurality of units, arranged in this order, and to have a directional connection in the direction of the output layer section connecting the units of each section. learning to change the weight of the connection and output the correct value using the difference between the output at the output layer section and the desired output value for the input value input to each unit of the input layer section. In the neural network pattern recognition device, when learning has progressed, a new unit is added to the intermediate layer section and the output layer section, and the new unit of the intermediate layer section and any unit of the input layer section are added. In learning, a connection is established between the new unit of the output layer section and the additional unit of the intermediate layer section and any other unit, and the new unit of the output layer section outputs the correct output value. This is achieved by a neural network pattern identification device characterized in that it is configured to change the weight of only the newly established connection.

〔作用〕[Effect]

本発明に係わるニューラルネット型パターン識別装置に
おいては、学習が進んだ段階で、中間層部と出力層部に
新しいユニットを付加し、中間層部の新しいユニットと
入力層部の任意のユニットとのコネクション、および、
出力層部の新しいユニットと中間層部の任意のユニット
とのコネクションを設け、学習はこの新しいコネクショ
ンのみの重みを変化させて行うようにしたので、既に学
習したニューラルネットを破壊することなく、新しい学
習対象(項目)に絞った学習を効率良く実行できるとい
う利点がある。
In the neural network pattern recognition device according to the present invention, at a stage when learning has progressed, new units are added to the intermediate layer section and the output layer section, and a new unit in the intermediate layer section is connected to an arbitrary unit in the input layer section. connection, and
We created a connection between a new unit in the output layer and an arbitrary unit in the middle layer, and learned by changing the weight of only this new connection, so we could create a new one without destroying the already learned neural network. It has the advantage of being able to efficiently perform learning focused on the learning target (item).

〔実施例〕〔Example〕

以下、本発明の実施例を図面に基づいて詳細に説明する
Embodiments of the present invention will be described in detail below with reference to the drawings.

第1図は、本発明の一実施態様を示すニューラルネット
型パターン識別装置の概略構成を示すブロック図である
。図において、10は入力層部20゜中間層部30.出
力層部40から成るニューラルネット部であり、 21
,22.23および24は入力層部20を構成するユニ
ット、 31および32は中間層部30を構成するユニ
ットのうち゛、当初から設けられていたもの、33は中
間層部30に新たに付加されたユニットを示している。
FIG. 1 is a block diagram showing a schematic configuration of a neural network pattern identification device showing one embodiment of the present invention. In the figure, 10 indicates an input layer section 20 degrees, an intermediate layer section 30 . A neural network section consisting of an output layer section 40, 21
, 22, 23 and 24 are units that constitute the input layer section 20, 31 and 32 are units that were provided from the beginning among the units that constitute the intermediate layer section 30, and 33 is a newly added unit to the intermediate layer section 30. It shows the unit that has been installed.

また、41は出力層部40を構成するユニットのうち、
当初から設けられていたもの、42は出力層部40に新
たに付加されたユニットを示している。同様に、コネク
ションについても、実線で示されているコネクション5
1〜60は、当初から設けられていたもの、破線で示さ
れているコネクション61〜67は、ユニットの増設に
対応して新たに付加されたコネクションを示している。
Further, 41 is a unit that constitutes the output layer section 40,
42 indicates a unit newly added to the output layer section 40, which has been provided from the beginning. Similarly, regarding connections, connection 5 shown by a solid line
Connections 1 to 60 have been provided from the beginning, and connections 61 to 67 indicated by broken lines are newly added connections in response to the addition of units.

また、70は予め与えられている期待値との比較を行う
比較部、80は本ニューラルネット型パターン識別装置
全体を制御する制御部、90は出力間の比較を行うコン
パレータを示している。
Further, 70 represents a comparison unit that performs a comparison with an expected value given in advance, 80 represents a control unit that controls the entire neural network pattern identification device, and 90 represents a comparator that performs a comparison between outputs.

第1図に示すニューラルネット型パターン識別装置にお
いては、ユニット21,22,23,24,31,32
,41と、51〜60の各コネクションによって構成さ
れていた。当初のニューラルネットによって既に学習が
行われ、出力層のユニット旧から正しい出力値が出力す
るように、各コネクション51〜60の重みが設定され
ているものとする。すなわち、第1図は、更に、新しい
パターンを識別し出力させるために、中間層部30と出
力層部40に新しいユニット33および42とこれに対
応するコネクションが設けられた状態を示している。
In the neural network pattern recognition device shown in FIG.
, 41, and connections 51 to 60. It is assumed that learning has already been performed by the original neural network, and the weights of the connections 51 to 60 have been set so that correct output values are output from the oldest units in the output layer. That is, FIG. 1 further shows a state in which new units 33 and 42 and corresponding connections are provided in the intermediate layer section 30 and output layer section 40 in order to identify and output a new pattern.

なお、第1図に示すニューラルネット型パターン識別装
置においては、出力層部40の付加ユニット42と中間
層部30の全ユニットの間、および、中間層部30の付
加ユニット33と入力層部20の全ユニットの間に、コ
ネクションが新規に設けられているが、出力層部40と
中間層部30の付加ユニット同志間のコネクション(6
7)以外は、目的に応じて任意に選択して良い。付加ユ
ニット数にも制限はないが、通常、1回に付加されるユ
ニットの数は、それまでに学習させたニューラルネット
の各層のユニット数以下である。
In the neural network pattern recognition device shown in FIG. A new connection is established between all the units in the output layer section 40 and the intermediate layer section 30 (6).
Items other than 7) may be arbitrarily selected depending on the purpose. Although there is no limit to the number of units added, the number of units added at one time is usually less than or equal to the number of units in each layer of the neural network that has been trained up to that point.

中間層は多層であっても良い。但し、付加ユニットへ入
力する下層とのコネクションに制限はないが、付加ユニ
ットから上層のユニットへのコネクションは、上層の付
加ユニットへのコネクションのみに限られる。
The intermediate layer may be multilayered. However, although there is no restriction on the connection with the lower layer that is input to the additional unit, the connection from the additional unit to the upper layer unit is limited only to the connection to the upper layer additional unit.

また、本実施態様においては、既存ユニットおよび付加
ユニットの学習が進んだ段階で、更に新たなユニットを
付加する場合、学習の終ったユニット全体を既存ユニッ
トとして取扱い、前述の方法によりコネクションを設け
、学習を行う。
In addition, in this embodiment, when adding a new unit after the learning of the existing unit and the additional unit has progressed, the entire unit that has been learned is treated as an existing unit, and a connection is established using the method described above. Learn.

前述の、出力間の比較を行うコンパレータ90は出力層
部40の各ユニットの出力値を比較判定し、出力層部4
0の各ユニットに対応して出力する。比較の具体的な方
法としては、例えば、 (1)出力値の最大のユニットの出力値を′1′″(真
)、他を110 It (偽)とする方法 (2)既存ユニットと付加ユニットの出力値が予め設定
された値(例えば、0.5)を越えた場合は付加ユニッ
トの出力値をIt I 11、他をIt O71とする
方法 等の論理式が用い得る。
The above-mentioned comparator 90 that performs a comparison between outputs compares and determines the output values of each unit of the output layer section 40.
Output corresponding to each unit of 0. Specific methods for comparison include, for example: (1) Setting the output value of the unit with the largest output value as '1''' (true) and setting the others as 110 It (false) (2) Comparing existing units and additional units If the output value exceeds a preset value (for example, 0.5), a logical formula such as a method in which the output value of the additional unit is set as It I 11 and the others as It O 71 can be used.

第2図(a)および(b)に、前述の、制御部80の動
作の概要を示すフローチャートを示す。なお、第2図(
、)は学習フェーズ、同(b)は運用フェーズにおける
動作を、それぞれ示している。以下に説明する実施例に
おいては、上記学習フェーズを実行した後、通常運用と
追加学習を含む運用フェーズを実行して、ニューラルネ
ット型パターン識別装置を使用し、また、その中でニュ
ーラルネットの性能向上を行うものである。
FIGS. 2(a) and 2(b) show flowcharts outlining the operation of the control section 80 described above. In addition, Figure 2 (
, ) shows the operation in the learning phase, and (b) shows the operation in the operation phase, respectively. In the embodiment described below, after executing the above-mentioned learning phase, an operation phase including normal operation and additional learning is executed to use a neural network pattern recognition device, and to improve the performance of the neural network. It is meant to improve.

以下、上述の如く構成された本ニューラルネット型パタ
ーン識別装置による音声識別の動作例を実施例として示
す。
Hereinafter, an example of the operation of voice recognition by the present neural network type pattern recognition apparatus configured as described above will be described as an example.

〔実施例1〕 特定話者が発声したCV音節/ b a/ r / d
 a / t / g a / r/za/、/pa/
、/la八八へへ、/sa/、/ha/、/ma/、/
na/、/wa/および/ya/の13個を12kHz
でサンプリングし、窓幅16m5ecのハミング窓で切
出した後、LPCケプストラム係数を求め、ニューラル
ネットの入力とした。
[Example 1] CV syllables uttered by a specific speaker / b a / r / d
a/t/ga/r/za/, /pa/
, /la 88 hehe, /sa/, /ha/, /ma/, /
13 pieces of na/, /wa/ and /ya/ at 12kHz
After sampling with a Hamming window with a window width of 16 m5 ec, the LPC cepstral coefficients were determined and used as input to the neural network.

ニューラルネットは3層構成で、中間層部のユニット数
は10個、出力層部のユニット数は、上記CV音節/b
a/ 、/da/ 、/ga/ 、/za/ 、/pa
/ 、/la/ 、/ka/ 。
The neural network has a 3-layer structure, the number of units in the middle layer is 10, and the number of units in the output layer is the above CV syllable/b.
a/ , /da/ , /ga/ , /za/ , /pa
/, /la/, /ka/.

/sa/、/ha/、/+Ila/、/naム/wa/
および/ya/に対応する13個とし、各入力に対応す
る音節を表現するユニットを0.9、それ以外のユニッ
トを0.1とするよう目標値を設定した。
/sa/, /ha/, /+Ila/, /nam/wa/
and /ya/, and the target values were set so that the unit expressing the syllable corresponding to each input was 0.9, and the other units were 0.1.

音声データ20回の発声のうち、10回分を学習用とし
て、パックプロパゲーションにより、1000回学習を
行った。学習後、テスト用データの/pa/を入力した
ときの、出カニニットの出力値を第3図(、)に示す、
 /pa/を入力したときには、/pa/に対応するユ
ニットは1″′に近い値を示し、その他のユニットは0
”に近い値を示した。
Out of the 20 utterances of audio data, 10 utterances were used for learning, and learning was performed 1000 times by pack propagation. After learning, the output value of Dekanit when the test data /pa/ is input is shown in Figure 3 (,).
When /pa/ is input, the unit corresponding to /pa/ shows a value close to 1'', and the other units show a value of 0.
”.

次に、このニューラルネットの中間層部と出力層部にそ
れぞれ1個ずつユニットを付加し、中間層部の付加ユニ
ットと入力層部のすべてのユニット間、および、出力層
部の付加ユニットと中間層部のすべてのユニット(付加
ユニットを含む)間にコネクションを設けた。
Next, add one unit each to the intermediate layer section and output layer section of this neural network, and create connections between the additional units of the intermediate layer section and all the units of the input layer section, and between the additional units of the output layer section and the intermediate layer section. Connections were established between all units in the layer (including additional units).

この状態で、出力層部の付加ユニットに/bya/を割
付け、学習を行った。学習では、/ba/、/da/。
In this state, /bya/ was assigned to the additional unit of the output layer section, and learning was performed. In learning, /ba/, /da/.

/ga/ 、 /za/ 、/pa/ 、/ ta/ 
、 /ka/ 、 /sa/ 、 /ha/ + /m
a/ 、/na/、/iia/ +/ya/を学習した
ときの、既存のユニット間のコネクションの重みは変え
ず、新しく設けたコネクションの重みのみを変えて行っ
た。
/ga/ , /za/ , /pa/ , /ta/
, /ka/ , /sa/ , /ha/ + /m
When learning a/, /na/, /iia/ +/ya/, we did not change the weights of connections between existing units, but only changed the weights of newly created connections.

学習用のサンプルとしては/bya/以外の音節も適当
に用い、/bya/を入力したときに出力層部に付加し
た/bya/に対応するユニットの出力がIt 171
になるように、パックプロパゲーションにより、100
0回学習を行った。
As a learning sample, syllables other than /bya/ are used appropriately, and when /bya/ is input, the output of the unit corresponding to /bya/ added to the output layer section is It 171
By pack propagation, 100
Learning was performed 0 times.

学習後、/bya/を入力したときの出力層部のユニッ
トの出力値を第3図(b)に示す。図に示される如く、
既学習項目である/ba/、/da/、/ga/、/z
a/+/pa/、/laム八a/、/sa/、/haへ
、/ma/、/na/、/wa/、/ya/については
、先の学習後と同様の結果を示した。
After learning, the output value of the unit in the output layer section when /bya/ is input is shown in FIG. 3(b). As shown in the figure,
Already learned items /ba/, /da/, /ga/, /z
For a/+/pa/, /lam8a/, /sa/, /ha, /ma/, /na/, /wa/, /ya/, the results were similar to those after the previous learning. Ta.

また、/bya/を入力したときには、/bya/に対
応するユニットが0.5を越す値を示し、その他のユニ
ットは十分低い値を示しているため、容易に目的とする
/bya/を判別することができる。
Also, when /bya/ is input, the unit corresponding to /bya/ shows a value exceeding 0.5, and the other units show a sufficiently low value, so it is easy to determine the desired /bya/. can do.

本実施例によれば、前記実施態様に示したニューラルネ
ット型パターン識別装置は、既学習項目については、付
加ユニットを設ける前と同様の結果を示すとともに、付
加ユニットを設けた後の新規学習項目についても、十分
な識別能力を有することが確認された。
According to this embodiment, the neural network pattern recognition device shown in the above embodiment shows the same results for already learned items as before installing the additional unit, and also shows the same results for new learning items after installing the additional unit. was also confirmed to have sufficient discrimination ability.

〔実施例2〕 実施例1と同様の方法で、中間層部のユニット数を2個
、出力層部のユニット数を2個として、母音/e/およ
び/i/について、1000回の学習を行った後、中間
層部、出力層部にユニットを付加し、/a/を学習させ
た。
[Example 2] Using the same method as in Example 1, learning was performed 1000 times for the vowels /e/ and /i/ using two units in the intermediate layer and two units in the output layer. After that, units were added to the intermediate layer and output layer, and /a/ was learned.

学習後、/e/、/i/および/a/を入力し、出力層
部の各ユニットからの出力値を、前記コンパレータ90
により比較し、その結果をニューラルネットの出力とし
た。すなわち、出力層部のユニットの出力値がいずれも
0.5以下のときは各ユニットに対応する最終ユニット
の出力値はIt OIt、既存のユニットのいずれかの
出力値および付加ユニットの出力値が0.5を越えると
きは、付加ユニットに対応する最終出力値を“1″、他
をLL Q 11.既存のユニットのいずれかの出力値
が0.5を越え、付加ユニットの出力値が0.5以下の
ときは、既存ユニットの中で最も高い出力値を示すユニ
ットに対応する最終出力値をtt 1 u、他をIt 
OItとした。
After learning, /e/, /i/ and /a/ are input, and the output values from each unit of the output layer section are input to the comparator 90.
The results were used as the output of the neural network. In other words, when the output values of the units in the output layer section are all 0.5 or less, the output value of the final unit corresponding to each unit is It OIt, and the output value of any existing unit and the output value of the additional unit are If it exceeds 0.5, set the final output value corresponding to the additional unit to "1", and set the others to LL Q 11. When the output value of any of the existing units exceeds 0.5 and the output value of the additional unit is 0.5 or less, the final output value corresponding to the unit with the highest output value among the existing units is tt. 1 u, others It
It was set as OIt.

第4図(a)は、/eム/i/および/a/に対する出
力層部の出力結果を示し、同(b)は、前記コンパレー
タ90による比較の結果を示すものである6本実施例に
よっても、前記実施態様に示したニューラルネット型パ
ターン識別装置は、既学習項目については、付加ユニッ
トを設ける前と同様の結果を示すとともに、付加ユニッ
トを設けた後の新規学習項目についても、十分な識別能
力を有することか確認された。
FIG. 4(a) shows the output results of the output layer section for /e/i/ and /a/, and FIG. 4(b) shows the results of comparison by the comparator 90. Accordingly, the neural network pattern recognition device shown in the above embodiment shows the same results for already learned items as before installing the additional unit, and also shows sufficient results for new learning items after installing the additional unit. It was confirmed that it has a good discrimination ability.

〔実施例3〕 最後に、他の実施例として7セグメントの数字(O〜9
)認識への適用例について述べる。まず、0〜4の5個
を認識するようにニューラルネットを学習させた。入力
層部のユニット数は7個、中間層部のユニット数は3個
、出力層部のユニット数は0〜4の数字に対応する5個
である。なお、学習は、各入力に対応する出カニニット
を0.99、その他を0.01として500回行った。
[Example 3] Finally, as another example, 7 segment numbers (0 to 9
) Describe an example of its application to recognition. First, a neural network was trained to recognize five numbers from 0 to 4. The number of units in the input layer section is seven, the number of units in the intermediate layer section is three, and the number of units in the output layer section is five, corresponding to the numbers 0 to 4. Note that learning was performed 500 times with the output kaninit corresponding to each input set as 0.99 and the others as 0.01.

このネットワークをNoとする。Let this network be No.

次に、上記ネットワークNOに対し、認識数字数を3個
増やして8個(0〜7)とした。このネットワークをN
1とする。ネットワークN1では。
Next, the number of recognized digits was increased by 3 to 8 (0 to 7) for the network NO. This network is N
Set to 1. In network N1.

中間層部のユニット数を3個増やし、入力層部の各ユニ
ットとはすべてのコネクションを設け、また、中間層部
−出力層部間は、出力層部の新たに増えた3個について
は、中間層部との間にすべてのコネクションを設けるが
、中間層部の新ユニットと前記ネットワークNoの5個
の出力ユニット間にはコネクションを設けない。学習は
、新たな3個の数字とその他の割合が1=1になるよう
にし、かつ、1数字に対して500回行った。
The number of units in the middle layer section is increased by three, all connections are made with each unit in the input layer section, and between the middle layer section and the output layer section, for the newly increased three units in the output layer section, All connections are provided with the intermediate layer section, but no connections are provided between the new unit of the intermediate layer section and the five output units of the network numbers. Learning was performed 500 times for each number, with the ratio of the three new numbers to the other numbers being 1=1.

更に、ネットワークN1に対して、認識数字数を2個増
やして10個(0〜9)とした。このネットワークをN
2とする。ネットワークN2では、中間層部のユニット
数をN1に対して更に2個増やし、入力層部の各ユニッ
トとはすべてコネクションを設け、また、中間層部−出
力層部間は、出力層部の新たに増えた2個については、
中間層部との間にすべてのコネクションを設けるが、中
間層部の新ユニットと前記ネットワークN1の8個の出
カニニット間にはコネクションを設けない。学習は、新
たな2個の数字とその他の割合が1=1になるようにし
、かつ、1数字に対して500回行った・ 以上の学習の結果、前記ネットワークN1で追加した出
カニニットが発火(0,9以上)したときは、前記ネッ
トワークNoの出力層の発火を抑制し、また、前記ネッ
トワークN2で追加した出カニニットが発火したときは
、前記ネットワークN02N1の出力層の発火を抑制す
ることにより、数字認識が完全に行われることを確認し
た。
Furthermore, for network N1, the number of recognized digits was increased by two to 10 (0 to 9). This network is N
Set it to 2. In network N2, the number of units in the intermediate layer is increased by two more than in N1, connections are established with each unit in the input layer, and connections between the intermediate layer and the output layer are connected to the new units in the output layer. Regarding the two items that increased to
All connections are provided between the intermediate layer section, but no connections are provided between the new unit of the intermediate layer section and the eight output units of the network N1. Learning was performed 500 times for each number, with the ratio of the two new numbers and the other numbers being 1 = 1. As a result of the above learning, the output crab unit added in the network N1 fires. (0, 9 or more), suppress the firing of the output layer of the network No., and when the output layer added in the network N2 fires, suppress the firing of the output layer of the network N02N1. It was confirmed that digit recognition was performed perfectly.

第5図に、入力数湿に対する出力層部の出カニニットへ
の出力結果を示す。
FIG. 5 shows the output results of the output layer section to the output unit with respect to the number of inputs.

本実施例によっても、前記実施態様に示したニューラル
ネット型パターン識別装置は、既学習項目については、
付加ユニットを設ける前と同様の結果を示すとともに、
付加ユニットを設けた後の新規学習項目についても、十
分な識別能力を有することが確認された。
According to this embodiment as well, the neural network pattern identification device shown in the embodiment described above can perform the following for already learned items:
In addition to showing the same results as before installing the additional unit,
It was confirmed that the system had sufficient discrimination ability even for new learning items after the addition of additional units.

〔発明の効果〕〔Effect of the invention〕

以上述べた如く、本発明によれば、複数のユニットから
構成される入力層部、中間層部、出力層部がこの順に配
置され、かつ、前記各部のユニットを結ぶ出力層部方向
への有向性コネクションを有し、前記入力層部の各ユニ
ットに入力された入力値に対する前記出力層部での出力
と望ましい出力値との差分を用いて、前記コネクション
の重みを変化させ、正しい値を出力するよう学習させる
ようにしたニューラルネット型パターン識別装置におい
て、学習が進んだ段階で、前記中間層部と出力層部に新
しいユニットを付加し、該中間層部の新しいユニットと
前記入力層部の任意のユニットとのコネクション、およ
び、前記出力層部の新しいユニットと前記中間層部の付
加ユニットおよび他の任意のユニットとのコネクション
を設けるとともに、前記出力層部の新しいユニットに正
しい出力値を出力させる学習では、前記新しく設けられ
たコネクションのみの重みを変化させる如く構成したこ
とにより、既に学習したニューラルネットの識別能力を
維持しつつ、新しい項目を効率良く学習することが可能
な、ニューラルネット型パターン識別装置を実現するこ
とができるという顕著な効果を奏するものである。
As described above, according to the present invention, the input layer section, the intermediate layer section, and the output layer section each consisting of a plurality of units are arranged in this order, and the input layer section, which is composed of a plurality of units, is arranged in this order, and the input layer section, which connects the units of each section, is arranged in the direction of the output layer section. The connection has a tropic connection, and the weight of the connection is changed using the difference between the output at the output layer section and the desired output value for the input value input to each unit of the input layer section, and the correct value is determined. In a neural network pattern recognition device that is trained to output, at a stage when learning has progressed, a new unit is added to the intermediate layer section and the output layer section, and the new unit of the intermediate layer section and the input layer section are added. and a connection between the new unit of the output layer section and the additional unit of the intermediate layer section and any other arbitrary unit, and provide the correct output value to the new unit of the output layer section. In output learning, by configuring the weight of only the newly created connection to be changed, the neural network can efficiently learn new items while maintaining the discrimination ability of the neural network that has already been trained. This has the remarkable effect of realizing a mold pattern identification device.

なお、入力層部、中間層部、出力層部の初めの二ニット
数を、それぞれ、fl 、m、nとし、中間層部、出力
層部に、それぞれ1個のユニットを付加する場合、各コ
ネクションの学習に必要な学習回数は、全コネクション
の再学習の場合は、全コネクション数(m+1)(Q+
n+1)を(n+1)個のパターンについて学習させる
ので、 A= α(n + 1)(m+ 1)(Q + n +
 1)回であるのに対して、本発明による場合には、コ
ネクション数(Q+m+1)に対して、新しい項目とそ
れ以外のパターンの2個があれば良いので、必要な学習
回数は、 B=2α((1+m+1)回 となる。ここで、αは1学習パターンについての学習の
繰り返し回数である。
In addition, when the initial two unit numbers of the input layer section, intermediate layer section, and output layer section are fl, m, and n, respectively, and one unit is added to each of the intermediate layer section and output layer section, each The number of learning times required for connection learning is the total number of connections (m+1) (Q+
n+1) is learned for (n+1) patterns, so A= α(n + 1)(m+ 1)(Q + n +
1) times, whereas in the case of the present invention, there only need to be two new items and other patterns for the number of connections (Q + m + 1), so the required number of learning times is: B = 2α ((1+m+1) times. Here, α is the number of repetitions of learning for one learning pattern.

例えば、R=50. α=100. n=100. n
=mとすると、A/B弁5000となり、学習回数、従
って学習時間は約5000分の1、n=1000なら5
0方分の1に短縮される。通常は、n ) mとなるこ
とが多いので、上記以上の短縮効果となる6
For example, R=50. α=100. n=100. n
= m, the A/B valves are 5000, and the number of learning times, therefore the learning time, is approximately 1/5000, and if n = 1000, it is 5000.
It is shortened to 1/0 direction. Normally, it is often n

【図面の簡単な説明】[Brief explanation of the drawing]

第1図は本発明の一実施態様を示すニューラルネット型
パターン識別装置の概略構成を示すブロック図、第2図
は動作の概要を示すフローチャート、第3図〜第5図は
実施例における出力結果を示す図、第6図はニューラル
ネットを構成するユニットを示す図、第7図は第6図に
示すユニットを電子的に実現した場合の構成例を示す図
、第8図は従来のニューラルネット型パターン識別装置
の構成例を示す図である。 10:ニューラルネット部、20:入力層部、21〜2
4:入力層部のユニット、30:中間層部、31〜33
:中間層部のユニット、40:出力層部、41.42:
出力層部のユニット、51〜67:コネクション、70
:比較部、80:制御部、90:コンパレータ。 特許出願人 日本電信電話株式会社 第   2   図(a) 第   2   図(b) 運用フェーズ 第   4   図 (a) + 1nput=<<e>>; 0.9C160,09
40,057lL                 
                         
   J第   6  図 #X    <    (
FIG. 1 is a block diagram showing a schematic configuration of a neural network pattern recognition device showing one embodiment of the present invention, FIG. 2 is a flowchart showing an overview of the operation, and FIGS. 3 to 5 are output results in the embodiment. , Figure 6 is a diagram showing the units that make up the neural network, Figure 7 is a diagram showing a configuration example when the unit shown in Figure 6 is realized electronically, and Figure 8 is a diagram showing the conventional neural network. It is a figure showing an example of composition of a type pattern identification device. 10: Neural net section, 20: Input layer section, 21-2
4: Unit of input layer section, 30: Intermediate layer section, 31 to 33
: Intermediate layer unit, 40: Output layer unit, 41.42:
Output layer unit, 51 to 67: Connection, 70
: comparison section, 80: control section, 90: comparator. Patent applicant: Nippon Telegraph and Telephone Corporation Figure 2 (a) Figure 2 (b) Operation phase Figure 4 (a) + 1nput=<<e>>; 0.9C160,09
40,057lL

JFigure 6 #X < (

Claims (3)

【特許請求の範囲】[Claims] (1) 複数のユニットから構成される入力層部,中間
層部,出力層部がこの順に配置され、かつ、前記各部の
ユニットを結ぶ出力層部方向への有向性コネクションを
有し、前記入力層部の各ユニットに入力された入力値に
対する前記出力層部での出力と望ましい出力値との差分
を用いて、前記コネクションの重みを変化させ、正しい
値を出力するよう学習させるようにしたニューラルネッ
ト型パターン識別装置において、学習が進んだ段階で、
前記中間層部と出力層部に新しいユニットを付加し、該
中間層部の新しいユニットと前記入力層部の任意のユニ
ットとのコネクション、および、前記出力層部の新しい
ユニットと前記中間層部の付加ユニットおよび他の任意
のユニットとのコネクションを設けるとともに、前記出
力層部の新しいユニットに正しい出力値を出力させる学
習では、前記新しく設けられたコネクションのみの重み
を変化させる如く構成したことを特徴とするニューラル
ネット型パターン識別装置。
(1) An input layer section, an intermediate layer section, and an output layer section composed of a plurality of units are arranged in this order, and have a directional connection in the direction of the output layer section connecting the units of each section, and the The weight of the connection is changed using the difference between the output at the output layer section and the desired output value for the input value input to each unit of the input layer section, and learning is made to output the correct value. In a neural network pattern recognition device, when learning has progressed,
A new unit is added to the intermediate layer section and the output layer section, and a connection between the new unit of the intermediate layer section and any unit of the input layer section, and a connection between the new unit of the output layer section and the intermediate layer section is established. In addition to providing a connection with the additional unit and any other arbitrary unit, in learning to output a correct output value to the new unit of the output layer section, the weight of only the newly provided connection is changed. Neural network pattern recognition device.
(2) 前記出力層部の既存ユニットの出力値と、付加
されたユニットの出力値とを比較する比較部を設け、予
め定めた論理式に基づいてニューラルネットの出力値を
決定する如く構成したことを特徴とする特許請求の範囲
第1項記載のニューラルネット型パターン識別装置。
(2) A comparison unit is provided to compare the output value of the existing unit of the output layer unit and the output value of the added unit, and the output value of the neural network is determined based on a predetermined logical formula. A neural network pattern identification device according to claim 1, characterized in that:
(3) 前記比較部における比較の論理式が、前記出力
層部の既存ユニットの出力値と付加ユニットの出力値と
がいずれも設定値以上であるときには、付加ユニットの
方を真と判断するものであることを特徴とする特許請求
の範囲第2項記載のニューラルネット型パターン識別装
置。
(3) The comparison logical expression in the comparing section determines that the additional unit is true when the output value of the existing unit and the output value of the additional unit in the output layer section are both equal to or greater than a set value. A neural network pattern identification device according to claim 2, characterized in that:
JP63060719A 1988-03-15 1988-03-15 Neural net type pattern recognition device Pending JPH01233579A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP63060719A JPH01233579A (en) 1988-03-15 1988-03-15 Neural net type pattern recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP63060719A JPH01233579A (en) 1988-03-15 1988-03-15 Neural net type pattern recognition device

Publications (1)

Publication Number Publication Date
JPH01233579A true JPH01233579A (en) 1989-09-19

Family

ID=13150372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63060719A Pending JPH01233579A (en) 1988-03-15 1988-03-15 Neural net type pattern recognition device

Country Status (1)

Country Link
JP (1) JPH01233579A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02287861A (en) * 1989-04-28 1990-11-27 Victor Co Of Japan Ltd Neural network
JPH0427832A (en) * 1990-05-22 1992-01-30 Shirou Usui Method and apparatus for converting color vision information
JP2019211627A (en) * 2018-06-05 2019-12-12 日本電信電話株式会社 Model learning device, method and program
JP2021099677A (en) * 2019-12-23 2021-07-01 Kddi株式会社 Learning device, learning method and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02287861A (en) * 1989-04-28 1990-11-27 Victor Co Of Japan Ltd Neural network
JPH0427832A (en) * 1990-05-22 1992-01-30 Shirou Usui Method and apparatus for converting color vision information
JP2019211627A (en) * 2018-06-05 2019-12-12 日本電信電話株式会社 Model learning device, method and program
US12057107B2 (en) 2018-06-05 2024-08-06 Nippon Telegraph And Telephone Corporation Model learning apparatus, method and program
JP2021099677A (en) * 2019-12-23 2021-07-01 Kddi株式会社 Learning device, learning method and program

Similar Documents

Publication Publication Date Title
CN112037766B (en) Voice tone conversion method and related equipment
US5095443A (en) Plural neural network system having a successive approximation learning method
US4975961A (en) Multi-layer neural network to which dynamic programming techniques are applicable
US5119469A (en) Neural network with weight adjustment based on prior history of input signals
EP0333798B1 (en) Apparatus for pattern recognition
KR100306848B1 (en) A selective attention method using neural networks
JPH01233579A (en) Neural net type pattern recognition device
Tamura et al. Improvements to the noise reduction neural network
JP2736361B2 (en) Neural network configuration method
JPH11265197A (en) Voice recognizing method utilizing variable input neural network
Wang et al. An adaptive and fully sparse training approach for multilayer perceptrons
Mohanty et al. Recognition of voice signals for Oriya language using wavelet neural network
Bedworth et al. Comparison of neural and conventional classifiers on a speech recognition problem
US5430829A (en) Learning method for a data processing system
JPH09212197A (en) Neural network
Gemello et al. Recurrent network automata for speech recognition: A summary of recent work
WO1999023640A1 (en) Pattern recognition
Peeling et al. Isolated digit recognition using the multi-layer perceptron
Craven A faster learning neural network classifier using selective backpropagation
Ting et al. Speaker-independent Malay isolated sounds recognition
KR100211113B1 (en) Learning method and speech recognition using chaotic recurrent neural networks
Sankar et al. Noise immunization using neural net for speech recognition
Prager Some experiments with fixed non-linear mappings and single layer networks
JP3009962B2 (en) Voice recognition device
Saseetharran Experiments that reveal the limitations of the small initial weights and the importance of the modified neural model