JPH0471081A - Method for constituting neural network having pattern identifying function - Google Patents

Method for constituting neural network having pattern identifying function

Info

Publication number
JPH0471081A
JPH0471081A JP2185136A JP18513690A JPH0471081A JP H0471081 A JPH0471081 A JP H0471081A JP 2185136 A JP2185136 A JP 2185136A JP 18513690 A JP18513690 A JP 18513690A JP H0471081 A JPH0471081 A JP H0471081A
Authority
JP
Japan
Prior art keywords
layer
patterns
pattern
input
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2185136A
Other languages
Japanese (ja)
Inventor
Yasutomo Oguchi
大口 保友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2185136A priority Critical patent/JPH0471081A/en
Publication of JPH0471081A publication Critical patent/JPH0471081A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

PURPOSE:To reduce the number of neuro-elements in a hidden layer by applying a general method for providing the hidden layer of a three-layer type neural network with a linear separation function for pattern recognition. CONSTITUTION:The three-layer neural network consists of S, H and R layers. Teacher signals are hi, lw. In one H layer neuro-element, several patterns having the teacher signal hi and capable of being linearly separated out of input patterns are separated from other patterns and a connection coefficient is set up by learning so that the former patterns output the signal hi and the latter ones output the signal lw. If patterns having the teacher signal hi are included in the residual input patterns, another H layer neuro-element is added, patterns to be linearly separated out of the residual input patterns having the teacher signal hi are separated from all other patterns and learning is furthermore repeated.

Description

【発明の詳細な説明】 産業上の利用分野 従来の逐次処理型の計算機が人間の脳では簡単に処理出
来るパターン認識・推論等において非力であるのに対し
て、ニューロ・コンピュータは人間の脳の情報処理方式
をまねた。むしろパターン認識等を得意とする並列処理
計算機である1本発明は従来のニューロ・コンピュータ
の基本能力上の欠点を改善するニューラルネットワーク
の基本構成法にューロ素子、素子の結合等の構造上の構
成法と学習方法)に関するものであり、ニューロ・コン
ピュータを作る上で基礎になる手法であル、シタがって
、ニューロ・コンピュータに期待されている様々な応用
分野、特に認識系の応用に格段の進歩を与えるものであ
る。また、ニューラルネットワークを利用した人工知能
の応用を切り開くものである。
[Detailed Description of the Invention] Industrial Application Fields Conventional sequential processing computers are weak in pattern recognition, reasoning, etc. that can be easily processed by the human brain. It mimics the information processing method. Rather, it is a parallel processing computer that is good at pattern recognition, etc.1 The present invention is based on the basic configuration method of neural networks that improves the shortcomings in the basic capabilities of conventional neural computers. It is a method that is the basis for creating neuro-computers, and has great potential in various application fields that are expected of neuro-computers, especially in recognition systems. It gives progress in It also opens up the application of artificial intelligence using neural networks.

従来の技術 従来のニューロ・コンピュータの基本構成は階層的(ま
たは層状)ネットワーク、相互結合ネットワークとそれ
らの混合ネットワークである。ニューロ素子は多値ある
いは連続値の線形和しきい値素子が用いられる。多値素
子は多くは2値素子である0時間に関しては、離散値あ
る0は連続値が用いられる。離散値の場合、各ニューロ
素子力覧同期的に動作する場合と、非同期的に動作する
場合がある。学習方法に関しては教師付き、あるI/S
は教師無し学習があり、学習規則規則に関して番よ。
BACKGROUND OF THE INVENTION The basic configuration of conventional neurocomputers is a hierarchical (or layered) network, an interconnected network, and a mixed network thereof. As the neuro element, a multivalued or continuous value linear sum threshold element is used. Most of the multi-value elements are binary elements.As for the 0 time, a continuous value is used for 0, which is a discrete value. In the case of discrete values, each neuron element may operate synchronously or asynchronously. Regarding the learning method, there is a supervised I/S
There is unsupervised learning, and there are rules regarding learning rules.

多くの場合、Heb、bのシナプス強化学習側が用いら
れる。
In many cases, the synaptic reinforcement learning side of Heb,b is used.

1960年頃、  raII型ネットワークとして、出
力層だけが教師付き学習をする3層ネットワークのパー
セプトロンが提案され、パターン認識能力が期待された
。しかし後に、パターンが識別できるためには、入力さ
れたパターンが線形分離可能でなければならないことが
に1nskyとPapertにより証明された。そこで
、これを改善するためをこ中間層の層数や素子数を多く
する。ニューロ素子として2mではなく連続値にするな
ど工夫されたが、−船釣構成法は不明ゆえに、ノ(−セ
プトロンは廃れてしまった。1986年、中間層をも学
習するように、出力層から誤差を前層に逆伝播させる誤
差逆伝播法がRumelhart等により考案され。
Around 1960, the perceptron, a three-layer network in which only the output layer undergoes supervised learning, was proposed as a raII network, and was expected to have pattern recognition capabilities. However, it was later demonstrated by Insky and Papert that the input patterns must be linearly separable in order for the patterns to be distinguishable. Therefore, in order to improve this problem, the number of intermediate layers and the number of elements are increased. Although some efforts were made to use a continuous value instead of 2m as a neuro element, the ``Septron'' was abandoned because the method for configuring the boat was unknown. An error backpropagation method for backpropagating errors to the previous layer was devised by Rumelhart et al.

ニューロ・コンピュータが復活した。しかし、この方法
は必ずしも常に目的の解に収束するわけではなり、シか
も収束が遅い、最近2本発明者はどんな入力パターンで
も分離認識し、しかも高速に学習が収束する。線形分離
化機能を持つパーセプトロンの構成法を発明し、平成2
年7月7日付で特許申請した。以後9本発明の説明上、
その発明を引用することになるので、それを発明Aと呼
ぶことにする。
The neurocomputer is back. However, this method does not always converge to the target solution, and convergence may be slow.Recently, the present inventors have been able to separate and recognize any input pattern, and the learning converges quickly. Invented a method for constructing a perceptron with a linear separation function, and in 1990
A patent application was filed on July 7, 2017. Hereinafter, 9 for explaining the present invention,
Since we will be citing that invention, we will call it Invention A.

発明が解決しようとする問題点 本発明者が先に特許申請をした発明Aでは、 3層型ニ
ューラルネットワークの隠れ層に、どんな教師付き人カ
バターンでも認識できるように、線形分離化機能を与え
るための方法を与えた。そこでは、必要になる最少の隠
れ層のニューロ素子数が明らかになった。ただ、現実の
多くの問題では。
Problems to be Solved by the Invention Invention A, for which the inventor previously applied for a patent, aims to provide the hidden layer of a three-layer neural network with a linear separation function so that it can recognize any supervised pattern. gave a method. In this study, the minimum number of hidden layer neural elements required was clarified. However, in many real-life problems.

パターン認識したい教師付きパターンの集合は。What is the set of supervised patterns that you want to pattern recognize?

入力層の素子数NSで表わせる総パターン数すなわち、
2のNS乗よりは夕ない、また、各パターンに対する教
師信号の付は方によれば、H層のニューロ素子数を少な
く出来る可能性がある。したがって、隠れ層に必要にな
るニューロ素子数はもつと減らせる可能性がある6本発
明はそれを解決し。
The total number of patterns that can be expressed by the number of elements NS in the input layer, that is,
This is better than 2 to the NS power, and depending on how the teacher signal is attached to each pattern, it is possible to reduce the number of neuro elements in the H layer. Therefore, there is a possibility that the number of neural elements required for the hidden layer can be reduced.6 The present invention solves this problem.

実現する方法を与えるものである。It provides a way to achieve this.

たとえば9図1は3人力のパリティチエツクを図的に表
わしでいる。すなわち、座標軸XI、  X2゜X3は
入力を表わし、信号lwとしてOを、hiとして1をと
り、入力される全てのパターンを3次元空間上に、教師
信号がhiの場合をO,lwの場合を・で表現している
。この場合9発明Aでは4つ以上の8層ニューロ素子で
線形分離化され。
For example, Figure 1 graphically represents a three-person parity check. That is, the coordinate axes XI, X2°X3 represent the input, O is taken as the signal lw, 1 is taken as hi, and all the input patterns are expressed in a three-dimensional space. is expressed by . In this case, in invention A, linear separation is performed using four or more 8-layer neural elements.

3人力で表現出来る全てのパターンを認識出来る。Can recognize all patterns that can be expressed by three people.

この問題の場合、必ず4個以上の8層ニューロ素子が、
必要になり、素子数を減らすことが出来ない0図2は別
の問題として1図1と同様の方法で識別すべき教師付き
パターンの一群を表わしている。この場合2発明Aでは
3ft!以上の8層ニューロ素子で、全てのパターンを
識別出来る。しかし。
In this problem, there are always four or more 8-layer neuron elements,
FIG. 2 represents a group of supervised patterns that should be identified in a similar manner to FIG. 1 as another problem. In this case, 2 invention A is 3ft! All patterns can be identified using the 8-layer neuron element described above. but.

実はこの問題では2個の8層ニューロ素子で十分である
1本発明はパターン認識のための、したがって多層ニュ
ーラルネットワークの隠れ層が線形分離機能を持つため
の一般的手法を与える。
In fact, two 8-layer neural elements are sufficient for this problem.1 The present invention provides a general approach for pattern recognition and thus for the hidden layers of a multilayer neural network to have a linear separation function.

問題点を解決するための手段 ■対象とするニューラルネットワークの規定本発明が対
象としているニューラルネットワークは最も基本の構成
として2図3に示す3層の階層型ネットワークとする。
Means for Solving the Problems ① Definition of Target Neural Network The neural network targeted by the present invention has the most basic configuration of a three-layer hierarchical network shown in FIG. 2 and FIG.

形式的には3層のパーセプトロンと同じである。パーセ
プトロンの用語では入力側から順に感覚層、連合層また
は連想層。
Formally, it is the same as a three-layer perceptron. In perceptron terminology, from the input side there are the sensory layer, association layer, or associative layer.

反応層と呼ばれているが、ここでは順に入力層。It is called the reaction layer, but here it is called the input layer.

隠れ層、圧力層と呼び、8層、H層、R層と略する。8
層はパーセプトロンと同じく、入力をそのまま出力する
だけであり、特別な働きはしていない、パーセプトロン
との違いは、パーセプトロンがR層のみ学習するのに対
し2本ニューラルネットワークにおいてはH層とR層の
両方共に学習し。
They are called hidden layers and pressure layers, and are abbreviated as 8 layers, H layers, and R layers. 8
Like the perceptron, the layers simply output the input as is, and do no special work.The difference with the perceptron is that the perceptron only learns the R layer, whereas in a two-layer neural network, it learns the H layer and the R layer. Learn both together.

その学習の方法は以下に述べる。R層の学習方法は従来
のパーセプトロンの学習方法と同じでよいので9本発明
の特色は、H層の構成法にある。
The learning method is described below. The learning method for the R layer can be the same as the learning method for conventional perceptrons.9 The feature of the present invention lies in the method for configuring the H layer.

対象とするニューロ素子は線形和しきい値素子とする。The target neural element is a linear sum threshold element.

これは必ずしも McCulloch−Pittsモデ
ルの様な2値離散素子を使うことを意味しない、シグモ
イド入出力特性を持つニューロ素子により。
This does not necessarily mean using binary discrete elements such as the McCulloch-Pitts model, but with neuro-elements with sigmoid input-output characteristics.

連続値を用いることがむしろ一般的である0本発明では
、使われるニューロ素子の入出力特性や時間特性は特に
問題ではない。
In the present invention, where it is rather common to use continuous values, the input/output characteristics and time characteristics of the neurodevice used are not a particular problem.

各ニューロ素子の学習規朗は線形分離機能があればなん
でもよい、ここではHebbのシナプス強化学習側ある
いはその拡張学習側が用いられると仮定する。8層の素
子数は入力数、R層の素子数は結果を表現するに必要な
数である。H層の最夕の数は本発明の説明からきまる。
The learning method for each neuron element may be anything as long as it has a linear separation function.Here, it is assumed that Hebb's synaptic reinforcement learning side or its extended learning side is used. The number of elements in the 8th layer is the number of inputs, and the number of elements in the R layer is the number necessary to express the result. The number of nights in the H layer is determined from the description of the present invention.

したがって、その数域上であれば始めから固定でも良い
し、自動的に数を選ぶようにもできる。
Therefore, as long as it is within that number range, it can be fixed from the beginning, or the number can be automatically selected.

教師信号は、しきい値以下の信号レベルと、しきい値以
上の信号レベルの2値を取ることが多い。
The teacher signal often takes two values: a signal level below the threshold value and a signal level above the threshold value.

しきい値以下の信号レベルを lw、  シきい値以上
の信号レベルを hiで表わすことにする。たとえば、
信号lwとして0を、hiとして1を使うことができる
。あるいは、信号111として−1を。
The signal level below the threshold value is expressed as lw, and the signal level above the threshold value is expressed as hi. for example,
0 can be used as the signal lw, and 1 can be used as the signal hi. Or -1 as signal 111.

hiとして+1を使うことも、また hiとしてOを、
Illとして+1を使うこともできる。しきい値以上に
達したとき発火したとも云う、さらに。
You can also use +1 as hi, or O as hi,
You can also use +1 as Ill. It is also said that it fires when it reaches a threshold.

パターンの表現法と、教師信号の表現法が違っても構わ
ない9本発明の原理は、信号のとり方には影響されない
ので、以下、信号としてhiと 1舅を使って説明する
It does not matter if the method of expressing the pattern and the method of expressing the teacher signal are different.9 The principle of the present invention is not affected by the way the signal is taken, so the following explanation uses hi and 1舅 as the signals.

■H層の構成法 一般的性質として、H層は入力パターンを別のパターン
に変換し、ニューロ素子−つは入力パターンを二つの集
団に線形分離する機能を持つ。
(2) How to Construct the H Layer As a general property, the H layer has the function of converting an input pattern into another pattern, and the neuro elements linearly separate the input pattern into two groups.

このとき、一つのH層ニューロ素子に付いては。At this time, for one H layer neuro element.

入力パターンの中で教師信号がhiであるパターンの内
で線形分離可能ないくつかを他の全てのパターンと分離
し、前者のパターンに付いては hiを出力し、後者の
全てのパターンには1賛を出力するように結合係数(お
よび、しきい値)を学習により設定する。残りの入力パ
ターンの中に教師信号がhiであるパターンがあれば、
H層ニューロ素子を追加し、その素子で、残りの入力パ
ターンの中で教師信号がhiであるパターンの内で線形
分離可能ないくつかを他の全てのパターンと分離し、前
者のパターンに付いては hiを出力し。
Among the input patterns, some linearly separable patterns whose teacher signal is hi are separated from all other patterns, and hi is output for the former patterns, and hi is output for all the latter patterns. The coupling coefficient (and threshold) is set by learning so as to output 1 approval. If there is a pattern in which the teacher signal is hi among the remaining input patterns,
Add an H-layer neuro element, use this element to separate some linearly separable patterns among the remaining input patterns whose teacher signal is hi from all other patterns, and Then output hi.

後者の全てのパターンにはlwを出力するように結合係
数(および、しきい値)を学習により設定する。これを
残りの入力パターンの中で教師信号がhiであるパター
ンが無くなるまで繰り返す。
For all the latter patterns, the coupling coefficients (and thresholds) are set by learning so as to output lw. This process is repeated until there are no more patterns in which the teacher signal is hi among the remaining input patterns.

別な表現をすれば次のようになる。Expressed differently, it becomes as follows.

入力パターンと教師信号の組で表わされる識別したいパ
ターンの一群を考え、パターン群と呼ぶ。
A group of patterns to be identified, represented by a pair of an input pattern and a teacher signal, is considered and is called a pattern group.

そのパターン数をNP個、入力数をN3個とする6教師
付号がhiであるパターンを、同時に線形分離できるパ
ターンのグループに分ける1分は方は、教師付きあるい
は無し学習の他何でもよいが。
The number of patterns is NP, the number of inputs is N3, and 6 patterns whose supervised sign is hi are divided into groups of patterns that can be linearly separated at the same time.Any method other than supervised or unsupervised learning can be used. .

後で例を示す、その各グループ毎にH層のニューロ素子
を対応づける。逆に云えば、H層の各ニューロ素子が対
応するグループを線形分離し、そのグループに属するパ
ターンにはhiを出力し、他の全てのパターンには11
を出力するように、たとえば学習を使って結合係数(お
よび、しきい値)を決定する。したがって、R層のニュ
ーロ素子数は分けられたグループの個数以上である。
Neuro elements of the H layer are associated with each group, an example of which will be shown later. Conversely, each neuron element in the H layer linearly separates the corresponding group, outputs hi to patterns belonging to that group, and outputs 11 to all other patterns.
For example, using learning, the coupling coefficients (and thresholds) are determined so as to output . Therefore, the number of neuro elements in the R layer is greater than the number of divided groups.

さらに、入力のパターン空間を表わすNS次元空間の中
で本発明のR層の構成法を説明すると次のようになる。
Furthermore, the method of configuring the R layer of the present invention in the NS-dimensional space representing the input pattern space will be explained as follows.

まず、一つのニューロ素子はN3次元入力パターン空間
の点の集まりの中で、その集まりを2分する能力を持つ
、すなわち、一つのR層のニューロ素子には一つの超平
面が対応している。
First, one neuro element has the ability to bisect a collection of points in the N3-dimensional input pattern space, that is, one hyperplane corresponds to one R layer neuro element. .

そこで、超平面の一方の側には教師信号がhiであるい
くつかの点だけを含む様にし、それらのパターンには 
hiを出力し、他の側の全てのパターンにはlwを出力
する様にH層ニューロ素子を学習させて結合係数(およ
び、しきい−)を決める。
Therefore, one side of the hyperplane includes only some points where the teacher signal is hi, and these patterns include
The H layer neural element is trained to output hi and lw for all patterns on the other side, and the coupling coefficient (and threshold -) is determined.

このとき、−枚の超平面で、もし可能であれば。At this time, - hyperplanes, if possible.

複数点を他の全てのパターンと分離するように切り出し
ている。この様な超平面で教師信号がhiであるパター
ンを残らず切り出す様に、超平面の致したがってH層ニ
ューロ素子の数を増やし、各々のニューロ素子の結合係
数(および、しきい値)を決めればよい、特に、先に特
許出願中の発明Aでは、各−つの超平面で入力パターン
の中の教師信号がhiのパターンを一つだけ切り出して
いるところが本発明の方法と異なる。
Multiple points are cut out to separate them from all other patterns. In order to extract all the patterns in which the teacher signal is hi in such a hyperplane, increase the number of H layer neuro elements according to the matching of the hyperplanes, and determine the coupling coefficient (and threshold) of each neuro element. In particular, the method of the invention A, which is currently pending, differs from the method of the present invention in that only one pattern in which the teacher signal is hi in the input pattern is extracted on each - hyperplane.

必要になるグループの数、あるいは超平面の数。Number of groups or hyperplanes required.

したがってH層素子の数は与えられたパターンに依存す
る。一番単純な場合が、ただ−枚の超平面だけで分離す
る従来のRosenblatt等によるバーセプトロン
である。したがって、どんなパターンでも分離できる訳
ではない、先に特許申請中の発明Aの方法では、あらゆ
る教師信号付き人カバターンを、与えられた教師信号の
hiの数域上の超平面により分離認識出来る。一方9本
発明の方法では、その教師付き人カバターンの特殊性を
生かして、与えられた教師信号のhiの数より少ない数
の超平面したがってH層ニューロ素子数でも。
The number of H-layer elements therefore depends on the given pattern. The simplest case is the conventional berseptron by Rosenblatt et al., which separates the planes by just one hyperplane. Therefore, it is not possible to separate any pattern, but in the method of the patent-pending invention A, any human cover turn with a teacher signal can be separated and recognized by a hyperplane on the number range of hi of the given teacher signal. On the other hand, in the method of the present invention, by taking advantage of the special characteristics of the supervised Kabataan, even if the number of hyperplanes is smaller than the number of hi of the given teacher signal, and hence the number of H layer neuronal elements.

与えられた全入力パターンを分離識別するする能力があ
る。
It has the ability to separate and identify all given input patterns.

教師信号がhiであるパターンを、同時に線形分離でき
るパターンのグループに分ける分は方は。
What is the best way to divide patterns in which the teacher signal is hi into groups of patterns that can be linearly separated at the same time?

教師付き、あるいは教師無し学習に限らず、一つではな
い、具体的な実施例は実施例の項目で述べる。
More than one specific example, not limited to supervised or unsupervised learning, will be described in the Examples section.

R層ニューロ素子数が複数ある場合にも2本発明の方法
を拡張し実施すればよい、たとえば2人力XOR1m理
回路の様に出力が一つの場合には。
The method of the present invention can be extended and implemented even when there are a plurality of R layer neuro elements, for example, when there is only one output like a two-manpower XOR1m logic circuit.

本発明の方法でニューラルネットワークが作れる。A neural network can be created using the method of the present invention.

つぎに、たとえば論理回路のOR演算が同時に出力でき
るためには、入力のパターンの群が増え。
Next, for example, in order for the OR operation of a logic circuit to be able to output simultaneously, the number of input patterns increases.

同時に出力、すなわちR層のニューロ素子が増える。一
つの方法として、OR演算が出来るニューラルネットワ
ークを、たとえば本発明の方法で作って並列に並べても
良いが、もつと能率の良い本発明の実施方法がある。
At the same time, the output, that is, the number of neuro elements in the R layer increases. As one method, a neural network capable of performing an OR operation may be created using the method of the present invention and arranged in parallel, but there is a method of implementing the present invention that is more efficient.

すなわち、複数の教師信号付きパターン群の中で、教師
信号がhiであるパターンの中から、教師信号まで含め
て異なるパターンを選び出す、この選び出されたパター
ンを、線形分離可能なパターンにグループ分けし、H層
ニューロ素子を構成していけば目的が達せられる。
That is, among a plurality of patterns with teacher signals, a different pattern including the teacher signal is selected from among the patterns in which the teacher signal is hi, and the selected patterns are grouped into linearly separable patterns. However, the objective can be achieved by configuring the H-layer neuron element.

もし9本発明によるニューラルネットワークが既に一つ
のパターン群に対するパターン識別能力があり、別のパ
ターン群に対するパターン識別能力を追加したいとする
。このときは、まず教師信号まで含めて既にあるパター
ンと異なるパターンを選びだし、それら一つ一つに対し
、既にあるH層ニューロ素子で線形分離出来るグループ
に属するかどうかを学習を通して判別し、もしどの既存
のグループに属さなければ、新たにH層ニューロ素子を
追加すればよい、これを2選ばれた全てのパターンに付
いて実行すれば、新しいパターン群をも同時に識別でき
る能力を付加できる。
9. Suppose that the neural network according to the present invention already has pattern recognition ability for one pattern group, and wants to add pattern recognition ability for another pattern group. In this case, first, we select patterns that are different from the existing patterns, including the teacher signal, and for each of them, it is determined through learning whether it belongs to a group that can be linearly separated using the existing H-layer neural elements. If it does not belong to any existing group, a new H-layer neuron element can be added. If this is done for all two selected patterns, it is possible to add the ability to identify new pattern groups at the same time.

■R層の構成法 R層の出力パターンは,入力パターンの教師信号がhi
であるパターンについては、どれかのH層素子の出力が
hiであり,入力パターンの教師信号がlwであるパタ
ーンについては、全てのH層素子出力が1−であるから
、R層において線形分離可能である。したがって、パタ
ーン識別が出来る。このとき、H層の学習と、H層の学
習は独立に、あるいは同時に行える。さらに、H層の出
力パターンはあらかじめ分かっているので、それに付い
てだけ学習すれば十分である。あるいは。
■ How to configure the R layer The output pattern of the R layer is such that the input pattern teacher signal is high.
For a pattern, the output of any H layer element is hi, and for a pattern where the teacher signal of the input pattern is lw, all H layer element outputs are 1-, so linear separation is performed in the R layer. It is possible. Therefore, pattern identification is possible. At this time, learning of the H layer and learning of the H layer can be performed independently or simultaneously. Furthermore, since the output pattern of the H layer is known in advance, it is sufficient to learn only about it. or.

H#呂カバターンが予め分かっているので、結合係数(
および、しきい(1)を、学習無しで始めから設定して
置くことも8來る。
Since the H# Roka pattern is known in advance, the coupling coefficient (
It is also possible to set the threshold (1) from the beginning without learning.

かくして9本構成のニューラルネットワークは。Thus, the neural network consists of nine wires.

与えられたどんな入力パターンもHllにより線形分離
可能なパターンに変換されるので、パターン認Il呂來
る。なお、H層構成時に、一つのグループに属するパタ
ーンにはhiを出力し、そうでない全てのパターンには
lwを出力するようにしたが、  lwと hiを逆に
してもよい、ただ、H層で。
Since any given input pattern is converted into a linearly separable pattern by Hll, pattern recognition is achieved. Note that when configuring the H layer, hi is output for patterns that belong to one group, and lw is output for all other patterns, but lw and hi may be reversed. in.

もう−度反転しないと、目的の信号が出力できない。The desired signal cannot be output unless it is reversed another degree.

作    用 08層に入力されるどんなパターンも、H層により線形
分離可能なパターンに変換されるから、パターン識別が
可能になる。
Effect Any pattern input to the 08 layer is converted into a linearly separable pattern by the H layer, making pattern identification possible.

■必要になるH層のニューロ素子数は、入力される教師
付きパターンに依存するが、先に特許申請中の発明Aの
場合よりも数が少なくなる可能性がある。ただ、H層構
成の規則が多/j)複雑になる。
(2) The required number of neuro elements in the H layer depends on the input supervised pattern, but there is a possibility that the number will be smaller than in the case of Invention A, which is currently patent pending. However, the rules for the H layer configuration are complicated.

■H層、R層の学習が独立して行える。したがって、収
束、計算ともに高速である。
■H-layer and R-layer learning can be performed independently. Therefore, both convergence and calculation are fast.

■誤差逆伝播法のように局部極小点に落ちて、目的の解
に至らないという欠点がなく、100%目的解に達する
■It does not have the disadvantage of falling into a local minimum point and not reaching the target solution like the error backpropagation method, and reaches 100% of the target solution.

■識別するパターン群が増え、したがってR層素子数が
増えた場合、H層の素子数は最低限の増加で対処出来る
。また、既に学習済みのH層のニューロ素子の結合係数
(および、しきい値)は変更の必要がない。
(2) If the number of pattern groups to be identified increases and therefore the number of R layer elements increases, this can be handled with a minimum increase in the number of H layer elements. Further, there is no need to change the coupling coefficients (and thresholds) of the neuro elements of the H layer that have already been learned.

実  施  例 以上の方法は本発明の基本原理であって、具体的実施に
当たっていくつかの工夫と実施形態かあ08層の構成実
施例 教師信号がhiであるパターンを、同時に線形分離でき
るパターンのグループに分ける一つの方法は、同じパタ
ーンに属するかどうかを、ニューロ素子の線形分離機能
を逆に使って判定させるものである。しかも、この手続
きを終了後には、自動的に結合係数(および、しきい値
)が決まっている。
Embodiment The method described above is the basic principle of the present invention, and in concrete implementation, some ideas and embodiments may be used. One method for grouping is to use the linear separation function of the neuron element inversely to determine whether they belong to the same pattern. Moreover, after this procedure is completed, the coupling coefficient (and threshold value) is automatically determined.

すなわち、まず全ての教師信号がhiであるパターンの
全ての組合せをつくる。つぎに一つの組合せに属するパ
ターンに対しては教師信号を hiとし、その他のパタ
ーンに対しては教師信号をlwとして、H層の一つのニ
ューロ素子を学習させたとき、収束した組合せがあれば
、それらは、一つのニューロ素子で識別できるパターン
のグループである。
That is, first, all combinations of patterns in which all teacher signals are hi are created. Next, when one neural element in the H layer is trained with the teacher signal hi for patterns belonging to one combination and the teacher signal lw for other patterns, if there is a converged combination, , they are a group of patterns that can be identified by one neural element.

もっと、能率の良い方法として、一つのH層素子につい
て、まず入力パターンの中で、教師信号がhiであるも
のを一つ選ぶ、つぎに、教師信号がhj である他のパ
ターンを一つ選び、これら二つのパターンが、このH層
素子で線形分離出来るかを、教師付き学習で判定させる
。もし、有@回で収束すれば、これら二つのパターンは
同じグループに属する。もし数束しなければ、同じグル
ープには属さない、すなわち別のグループのメンバーで
あると判定する。この手法を残る教師信号がhiである
他のパターンに付いて繰り返す、すなわち、そのグルー
プのメンバーを増やす度に、それら全部のパターンのメ
ンバーが他の全てのパターンと線形分離可能かどうかを
、教師付き学習で判定させる。このようにして、H層素
子−つで線形分離できるパターンのグループが決まる。
As a more efficient method, for one H layer element, first select one input pattern whose teacher signal is hi, then select one other pattern whose teacher signal is hj. , it is determined by supervised learning whether these two patterns can be linearly separated by this H-layer element. If it converges with @ times, these two patterns belong to the same group. If there are no bundles, it is determined that they do not belong to the same group, that is, they are members of another group. This method is repeated for other patterns whose remaining teacher signal is hi. In other words, each time the number of members of the group increases, the teacher evaluates whether the members of all the patterns are linearly separable from all other patterns. Have students make judgments using accompanying learning. In this way, groups of patterns that can be linearly separated by the H-layer elements are determined.

教師信号がhiであるパターンがまだ残っている場合に
は、H層素子を一つ追加して、その素子で残る教師信号
がhiであるパターンを更にグループ分けする。これを
続けて、教師信号がhiであるパターンが無くなれば、
それでH層の構造及び素子の結合係数(および、しきい
[)が決まった事になる。もちろん、余分にH層に素子
が存在しても構わない。
If a pattern in which the teacher signal is hi still remains, one H layer element is added, and the remaining patterns in which the teacher signal is hi in that element are further divided into groups. Continuing this, if there are no patterns where the teacher signal is hi,
Therefore, the structure of the H layer and the coupling coefficient (and threshold) of the element are determined. Of course, an extra element may be present in the H layer.

グループ分けするときに、互いの距離の近いパターンか
ら判定させる等の処理を高速にする工夫は可能である。
When grouping, it is possible to make the process faster, such as making decisions based on patterns that are close to each other.

多少H素子が増えることを許せば。If you allow the number of H elements to increase somewhat.

全数の入力パターンを完全にグループ化しなくても、グ
ループ化のルーチンを適当なところで打ち切ってもよい
、たとえば、パターン間距離がある程度遠くなれば打ち
切ってもよい、こうすれば。
Even if all input patterns are not completely grouped, the grouping routine can be stopped at an appropriate point, for example, when the distance between patterns becomes a certain distance.

高速性が期待できる。High speed can be expected.

■図3に表わされているパターン識別問題を1本発明の
手法による実施例を第4図に示す、8層素子数は3. 
 R層素子数は1である。この場合H層素子数は2あれ
ば十分である。すなわち、信号hiを1で、信号1vを
Oとし、教師付きパターンを(x+*  X2+  x
3.  j )で表わすとき、教師信号tが共に1であ
るパターン (1,0,1,1)   と  (1,1,Ll)は他
のパターンとH層の1!1素子で線形分離され。
■An example of the pattern recognition problem shown in FIG. 3 using the method of the present invention is shown in FIG. 4. The number of 8-layer elements is 3.
The number of elements in the R layer is one. In this case, it is sufficient that the number of H layer elements is two. That is, the signal hi is 1, the signal 1v is O, and the supervised pattern is (x+*X2+x
3. j), patterns (1, 0, 1, 1) and (1, 1, Ll) in which the teacher signal t is both 1 are linearly separated from other patterns by 1!1 elements of the H layer.

超平面の式は x +、+  X 3−1.5  =  O。The formula for the hyperplane is x +, + X 3-1.5 = O.

である、教師信号が1である残りのパターン(0,0−
,0,1) は第2のH層素子で他のパターンと線形分離され。
, the remaining patterns (0,0-
, 0, 1) are linearly separated from other patterns in the second H layer element.

超平面の式は −XI  xil  X3+0.5 = O。The formula for the hyperplane is -XI xil X3+0.5=O.

である、そのときの結合係数およびしきい値は図示され
ている。R層の結合係数およびしきい値も図示されてい
る。この時の超平面の式は、H層の出力を(yl+  
3’2)で表わすとき。
The coupling coefficient and threshold value at that time are shown in the figure. The coupling coefficient and threshold of the R layer are also illustrated. The hyperplane equation at this time is the output of the H layer (yl+
When expressed as 3'2).

y、+y、、−0・5:0゜ である、素子を表わす0の中の数値はしきい値である。y, +y, -0・5:0゜ The number within 0 representing the element is the threshold.

■R層の一つのニューロ素子で識別すべきパターンの数
が、後からの追加された場合のH層二二−ロ素子の追加
の方法は2本ニューラルネットワークの構成法から想像
出来るが、説明すれば次のようになる。
■If the number of patterns to be identified by one neural element in the R layer is added later, the method for adding 22 elements in the H layer can be imagined from the configuration method of the two-neural network. Then you get something like this:

まず、教師信号まで含めて既にあるパターンと異なるパ
ターンを選びだし、それら一つ一つに対し、既にある8
層ニューロ素子で線形分離出来るグループに属するかど
うかを学習を通じて判別し。
First, select patterns that are different from the existing patterns, including the teacher signal, and then select the existing 8 patterns for each of them.
Through learning, it is determined whether the layer belongs to a group that can be linearly separated using a layered neuron element.

もしどの既存のグループに属さなければ、新たに8層ニ
ューロ素子を追加すればよい、これを9選ばれた全ての
パターンに付いて実行すれば、新しいパターン群をも同
時に識別できる能力を付加できる。
If it does not belong to any existing group, just add a new 8-layer neuro element. If you do this for all 9 selected patterns, you can add the ability to identify new patterns at the same time. .

■多くの応用でそうであるように、Im別すべきパター
ンの数NPが、入力の素子数で表現出来る数よりも小さ
いときには、与えられた一つのパターンにノイズが乗っ
たパターン、あるいはよく似たパターンに対しては、同
じ一つの結果を出力して欲しい、たとえば、甲氏の書い
た文字 A と、乙氏の書いた文字 A が同じと判断
して欲しいわけである。ニューロ・コンピュータは元々
そういった能力を持っているが9本発明の方法によるニ
ューラルネットワークの構成時に、少し違うパターンに
対し、別々の8層ニューロ素子を用意しておかずに、同
じ一つのH#ニューロ素子が発火するように学習させる
方法がある。この点に関しては、先に特許申請中の発明
Aに関しても同様である。
■As is the case in many applications, when the number of patterns to be distinguished NP is smaller than the number that can be expressed by the number of input elements, a pattern with noise added to it, or a pattern that is very similar to the one given pattern, For each pattern, I want the same result to be output; for example, I want it to be determined that the letter A written by Mr. A and the letter A written by Mr. Otsu are the same. Neurocomputers originally have such capabilities, but when constructing a neural network using the method of the present invention, instead of preparing separate 8-layer neural elements for slightly different patterns, the same H# neural element There is a way to make it learn to fire. Regarding this point, the same applies to Invention A for which a patent application is pending.

少し違うパターンは、  N3次元入力パターン空間の
中で2元のパターンの近くに位置する。入力されるパタ
ーンの似たパターンの全体をN3次元入力パターン空間
で考えると、孤立した点ではなく。
A slightly different pattern is located close to the binary pattern in the N3-dimensional input pattern space. If we consider the entirety of similar input patterns in the N3-dimensional input pattern space, they are not isolated points.

雲のように塊りをなす、この雲の塊りをパターン空間の
超平面が他の全てのパターンと線形分離するとき、少し
違うパターンを同じとみなすことが可能である。この手
法は従来のニューロ・コンピュータでも実施されている
ものであって9本発明の基本手法の使い方の一つであり
2本発明の基本構成法を外れるものではない。
When the hyperplane of the pattern space linearly separates this cluster of clouds from all other patterns, it is possible to consider slightly different patterns to be the same. This method has been implemented in conventional neurocomputers, and is one way of using the basic method of the present invention, and does not deviate from the basic configuration method of the present invention.

■本発明のニューラルネットワークの構成法は機能を達
成できる最少の構成要素で出来る方法を説明したが、ニ
ューロ素子の数がもっと多くてもよい、むしろ、素子を
増やして耐故障性、パターンのノイズに対する余裕度を
上げたりするのに使える。
■The method for configuring the neural network of the present invention has been explained using the minimum number of components that can achieve the function, but it is also possible to use a larger number of neural elements. It can be used to increase your margin.

■本発明のニューラルネットワークの基本ユニットを並
列あるいは直列につなぐことにより機能拡張、および、
より高度な処理が出来る。ただし。
■Functional expansion by connecting the basic units of the neural network of the present invention in parallel or series, and
More advanced processing is possible. however.

ユニットが中間に入る場合には、8層は特に必要ではな
くなるので、8層とR層の2層でよい。
If the unit is in the middle, eight layers are not particularly necessary, so two layers, the eight layer and the R layer, may be sufficient.

つのユニットのニューロ素子数を多くして4機能を上げ
るよりは、少数のニューロ素子よりなる複数のユニット
を組み合わせて、ニューロ・コンピュータを作る方が、
全体のニューロ素子数や学習所用時間を減らせること出
来る。また、このユニットを高度の機能を持つ一つのニ
ューロ素子の様に扱えば、さらに高レベルの機能をニュ
ーロ・コンピュータに持たすことが期待できる。
Rather than increasing the number of neuronal elements in one unit to increase its four functions, it is better to create a neurocomputer by combining multiple units consisting of a small number of neuronal elements.
The total number of neuro elements and learning time can be reduced. In addition, if this unit is treated like a neuro-element with advanced functions, it can be expected that the neuro-computer will have even higher-level functions.

■H層機能の別な達成方法 8層のニューラルネットワークとして内部相互結合を持
ったものを考える。一つのH層素子が発火したとき、他
の全素子を抑制する様に、さらに似たパターンには同一
のH層ニューロ素子が発火するように学習させて、相互
結合係数を決めるようにすれば、8層に対する教師信号
なしに、あるいは一部教師信号の助けをかりて9本発明
の8層と同様の線形分離機能を持つH層ネットワークが
達成できる。他の教師無し学習によっても8層が達成出
来る可能性もあるが、結局は、教師信号hiのパターン
をグループ分けして、各グループをH層パターン空間の
線形独立なベクトルに写像し。
■Another way to achieve the H-layer function Consider an 8-layer neural network with internal mutual connections. When one H layer element fires, all other elements are suppressed, and if similar patterns are trained, the same H layer neuro element fires, and the mutual coupling coefficient is determined. , an H-layer network having the same linear separation function as the 8-layer of the present invention can be achieved without a teacher signal for the 8-layer, or with the help of a part of the teacher signal. There is a possibility that eight layers can be achieved by other unsupervised learning methods, but in the end, the pattern of the teacher signal hi is divided into groups, and each group is mapped to linearly independent vectors in the H layer pattern space.

教師信号が111のパターンをH層パターン空間の全座
標がlwである点に写像しているわけで2本発明の基本
原理に従ったものである。
The pattern with the teacher signal 111 is mapped to a point in the H-layer pattern space whose total coordinates are lw, which is in accordance with the basic principle of the present invention.

■ニューロ素子の応答関数としては、ステップ応答、シ
グモイド応答、線形応答などが選べるが。
■As the response function of the neuro element, step response, sigmoid response, linear response, etc. can be selected.

誤差逆伝播法ニューラルネットワークに比べてデリケー
トではないので2選択の幅が広い。
Since it is less delicate than the error backpropagation neural network, there are a wide range of choices.

■学習法則としては、  Hebbのシナプス強化学習
則が一般的ではあるが、この方法ではhiの信号に対し
てだけしか、学習が進まない、しかし、hiにたいして
例えば+1を、111に対しては−1をとると、自動的
に lw信号に付いても学習が進行し、学習速度を速め
ることが8来る。さらに、線形分離機能があれば他の学
習則でも良い。
■As a learning law, Hebb's synaptic reinforcement learning law is common, but with this method, learning progresses only for the hi signal.However, for example, +1 for hi and -1 for 111. If you select 1, learning will automatically proceed even if it is attached to the lw signal, and 8 will speed up the learning speed. Furthermore, other learning rules may be used as long as they have a linear separation function.

能の追加変更が容易であるという特徴を持っている。し
かも、先に特許申請中の発明Aに比べ,入力パターンの
特殊性を生かして、H層ニューロ素子数を減らすことが
出来た。この発明によりニューロ・コンピュータの実用
化の道が開けたと言える。
It has the characteristic that it is easy to add and change the performance. Moreover, compared to the earlier patent-pending Invention A, the number of H-layer neural elements could be reduced by taking advantage of the uniqueness of the input pattern. It can be said that this invention paved the way for the practical application of neuro-computers.

[相]学習を速めるために既に工夫された方法、たとえ
ば逐次修正法、−括修正法、モーメント法、修正モーメ
ント法、乱数付加法等はそのまま利用可能である。
[Phase] Methods that have already been devised to speed up learning, such as the sequential correction method, the -batch correction method, the moment method, the modified moment method, and the random number addition method, can be used as they are.

本発明の効果 発明の作用の項で説明したように、従来誤差逆伝播法で
必ずしも学習が収束せず、たとえ収束しても長時間の計
算時間がかかつていたものが9本発明の結果、確実に収
束し、しかも高速であり。
Effects of the Present Invention As explained in the section on the effects of the invention, the conventional error backpropagation method did not necessarily converge learning, and even if it did converge, it took a long time to calculate. It converges reliably and is fast.

ニューラルネットワークの構造は簡単で、さらに後に於
けるネットワークの構造上の変更や識別機4、本文中記
号の説明 Sl:3層型ニューラルネットワークの入力層H層: 
隠れ層 R層: NP  : NS  : hi  : 111  : 出力層 入力されるパターン及び教師信号の組の数。
The structure of the neural network is simple, and later structural changes to the network, discriminator 4, explanation of symbols in the text Sl: Input layer H layer of 3-layer neural network:
Hidden layer R layer: NP: NS: hi: 111: Number of pairs of patterns and teacher signals input to the output layer.

8層のニューロ素子数 2値をとるパターン信号及び教師信号で一方の信号レベ
ル、ニューロ・コンピュータでは一般に発火状態をとる
事が多い。
One signal level of the pattern signal and the teacher signal, which take binary values of the number of neuro elements in eight layers, is generally in a firing state in a neuro computer.

信号のもう一方のレベル、ニューロ・コンピュータでは
一般に静止時の状態をとる事が多い。
The other level of the signal, in neurocomputers, is generally in a resting state.

【図面の簡単な説明】[Brief explanation of drawings]

111図 3人カバターン認識の入力パターンの一例で
、パリティチエツクの問題。 第2図 3人カバターン認識の入力パターンの例第3図
 3層の階層的ニューラルネットワーク第4図 本発明
の方法を第2図のパターン識別問題に使った場合のネッ
トワーク図、Oの中の数値はしきい値、結合線に付随し
た数値は結合係数。 記号 0 はニューロ素子 S は入力層 Hは隠れ層 Rは出力層 は結合を表わす 第1図およびIJ2図では。 0はhiを、・は 1vを表わす。
Figure 111 is an example of an input pattern for three-person cover turn recognition, with a parity check problem. Figure 2 Example of input pattern for three-person cover turn recognition Figure 3 Three-layer hierarchical neural network Figure 4 Network diagram when the method of the present invention is used for the pattern identification problem in Figure 2, the values in O is the threshold value, and the number attached to the bond line is the coupling coefficient. The symbol 0 represents the neural element S, the input layer H, the hidden layer R, and the output layer connections. In FIG. 1 and IJ2, the symbol 0 represents the connection. 0 represents hi and . represents 1v.

Claims (1)

【特許請求の範囲】  線形和しきい値素子をニューロ素子とする,入力層,
隠れ層および出力暦よりなる3層のニューラルネットワ
ークにおいて,入力層の出力パターンは隠れ層でパター
ン変換され,その隠れ層の出力パターンは出力層でさら
にパターン変換される。 隠れ層のニューロ素子数,入力層と隠れ層の結合係数(
および,しきい値)を入力パターン群を線形分離可能な
パターン群に変換するように,したがって入力パターン
の識別が可能になるように,以下の原理により決める事
を特徴とする隠れ層の構成方法。 教師信号は2種とし,それをhiとlwとする。 一つの隠れ層のニューロ素子については,入力パターン
の中で教師信号がhiであるパターンの内で線形分離可
能であるいくつかを他の全てのパターンと分離し,前者
のパターンにはhiを出力し,後者のパターンにはlw
を出力するように結合係数(および,しきい値)を学習
により設定する。残りの入力パターンの中に教師信号が
hiであるパターンがあれば,隠れ層ニューロ素子を追
加し,その素子が,残りの入力パターンの中で教師信号
がhiであるパターンの内で線形分離可能ないくつかを
他の全てのパターンと分離し,前者に対してはhiを出
力し,後者に対してはlwを出力するように結合係数(
および,しきい値)を学習により設定する。これを残り
の入力パターンの中で教師信号がhiであるパターンが
無くなるまで繰り返す。この様に,隠れ層を構成設定す
る事を特徴とするニューラルネットワークの構成方法。
[Claims] An input layer in which the linear sum threshold element is a neuro element;
In a three-layer neural network consisting of a hidden layer and an output ephemeris, the output pattern of the input layer is pattern-converted in the hidden layer, and the output pattern of the hidden layer is further pattern-converted in the output layer. The number of neural elements in the hidden layer, the coupling coefficient between the input layer and the hidden layer (
A method for configuring a hidden layer, characterized in that the threshold value (and threshold value) is determined based on the following principle so as to convert a group of input patterns into a group of linearly separable patterns, thus making it possible to identify the input patterns. . There are two types of teacher signals, hi and lw. For a neural element in one hidden layer, some of the patterns whose teacher signal is hi among the input patterns that are linearly separable are separated from all other patterns, and hi is output to the former pattern. However, for the latter pattern, lw
The coupling coefficients (and thresholds) are set through learning so as to output . If there is a pattern in which the teacher signal is hi among the remaining input patterns, a hidden layer neuro element is added, and that element is linearly separable among the remaining input patterns in which the teacher signal is hi. The coupling coefficient (
and threshold values) are set by learning. This process is repeated until there are no more patterns in which the teacher signal is hi among the remaining input patterns. This is a neural network configuration method characterized by configuring hidden layers.
JP2185136A 1990-07-11 1990-07-11 Method for constituting neural network having pattern identifying function Pending JPH0471081A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2185136A JPH0471081A (en) 1990-07-11 1990-07-11 Method for constituting neural network having pattern identifying function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2185136A JPH0471081A (en) 1990-07-11 1990-07-11 Method for constituting neural network having pattern identifying function

Publications (1)

Publication Number Publication Date
JPH0471081A true JPH0471081A (en) 1992-03-05

Family

ID=16165504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2185136A Pending JPH0471081A (en) 1990-07-11 1990-07-11 Method for constituting neural network having pattern identifying function

Country Status (1)

Country Link
JP (1) JPH0471081A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9410004B2 (en) 2008-05-21 2016-08-09 Toray Industries, Inc. Aromatic polyethersulfone microparticles having narrow particle diameter distribution index
KR20180095142A (en) 2013-08-30 2018-08-24 세키스이가세이힝코교가부시키가이샤 Resin particle group and method for manufacturing same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9410004B2 (en) 2008-05-21 2016-08-09 Toray Industries, Inc. Aromatic polyethersulfone microparticles having narrow particle diameter distribution index
KR20180095142A (en) 2013-08-30 2018-08-24 세키스이가세이힝코교가부시키가이샤 Resin particle group and method for manufacturing same
KR20200031710A (en) 2013-08-30 2020-03-24 세키스이가세이힝코교가부시키가이샤 Resin particle group
KR20210025731A (en) 2013-08-30 2021-03-09 세키스이가세이힝코교가부시키가이샤 Resin particle group

Similar Documents

Publication Publication Date Title
Lin et al. Research on convolutional neural network based on improved Relu piecewise activation function
Gori et al. On the problem of local minima in backpropagation
Sakar et al. Growing and pruning neural tree networks
Srivastava et al. Compete to compute
Sivanandam et al. Introduction to artificial neural networks
Zhang et al. Spiking echo state convolutional neural network for robust time series classification
El Kessab et al. Extraction method of handwritten digit recognition tested on the mnist database
Zilouchian Fundamentals of neural networks
Wan Deep learning: Neural network, optimizing method and libraries review
Mirchandani et al. Plant disease detection and classification using image processing and artificial neural networks
Wong et al. Handwritten digit recognition using multilayer feedforward neural networks with periodic and monotonic activation functions
Basak et al. A connectionist model for category perception: theory and implementation
JPH0471081A (en) Method for constituting neural network having pattern identifying function
CA2898216C (en) Methods and systems for implementing deep spiking neural networks
Gupta et al. Higher order neural networks: fundamental theory and applications
Pellakuri et al. Modeling of supervised ADALINE neural network learning technique
Wasukar Artificial neural network–an important asset for future computing
Rozycki et al. Estimation of deep neural networks capabilities using polynomial approach
JPH0467281A (en) Constituting method for perceptron having linear separating function
Akash Artificial intelligence & neural networks
Kocaleva Convolutional neural network as an architecture for deep learning
Zhunisbekov et al. Development of the simplest perceptron for artificial intelligence
Harpur et al. Experiments with simple Hebbian-based learning rules in pattern classification tasks
Maren FEEDFORWARD NEURAL
JPH0451372A (en) Operation recognition device using neuro computer