JP2776265B2 - Unit recognition unit and learning type recognition judgment device - Google Patents

Unit recognition unit and learning type recognition judgment device

Info

Publication number
JP2776265B2
JP2776265B2 JP6224696A JP22469694A JP2776265B2 JP 2776265 B2 JP2776265 B2 JP 2776265B2 JP 6224696 A JP6224696 A JP 6224696A JP 22469694 A JP22469694 A JP 22469694A JP 2776265 B2 JP2776265 B2 JP 2776265B2
Authority
JP
Japan
Prior art keywords
unit
input
output
recognition
division
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP6224696A
Other languages
Japanese (ja)
Other versions
JPH0887482A (en
Inventor
みち代 森家
泰治 〆木
敏行 香田
進 丸野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP6224696A priority Critical patent/JP2776265B2/en
Publication of JPH0887482A publication Critical patent/JPH0887482A/en
Application granted granted Critical
Publication of JP2776265B2 publication Critical patent/JP2776265B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は対象物の判断認識を行な
う学習型認識判断装置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a learning type recognition judging device for judging and recognizing an object.

【0002】[0002]

【従来の技術】従来の学習型認識判断装置としては、例
えばD.E. ラメルハート (Rummelhart)らによる"ラーニンク゛ リフ゜リセ゛
ンテーションス゛ ハ゛イ ハ゛ックフ゜ロハ゜ケ゛ーティンク゛ エラース゛ (Learning rep
resentations by back-propagating errors)", ネイチャー
(Nature) Vol.323 No.9(1986)に示されている。図10は
従来の学習型認識判断装置の一般的構成図を示すもので
あり、201、202は入力端子、212は出力端子、217は学習
回路、218、219、220は多入力一出力回路、221は出力
層、222は隠れ層である。図10に示されるように、学習
型認識判断装置は多入力一出力回路を階層状に接続した
構成によって、入力端子201、202から入力された信号を
処理して、出力端子212から出力する。このように、階
層状に接続された多入力一出力回路のうち、出力信号を
出力する多入力一出力回路から成る層を出力層と呼び、
それ以外の多入力一出力回路から成る層を隠れ層と呼
ぶ。隠れ層は、一つの層をなす多入力一出力回路によっ
て構成されても良いし、複数の層をなす多入力一出力回
路によって構成されても良い。図11に従来の隠れ層が一
つの学習型認識判断装置の構成例を示す。図11におい
て、201、202は入力端子、203、204、205、206、207、2
08は可変重み乗算器、209、210、211は飽和入出力特性
を持つ加算器、212は出力端子、213は教師信号発生部、
214は誤差算出部、215は最急降下方向決定部、216は重
み変更部、217は学習回路、218, 219, 220は多入力一出
力回路、221は出力層、222は隠れ層である。図11に示さ
れるように、多入力一出力回路218、219および220は可
変重み乗算器と飽和入出力特性を持つ加算器からなって
いる。即ち、第j番目の多入力一出力回路の出力信号は
(数1)で表わされる。
2. Description of the Related Art A conventional learning-type recognition / judgment device is disclosed in, for example, DE Rummelhart et al.
resentations by back-propagating errors) ", Nature
(Nature) Vol.323 No.9 (1986). FIG. 10 shows a general configuration diagram of a conventional learning-type recognition / determination apparatus, where 201 and 202 are input terminals, 212 is an output terminal, 217 is a learning circuit, 218, 219, and 220 are multiple-input one-output circuits, 221 is an output layer, and 222 is a hidden layer. As shown in FIG. 10, the learning-type recognition / judgment device processes a signal input from input terminals 201 and 202 and outputs the processed signal from an output terminal 212 in a configuration in which multiple input-one output circuits are connected in a hierarchical manner. As described above, among the multi-input and one-output circuits connected in a hierarchical manner, a layer including a multi-input and one-output circuit that outputs an output signal is called an output layer,
A layer composed of other multi-input / one-output circuits is called a hidden layer. The hidden layer may be constituted by a multi-input one-output circuit forming one layer, or may be constituted by a multi-input one-output circuit forming a plurality of layers. FIG. 11 shows a configuration example of a conventional learning-type recognition / determination apparatus having one hidden layer. In FIG. 11, 201 and 202 are input terminals, 203, 204, 205, 206, 207 and 2
08 is a variable weight multiplier, 209, 210, 211 are adders having saturation input / output characteristics, 212 is an output terminal, 213 is a teacher signal generator,
214 is an error calculation unit, 215 is a steepest descent direction determination unit, 216 is a weight change unit, 217 is a learning circuit, 218, 219, and 220 are multiple-input one-output circuits, 221 is an output layer, and 222 is a hidden layer. As shown in FIG. 11, the multi-input one-output circuits 218, 219 and 220 are composed of a variable weight multiplier and an adder having a saturation input / output characteristic. That is, the output signal of the j-th multi-input one-output circuit is represented by (Equation 1).

【0003】[0003]

【数1】 (Equation 1)

【0004】で表される。ここに、y[i]は前段の層の第
i番目の多入力一出力回路の出力信号であり、w[i, j]
は前段の層の第i番目の多入力一出力回路の出力信号が
第j番目の多入力一出力回路に入力されるときに掛けら
れる重みである。fnc()は飽和特性を持つ関数でシグモ
イド関数(数2)等で表される。
[0004] Here, y [i] is an output signal of the i-th multi-input one-output circuit of the preceding layer, and w [i, j]
Is a weight to be multiplied when the output signal of the i-th multi-input one-output circuit of the preceding layer is input to the j-th multi-input one-output circuit. fnc () is a function having a saturation characteristic and is represented by a sigmoid function (Equation 2) or the like.

【0005】[0005]

【数2】 (Equation 2)

【0006】図12に、前記のfnc()で表される、飽和入
出力特性を持つ加算器209、210及び211の特性関数のグ
ラフを示す。学習型認識判断装置における学習とは、入
力信号に対して望ましい出力信号(以下、教師信号と呼
ぶ)を出力するように可変重み乗算器203,204,205,206,
207および208で掛けられる重みを変更する。重みの変更
量を求めるために、まず教師信号と出力層の出力信号と
から、(数3)を用いて誤差Eを求める。
FIG. 12 shows a graph of the characteristic function of the adders 209, 210 and 211 having the saturation input / output characteristic, which is represented by fnc (). Learning in the learning-type recognition / judgment device means that the variable weight multipliers 203, 204, 205, 206, and 206 output a desired output signal (hereinafter referred to as a teacher signal) for an input signal.
Change the weight applied by 207 and 208. In order to obtain the change amount of the weight, first, an error E is obtained from the teacher signal and the output signal of the output layer using (Equation 3).

【0007】[0007]

【数3】 (Equation 3)

【0008】ここに、yp[j]は第p番目の入力信号に対
する出力層の第j番目の多入力一出力回路の出力信号、
tp[j]はyp[j]に対する教師信号、pΣは全ての教師信号
に関する総和、Σjは出力層の全ての多入力一出力回路
に関する総和、ベクトルwは重みw[i,j]を成分とする
ベクトル(以下ベクトルwを重みベクトルと呼ぶ)であ
る。(2)式で示されるように誤差Eは教師信号と出力層
の出力信号との差の2乗和で表され、重みベクトルwの
関数となる。学習では重みを変更し、教師信号と実際の
出力信号との差、即ち誤差を最小化する。重みの変更量
は(数4)により決定される。
Where y p [j] is the output signal of the j-th multi-input one-output circuit of the output layer for the p-th input signal,
t p [j] is the teacher signal for y p [j], p Σ is the sum of all teacher signals, Σ j is the sum of all multi-input one-output circuits in the output layer, and vector w is the weight w [i, j ] As a component (hereinafter, the vector w is referred to as a weight vector). As shown in equation (2), the error E is represented by the sum of squares of the difference between the teacher signal and the output signal of the output layer, and is a function of the weight vector w. In the learning, the weight is changed to minimize the difference between the teacher signal and the actual output signal, that is, the error. The change amount of the weight is determined by (Equation 4).

【0009】[0009]

【数4】 (Equation 4)

【0010】ここで、εは学習パラメータと呼ばれる正
の定数、αはモーメンタムと呼ばれる正の定数であり、
∂E/∂w は、(数3)で表される誤差Eの重みw
[i, j]による微分を成分とするベクトルで、最急降下方
向と呼ばれる。Δw'は、前回の学習における重み変更
量のベクトル表現である。
Here, ε is a positive constant called a learning parameter, α is a positive constant called momentum,
∂E / ∂w is the weight w of the error E represented by (Equation 3)
A vector whose component is the derivative by [i, j], which is called the steepest descent direction. Δw ′ is a vector expression of the weight change amount in the previous learning.

【0011】従来の学習型認識判断装置の学習回路217
では、教師信号発生部213が入力信号に対する教師信号
(望ましい出力信号)tp[j]を発生する。誤差算出部214
は、教師信号tp[j]と出力層の出力信号yp[j]とから、
(数3)で表される誤差Eを算出する。誤差算出部214
は重みの変更のために必要な教師信号と出力信号との差
信号tp[j] - yp[j]を、最急降下方向決定部215に出力す
る。最急降下方向決定部215は前記差信号、出力層出力
信号、隠れ層出力信号、入力信号及び出力層の重みをも
とに、重みをベクトルで表現する重み空間における誤差
Eの、最急降下方向を求める。最急降下方向は、(数
5)より求まる。
A learning circuit 217 of a conventional learning type recognition / judgment device.
Then, the teacher signal generator 213 generates a teacher signal (desired output signal) t p [j] for the input signal. Error calculator 214
Is obtained from the teacher signal t p [j] and the output signal y p [j] of the output layer.
The error E represented by (Equation 3) is calculated. Error calculator 214
The difference signal t p between the teacher signal and the output signal required for the change of the weight [j] - a y p [j], and outputs the steepest descent direction decision unit 215. The steepest descent direction determining unit 215 determines the steepest descent direction of the error E in the weight space in which the weight is expressed by a vector based on the weights of the difference signal, output layer output signal, hidden layer output signal, input signal, and output layer. Ask. The steepest descent direction is obtained from (Equation 5).

【0012】[0012]

【数5】 (Equation 5)

【0013】(数5)の右辺は誤差Eの重みによる微分
のベクトル表現である。最急降下方向決定部215は、最
急降下方向に学習パラメータを掛けて、重み変更部216
に出力する。重み変更部216は (3)式によって重み変更
量を求め、各可変重み乗算器203、204、205、206、207
および208で掛ける重みを変更する。以上のように最急
降下法によって重みの変更量を求めることの繰り返しに
より、誤差を小さくしてゆき、誤差が十分に小さくなる
と、出力信号が望ましい値に十分近くなったものとし
て、学習を終了する。
The right-hand side of (Equation 5) is a vector representation of the differentiation by the weight of the error E. The steepest descent direction determination unit 215 multiplies the steepest descent direction by the learning parameter, and
Output to The weight change unit 216 obtains the weight change amount according to the equation (3), and calculates the variable weight multipliers 203, 204, 205, 206, and 207.
And the weight to multiply by 208. As described above, the error is reduced by repeatedly obtaining the change amount of the weight by the steepest descent method, and when the error becomes sufficiently small, it is assumed that the output signal is sufficiently close to a desired value, and the learning is terminated. .

【0014】[0014]

【発明が解決しようとする課題】以上のような従来の学
習型認識判断装置においては、ネットワ−クの構成は最
初に定義、又は設計した固定の状態から変更することは
出来ず、従って、その学習、認識能力も最初の設計によ
って決ってしまい、入力されるデ−タに応じて適応的に
対処することはできない。又、ネットワ−クの設計手法
も確立されておらず、実際の設計は経験と感による試行
錯誤に頼らざるを得ないのが実状であった。
In the conventional learning-type recognition / judgment apparatus described above, the network configuration cannot be changed from the initially defined or designed fixed state. The learning and recognition abilities are also determined by the initial design, and cannot be adaptively handled according to the input data. In addition, no network design method has been established, and the actual design has to rely on trial and error based on experience and feeling.

【0015】本発明はこのような従来例の問題点を改善
するためのもので、入力デ−タに対して重みの変更をす
る学習を行なうのみではなく、入力信号に応じて適応的
にネットワ−クの構造を自動的に変更、構築、及び自己
組織化し、かつ判断認識の対象に対して既存する知識を
利用して無駄な組織の構造の変更を抑制することが可能
な、単位認識ユニット及び学習型認識判断装置を提供し
ようとするものである。
The present invention is intended to solve such a problem of the prior art. The present invention not only performs learning for changing the weight of input data, but also adaptively adapts the network according to the input signal. A unit recognition unit capable of automatically changing, constructing, and self-organizing the structure of a task, and suppressing unnecessary changes in the structure of the organization by using existing knowledge for the object of judgment recognition. And a learning-type recognition / judgment device.

【0016】[0016]

【課題を解決するための手段】本発明は上記目的を達成
するために、信号入力部と、前記信号入力部からの入力
信号に応じて量子化を行なう量子化器と、経路選択部と
を備えた単位ユニットを構成し、量子化定数を記憶させ
る構造記憶手段と、前記単位ユニットの内部状態を記憶
させる内部状態記憶手段と、前記記憶させた内部状態に
基づいて、前記単位認識ユニットの構造記憶手段に記憶
させた構造及び機能を有し、前記単位認識ユニットの複
製を作成する複製手段と、前記複製手段の前記量子化器
の量子化の範囲の2分割点を制御する分割制御手段とを
設けて単位認識ユニットを構成する。
In order to achieve the above object, the present invention comprises a signal input unit, a quantizer for performing quantization in accordance with an input signal from the signal input unit, and a path selecting unit. A unit storing the unit recognition unit; a structure storage unit configured to store a quantization constant; an internal state storage unit configured to store an internal state of the unit unit; and a structure of the unit recognition unit based on the stored internal state. A duplicating unit having a structure and a function stored in a storing unit and creating a duplicate of the unit recognition unit; and a dividing control unit for controlling two division points of a quantization range of the quantizer of the duplicating unit. Are provided to form a unit recognition unit.

【0017】又、上記単位認識ユニットを、多層の階層
ネットワーク状に複数個組み合わせて、学習型認識判断
装置を構成する。
Further, a plurality of the unit recognition units are combined in a multi-layered hierarchical network to constitute a learning type recognition / judgment device.

【0018】[0018]

【作用】以上のように構成した装置の各階層の単位認識
ユニットの信号入力部に、対象物の各種特徴デ−タを入
力すると、入力デ−タに応じて内部状態記憶手段に記憶
させてある内部状態が変化する。この内部状態がある一
定の状態に達すると、複製手段が内部状態記憶手段に記
憶させてあるネットワ−クの構造と分割制御手段に基づ
いて、既存の単位認識ユニットの複製をしかるべき箇所
に作成し、自動的に入力デ−タに適応した状態のネット
ワ−クを自己組織的に、効率的に形成する事が出来る。
When various characteristic data of an object is inputted to the signal input section of the unit recognition unit of each layer of the apparatus constructed as described above, it is stored in the internal state storage means according to the input data. An internal state changes. When this internal state reaches a certain state, the duplication unit creates a copy of the existing unit recognition unit at an appropriate location based on the network structure and division control unit stored in the internal state storage unit. In addition, a network automatically adapted to input data can be efficiently formed in a self-organizing manner.

【0019】[0019]

【実施例】【Example】

(実施例1)以下本発明の単位認識ユニットの第1の実
施例について、図面を参照しながら説明する。
(Embodiment 1) Hereinafter, a first embodiment of a unit recognition unit of the present invention will be described with reference to the drawings.

【0020】図1において、8は単位ユニットである。1
は信号入力部で、信号入力端子1aを介して入力した、認
識の対象となる特徴デ−タを量子化器2に入力する。量
子化器2は、入力された特徴デ−タを量子化し、量子化
した値を経路選択部3に入力する。3aは経路入力端子、3
b1及び3b2は経路出力端子で、単位認識ユニット9を組み
合わせてネットワ−クを構成するときに、これらの端子
を相互に連結するものである。経路選択部3は、量子化
器2から入力された値に基づいて、経路入力端子3aと、
経路出力端子3b1又は3b2との連結の仕方を変化させる様
に構成してある。構造記憶手段4には、量子化器の量子
化の範囲と、量子化の個数と、経路選択部の経路入力端
子数及び経路出力端子数を記憶させてある。内部状態記
憶手段5には、それまでに入力された信号の平均、分
散、入力総回数を単位認識ユニット9の内部状態として
記憶させてある。複製作成手段6は、内部状態記憶手段5
に記憶させた内部状態がある一定値に達したときに、構
造記憶手段4に記憶させた単位認識ユニットの量子化の
範囲を2分割し、単位認識ユニット9の複製を作成させ
るように構成してある。分割制御手段7は、複製作成手
段6での前記量子化の範囲の2分割の方法を制御させる
ように構成してある。
In FIG. 1, reference numeral 8 denotes a unit. 1
Is a signal input unit for inputting feature data to be recognized, which is input via the signal input terminal 1a, to the quantizer 2. The quantizer 2 quantizes the input feature data, and inputs the quantized value to the path selection unit 3. 3a is the route input terminal, 3
b1 and 3b2 are path output terminals for connecting these terminals to each other when the unit recognition unit 9 is combined to form a network. The path selection unit 3 includes a path input terminal 3a based on the value input from the quantizer 2,
It is configured to change the way of connection with the path output terminal 3b1 or 3b2. The structure storage means 4 stores the quantization range of the quantizer, the number of quantizations, the number of path input terminals and the number of path output terminals of the path selection unit. The internal state storage means 5 stores the average, variance, and total number of input signals so far as the internal state of the unit recognition unit 9. The copy creation means 6 is composed of the internal state storage means 5
When the internal state stored in the storage unit reaches a certain value, the quantization range of the unit recognition unit stored in the structure storage unit 4 is divided into two, and a copy of the unit recognition unit 9 is created. It is. The division control means 7 is configured to control a method of dividing the quantization range into two by the copy creation means 6.

【0021】図1から4の分割制御手段7は具体的には
図5に示す実施例で構成する。図5の分割制御手段7
は、複製手段6の対象となる単位認識ユニット9の量子化
範囲の中点を求める中点演算器7aと、量子化範囲の分割
可能範囲の上限と下限を記憶させた分割範囲記憶手段7c
1と、前記中点演算器の結果と分割可能範囲の上限と下
限とを比較する比較器7dと、比較器によって、中点演算
器で求めた中点が分割可能範囲の上限と下限の間にある
ときに、前記中点を量子化の範囲の2分割点として、複
製作成手段に出力する分割点出力部7bとによって構成し
たものである。
The division control means 7 shown in FIGS. 1 to 4 is specifically constituted by the embodiment shown in FIG. Division control means 7 in FIG.
Is a midpoint calculator 7a for calculating the midpoint of the quantization range of the unit recognition unit 9 to be the target of the duplication unit 6, and a division range storage unit 7c storing the upper and lower limits of the divisible range of the quantization range.
1, a comparator 7d for comparing the result of the midpoint computing unit with the upper and lower limits of the divisible range, and the comparator determines that the midpoint obtained by the midpoint computing unit is between the upper and lower limits of the dividable range. , The division point output unit 7b that outputs the intermediate point as two division points of the quantization range to the copy creation means.

【0022】以上のように構成された単位認識ユニット
について、以下その動作を説明する。実際に複製を作成
するためには、他の単位認識ユニットと全く結合がな
く、使用していない空の単位認識ユニットを用意する必
要がある。複製の基となる単位認識ユニットの信号入力
部1の信号入力端子1aからは、例えば1〜10迄の値を取る
信号が入力され、又、量子化器の量子化の範囲は1〜10
に設定してある。内部状態記憶手段5は順次入力される
デ−タ信号の平均、分散、入力回数を、デ−タ信号が入
力される毎に計算し、記憶する。そして、入力回数と分
散の積がある一定値を越えたときに、中点演算器は1〜1
0迄の量子化の範囲の中点5を求める。分割範囲記憶手段
に記憶されている分割可能範囲の上限が例えば6以上、
下限が4以下であれば、分割点出力部は中点5を量子化の
範囲の分割点として複製作成手段に出力する。分割可能
範囲は、入力データがおおよそどの範囲に位置するかと
いう、入力データに対する既存の知識を利用して、単位
認識ユニットの過剰な複製を抑えるためのもので、本発
明の単位認識ユニット及び学習型認識判断装置の使用者
によって、自由に設定することができる。複製作成手段
は、分割点出力部から量子化の範囲の分割点が出力され
ると、構造記憶手段に記憶させてある量子化器の量子化
の範囲と、量子化の個数と、経路選択部の経路入力端子
数及び経路出力端子数とを参照し、この単位認識ユニッ
トの情報を、空の使用していない単位認識ユニットにコ
ピ−すると共に、他の単位認識ユニットとの結合も含め
て自分と全く同じ複製を作成する。複製時の各量子化の
範囲は、分割点出力部からの指示に基づき、分割前の1
〜10迄の量子化の範囲を中点5を境に分割し、基の単位
認識ユニットの量子化器の量子化の範囲を1〜5に、複製
の単位認識ユニットの量子化器の量子化の範囲を6〜10
に設定し、元のユニットと複製のユニットとで、機能を
分担するように、複製を作成するわけである。
The operation of the unit recognition unit configured as described above will be described below. In order to actually make a copy, it is necessary to prepare an empty unit recognition unit that is not used at all and has no connection with other unit recognition units. From the signal input terminal 1a of the signal input unit 1 of the unit recognition unit serving as the basis of the duplication, a signal having a value of, for example, 1 to 10 is input, and the quantization range of the quantizer is 1 to 10.
Is set to The internal state storage means 5 calculates and stores the average, variance, and number of inputs of the sequentially input data signal each time the data signal is input. Then, when the product of the number of inputs and the variance exceeds a certain value, the midpoint calculator calculates 1 to 1
Find the midpoint 5 of the quantization range up to 0. The upper limit of the divisible range stored in the divided range storage means is, for example, 6 or more,
If the lower limit is 4 or less, the division point output unit outputs the middle point 5 as a division point in the range of quantization to the copy creation means. The dividable range is used to suppress the excessive duplication of the unit recognition unit by using the existing knowledge of the input data about the approximate range of the input data. It can be set freely by the user of the type recognition determination device. When the division point in the range of quantization is output from the division point output unit, the replica creation unit outputs the quantization range of the quantizer stored in the structure storage unit, the number of quantizations, and the path selection unit. With reference to the number of path input terminals and the number of path output terminals, the information of the unit recognition unit is copied to an empty unit recognition unit that is not used, and the information including the connection with other unit recognition units is included. Create an exact duplicate of. The range of each quantization at the time of duplication is based on the instruction from the division point output unit,
Divide the quantization range from ~ 10 to the middle point 5 as a boundary, the quantization range of the original unit recognition unit's quantizer to 1 ~ 5, and the quantization of the duplicate unit recognition unit's quantizer. Range from 6 to 10
, And a duplicate is created so that the function is shared between the original unit and the duplicate unit.

【0023】以上の本発明の単位認識ユニットは上記以
外にも以下のように構成することができる。図2は、図
1の経路選択部3を、1個の経路入力端子3a1を有する経
路入力部3aと、2個の経路出力端子3b1と3b2を有する経
路出力部3bと、スイッチ3cとによって構成した実施例を
示すものである。スイッチ3cは、量子化器2から入力さ
れた値に基づき、経路入力部3aの経路入力端子3a1と経
路出力部3bの経路出力端子3b1又は3b2との連結の仕方を
切り換えるようにしたもので、図3は、図1の経路選択
部3を、1個の経路入力端子3a1を有する経路入力部3a
と、2個の経路出力端子3b1と3b2を有する経路力部3b
と、経路荷重部3cとによって構成した実施例を示したも
のである。荷重3c1、及び3c2は、経路出力部3bの経路出
力端子3b1及び3b2に出力する経路出力信号に加える重み
で、荷重器3c0は、量子化器2の出力する値に応じて、こ
れらの荷重を変化させる。荷重3c1及び3c2は、経路入力
部から入力された経路信号を重み付けし、経路出力部3b
は、この重み付けした経路信号を経路出力端子3b1及び3
b2に出力する。図4は、図1の経路入力部3aを、複数の
経路入力端子からの入力信号を加算する加算器3a0によ
って構成し、又、経路出力部3bを、経路信号をしきい値
処理するしきい値処理器3b0によって構成した実施例を
示したものである。加算器3a0は、3a1から3a8までの8
個の経路入力端子から入力された経路信号を加算して、
経路選択器3cに入力する。経路選択器3cは、量子化器2
の出力する値に応じて、前記加算した経路信号を、どの
様に経路出力端子へ出力するかを決定する。経路選択器
3cは、既に図2、図3にて説明を行なったもので、図
2、図3の何れの構成でも、この実施例の経路選択器と
して用いることができる。又、この場合、経路出力部に
は経路出力端子が1個しかなく、従って、経路選択器3c
は、図3の構成を用いた場合には、ただ単に経路信号へ
の重み付けのための荷重を変化させる。
The above-described unit recognition unit of the present invention can be configured as follows in addition to the above. FIG. 2 shows a configuration of the route selection unit 3 of FIG. 1 including a route input unit 3a having one route input terminal 3a1, a route output unit 3b having two route output terminals 3b1 and 3b2, and a switch 3c. FIG. The switch 3c, based on the value input from the quantizer 2, switches the way of connection between the path input terminal 3a1 of the path input unit 3a and the path output terminal 3b1 or 3b2 of the path output unit 3b, FIG. 3 is a block diagram showing a configuration of the route selection unit 3 of FIG. 1 with a route input unit 3a having one route input terminal 3a1.
And a path force unit 3b having two path output terminals 3b1 and 3b2
FIG. 9 shows an embodiment configured with a path load section 3c. The loads 3c1 and 3c2 are weights to be added to the route output signals output to the route output terminals 3b1 and 3b2 of the route output unit 3b, and the loader 3c0 calculates these loads according to the value output from the quantizer 2. Change. The loads 3c1 and 3c2 weight the route signal input from the route input unit, and output the route output unit 3b
Outputs the weighted path signal to path output terminals 3b1 and 3b.
Output to b2. FIG. 4 shows a configuration in which the path input unit 3a of FIG. 1 is configured by an adder 3a0 that adds input signals from a plurality of path input terminals, and the path output unit 3b is a threshold that performs threshold processing on the path signal. This shows an embodiment constituted by the value processor 3b0. The adder 3a0 uses 8 from 3a1 to 3a8.
Route signals input from the route input terminals
Input to the route selector 3c. The path selector 3c includes the quantizer 2
Determines how to output the added path signal to the path output terminal in accordance with the output value of the path signal. Route selector
3c has already been described with reference to FIGS. 2 and 3, and any of the configurations of FIGS. 2 and 3 can be used as the route selector of this embodiment. In this case, the route output unit has only one route output terminal, and therefore, the route selector 3c
Simply changes the weight for weighting the path signal when the configuration of FIG. 3 is used.

【0024】また、前記の分割制御手段は図6、図7に
示すように構成してもよい。図6は、分割制御手段7
を、複製手段6の対象となる単位認識ユニット9の量子化
範囲の中点を求める中点演算器7aと、量子化の範囲の分
割可能な点を記憶させた分割点記憶手段7c2と、中点演
算器の結果と前記分割点記憶手段との距離を計算する距
離演算器7fと、前記距離演算器で求めた各距離の最小値
を求める最小値検出器7eと、最小値を持つ分割可能点を
量子化の範囲の2分割点として複製作成手段6に出力す
る分割点出力部7bとによって構成したものである。
Further, the division control means may be configured as shown in FIGS. FIG.
A middle point calculator 7a for finding the middle point of the quantization range of the unit recognition unit 9 to be the target of the duplication unit 6, a division point storage unit 7c2 storing the divisible points of the quantization range, and A distance calculator 7f for calculating the distance between the result of the point calculator and the division point storage means, a minimum detector 7e for calculating the minimum value of each distance obtained by the distance calculator, and a dividable having a minimum value. It is constituted by a division point output unit 7b which outputs the points to the duplication creating means 6 as two division points within the range of quantization.

【0025】図7は、図6の分割点出力部を、分割許容
誤差を記憶させた許容誤差記憶手段7b1と、最小値検出
器で求めた最小値と前記分割許容誤差を比較する比較器
7b2と、最小値が分割許容誤差よりも小さいときに、最
小値を持つ分割可能点を量子化の範囲の2分割点として
複製手段に出力する分割点出力器7b3とで構成した実施
例を示したものである。
FIG. 7 shows a division point output unit shown in FIG. 6 as a permissible error storage means 7b1 for storing a permissible division error, and a comparator for comparing the minimum value obtained by the minimum value detector with the permissible division error.
7b shows an embodiment comprising a split point output unit 7b2 which outputs a dividable point having a minimum value to the duplication means as two split points in a quantization range when the minimum value is smaller than the division allowable error. It is a thing.

【0026】以上のように構成された単位認識ユニット
について、以下図7を用いてその動作を説明する。図6
又は図7の単位認識ユニットの動作は、分割制御手段以
外は図5と同一である。図5と同様にして、入力データ
が順次入力され、内部状態記憶手段に記憶される入力回
数と分散の積がある一定値を越えたときに、中点演算器
は1〜10迄の量子化の範囲の中点5を求める。距離演算器
は、中点演算器の結果と、分割点記憶手段に記憶されて
いる分割可能点との距離を求める。分割可能点は通常複
数個存在する。最小値検出器は、距離演算器で求めた各
距離の最小値と、距離が最小値となるときの分割可能点
を求める。比較器は、許容誤差記憶手段に記憶される分
割許容誤差と演算距離器で求めた最小値を比較し、最小
値が分割許容誤差よりも小さいときに、分割点出力器
は、最小値検出器で求めた分割可能点を量子化の範囲の
2分割点として複製手段に出力する。分割可能点は図5
を用いて説明した分割可能範囲と同様に、入力データに
対する既存の知識を利用して単位認識ユニットの過剰な
複製を抑えるためのもので、本発明の単位認識ユニット
及び学習型認識判断装置の使用者によって自由に設定す
ることができる。複製作成手段は、分割出力器から量子
化の範囲の分割点が出力されると、構造記憶手段に記憶
させてある量子化器の量子化の範囲と、量子化の個数
と、経路選択部の経路入力端子数及び経路出力端子数と
を参照し、この単位認識ユニットの情報を、空の使用し
ていない単位認識ユニットにコピ−すると共に、他の単
位認識ユニットとの結合も含めて自分と全く同じ複製を
作成する。例えば、分割点出力器から出力された量子化
の範囲の2分割点が3であるとき、元の単位ユニットの
量子化器の量子化の範囲を1〜3に、複製の単位認識ユニ
ットの量子化器の量子化の範囲を4〜10に設定し、基の
ユニットと複製のユニットとで機能を分担するように、
複製を作成するわけである。
The operation of the unit recognition unit configured as described above will be described below with reference to FIG. FIG.
Alternatively, the operation of the unit recognition unit of FIG. 7 is the same as that of FIG. 5 except for the division control means. In the same manner as in FIG. 5, when the input data is sequentially input and the product of the number of inputs and the variance stored in the internal state storage means exceeds a certain value, the midpoint calculator calculates the quantization of 1 to 10. Find the midpoint 5 of the range The distance calculator determines the distance between the result of the midpoint calculator and the dividable point stored in the division point storage means. Usually, there are a plurality of dividable points. The minimum value detector obtains the minimum value of each distance obtained by the distance calculator and the dividable point when the distance becomes the minimum value. The comparator compares the divisional tolerance stored in the tolerance storage means with the minimum value obtained by the operation distance unit, and when the minimum value is smaller than the divisional tolerance, the division point output unit outputs the minimum value detector. Is output to the duplicating means as two division points in the quantization range. Fig. 5
As in the case of the dividable range described with reference to the above, this is for suppressing the excessive duplication of the unit recognition unit by using the existing knowledge of the input data. Can be set freely by the user. When the division point of the range of quantization is output from the division output unit, the copy creation unit outputs the quantization range of the quantizer stored in the structure storage unit, the number of quantization, and the Referring to the number of path input terminals and the number of path output terminals, copy the information of this unit recognition unit to an empty unit recognition unit that is not being used, and connect it to itself including connection with other unit recognition units. Make an exact duplicate. For example, when the two division points of the quantization range output from the division point output unit are 3, the quantization range of the original unit unit quantizer is set to 1 to 3, and the quantization unit Set the quantizer quantization range to 4-10, and share the functions between the original unit and the duplicate unit.
Make a duplicate.

【0027】なお、以上の実施例では経路入力端子が1
個の場合について説明したが、経路入力端子を複数個設
けた場合も同様の動作をさせることができる。
In the above embodiment, when the path input terminal is 1
Although the description has been given of the case where a plurality of path input terminals are provided, the same operation can be performed when a plurality of path input terminals are provided.

【0028】(実施例2)次に第2の本発明である学習
型認識判断装置の実施例について、図面を参照しながら
説明する。
(Embodiment 2) Next, an embodiment of a learning type recognition judging device according to the second invention will be described with reference to the drawings.

【0029】図8は、本発明による単位認識ユニットを
多層の階層状に相互結合させて、ネットワ−クを構成し
てある。第1層、第2層、第3層を構成してある単位認
識ユニットn11〜n12、n21〜n24及びn31〜n38は、例え
ば、図5に示した単位認識ユニットを用いてあり、既に
説明したように、経路選択部3を、1個の経路入力端子3
a1を有する経路入力部3aと、2個の経路出力端子3b1と3
b2を有する経路出力部3bと、経路選択部とによって構成
してある。又、第4層を構成してある単位認識ユニット
n41〜n43は、例えば、図4に示した単位認識ユニットを
用いたもので、既に説明したように、経路入力部3aを、
複数の経路入力端子からの入力信号を加算する加算器3a
0によって構成し、又、経路出力部3bを、経路信号をし
きい値処理するしきい値処理器3b0によって構成したも
のである。図8に示す学習型認識判断装置は、2個から
成る3種類の特徴デ−タに基づき、3種類に分類、認識
させるものである。
FIG. 8 shows a network in which unit recognition units according to the present invention are interconnected in a multi-layer hierarchy. The unit recognition units n11 to n12 , n21 to n24 , and n31 to n38 constituting the first layer, the second layer, and the third layer use, for example, the unit recognition unit shown in FIG. As described above, the path selection unit 3 is connected to one path input terminal 3
path input unit 3a having a1 and two path output terminals 3b1 and 3b
It is composed of a route output unit 3b having b2 and a route selection unit. Also, the unit recognition unit constituting the fourth layer
n41 to n43 use, for example, the unit recognition unit shown in FIG. 4, and as described above, the route input unit 3a
Adder 3a that adds input signals from multiple path input terminals
0, and the path output unit 3b is configured by a threshold value processor 3b0 that performs threshold processing on the path signal. The learning type recognition judging device shown in FIG. 8 classifies and recognizes three types based on three types of feature data composed of two pieces.

【0030】以上のように構成された学習型認識判断装
置について、以下その動作を説明する。
The operation of the learning-type recognition / judgment device configured as described above will be described below.

【0031】まず、学習動作について説明する。第1層
目の単位認識ユニットn11及びn12の経路入力端子への経
路信号として、先ず"1"を与える。又、これらのユニッ
トの量子化器への信号入力端子1aには、認識対象物の第
1の一連の特徴デ−タを入力する。(この図の場合に
は、2個の第1特徴デ−タを、それぞれ2個の単位認識
ユニットに入力する。)これらの第1特徴デ−タを、n1
1及びn12の量子化器が量子化し、この量子化した値に基
づいて、経路p11及びp12が、図5に示した経路選択部に
よって選ばれ、第2層目の単位認識ユニットn22及びn23
の経路入力端子へ、経路信号"1"が送られる。これらの
ユニットの量子化器への信号入力端子には、認識対象物
の第2の一連の特徴デ−タを入力する。(この図の場合
には、2個の第2特徴デ−タを、それぞれ2個の単位認
識ユニットn22及びn23に入力する。)これらの第2特徴
デ−タを、n22及びn23の量子化器が量子化し、この量子
化した値に基づいて、経路p21及びp22が、図5に示した
経路選択部によって選ばれ、第4層目の単位認識ユニッ
トn34及びn36の経路入力端子へ、経路信号"1"が送られ
る。これらのユニットの量子化器への信号入力端子に
は、認識対象物が分類したい3項目のどれに属するかを
示す教師入力信号、即ち、n41〜n43のどれを選ぶかを示
す信号を入力する。(この図の場合には、教師入力信号
を2個の単位認識ユニットn34及びn36に入力する。)こ
の教師入力信号を、n34及びn36の量子化器が量子化し、
この量子化した値に基づいて、経路p31及びp32が、図5
に示した経路選択部によって選ばれる。
First, the learning operation will be described. First, "1" is given as a path signal to the path input terminals of the unit recognition units n11 and n12 of the first layer. Also, a first series of feature data of the object to be recognized is input to a signal input terminal 1a to the quantizer of these units. (In the case of this figure, two first feature data are input to two unit recognition units, respectively.) These first feature data are input to n1
The quantizers 1 and n12 quantize, and based on the quantized values, the paths p11 and p12 are selected by the path selection unit shown in FIG. 5, and the unit recognition units n22 and n23 in the second layer.
The path signal "1" is sent to the path input terminal of the. To a signal input terminal to the quantizer of these units, a second series of feature data of the object to be recognized is input. (In the case of this figure, two second feature data are input to two unit recognition units n22 and n23, respectively.) These second feature data are quantized into n22 and n23. The devices are quantized, and paths p21 and p22 are selected by the path selection unit shown in FIG. 5 based on the quantized values, and are routed to the path input terminals of the unit recognition units n34 and n36 on the fourth layer. Signal "1" is sent. To the signal input terminals to the quantizers of these units, a teacher input signal indicating which of the three items the recognition target belongs to, that is, a signal indicating which of n41 to n43 is to be selected, is input. . (In the case of this figure, the teacher input signal is input to the two unit recognition units n34 and n36.) The teacher input signal is quantized by the quantizers n34 and n36,
Based on the quantized values, the paths p31 and p32 are
Is selected by the route selection unit shown in FIG.

【0032】次に、各単位認識ユニットが複製を作成す
る際の装置全体としての動作を説明する。
Next, the operation of the entire apparatus when each unit recognition unit creates a copy will be described.

【0033】先に述べたように、実際に複製を作成する
ためには、他の単位認識ユニットと全く結合がなく、使
用していない空の単位認識ユニットを用意する必要があ
る。複製の元となる単位認識ユニットの信号入力部に入
力される信号の入力回数と分散の積がある一定値を越え
たとき、図5に示す分割制御手段の中の中点演算器は、
量子化の範囲の中点を求める。求めた中点が、分割範囲
記憶手段に記憶されている分割可能範囲の上限と下限と
の間にあれば、分割点出力部は中点を量子化の範囲の分
割点として複製作成手段に出力する。分割可能範囲は、
入力データがおおよそどの範囲に位置するかという、入
力データに対する既存の知識を利用して、単位認識ユニ
ットの過剰な複製を抑えるためのもので、本発明の単位
認識ユニット及び学習型認識判断装置の使用者によっ
て、自由に設定することができる。複製作成手段は、分
割点出力部から量子化の範囲の分割点が出力されると構
造記憶手段を動作させる。学習型認識判断装置の中の単
位認識ユニットが複製を作成する場合、図8に示す第4
層までの各層の単位認識ユニットは、各ユニットの下層
に連結させた単位認識ユニットの全てを含めて複製する
必要がある。図9は、下層に連結させた単位認識ユニッ
トの全てを含めた複製の様子を示したものである。複製
作成検出部Sは、複製動作を起こした全ての単位認識ユ
ニットを検出し、複製を作成する各ユニットの下層に連
結させた単位認識ユニットの全てを含めて複製する様に
指示を出す。例えば図9に示すように、ユニット71は、
下層に連結させた単位認識711、712を含めて複製するわ
けで、複製の単位認識ユニット72、及びその下層の単位
認識ユニット721、722が作成されるわけである。このよ
うな複製手段を用いる場合、複製する各ユニットの下層
に不必要なユニットが存在すると、不必要なユニットも
含めて複製されるため、学習を繰り返すにつれて、必要
以上に大規模なネットワークとなる。本発明による単位
認識ユニットは、先に述べた分割制御手段によって不必
要な単位認識ユニットの複製及び過剰規模のネットワー
クを抑制することができるため、入力デ−タに対してネ
ットワ−クの学習を行なうのみではなく、入力データに
対する知識を前提として、入力信号に応じて適応的かつ
効率的にネットワ−クの構造を自動的に変更することで
自己組織化することが可能となる。さらに、分割制御手
段内の分割可能範囲を広く設定すると、分割に対する制
御能力が低下するため、学習していない新規なデ−タ入
力に対する汎化性にも優れさせることができる。
As described above, in order to actually make a copy, it is necessary to prepare an unused unit recognition unit which has no connection with other unit recognition units at all and is not used. When the product of the number of times of input and the variance of the signal input to the signal input unit of the unit recognition unit serving as the source of the duplication exceeds a certain value, the midpoint computing unit in the division control means shown in FIG.
Find the midpoint of the quantization range. If the obtained midpoint is between the upper limit and the lower limit of the dividable range stored in the division range storage means, the division point output unit outputs the midpoint to the copy creation means as the division point of the quantization range. I do. The divisible range is
By using existing knowledge of the input data about the approximate range of the input data, this is for suppressing excessive duplication of the unit recognition unit. It can be set freely by the user. When the division point in the quantization range is output from the division point output unit, the copy creation unit operates the structure storage unit. When the unit recognition unit in the learning type recognition judging device creates a copy, the fourth unit shown in FIG.
The unit recognition unit of each layer up to the layer needs to be copied including all of the unit recognition units connected to the lower layer of each unit. FIG. 9 shows a state of duplication including all of the unit recognition units connected to the lower layer. The copy creation detecting unit S detects all the unit recognition units that have caused the copy operation, and issues an instruction to make a copy including all the unit recognition units connected to the lower layer of each unit for which a copy is made. For example, as shown in FIG.
The unit recognition unit 711 and the unit recognition unit 712 linked to the lower layer are copied, and the unit recognition unit 72 of the copy and the unit recognition units 721 and 722 of the lower layer are created. When such a duplicating means is used, if an unnecessary unit exists in a lower layer of each unit to be duplicated, the unnecessary unit is also duplicated. Therefore, as learning is repeated, the network becomes larger than necessary. . Since the unit recognition unit according to the present invention can suppress unnecessary duplication of the unit recognition unit and an excessive scale network by the division control means described above, the unit learning unit learns the network for the input data. Besides self-organization, self-organization can be achieved by automatically and efficiently changing the network structure adaptively and efficiently according to input signals, based on knowledge of input data. Further, if the division range within the division control means is set to be wide, the controllability for division is reduced, so that generalization of new data input that has not been learned can be improved.

【0034】次に、認識動作について説明を行なう。認
識過程では、内部状態憶手段に記憶させた単位認識ユニ
ットの内部状態は変化せず、従って、複製作成手段も動
作しない。
Next, the recognition operation will be described. In the recognition process, the internal state of the unit recognition unit stored in the internal state storage means does not change, and therefore, the copy creation means does not operate.

【0035】第1層から第2層までの単位認識ユニット
n11、n12及びn22、n23は、学習の動作と全く同様に、入
力した特徴デ−タを量子化器が量子化し、これに基づい
てスイッチを切り換え、経路p11、p12及びp21、p22を順
次選択する。認識動作の場合、第3層の単位認識ユニッ
トn34及びn36の信号入力端子には、教師入力信号は入力
されない。従って、学習時のスイッチの状態が保持され
ており、これらのスイッチの状態に応じて経路p31及びp
32が選択され、第4層目の単位認識ユニットn42の経路
入力端子へ、経路信号"1"が送られる。このユニットの
経路入力部の加算器は、p31及びp32の経路を通して入力
された経路信号を加算する。信号入力部の信号入力端子
には、信号"1"が入力され、量子化器がこれを量子化
し、経路選択器は、経路出力を可能な状態にし、(信
号"0"が入力された場合には、経路出力をしない状態に
経路選択器が切り換える。)加算した経路入力信号を経
路出力器に送る。経路出力器は、この信号をしきい値処
理し、経路出力端子に出力する。従って、加算した信号
の値があるしきい値より大きければ、出力がなされるわ
けであり、このようにして、経路選択と加算のみで、入
力した認識対象物特徴デ−タに基づいて認識対象物の分
類、認識判断を行なうことが出来るので、その処理が非
常に高速となる。なお、しきい値処理をする関数として
は、シグモイド関数、ステップ関数等を用いることが出
来る。
Unit recognition unit from first layer to second layer
n11, n12, n22, and n23, in exactly the same way as the learning operation, the quantizer quantizes the input feature data, switches based on the quantized data, and sequentially selects paths p11, p12, p21, and p22. I do. In the case of the recognition operation, the teacher input signal is not input to the signal input terminals of the unit recognition units n34 and n36 in the third layer. Therefore, the state of the switches at the time of learning is held, and the paths p31 and p31 are changed according to the states of these switches.
32 is selected, and the path signal “1” is sent to the path input terminal of the unit recognition unit n42 of the fourth layer. The adder in the path input unit of this unit adds the path signals input through the paths p31 and p32. The signal "1" is input to the signal input terminal of the signal input unit, the quantizer quantizes the signal, the path selector sets the path output to a possible state, and when the signal "0" is input The path selector switches to a state in which the path is not output.) The added path input signal is sent to the path output unit. The path output device performs threshold processing on this signal and outputs the signal to a path output terminal. Therefore, if the value of the added signal is larger than a certain threshold value, an output is made. In this way, only the route selection and addition are performed, and the recognition target is input based on the input recognition target feature data. Since the classification and recognition judgment of the object can be performed, the processing speed is extremely high. Note that a sigmoid function, a step function, or the like can be used as a function for performing threshold processing.

【0036】[0036]

【発明の効果】以上説明してきたように、本発明の学習
型認識判断装置は少なくとも信号入力部と、信号出力部
とによって単位ユニットを構成し、前記単位ユニットの
構成及び機能を記憶させる構造記憶手段と、前記単位ユ
ニットの内部状態を記憶させる内部状態記憶手段と、前
記記憶させた内部状態の状態に応じて、単位認識ユニッ
トの構造記憶手段に記憶させた構造及び機能を有し、単
位認識ユニットの複製を作成する複製手段と、前記複製
手段で単位認識ユニットを複製する際の、量子化の範囲
の分割を制御する分割制御手段を設けた単位認識ユニッ
ト及び、前記単位認識ユニットを、多層の階層ネットワ
−ク状に複数個組み合わせて構成したものであり、入力
デ−タに応じて、各単位認識ユニットの内部状態が変化
し、複製作成手段が動作して、各単位認識ユニットの複
製を作成する際に、分割制御手段によって、入力データ
に対する既存の知識に基づいた制御を行なうため、入力
信号に応じて適応的にネットワ−クの構造を自動的に変
更することで自己組織化が可能であり、分割範囲記憶手
段に記憶されている分割可能範囲を広くとるか、又は分
割点記憶手段に記憶されている分割可能点を細かくする
ことによって、学習していない新規なデ−タ入力に対す
る汎化性にも優れさせることができる。又、多層の階層
ネットワ−クを構成する各単位認識ユニットの信号入力
部に、対象物の各種特徴デ−タを入力し、量子化器の出
力に応じて、単位認識ユニット同士の結合経路を切り換
え、最下層の前層に於いては、教師信号入力によって最
下層までの選択経路を決定するだけでよく、従って、非
常に高速に学習処理が行える。又、認識過程に於いて
は、多層の階層ネットワ−クを構成する各単位認識ユニ
ットの信号入力部に、対象物の各種特徴デ−タを入力
し、量子化器の出力に応じて、単位認識ユニット同士の
結合経路を切り換え、又、最下層の前層に於ては、学習
過程で設定された結合経路に基づいて、最下層までの選
択経路を決定するだけで認識結果が得られ、従って、学
習結果に基づいて、非常に高速に認識処理が行える。
As described above, the learning type recognition / judgment device of the present invention forms a unit unit by at least the signal input unit and the signal output unit, and stores the structure and function of the unit unit. Means, an internal state storage means for storing the internal state of the unit unit, and a structure and function stored in the structure storage means of the unit recognition unit in accordance with the state of the stored internal state. A duplication unit for duplicating a unit, a unit recognition unit provided with division control means for controlling division of a range of quantization when duplicating a unit recognition unit by the duplication unit, and the unit recognition unit having a multilayer structure. The internal state of each unit recognition unit changes in accordance with input data, and In operation, when making a copy of each unit recognition unit, the division control means performs control based on the existing knowledge of the input data, so that the network structure is automatically adaptively adjusted according to the input signal. It is possible to self-organize by changing the range, by taking a wider dividable range stored in the division range storage means, or by making the dividable points stored in the division point storage means finer, The generalization of the new data input that has not been learned can be improved. Also, various characteristic data of the object is input to the signal input section of each unit recognition unit constituting the multi-layer hierarchical network, and the connection path between the unit recognition units is determined according to the output of the quantizer. In the switching and the lowermost layer, it is only necessary to determine the selection path to the lowermost layer based on the input of the teacher signal, so that the learning process can be performed at a very high speed. Also, in the recognition process, various characteristic data of the object are input to the signal input section of each unit recognition unit constituting the multi-layer hierarchical network, and the unit is changed according to the output of the quantizer. The recognition result is obtained only by switching the connection path between the recognition units and in the preceding layer of the lowest layer, determining the selection path to the lowest layer based on the connection path set in the learning process, Therefore, the recognition processing can be performed very quickly based on the learning result.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明による単位認識ユニットの第1の実施例
を示すブロック図
FIG. 1 is a block diagram showing a first embodiment of a unit recognition unit according to the present invention.

【図2】同じく図1における経路選択部を経路入力部、
経路出力部、スイッチで構成した例を示すブロック図
FIG. 2 is a diagram showing a route selection unit in FIG.
Block diagram showing an example composed of a path output unit and a switch

【図3】同じく図2におけるスイッチを経路荷重部に置
き換えた例を示すブロック図
3 is a block diagram showing an example in which the switch in FIG. 2 is replaced with a path load unit.

【図4】同じく図1における経路選択部の経路入力部を
加算器で、経路出力部をしきい値処理器で構成した例を
示すブロック図
4 is a block diagram showing an example in which the route input unit of the route selection unit in FIG. 1 is configured by an adder and the route output unit is configured by a threshold value processor;

【図5】同じく図1における分割制御手段を分割点出力
部、比較器、分割範囲記憶手段、中点演算器とで構成し
た例を示すブロック図
FIG. 5 is a block diagram showing an example in which the division control unit in FIG. 1 is composed of a division point output unit, a comparator, a division range storage unit, and a midpoint computing unit.

【図6】同じく図1における分割制御手段を分割点出力
部、最小値検出器、距離演算器、分割範囲記憶手段、中
点演算器とで構成した例を示すブロック図
FIG. 6 is a block diagram showing an example in which the division control unit in FIG. 1 is composed of a division point output unit, a minimum value detector, a distance calculator, a division range storage unit, and a middle point calculator.

【図7】同じく図6の分割点出力部を、許容誤差記憶手
段と、比較器と、分割点出力器とで構成した例を示すブ
ロック図
FIG. 7 is a block diagram showing an example in which the division point output unit of FIG. 6 is composed of an allowable error storage unit, a comparator, and a division point output unit.

【図8】本発明の学習型認識判断装置の一実施例を示し
たブロック図
FIG. 8 is a block diagram showing an embodiment of a learning type recognition / judgment device according to the present invention.

【図9】同じくそのネットワ−クを含めた複製動作を示
す図
FIG. 9 is a diagram showing a copying operation including the network.

【図10】従来例の学習型認識判断装置の一般的構成を
示すブロック図
FIG. 10 is a block diagram showing a general configuration of a conventional learning-type recognition / judgment device.

【図11】従来例の学習型認識判断装置のブロック図FIG. 11 is a block diagram of a conventional learning-type recognition / judgment device.

【図12】同じく図11における加算器の特性関数の特
性図
FIG. 12 is a characteristic diagram of a characteristic function of the adder in FIG. 11;

【符号の説明】[Explanation of symbols]

1 信号入力部 1a 信号入力端子 2 量子化器 3 経路選択部 3a 経路入力端子 3b1 経路出力端子 3b2 経路出力端子 4 構造記憶手段 5 内部状態記憶手段 6 複製作成手段 7 分割制御手段 7a 中点演算器 7b 分割点出力部 7b1 許容誤差記憶手段 7b2 比較器 7b3 分割点出力器 7c1 分割範囲記憶手段 7c2 分割点記憶手段 7d 比較器 7e 最小値検出器 7f 距離演算器 8 単位ユニット 9 単位認識ユニット 1 Signal input unit 1a Signal input terminal 2 Quantizer 3 Route selection unit 3a Route input terminal 3b1 Route output terminal 3b2 Route output terminal 4 Structure storage unit 5 Internal state storage unit 6 Duplication creation unit 7 Division control unit 7a Midpoint computing unit 7b Division point output unit 7b1 Tolerance storage unit 7b2 Comparator 7b3 Division point output unit 7c1 Division range storage unit 7c2 Division point storage unit 7d Comparator 7e Minimum value detector 7f Distance calculator 8 Unit unit 9 Unit recognition unit

───────────────────────────────────────────────────── フロントページの続き (72)発明者 丸野 進 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 平4−142658(JP,A) (58)調査した分野(Int.Cl.6,DB名) G06F 15/18 JICSTファイル(JOIS)────────────────────────────────────────────────── ─── Continuation of front page (72) Inventor Susumu Maruno 1006 Kazuma Kadoma, Kadoma City, Osaka Prefecture Matsushita Electric Industrial Co., Ltd. (56) References JP-A-4-142658 (JP, A) (58) Field (Int.Cl. 6 , DB name) G06F 15/18 JICST file (JOIS)

Claims (8)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 信号入力部と、前記信号入力部からの入
力信号に応じて量子化を行なう量子化器と、単一又は複
数の経路入力端子と、少なくとも1個の経路出力端子
と、前記量子化器の出力に応じて、経路の選択を行なう
経路選択部とによって単位ユニットを構成し、前記単位
ユニットと、前記量子化器の量子化の範囲及び量子化の
個数を量子化定数として記憶させる構造記憶手段と、前
記単位ユニットへの入力信号の平均,分散,入力回数を
内部状態として記憶させる内部状態記憶手段と、前記記
憶させた内部状態に基づいて前記量子化の範囲を2分割
し、分割前の前記単位ユニットの全構造と、分割後の各
量子化の範囲を持つ単位ユニットをそれぞれ作成する
うに構成した複製作成手段と、前記複製手段による前記
量子化の範囲の2分割点を制御する分割制御手段とを設
、前記分割制御手段は、量子化の範囲の中点を算出す
る中点演算器と、量子化の分割可能範囲の上限値と下限
値を記憶させる分割範囲記憶手段と、前記分割可能範囲
の上限値、下限値と前記算出した中点とを比較する比較
器と、前記中点が前記分割可能範囲の上限値と下限値と
の間にあるときに、前記算出した中点を前記量子化の範
囲の2分割点として、複製作成手段に出力する分割点出
力部とで構成することを特徴とする単位認識ユニット。
A signal input unit, a quantizer that performs quantization in accordance with an input signal from the signal input unit, a single or multiple path input terminals, at least one path output terminal, A unit unit is constituted by a path selection unit for selecting a path according to the output of the quantizer, and the unit unit and the quantization range and the number of quantizations of the quantizer are stored as quantization constants. Structure storing means for storing the average, variance, and input count of the input signal to the unit unit as an internal state; and dividing the quantization range into two based on the stored internal state. The unit structure having the entire structure of the unit unit before division and each quantization range after division is created .
And a division control means for controlling two division points of the quantization range by the duplication means , wherein the division control means calculates a middle point of the quantization range.
And the upper and lower limits of the dividable range of quantization
Division range storage means for storing a value, and the division possible range
Comparison of comparing the upper limit value, lower limit value and the calculated midpoint of
Container, and the midpoint is an upper limit and a lower limit of the dividable range.
, The calculated midpoint is defined as the quantization range.
Divide points to be output to the duplication creation means as two divided points
A unit recognition unit comprising a power unit.
【請求項2】 分割制御手段を、中点演算器と、少なく
とも1箇所の量子化の分割可能点を記憶させる分割点記
憶手段と、量子化の範囲の中点と前記分割可能点との距
離を演算する距離演算器と、前記距離演算器で求めた各
距離の最小値を求める最小値検出器と、前記最小値検索
器で求めた最小値を持つ前記分割可能点を、前記量子化
の範囲の2分割点として、複製手段に出力する分割点出
力部とに置き換えて構成した、請求項1に記載の単位認
識ユニット。
2. A division control means comprising a midpoint arithmetic unit and
A division point notation that stores the dividable point of quantization in one place
Storage means and the distance between the midpoint of the quantization range and the dividable point.
A distance calculator for calculating the distance, and each of the distances calculated by the distance calculator.
A minimum value detector for determining a minimum value of the distance, and the minimum value search
The dividable point having the minimum value obtained by the
Divided point output to the duplication means as two divided points in the range
2. The unit recognition according to claim 1, wherein said unit is replaced with a force part.
Sense unit.
【請求項3】 分割点出力部は、分割許容誤差を記憶さ
せた許容誤差記憶手段と、最小値検出器で求めた最小値
と前記分割許容誤差を比較する比較器と、前記最小値が
前記分割許容誤差よりも小さいときに、前記最小値検出
器で求めた前記最小値を持つ分割可能点を、量子化の範
囲の2分割点として複製手段に出力する分割点出力器と
で構成した、請求項に記載の単位認識ユニット。
3. A division point output unit includes: an error storage unit that stores a division allowable error; a comparator that compares a minimum value obtained by a minimum value detector with the division allowable error; When the division point is smaller than the division allowable error, the division point having the minimum value obtained by the minimum value detector is configured as a division point output unit that outputs to a duplication unit as two division points in a quantization range, The unit recognition unit according to claim 2 .
【請求項4】 単一又は複数の経路入力端子を有する経
路入力部と、単一又は複数の経路出力端子を有する経路
出力部と、前記経路入力部の経路入力端子と前記経路出
力部の経路出力端子との連結を、量子化器の出力に応じ
て切り換えるスイッチとによって経路選択器を構成し
た、請求項1〜3に記載の単位認識ユニット。
4. A route input unit having one or more route input terminals, a route output unit having one or more route output terminals, a route input terminal of the route input unit, and a route of the route output unit. The unit recognition unit according to any one of claims 1 to 3 , wherein a path selector is configured by a switch that switches connection with an output terminal according to an output of the quantizer.
【請求項5】 単一又は複数の経路入力端子を有する経
路入力部と、単一又は複数の経路出力端子を有する経路
出力部と、前記経路入力部の経路入力端子と前記経路出
力部の経路出力端子との連結の強度を、量子化器の出力
に応じて変化させる荷重器とによって経路選択器を構成
した、請求項に記載の単位認識ユニット。
5. A route input unit having one or more route input terminals, a route output unit having one or more route output terminals, a route input terminal of the route input unit, and a route of the route output unit. The unit recognition unit according to claim 4 , wherein the path selector includes a loader that changes the strength of connection with the output terminal according to the output of the quantizer.
【請求項6】 少なくとも複数の経路入力端子からの入
力信号を加算する加算器によって経路入力部を構成し、
少なくとも前記加算器の出力信号をしきい値処理するし
きい値処理器によって経路出力部を構成した、請求項
又は請求項5に記載の単位認識ユニット。
6. A path input section comprising an adder for adding input signals from at least a plurality of path input terminals,
An output signal of at least the adder is configured to route output section by thresholding device for thresholding, claim 4
Or the unit recognition unit according to claim 5 .
【請求項7】 請求項1〜6のいずれかに記載の単位認
識ユニットを、多層の階層状に複数個組み合わせ、最下
層を請求項6に記載の単位認識ユニットにて構成し、多
層の階層構造中の最下層の前層に位置する単位認識ユニ
ットの信号入力部に、教師信号を入力するように構成し
た学習型認識判断装置。
7. A multi-layered structure in which a plurality of unit recognition units according to any one of claims 1 to 6 are combined in a multi-layer hierarchy, and the lowermost layer is constituted by the unit recognition units according to claim 6. The unit is configured to input a teacher signal to the signal input unit of the unit recognition unit located in the previous layer at the bottom of the structure.
Other studies習型recognition judgment apparatus.
【請求項8】 多層の階層構造中にある全単位認識ユニ
ットの複製作成動作を検出する複製作成検出手段を設
け、単位認識ユニットの複製を作成する際に、前記単位
認識ユニットに連結させた下層の単位ユニットの全てを
含めて複製を作成させるように構成した請求項に記載
の学習型認識判断装置。
8. A copy detection unit for detecting a copy creation operation of all unit recognition units in a multi-layered hierarchical structure, wherein a lower layer connected to the unit recognition unit is used when a copy of the unit recognition unit is created. 8. The learning-type recognition / determination apparatus according to claim 7 , wherein a copy is created including all of the unit units.
JP6224696A 1994-09-20 1994-09-20 Unit recognition unit and learning type recognition judgment device Expired - Fee Related JP2776265B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6224696A JP2776265B2 (en) 1994-09-20 1994-09-20 Unit recognition unit and learning type recognition judgment device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6224696A JP2776265B2 (en) 1994-09-20 1994-09-20 Unit recognition unit and learning type recognition judgment device

Publications (2)

Publication Number Publication Date
JPH0887482A JPH0887482A (en) 1996-04-02
JP2776265B2 true JP2776265B2 (en) 1998-07-16

Family

ID=16817813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6224696A Expired - Fee Related JP2776265B2 (en) 1994-09-20 1994-09-20 Unit recognition unit and learning type recognition judgment device

Country Status (1)

Country Link
JP (1) JP2776265B2 (en)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2762735B2 (en) * 1990-10-03 1998-06-04 松下電器産業株式会社 Unit recognition unit and learning type recognition judgment device

Also Published As

Publication number Publication date
JPH0887482A (en) 1996-04-02

Similar Documents

Publication Publication Date Title
EP0591921B1 (en) Learning and recognition machine
US5214746A (en) Method and apparatus for training a neural network using evolutionary programming
US5265224A (en) Recognition unit and recognizing and judging apparatus employing same
JPH04503274A (en) Distributed parallel processing networks where connection weights are generated using linear differential equations
Yih et al. A neural network design for circuit partitioning
JP2776265B2 (en) Unit recognition unit and learning type recognition judgment device
Junge et al. Online identification of nonlinear time-variant systems using structurally adaptive radial basis function networks
JP2762735B2 (en) Unit recognition unit and learning type recognition judgment device
JPH06161981A (en) Neural network circuit
Kaoutar et al. Multi-criteria optimization of neural networks using multi-objective genetic algorithm
JP2779119B2 (en) Learning recognition device
US5329594A (en) Recognizing and judging apparatus
JPH0619869A (en) Unit recognition unit and learning type recognition judgement device
JP2767974B2 (en) Unit recognition unit and recognition judgment device
Uykan Clustering-based algorithms for single-hidden-layer sigmoid perceptron
JP3337597B2 (en) Learning type recognition judgment device
Tetko et al. Simple heuristic methods for input parameters' estimation in neural networks
US5542005A (en) Recognition unit and recognition apparatus
JP2752264B2 (en) Recognition judgment device
Yu et al. An adaptive step size for backpropagation using linear lower bounding functions
JPH05303642A (en) Pattern recognition device
Singal et al. Incorporation of Fuzziness in ID3 and Generation of Network Architerture
JPH06149769A (en) Learning type recognizing and judging device
JPH05225168A (en) Unit recognizing unit and learning type recognizing/ deciding device
JPH07325795A (en) Learning type recognition and judgment device

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees