JPH08115386A - Pattern recognition device - Google Patents

Pattern recognition device

Info

Publication number
JPH08115386A
JPH08115386A JP6253203A JP25320394A JPH08115386A JP H08115386 A JPH08115386 A JP H08115386A JP 6253203 A JP6253203 A JP 6253203A JP 25320394 A JP25320394 A JP 25320394A JP H08115386 A JPH08115386 A JP H08115386A
Authority
JP
Japan
Prior art keywords
pattern
storage unit
pattern recognition
learning
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6253203A
Other languages
Japanese (ja)
Inventor
Masanori Ichinose
Masatsugu Kametani
昌則 一野瀬
雅嗣 亀谷
Original Assignee
Hitachi Ltd
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, 株式会社日立製作所 filed Critical Hitachi Ltd
Priority to JP6253203A priority Critical patent/JPH08115386A/en
Publication of JPH08115386A publication Critical patent/JPH08115386A/en
Application status is Pending legal-status Critical

Links

Abstract

PURPOSE: To improve the efficiency of learning by providing a network structure control part for increasing or decreasing the number of respective storage units of a storage part.
CONSTITUTION: An input process part 2 extracts a characteristic pattern from input data 1, and a pattern similar to the extracted characteristic pattern is processed. For example, a storage unit 3-1 performs the learning of the characteristic pattern. An output process part 4 finds the rate, frequency, etc., of the inclusion of the characteristic pattern by referring the output values of the respective storage units 3-1 to 3-n of the storage part 3 and if it is Judged that there is no storage unit to take charge of receiving the pattern similar to the extracted characteristic pattern, the network structure control part 5 adds a storage unit and makes the unit learn. The network structure control part 5 deletes an unnecessary storage unit or adds a deficient storage unit according to the use frequencies and learning states of the respective storage units 3-1 to 3-n to dynamically change the connection relation.
COPYRIGHT: (C)1996,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は、音声や文字、図形などの入力データの特徴パターンを効率良く学習し、またシステムの置かれる環境に合わせて内部構造を動的に変化することが出来るパターン認識装置に関する。 The present invention relates to a voice or text, and efficiently learn feature pattern of the input data, such as graphics, also can dynamically change the internal structure according to the environment placed by the system pattern about the recognition device.

【0002】 [0002]

【従来の技術】従来、入力されたデータ中に含まれるパターンをいくつかのカテゴリに識別し、またパターンをカテゴリに分類する基準となる特徴の学習を行うことが出来るパターン認識装置として代表的なものに、誤差逆伝播法により学習する多層パーセプトロン(Perceptron) Conventionally, to identify a number of categories of pattern contained in input data, also patterns representative based learning pattern recognition apparatus capable of performing a feature made to categorize the those, multilayer perceptron learning by back propagation method (perceptron)
型のニューラルネットワークがある。 There is a type of neural network.

【0003】この多層パーセプトロン型のニューラルネットワークは、入力層として入力ベクトルの次数、出力層として識別するカテゴリの数だけのユニットを用意し、さらに中間層の層数およびユニット数を十分な数だけ用意し、そのユニット間を全結線したものである。 [0003] The multi-layer perceptron type neural network, the order of the input vector as an input layer, prepared by the unit number of categories identified as the output layer, further providing a sufficient number number of layers and the number of units of the intermediate layer and it is obtained by all connected between the units.

【0004】しかし、複雑な識別をしようとするとユニット数及び結線数が増大し演算量も多くなるだけでなく、ユニット数が増えるに従い誤差逆伝播法の学習における学習平面が複雑な形状をとるようになり、この平面の最急降下法による学習法である誤差逆伝播学習には非常に時間がかかってしまったり、局所最適解に陥ったりして学習が収束しないという問題があった。 However, complex when you try to identify the number of units and connection number is increased calculation amount not only increases, so that the learning plan in the learning of the error backpropagation as the number of units is increased take complex shapes to become, or became ill a very long time in the error back propagation learning is a learning method based on the steepest descent method of this plane, learning or fall into local optimal solution there is a problem that does not converge.

【0005】このような問題を解決するために、特開平2−238560号公報に開示されているように、ニューラルネットワークの学習の収束判定を行い、学習が進行していないと判断した場合は中間層を拡張する方法がある。 [0005] In order to solve such a problem, as disclosed in Japanese Patent Laid-Open No. 2-238560 performs convergence test of neural network training, intermediate when the learning is determined not to proceed there is a way to extend the layer.

【0006】しかし、本方法においては、学習が収束するかどうか判断出来るまでに時間がかかることと、層状ニューラルネットワークに中間層を追加してから再び学習を行ない、中間層の機能分化を再び行わなければならないという問題がある。 [0006] However, in this method, whether and can take a long time until it can be determined whether the learning is converged, again subjected to learning from and add an intermediate layer in a layered neural network, again perform the function differentiation of the intermediate layer there is a problem that must be.

【0007】 [0007]

【発明が解決しようとする課題】上述したパーセプトロンによる第1の従来方式において、学習の収束に要する時間を少なくするためには、できるだけユニット数を減らすことと入力データと出力間の非線形性をなくすことで前述の学習平面の形状を単純にし、最急降下法が有効に働くようにする必要がある。 [SUMMARY OF THE INVENTION In the first conventional method using perceptron as described above, in order to reduce the time required for convergence of the learning, eliminating the input data and to reduce as much as possible the number of units the nonlinearity between the output to simplify the shape of the aforementioned learning plan by, it is necessary to steepest descent method works effectively. しかし一方で、システムに要求される分類識別機能は複雑なものへの要求が高い。 However, on the other hand, classification identification functions required in the system has a high demand for complex.

【0008】さらに、上述した従来の方式で必要となる中間層の層数やユニット数は予測が難しく、必要となる数よりも多く設定するのが一般的である。 Furthermore, the number of layers and the number of units in the hidden layer that is required in the conventional method described above is difficult to predict, to set more than the number required are common. これは上述した学習平面の単純化を妨げるだけでなく、計算機資源も余分に消費することになる。 This not only prevents the simplification of the learning plan mentioned above, computer resources also would consume extra. ところが、ユニット数を必要となる数より少なく設定すると、入力データを学習しきれなくなり学習が収束しないといった問題がある。 However, if you set less than the number required for the number of units, there is a problem that the learning will not be completely learn the input data do not converge.

【0009】また、中間層を拡張する第2の方法では、 Further, in the second method of extending the intermediate layer,
学習が収束するかどうか判断出来るまでに時間がかかることと、層状ニューラルネットワークに中間層を追加しても中間層の機能分化がなされていない状態のため、中間層を追加してから再び学習を行ない、中間層の機能分化が十分なされなければ追加の効果があらわれにくいため、オフラインで学習する場合には良いが、認識しながら学習も行なう場合には問題がある。 Learning and may take some time to be determined whether convergence, since a state where functions differentiation is not made of the intermediate layer be added intermediate layer layered neural network, again learning after adding the intermediate layer deeds, since the functional specialization of the intermediate layer is not easily appear additional effect to be sufficient, although good for when learning offline, when recognized while learning be performed is problematic.

【0010】本発明の目的は、それぞれの記憶ユニットを特定の特徴パターンを記憶する独立な処理の単位として分離することで記憶ユニット単位の追加・削除が認識処理全体に与える影響を極小化し、学習の進行状況や学習内容に応じて記憶ユニットの個数、内容および結合構造を既学習結果を損なうことなく変化させることで学習の効率を高めたパターン認識装置を提供することにある。 An object of the present invention is to minimize the effects of addition and deletion of the storage unit basis has on the whole recognition process by separating the respective storage units as a unit of independent process of storing specific characteristic pattern, learning the number of storage units in accordance with the progress status and learning contents of, is to provide a pattern recognition apparatus having improved efficiency of learning by changing without impairing the already learned result the content and bond structure.

【0011】 [0011]

【課題を解決するための手段】上記課題を解決するため、本発明のパターン認識装置は入力されたデータから特徴量や特徴パターンを抽出する入力処理部と、特徴パターンを分類して記憶するための記憶ユニットと、抽出された特徴パターンをもとに入力されたデータが属するカテゴリを想起する出力処理部に加え、前記記憶部の各記憶ユニットおよび出力処理部の結合構造を可変に制御することで、学習内容の変化に追従して適切な分類の記憶ユニットを持った結合構造に変化させることのできるネットワーク構造制御部を備えて構成される。 In order to solve the above problems SUMMARY OF THE INVENTION The pattern recognition apparatus of the present invention is an input processing unit for extracting a feature value and the feature pattern from the input data, to classify and store characteristic patterns a storage unit, in addition to the output processing unit input data the extracted feature pattern based on the recall category belonging, to variably control the coupling structure of each memory unit and the output processing unit of the storage unit in, and a network structure controller capable of changing following the change of the learning content to the coupling structure having a storage unit of the appropriate classification.

【0012】 [0012]

【作用】入力データが与えられると、入力処理部は入力データから特徴的なパターンもしくは入力データを良く表す特徴量を抽出する。 [Action] When the input data is given, the input processing unit extracts a feature quantity representing well a characteristic pattern or input data from the input data. そして、抽出された特徴パターンを適当に分類して、そのパターンと類似のパターンの処理を行なう記憶ユニットがその特徴パターンの学習を実行する。 Then, the extracted feature pattern by appropriately classified, storage unit for processing a similar pattern and the pattern to perform the learning of the feature pattern. 記憶ユニット内の特徴パターンの分類や学習を行う機構は対象の種類に応じてニューラルネットワークやDPマッチングなどを自由に選択することができる。 Mechanism for classifying and learning feature pattern in the storage unit can be freely selected and neural network and the DP matching in accordance with the type of the object.

【0013】出力処理部では記憶部の各記憶ユニットの出力値を参照して特徴パターンの含まれる割合や頻度などを求め、それをもとに入力データがどのカテゴリに属するかの判断を行う。 [0013] Output seek such as the percentage or frequency included featureless pattern with reference to the output value of each storage unit of the storage unit in the processing unit, it performs determination of whether it belongs to which category input data based on. もし、抽出された特徴パターンに類似したパターンを受け持つ記憶ユニットがまだ無いと判断される場合は、ネットワーク構造制御部により記憶ユニットを追加してそのユニットに学習させる。 If the storage unit in charge of the similar pattern to the extracted feature pattern is determined to not yet adds the storage unit by the network structure controller is learned that unit.

【0014】ネットワーク構造制御部では各記憶ユニットの使用頻度や学習の状況に応じて、必要の無い記憶ユニットを削除したり不足している記憶ユニットを追加したりして結合関係を動的に変化させる。 [0014] In the network structure controller according to the condition of usage and learning of each storage unit, coupled to add the storage unit missing or removed without storage unit you need relationship dynamically changed make. 従って、環境が変化して記憶する特徴パターンの数や記憶内容が変化しても、本発明のパターン認識装置は常に適切なネットワーク規模及び構造に自動調整される。 Therefore, the number and contents stored in the characteristic pattern stored environment is changed even if the change, the pattern recognition apparatus of the present invention is automatically adjusted at all times to the appropriate network size and structure.

【0015】さらに本発明のパターン認識装置では、通常の層状ニューラルネットワークのように中間層の役割がはっきりせずひとつの中間層のユニットの出力が幾つもの出力ユニットに対し影響を与えるのと異なり、パターンごとに記憶ユニットが独立しているためユニットの追加・削除に対して既学習内容に与える影響が少ないという効果もある。 [0015] In the pattern recognition apparatus of the present invention further differs output of unit of one of the intermediate layer without the role of the intermediate layer clearly like normal layered neural network as an impact to the output unit of a number, a storage unit for each pattern there is also that the effect is less impact on the existing learning content for the addition and deletion of the unit for which are independent.

【0016】また、それぞれの記憶ユニットは類似パターン毎に独立して用意し、分類された特徴パターンの記憶という比較的単純な機能に限っているため、学習の収束が速くなることや、あらかじめ予想される特徴パターンのデータを用意しておくことができるという効果もある。 Further, each of the storage units is prepared independently for each similar pattern, since only a relatively simple function of the classified feature pattern storage, and the convergence of the learning becomes faster, previously expected there is also an effect that it is possible to be prepared the data of the feature pattern.

【0017】 [0017]

【実施例】以下、本発明の実施例を詳細に説明する。 EXAMPLES Hereinafter, an embodiment of the present invention in detail.

【0018】図1は本発明のパターン認識装置のブロック図である。 [0018] FIG. 1 is a block diagram of a pattern recognition apparatus of the present invention.

【0019】この図1において、本システムにデータ1 [0019] In FIG 1, data 1 to the system
が入力されると入力処理部2は入力されたデータの中からシステムが着目すべき特徴パターンを抽出する。 There input processing unit 2 is input to extract a characteristic pattern should be noted the system from the inputted data. この特徴パターンは正規化したパターンや、特徴となる部分を検出切り出しした局所特徴パターンのほか、入力されたデータの統計量、データの中の顕著な値を確率的にあるいは順番に取り出した値のように、入力されたデータについて着目した量について前処理を行った特徴パターンデータを用いる。 This feature pattern pattern and normalized, local feature pattern portion which is a feature detected excised addition, statistics of the input data, the value taken out stochastically or sequentially distinguished value in the data as such, using the feature pattern data subjected to the pretreatment for the amount which focuses on the input data.

【0020】記憶部3は複数の記憶ユニット3−1〜n The storage unit 3 includes a plurality of storage units 3-1~n
からなり、各記憶ユニット3−1〜nは入力処理部2で得られた特徴パターンと記憶内容を照合し、適合していると判断すればその記憶ユニットは発火し、かつ入力処理部2で得られた特徴パターンを記憶する。 From it, the storage unit 3-1~n collates the stored content, wherein the pattern obtained by the input processing unit 2, the storage unit if determined that the fit ignited, and the input processing unit 2 obtained feature pattern storing. すなわち、 That is,
特徴パターンと記憶しているパターンとの間のパターン空間上での距離を求め、その値が許容値以下であれば類似したパターンであると判断して記憶ユニットは発火し、記憶しているパターンを先に求めた距離が短くなる方向に微調整する。 Seek distance on the pattern space between the pattern and the stored characteristic patterns, a pattern whose value storage unit determined to be similar pattern equal to or less than the tolerance ignited stores distance obtained previously for the fine adjustment in the direction of shorter.

【0021】このような処理を行なう記憶ユニット3− The storage unit performing such processing 3-
1〜nはテーブル検索処理、ファジィシステム、ニューラルネットワーク等により目的に応じて自由に構成され、入力処理部2から渡される特徴パターンについて判断および記憶を行う。 1~n the table search, the fuzzy system, freely configured according to the purpose by the neural network or the like, and determines and stores the feature pattern to be passed from the input processing unit 2.

【0022】出力処理部4は抽出された特徴パターンをもとに発火した記憶ユニット3−iの種類や強さにより、入力されたデータが属するカテゴリの想起および学習をする。 The output processing unit 4 depending on the type and strength of the storage unit 3-i that fire characteristic pattern extracted on the basis of the recall and learning of the category input data belongs. ここで、記憶部3から出力される、入力されたパターンと各記憶ユニットの記憶内容との類似度は、 Here, the output from the storage unit 3, the degree of similarity between the stored contents of the input pattern and each of the storage units,
一般的にはパターンが適合している/していないという2値に意味があることから出力処理部4ではしきい値処理や最大値検出による2値化を行い、その結果を用いて判断を行う。 Generally performs binarization by the output processing unit 4, thresholding and maximum value detection since there is meaningful 2 value of not / pattern is matched, the determination using the result do.

【0023】ネットワーク構造制御部5は記憶部3の各記憶ユニット3−1〜nおよび出力処理部4の結合関係を規定し、さらに学習の進行状況や記憶ユニットの使用頻度等を基にその結合関係および記憶ユニット3−1〜 The network structure controller 5 defines the binding relationship of the storage units 3-1~n and the output processing unit 4 of the storage unit 3, further its binding based on frequency of use, etc. of the progress and memory unit of the learning relationship and the storage unit 3-1
nの数を動的に変化させる。 n dynamically changing the number of. ここで記憶部3の規模を適切な容量に自動調整することで、必要最小限の記憶ユニット構成をとることにより学習・識別にかかる時間を短縮する。 Here the scale of the storage unit 3 by automatically adjusted to an appropriate volume, to reduce the time required for learning and identification by taking the unit configuration requires minimal.

【0024】さらに必要な記憶内容を持つ記憶ユニット3−1〜nを取捨選択し結合構造を変化することで、システムのおかれた動作環境が時間と共に変化したとしてもそれに合わせて適切な構造を取ることができる。 [0024] By varying the selection and coupling structure storage unit 3-1~n with more required storage contents, an appropriate structure accordingly be placed operating environment of the system changes with time it is possible to take.

【0025】以上のように本発明のパターン認識装置では、それぞれの機能ごとにユニット化することで動作内容を単純化・2値化することと、記憶部の容量や記憶の内容を調整することで、特にニューラルネットワークにより記憶部を構成したときの学習速度、及び計算処理の負担を軽減している。 [0025] In the pattern recognition apparatus of the present invention, as described above, and to simplify, binarization operation content by unitized for each function, adjusting the content of the capacity and storage of the storage unit in, in particular reduces the learning speed at the time of constituting the storage unit by the neural network, and the burden of calculation processing. さらに、記憶ユニットごとの処理は独立に行えるため、並列計算機を用いることで高速処理を行うことも可能である。 Further, processing for each storage unit is capable of performing independently, it is also possible to perform high-speed processing by using a parallel computer.

【0026】図2は本発明のパターン認識装置を図形認識に応用した場合の一実施例である。 [0026] Figure 2 shows an embodiment in which the pattern recognition apparatus of the present invention is applied to graphic recognition.

【0027】この図2において、認識すべきパターン1 [0027] Pattern 1 in FIG. 2, to be recognized
が提示されると入力処理部2は認識すべきパターン1に対してウインドウを設定し、認識すべきパターン1全体を走査する。 There input processing unit 2 to be presented to set the window for the pattern 1 to be recognized, to scan the pattern 1 as a whole to be recognized. そして順次、設定したウインドウ内のパターンの画素があれば1、無ければ−1として記憶部3の入力ベクトルとする。 Then sequentially, 1 if the pixel pattern in the window set, the input vector of the storage unit 3 as a -1 if there.

【0028】この例のように、認識すべきパターン全体を対象とせずパターンの一部を利用することで、パターンに含まれる平行移動不変な局所特徴パターンを抽出することができ、図形の変形や雑音に対し頑強になるほか、パターン全体を記憶していくよりも記憶効率が良くなるという利点がある。 [0028] As in this example, by using a part of the pattern without the object across to be recognized pattern, it is possible to extract the translation invariant local feature pattern included in the pattern, Ya deformation of figures in addition to be robust with respect to noise, there is an advantage that storage efficiency is better than continue to store the entire pattern.

【0029】入力処理部でのウインドウ設定法の別の実施例として、入力処理部2は認識すべきパターン1に対してラプラシアンオペレータを作用させ、空間方向の図形の変化量を算出し、この変化量の大きさで重み付けされた確率分布で認識すべきパターン1の中から特徴部分の要素の中心を選択し、その部分を中心としたウインドウを設定してもよい。 [0029] As another example of the window method for setting the input processing unit, the input processing unit 2 is a Laplacian operator to act on the pattern 1 to be recognized, and calculates the amount of change in the spatial direction of the figure, this change select the element center of the characteristic portion from the amount of to be recognized by the weighted probability distribution in size pattern 1 may be set a window centered on that part.

【0030】記憶部3では各記憶ユニット3−1〜nが入力ベクトルと記憶内容の比較照合を行い、合致していればその入力ベクトルの値を学習する。 [0030] In the storage unit 3 each storage unit 3-1~n performs comparison and collation of the contents and the input vector, learns the value of the input vector if met. ここで記憶ユニットとしてニューラルネットワークを用いるのであれば、入力ベクトルxiに対しノード間結合重みwiを用いて Here, if of using the neural network as a storage unit, using the inter-node connection weights wi to the input vector xi

【0031】 [0031]

【数1】 [Number 1]

【0032】として記憶ユニットの出力値yを算出し、 [0032] calculate the output value y of the storage unit,
値を出力処理部4へ渡す。 Pass values ​​to the output processing unit 4.

【0033】出力処理部4では各記憶ユニット3−1〜 [0033] Each storage unit in the output processing section 4 3-1
nの出力値を参照し、パターンが適合したと判断できるだけのしきい値を越え、かつ他の記憶ユニットより出力が大きいなどの判定基準によって各記憶ユニットが発火するかどうかを決定し、出力値の2値化をする。 Referring to the output value of n, it exceeds the threshold value enough to determine the pattern is matched, and determines whether each storage unit is ignited by criteria such as the large output than the other storage units, the output value the binary of. そして、発火した記憶ユニットについては入力ベクトルxi Then, the ignited storage unit input vector xi
について誤差学習◆ wi=wi+ε(xi−wi)◆ を行う。 Perform error learning ◆ wi = wi + ε (xi-wi) ◆ about.

【0034】このような入力ベクトルに対しパターンがマッチするかどうかという線形の処理は2層のニューラルネットワークで処理できる、すなわち記憶すべきベクトルのパターンとノード間結合重みが一対一に対応しているため、あらかじめ予想される特徴パターンについてはそのパターンに対応する記憶ユニットとして、結合の重みを用意しておくということも容易に行える。 The linear processing of whether the pattern to such input vector matches can be processed by the neural network of two layers, i.e. coupling weight between the pattern and the node vectors to be stored is in one-to-one correspondence Therefore, the feature pattern to be expected in advance as a storage unit corresponding to the pattern, can be easily performed that are prepared the weight of binding.

【0035】ここで、ネットワーク構造制御部5は各記憶ユニット3−1〜nの出力値や発火頻度などを監視し、入力ベクトルに対し適当な分類のできる記憶ユニットがないといった場合は、記憶ユニットを追加することで、分類の異なる記憶内容を学習することによる記憶の上書きを防ぐとか、使用頻度の少ない記憶ユニットや同じ分類に属する記憶ユニットが複数あるような場合については、ユニット間の結合を切断したり記憶ユニットを削除したりして処理効率、収束効率を上げるなど、記憶内容に合わせて結合関係および記憶ユニットの数を動的に変化させる。 [0035] Here, the network structure controller 5 monitors the like output value and the firing rate of each storage unit 3-1~N, if such there is no storage unit to the input vector can appropriate classification, storage unit by adding, Toka prevent overwriting of storage by learning the different storage contents of the classification, the case storage units belonging to frequency of use less storage unit or in the same classification as are a plurality of the coupling between the units cutting or by or to remove storage unit performance, such as increasing the convergence efficiency, dynamically changing the number of binding relationships and storage unit in accordance with the stored contents.

【0036】各記憶ユニットの使用頻度を処理に反映するため、発火したときは一定量増加し何もしないときは減衰するように変化する、発火頻度を示すパラメータを各記憶ユニット3−1〜nごとに設け、それを記憶ユニットの出力のしきい値として用いる。 [0036] To reflect the processing frequency of use of each storage unit, when not doing anything to increase a certain amount when ignited changes so as to attenuate each of the storage units 3-1~n a parameter indicating a firing rate It provided each, using it as the output of the threshold storage unit.

【0037】これにより、特に学習の初期段階において同じ記憶ユニットばかりが選択・上書きされて記憶ユニットの機能分化が進行せず、記憶すべき内容の分類がうまくいかなくなることを防ぎ、さらに出力値としてこのパラメータを越える記憶ユニットが存在しない場合は、 [0037] Thus, in particular making the same storage unit in the early stages of learning does not proceed functional specialization of selected and overwritten by the memory unit prevents the classification of the contents to be stored can not work, as the further output value when the storage unit exceeds this parameter is not present,
入力ベクトルに対し適当な分類の内容を持つ記憶ユニットがないと見なして記憶ユニットおよびユニット間の結合を追加するというネットワーク構造制御部の処理の判断基準としても用いる。 Input vector to use as a criterion for the processing of the network structure controller of adding coupling between the storage units and without regards to the storage unit and a unit with the content appropriate classification.

【0038】本発明のように、各処理をユニットごとに分けられた独立なプロセスとすることで、上記のネットワーク構造の変更は単に対応するプロセスの起動を行うか否かの処理に簡単化される。 [0038] As in the present invention, by an independent process that divided the processing for each unit change of the network structure is simply simplified to do whether treatment activation of the corresponding process that.

【0039】上記のような手順で認識すべきパターン1 The pattern 1 to be recognized by the procedure as described above
に対して入力処理部2および記憶部3を走査が完了するまでの適当な回数動作させ、その2値化結果をヒストグラムとして蓄積することで、入力データ1内に存在する複数の局所特徴パターンの出現頻度を基にした判断を行なう。 The input processing unit 2 and the storage unit 3 is suitable number operations until scanning is completed for, by accumulating the binary result as a histogram, a plurality of local feature pattern present in the input data 1 the frequency of occurrence make their decisions based upon.

【0040】出力処理部4では認識すべきパターン1に対する各記憶ユニット3−1〜nの発火頻度を記憶し、 [0040] storing a firing rate of each storage unit 3-1~n for pattern 1 to be recognized by the output processing unit 4,
それを正規化することで認識すべきパターン1中に散在する特徴的パターンの比率が得られるので、これを基に認識すべきパターン1の属するカテゴリ、すなわち提示された図形が何であるかを想起する。 Since the ratio of the characteristic pattern scattered it in the pattern 1 to be recognized by normalizing to obtain, recalling or categories that belong pattern 1 to be recognized on the basis of this, that is, presented figure is what to.

【0041】本実施例では出力処理部4においてこのようなパターン想起の機能を実現するためにニューラルネットワークを用い、入力層のノード数は記憶ユニット3 [0041] Using a neural network to realize the function of such a pattern recalled in the output processing section 4 in the present embodiment, the number of nodes of the input layer storage units 3
−1〜nの数nに等しく、出力層のノード数はパターンのカテゴリの数に等しくしておき、誤差逆伝播法によって認識すべきパターン1の属するカテゴリを記憶する。 Equal to the number n of -1~N, number of nodes of the output layer leave equal to the number of pattern categories, stores the category to which belongs the pattern 1 to be recognized by backpropagation.

【0042】出力処理部の別の実施例としては、あらかじめ記憶ユニット3−1〜nの発火確率をパターンのカテゴリ毎に算出しておき、実際の入力パターンによる正規化された発火頻度から各記憶ユニット3−1〜n毎にカテゴリに属する確率を推定し、誤り確率を最小にするというベイズ(Bayes)の規則に従って各記憶ユニットのカテゴリに属する確率の和が最大となるようにカテゴリを選び、それを想起結果としてもよい。 The output as another example of the processing unit in advance to calculate the ignition probability of pre-stored unit 3-1~n each pattern category, the actual input pattern each storage from normalized firing frequency by estimating the probability of belonging to the category for each unit 3-1~N, select a category such that the sum of the probability that belong to the category of each storage unit in accordance with the rules of Bayesian (Bayes) of minimizing error probability is maximized, it may be used as the recall results.

【0043】さらに図3は、本発明のパターン認識装置を複数用い、階層結合することにより複雑なシステムを構成する場合の構成図である。 [0043] Further, FIG. 3, using a plurality of pattern recognition apparatus of the present invention is a configuration diagram in the case of constituting a complex system by hierarchical combination.

【0044】この図3において、下層のパターン認識装置6−1〜nは、入力されたデータ1に対してそれぞれ異なる特徴情報による特徴パターンを記憶していく。 [0044] In FIG. 3, the lower layer of the pattern recognition device 6-1~n may continue to store the characteristic patterns by different characteristic information on the input data 1. 先に挙げた図形認識の場合では、図形のエッジを図形重心を中心にしてハフ(Hough)変換したベクトルを特徴量としたり、色情報、輝度情報のヒストグラムを特徴量として、それぞれのパターン認識装置6−1〜nが異なる特徴量をもとにした認識を行う。 In the case of figure recognition listed above, or a Hough (Hough) feature amounts converted vector by the shape of the edges around the graphic center of gravity, the color information as the feature value histogram of luminance information, each pattern recognition device 6-1~n to perform the recognition based on different feature amount.

【0045】そして、さらに上層のパターン認識装置7 [0045] Then, an upper layer of the pattern recognition apparatus 7
がこれらの認識結果を統合して特徴量とし、それをもとに最終結果を出力する。 There is a feature quantity by integrating these recognition results, and outputs the original to the final result it.

【0046】あるパターン認識装置は、図2で説明したような局所的な特徴パターンをもとに入力データ中の図形を抽出し、あるパターン認識装置は、入力データ全体の色彩やトーンを抽出するといったように機能別にブロック化し、さらにこれら認識結果を上層のパターン認識装置7が統合して最終的な出力を得ることで、それぞれの機能別ブロックごとに適したニューラルネットワーク回路や学習方法を採用できるため学習が容易になることと、さらに新たな別の特徴量を含めて入力データを判断する必要が出てきた場合に、対応する機能ブロックを付加するだけで対処できるといった利点がある。 [0046] a pattern recognition apparatus extracts the shape in the input data based on the local feature pattern as described in FIG. 2, a pattern recognition device extracts the input data overall color and tone functional separately blocks as such, may further by these recognition results upper pattern recognition device 7 to obtain a final output by integrating, adopting a neural network circuit and learning methods suitable for each function block If learning and it becomes easy, which has become necessary to determine the input data further including another new feature quantity for, there is an advantage can deal simply by adding the corresponding function block.

【0047】また、図3では二層構造を取る場合について説明しているが、さらに複数の階層構造をとることも考えられる。 [0047] Although described here for a case that takes a two-layer structure in FIG. 3, it is also contemplated that further take multiple hierarchical structure.

【0048】また図4では、図3と同じく階層構造を取っているが、下層の認識結果を統合し、最終結果を出力する上位の階層として出力処理部だけで構成している例である。 [0048] In FIG. 4, but taking also the hierarchical structure as in FIG. 3, by integrating the lower layer of the recognition result, is an example that is composed only of the output processing section as the higher hierarchy to output the final result.

【0049】この例の場合、下層のパターン認識装置6 [0049] In this example, the lower layer of the pattern recognition device 6
−1〜nはそれぞれが上位階層の出力処理部4の記憶ユニットとして動作し、それぞれが異なる特徴量をもとにした認識を行う。 -1~n each operates as a storage unit of the output processing section 4 of the upper layer, it performs recognition, each based on a different feature quantity. 上位階層の出力処理部4では、それぞれのパターン認識装置6−1〜nの認識結果を統合し、 The output processing unit 4 of the upper layer, integrating recognition results of the respective pattern recognition device 6-1~N,
それをもとに最終結果を出力する。 It outputs the final result to the original.

【0050】またネットワーク構造制御部5により、認識にあまり必要とされない特徴量のパターン認識装置は結合を切断されたり、装置への結合を削除されたりして最適な記憶規模を保ち、学習の収束を早める。 [0050] Also by the network structure controller 5, the pattern recognition apparatus of feature amounts that are not much required for recognition is disconnected or a bond, maintaining optimum storage scale or deleted the binding to the device, the convergence of the learning the quicken.

【0051】本発明に係わる上述の実施例を用いることにより、記憶の単位となる記憶ユニットを単純なもの、 [0051] By using the above-described embodiment according to the present invention, simple storage unit which is a unit of storage,
すなわち小規模の層状ニューラルネットワークやテーブル検索のようなものにすることで個々の記憶ユニットの処理時間および学習の収束に要する時間を短縮したパターン認識装置を提供することができる。 That it is possible to provide a pattern recognition device which reduces the time required for convergence of the processing time and the learning of the individual storage units by something like layered neural network or table lookup small.

【0052】また、処理の単位となる機能ブロックごとの処理をプログラム・モジュールとして用意し独立に実行することで、特に並列計算機を用いた場合に高速処理を行うことの出来るパターン認識装置を提供することができる。 [0052] Further, by executing the prepared independently processed for each function block as the unit of processing as program modules, to provide a pattern recognition device capable of performing high-speed processing, particularly when using a parallel computer be able to.

【0053】また、それぞれの機能ごとにユニット化することで動作内容を単純化することで、特にニューラルネットワークにより記憶部を構成したときの学習速度、 [0053] Also, by simplifying the operation content by unitized for each function, the learning speed at the time of constituting the storage unit in particular neural networks,
及び計算処理の負担を軽減することができるという効果がある。 And there is an effect that it is possible to reduce the load of calculation processing.

【0054】また、記憶ユニットや入力処理部、出力処理部などのような機能ブロックごとの処理をプログラム・モジュールとして作成し独立に行なうことで、特に並列計算機を用いた場合に高速処理を行うことが出来るという効果がある。 [0054] The storage unit and the input processing unit, the processing of each function block, such as the output processing unit that performs the created independently as program modules, to perform high-speed processing, particularly when using a parallel computer there is an effect that can be.

【0055】 [0055]

【発明の効果】以上説明したように本発明によれば、パターン認識装置を構成する各記憶ユニットおよび出力処理部間のネットワーク構造が、認識する内容に応じた適切な構造に自動的に生成・更新されるという効果がある。 According to the present invention described above, according to the present invention, the network structure between the storage unit and the output processing unit constituting the pattern recognition device is automatically generated and the appropriate structure in accordance with the content recognized there is an effect that is updated.

【0056】すなわち、システムの置かれる環境が変化して認識対象となるパターンに含まれる特徴パターンの数及び内容が変化した場合にも、内部構造を動的に変化させることによって記憶の単位である記憶ユニットの数を調節し、常に適切な記憶容量および内容を確保することによって学習効率および演算処理効率を向上させることが出来る。 [0056] That is, if the number and content of feature pattern environment placed by the system is included in the pattern to be recognized by change has change, is a unit of storage by dynamically changing the internal structure adjusting the number of storage units, by always ensuring the appropriate storage capacity and content learning efficiency and processing efficiency can be improved.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明によるパターン認識装置のブロック図である。 1 is a block diagram of a pattern recognition apparatus according to the present invention.

【図2】本発明によるパターン認識装置を図形認識に応用した場合の実施例を示す図である。 The pattern recognition device according to the invention, FIG illustrates an embodiment of application of the figure recognition.

【図3】本発明によるパターン認識装置を複数個階層結合した例を示す図である。 It is a diagram illustrating a plurality example hierarchical bound pattern recognition apparatus according to the present invention; FIG.

【図4】本発明によるパターン認識装置を複数個用いそれらを統合する出力処理部を持った例を示す図である。 Using a plurality of pattern recognition device according to the invention, FIG shows an example having an output processing unit that integrates them.

【符号の説明】 DESCRIPTION OF SYMBOLS

1…入力データ、2…入力処理部、3…記憶部、3−1 1 ... input data, 2 ... input section, 3 ... storage unit, 3-1
〜n…記憶ユニット、4…出力処理部、5…ネットワーク構造制御部、6−1〜n…下層のパターン認識装置、 ~n ... storage unit, 4 ... output processor, 5 ... network structure controller, 6-1~N ... lower layer pattern recognition device,
7…上層のパターン認識装置。 7 ... the upper layer of the pattern recognition device.

Claims (7)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】入力されたデータを識別するための基準となる特徴パターンの学習を行い、かつ入力されたデータをいくつかのカテゴリに識別するパターン認識装置において、 入力されたデータの中から特徴パターンを抽出する入力処理部と、類似した特徴パターンごとに分類して記憶する記憶ユニットを複数個結合した記憶部と、抽出した特徴パターンと記憶ユニットに蓄えた特徴パターンとの比較結果をもとに入力されたデータが属するカテゴリを想起する出力処理部と、上記記憶部の各記憶ユニットの個数を増減させるためのネットワーク構造制御部から構成されることを特徴とするパターン認識装置。 1. A pattern recognition device for identifying the number of categories to perform learning of the feature pattern serving as a reference for identifying the input data, and the data input, characterized from the input data original input processing unit, a plurality bound storing unit storage unit for storing grouped by similar characteristics patterns extracted characteristic pattern comparison result of said pattern stored in the storage unit to extract the pattern pattern recognition device comprising an output processing unit that is input data to recall a category belonging, in that it is composed of a network structure controller for increasing or decreasing the number of the storage units of the storage unit to.
  2. 【請求項2】上記ネットワーク構造制御部は、上記記憶部の各記憶ユニットおよび上記出力処理部の結合構造を可変に制御することで、学習内容の変化に追従して適切な分類の記憶ユニットを持った結合構造に変化させることを特徴とする請求項1記載のパターン認識装置。 Wherein said network structure controller, by variably controlling the coupling structure of each storage unit and the output processing unit of the storage unit, the storage unit of the appropriate classification following the change of the learning content pattern recognition apparatus according to claim 1, wherein altering the binding structures with.
  3. 【請求項3】上記記憶ユニットは、特徴パターンを記憶するテーブルとパターンマッチング機構によって構成され、上記入力処理部によって抽出した特徴パターンとテーブルに保持した内容を比較しその結果を出力することを特徴とする請求項1記載のパターン認識装置。 Wherein said storage unit is constituted by a table and pattern matching mechanism for storing feature pattern, and compares the contents held in the feature pattern and the table extracted by the input processing unit, characterized in that outputting the result pattern recognition apparatus according to claim 1,.
  4. 【請求項4】上記記憶ユニットは、階層型ニューラルネットワークによって構成され、上記入力処理部によって抽出した特徴パターンを全ての記憶ユニットに提示し、 Wherein said storage unit is constituted by a hierarchical neural network presents a characteristic pattern extracted by the input processing unit to all of the storage units,
    それぞれの記憶ユニット内のニューラルネットワークの計算値を比較しそれが最大となる記憶ユニットが出力を出し、また学習を行うことで特徴パターンの分類を行うことを特徴とする請求項1記載のパターン認識装置。 Comparing the calculated values ​​of the neural network in the respective storage units it issues an output storage unit which becomes maximum, also a pattern recognition according to claim 1, characterized in that the classification of the feature pattern by performing learning apparatus.
  5. 【請求項5】上記ネットワーク構造制御部は、類似した特徴パターンを分類して記憶する上記記憶ユニットの出力または使用頻度を監視し、提示された特徴パターンに適合する記憶ユニットがない場合は記憶ユニットを追加し、または提示された特徴パターンに適合せず長時間使用されていない記憶ユニットを削除することで、上記記憶部の規模を適切な大きさに保つことを特徴とする請求項1記載のパターン認識装置。 Wherein said network structure controller, similar characteristics pattern classification to a monitor output or frequency of use of the storage unit that stores, when there is no matching storage units to the presented feature pattern storage unit was added, or extended without adaptation to the presented feature pattern not being used by removing the storage unit, according to claim 1, wherein the keeping the size of the storage unit to the appropriate size pattern recognition device.
  6. 【請求項6】請求項1のパターン認識装置を複数個用い、入力されたデータに対しそれぞれ異なる前処理を行った結果から抽出した特徴パターンをもとに認識を行う下層のパターン認識装置群と、下層での認識結果を入力データとして各パターン認識装置の出力のパターンから特徴を抽出し総合的な認識を行う次層のパターン認識装置群とを2層以上の階層構造に結合し、上記それぞれのパターン認識装置間の結合構造を学習および識別の動作に対し適した結合構造に変化することのできるネットワーク構造制御部から構成されることを特徴とするパターン認識装置。 Used wherein a plurality of pattern recognition apparatus of claim 1, a lower layer of the pattern recognition device group for recognizing on the basis of the extracted feature patterns from results of the different pre-processing on input data , it binds to the recognition result to extracting features from the pattern of the output of the pattern recognition device as input data the overall recognition pattern recognition device group and two or more layers of the hierarchical structure of the next layer to perform at lower layer, the respective pattern recognition apparatus characterized by being composed of a network structure controller capable of changing connection structure between the pattern recognition device of the coupling structure suitable to the operation of the learning and identification.
  7. 【請求項7】請求項1のパターン認識装置を複数個用い、入力されたデータに対しそれぞれ異なる前処理を行った結果から抽出した特徴パターンをもとに認識を行う下層のパターン認識装置群と、下層のパターン認識装置群を請求項1のパターン認識装置の記憶ユニットのように用い、各パターン認識装置の出力をもとに総合的な認識を行う出力処理部を結合し、上記それぞれのパターン認識装置および出力処理部の結合構造を学習および識別の動作に対し適した結合構造に変化することのできるネットワーク構造制御部から構成されることを特徴とするパターン認識装置。 It used 7. plurality of pattern recognition apparatus of claim 1, a lower layer of the pattern recognition device group for recognizing on the basis of the extracted feature patterns from results of the different pre-processing on input data , using the lower layer pattern recognition apparatus group as the storage unit of the pattern recognition apparatus of claim 1, and coupling the output processing unit that performs overall recognition on the basis of the outputs of the pattern recognition device, the respective patterns pattern recognition apparatus characterized by being composed of a network structure controller capable of changing the binding structure suitable to the operation of the learning and identifying the bond structure of the recognition device and the output processing unit.
JP6253203A 1994-10-19 1994-10-19 Pattern recognition device Pending JPH08115386A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6253203A JPH08115386A (en) 1994-10-19 1994-10-19 Pattern recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6253203A JPH08115386A (en) 1994-10-19 1994-10-19 Pattern recognition device

Publications (1)

Publication Number Publication Date
JPH08115386A true JPH08115386A (en) 1996-05-07

Family

ID=17247992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6253203A Pending JPH08115386A (en) 1994-10-19 1994-10-19 Pattern recognition device

Country Status (1)

Country Link
JP (1) JPH08115386A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352900A (en) * 2004-06-11 2005-12-22 Canon Inc Device and method for information processing, and device and method for pattern recognition

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352900A (en) * 2004-06-11 2005-12-22 Canon Inc Device and method for information processing, and device and method for pattern recognition

Similar Documents

Publication Publication Date Title
Takagi et al. Neural networks designed on approximate reasoning architecture and their applications
Popat et al. Cluster-based probability model and its application to image and texture processing
Avnimelech et al. Boosted mixture of experts: an ensemble learning scheme
Zaïane et al. Classifying text documents by associating terms with text categories
Craven et al. Extracting tree-structured representations of trained networks
Wiener et al. A neural network approach to topic spotting
Roli et al. Methods for designing multiple classifier systems
Lawrence et al. Semi-supervised learning via Gaussian processes
Fan et al. Selecting bankruptcy predictors using a support vector machine approach
Cunningham et al. k-Nearest neighbour classifiers
JP4083469B2 (en) Pattern recognition method using a hierarchical network
Kohonen et al. Very large two-level SOM for the browsing of newsgroups
Wang et al. Histogram-based fuzzy filter for image restoration
US20020031268A1 (en) Picture/graphics classification system and method
US7340376B2 (en) Exponential priors for maximum entropy models
KR100442835B1 (en) Face recognition method using artificial neural network, and the apparatus using thereof
Zhao et al. Effects of feature construction on classification performance: An empirical study in bank failure prediction
US5555317A (en) Supervised training augmented polynomial method and apparatus for character recognition
Anderson et al. Artificial neural networks technology
Sabourin et al. Off-line signature verification using directional PDF and neural networks
Cho Pattern recognition with neural networks combined by genetic algorithm
US6336109B2 (en) Method and apparatus for inducing rules from data classifiers
US6269353B1 (en) System for constructing decision tree classifiers using structure-driven induction
Hein et al. Formal guarantees on the robustness of a classifier against adversarial manipulation
JP4494563B2 (en) Image processing method and apparatus using the image divided by tokenizing