WO1997044743A1 - Verfahren zur optimierung eines fuzzy-regelsatzes durch einen rechner - Google Patents

Verfahren zur optimierung eines fuzzy-regelsatzes durch einen rechner Download PDF

Info

Publication number
WO1997044743A1
WO1997044743A1 PCT/DE1997/000967 DE9700967W WO9744743A1 WO 1997044743 A1 WO1997044743 A1 WO 1997044743A1 DE 9700967 W DE9700967 W DE 9700967W WO 9744743 A1 WO9744743 A1 WO 9744743A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
new
rule set
rules
fuzzy rule
Prior art date
Application number
PCT/DE1997/000967
Other languages
English (en)
French (fr)
Inventor
Ralf Neuneier
Stefan Siekmann
Hans-Georg Zimmermann
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to US09/194,263 priority Critical patent/US6317730B1/en
Priority to JP9541363A priority patent/JPH11510936A/ja
Priority to EP97924883A priority patent/EP0901658B1/de
Priority to DE59702108T priority patent/DE59702108D1/de
Publication of WO1997044743A1 publication Critical patent/WO1997044743A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
    • G06N7/04—Physical realisation
    • G06N7/046—Implementation by means of a neural network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]

Definitions

  • a fuzzy system specified by rules is usually translated into a neural network that is equivalent to the rules, and the neural network is optimized on the basis of training data.
  • the optimized neural network is then mapped again to fuzzy rules, which means that knowledge about the now optimized system can be extracted by an expert. This would not be possible with the exclusive use of neural networks.
  • the invention is therefore based on the problem of specifying a method for optimizing a fuzzy rule set which results in a more meaningful, better optimized fuzzy rule set than is possible with the known methods.
  • a fuzzy rule set is mapped onto a neural network.
  • the neural network is trained and then weights and / or neurons of the trained neural network are removed and / or revived for the trained neural network.
  • a new neural network formed in this way is mapped to a new fuzzy rule set.
  • the granularity is increased in such a way that not only entire rules are removed from the fuzzy rule set, but that individual premises of the rules of the fuzzy rule set can be removed or added. This increases the informative value and reliability and thus the results of the neuro-fuzzy system.
  • the structure of the neural network in such a way that the weights of the new ronal network the premises of the rules are described. This makes it possible to remove or revive premises of the rules by removing or reviving the weights of the neural network.
  • a further simplification in the optimization of the fuzzy rule set is achieved in that the premises of the rules are binary coded with the weights of the neural network. This enables a very simple optimization of the rule set, which is clear for the optimization of the fuzzy rule set and requires less computation.
  • a reliability value assigned to each rule is formed from the sum of the reliability values of the rules, which are combined to form the new rule.
  • Fig. 1 is a block diagram showing the principle of a neuro-fuzzy system
  • FIG. 2 shows a flow chart in which individual method steps of the first exemplary embodiment are shown;
  • 3 shows a sketch of a 4-layer neural network, the topology of which can advantageously be used in the method;
  • FIG. 4 shows a sketch of a binary premise matrix which corresponds to the topology of the neural network from FIG. 3;
  • FIG. 5 shows a flow chart in which the individual method steps of the method are shown
  • Fig. 6 is a sketch of a computer with which the method is carried out.
  • Fig. 1 the principle of a neuro-fuzzy system is shown in the form of a sketch.
  • a user B enters rules R ⁇ , each of which describes an application, into a computer R.
  • the rules R- ⁇ form a fuzzy rule set FR to be optimized.
  • the fuzzy rule set FR is mapped to a neural network NN, which can be optimized to a new neural network NNN by any training method and possibly additional methods for removing and / or resuscitating weights w ⁇ and / or neurons NE of the neuronal network NN. is lubricated.
  • the new neural network NNN is mapped to a new fuzzy rule set NFR.
  • the new fuzzy rule set NFR is interpreted by user B in a last step. This allows user B to easily extract information about the optimized neuro-fuzzy system.
  • a and b are used to denote any values of premise variables x 1 # X2.
  • This simple example does not limit any number of premises in a rule R j _ in any way, but is only intended to clearly illustrate the general structure of a rule.
  • the number n of rules R ⁇ and the number of premises within the rule R ⁇ are arbitrary.
  • 1 describes a conclusion variable of the respective rules R ⁇ .
  • a value c of the conclusion variable 1 describes the initial value of the rule Rj_ if all the premises of the rule R ⁇ apply.
  • Each rule R ⁇ is also assigned a reliability value K ⁇ .
  • the reliability value K ⁇ has the special value d.
  • the fuzzy rule set FR is mapped onto the neural network NN. This can be done, for example, in such a way that each rule Ri of an activation function b- [(x) of a neuron
  • NE corresponds to a hidden layer of the neural network NN. In this case, this means that the number of
  • Neurons NE in a hidden layer of the neural network NN correspond to the number of rules Rj_ in the fuzzy rule set FR.
  • An output value y (x) of the neural network NN for a given input value x which in the above example results from a vector with the individual components x ⁇ _ and
  • X2 results, for example, from a weighted average of all conclusions of all neurons NE of the hidden layer of the neural network NN.
  • Weight factors hereinafter referred to as weights w ⁇ , of the neurons NE in the neural network NN can be predetermined as desired and are tter optimization step of the neural network NN optimized.
  • the output value y (x) of the neural network NN the following rule results, for example:
  • the activation function bi (x) results, for example, according to the following rule:
  • the linguistic expressions of the rule Rj of the fuzzy rule set FR are usually represented by one-dimensional membership functions (XJ) realized.
  • An index j denotes the number of input variables of the neurons, in this connection also the number of premises in the respective rule R ⁇ .
  • membership functions MF j _ j (x- j ) are known and can be used in this method without restrictions.
  • the membership function MFij (xj) is assumed as a Gaussian function, which are parameterized by centers ⁇ - ⁇ j and variances ⁇ ⁇ j.
  • the activation function b ⁇ (x) has a typical normalized radial basis function and thus a neural network NN which contains normalized radial basis functions as the activation function b- [(x).
  • a neural network NN which contains normalized radial basis functions as the activation function b- [(x).
  • the reliability value K ⁇ is a measure that describes how reliable the respective rule R ⁇ is.
  • the reliability value ⁇ ⁇ is usually a positive number. If the reliability value ⁇ - [is 0, this means that the entire rule R ⁇ , which is described by the activation function b- ⁇ (x), has been removed.
  • a predeterminable number of test values ⁇ j ⁇ for different topologies k are formed 202 based on the neural network NN.
  • the different topologies k are formed, for example, by omitting or adding individual premisses from the neural network NN.
  • test values ⁇ ⁇ can be determined, for example, as follows. Using training data which contain any number of tuples (z] _, ..., jz m
  • the error E (z ⁇ , ..., z m , ⁇ ) is determined, for example, according to the following rule:
  • a running index p denotes a training date z ⁇ taken into account with the target date t p and an actual output value y (zp) of the neural network NN.
  • any number of test values ⁇ determined by omitting or adding any number of premises or rules R ⁇ .
  • a test value ⁇ j ⁇ is determined in each case for the newly created topologies of the neural network NN and thus newly created fuzzy rule sets NFR:
  • an output value yk (x) generally results for the respective topology k of the neural network NN:
  • the result is a list of test values .DELTA.j ⁇ stored in the computer R, each of which describes the influence of specific changes to the fuzzy rule set FR, which are caused by removing or adding premises or entire rules R- L on the entire error E (z _] _, ..., z m , ⁇ ) caused by the neural network NN each 203 in the training data set.
  • weights w ⁇ and / or neurons NE which have the least influence on the change in the error E (z_ ⁇ , ..., z m , ⁇ ) of the neural network NN, removed or added 204.
  • the new neural network NNN formed in the manner described above is mapped 205 onto the new fuzzy rule set NFR.
  • the new neural network NNN with its new topology is, for example, either trained again on a further training data set or the method described above can be carried out from the beginning with the new neural network NNN as the neural network NN of the next iteration.
  • this procedure means that premises which, with regard to the error E (z ⁇ ,..., Z_ m , ⁇ ) of the neural network NN for the training data record, have a small have information content, are removed. Premises with a high information content regarding the error E ⁇ z ⁇ ,. , , , z m , ⁇ ) of the neural network NN for the training data set, on the other hand, remain in the structure of the new neural network NNN and in the new, optimized fuzzy rule set NFR.
  • FIG 3 shows a neural network NN with a 4-layer topology.
  • a second exemplary embodiment of the method is explained on the basis of the 4-layer topology.
  • An input layer S1 with input neurons NE S where s is the number of input neurons NE S and s is any natural number, the input variables of the neural network NN are described.
  • the membership functions MFJ_J (XJ) are described directly in a second layer S2 of the neural network NN.
  • a neuron NE is provided in the second layer S2 for each membership function MFji (x-;).
  • the rules R j _ be a third layer S3 is formed on a respective neuron NE unequivocally ab ⁇ .
  • an output layer S4 which in this simple example has only one output neuron NEA, is shown.
  • each rule R ⁇ is uniquely mapped to a neuron NE of the third layer S3 of the neural network NN;
  • Each membership function MF-H (XJ) is unique to a neuron NE in the second layer S2 of the neuronal Network NN mapped,
  • Weights w ⁇ of the connections between input neurons NE S and the neurons NE of the second layer S2 are determined by the parameter ⁇ ⁇ j of the corresponding membership function MFJ_J (XJ) for the special case of a Gaussian membership function MF-H (xj) by the Va ⁇ rianz ⁇ -Lj, determined.
  • the parameter ⁇ ⁇ j in the case of a Gaussian membership function MF-H (XJ) the center ⁇ ⁇ j of the Gaussian membership function MFJ_J (XJ), which in each case represents a negative bias, is stored, since this value is subtracted from the input signal present in each case;
  • this type of transformation leads to the connections between the neurons NE of the second layer S2 and the neurons NE of the third
  • Layer S3 can be represented by a binary matrix BM.
  • the rules R ⁇ des are in the binary matrix BM
  • Fuzzy rule set FR is applied in one line each of the binary matrix BM.
  • the individual membership functions MFji (XJ) are entered in the columns.
  • a 1 in the binary matrix BM means that the connection between the respective neuron NE is the second
  • Layer S2 which corresponds to a corresponding membership function MF-H (xj), and the respective neuron NE of the third layer S3, which describes a premise of the respective rule R ⁇ , exists. This clearly means that with the value 1 in the binary
  • Matrix BM is specified that the respective premise is usually taken into account R ⁇ and the value 0 that the respective premise is generally not taken into account Rj_.
  • the 4-layer topology of the neural network NN shown here makes it possible to carry out the method in a very simple manner, as a result of which the computing time required to carry out the method is further reduced by a computer. Furthermore, the methods used in this context for removing or resuscitating weights w ⁇ and / or neurons NE can be freely selected.
  • FIG. 5 shows the method with its method steps in the form of a flow chart.
  • the fuzzy rule set FR is mapped 501 to the neural network NN.
  • the neural network NN is trained 502 using any learning method, for example a gradient descent method (eg the back propagation method).
  • a gradient descent method eg the back propagation method.
  • An overview of various learning methods of a neural network can be found in document [2].
  • weights w ⁇ and / or neurons NE of the trained neural network NN are removed or revived in a further step 503. Any method of removal or revival can be used. An overview of such methods is shown in document [3]. Furthermore, a so-called early stopping method for removing or resuscitating the weights w and / or neurons NE of the neural network NN can also be used. This procedure is described in the document [5]. By removing or reviving weights w ⁇ and / or
  • Neurons NE of the neural network NN a new neural network NNN is formed.
  • the new neural network NNN is mapped to the new fuzzy rule set NFR.
  • the new fuzzy rule set NFR is characterized 504 by the new neural network NNN.
  • the quality of the optimized neural network that is to say the new neural network NNN, is sufficient in accordance with the specification by the barrier.
  • the error E (z- ⁇ ,..., Z m , ⁇ ) is greater than the predefinable barrier, then the new neural network NNN must be further optimized, which is achieved by performing the above described iteratively
  • FIG. 4 shows a simple example, in which two input variables x- ⁇ and x 2 , each with three possible values, are assumed. However, this in no way limits the general applicability of this basic approach. Both the number of input values for the neural network NN and the number of values that the input variables x ⁇ _ and X2 can take on are arbitrary.
  • the computer R additionally has, for example, a keyboard TA, a mouse MA as input means for entering the fuzzy rule set FR by the user B and, for example, a printer DR or a screen BS for displaying the new fuzzy rule set NFR for the user B.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Algebra (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Ein Fuzzy-Regelsatz (FR) wird auf ein neuronales Netz (NN) abgebildet (501). Das neuronale Netz (NN) wird trainiert (502), und Gewichte (wi) und/oder Neuronen (NE) des neuronalen Netzes (NN) werden entfernt oder wiederbelebt (503). Ein auf diese Weise gebildetes neues neuronales Netz (NNN) wird auf einen neuen Fuzzy-Regelsatz (NFR) abgebildet (504).

Description

Beschreibung
Verfahren zur Optimierung eines Fuzzy-Regelsatzes durch einen Rechner
Bei der Vorhersage von Zeitreihen oder auch bei der Modellie- rung von Prozessen mit Hilfe von neuronalen Netzen wird Ex¬ pertenwissen oft ignoriert. Da aber in vielen Fällen Experten für das jeweilige Problemfeld zu finden sind, die in der Lage sind, ihr Wissen in Form von Fuzzy-Regeln auszudrücken, wer¬ den sogenannte Neuro-Fuzzy-Systeme zur Vorhersage von Zeit- reihen oder zur Modellierung von Prozessen eingesetzt, wobei Fuzzy-Systeme und neuronale Netze mit ihren jeweiligen cha¬ rakteristischen Eigenschaften miteinander kombiniert werden.
Dabei wird üblicherweise ein durch Regeln spezifiziertes Fuz- zy-System in ein zu den Regeln äquivalentes neuronales Netz übersetzt und das neuronale Netz wird anhand von Trainingsda¬ ten optimiert. Das optimierte neuronale Netz wird dann wie¬ derum auf Fuzzy-Regeln abgebildet, wodurch Wissen über das nunmehr optimierte System für einen Experten extrahierbar ist. Dies wäre bei der ausschließlichen Verwendung von neuro¬ nalen Netzen nicht möglich.
Grundlagen über Neuro-Fuzzy-Systeme sind beispielsweise aus dem Dokument [1] bekannt.
Eine Übersicht über verschiedene Lernverfahren für neuronale Netze, beispielsweise überwachte Lernverfahren oder unüber- wachte Lernverfahren sind aus dem Dokument [2] bekannt.
Verfahren zum Entfernen (Pruning) bzw. Wiederbeleben
(Growing) von Gewichten und/oder Neuronen eines neuronalen Netzes sind beispielsweise aus dem Dokument [3] und dem Doku¬ ment [7] bekannt.
Ferner ist es aus dem Dokument [4] bekannt, für das Trainie- ren des neuronalen Netzes eines Neuro-Fuzzy-Systems semanti¬ kerhaltende Lernalgorithmen einzusetzen, damit die neuen Re¬ geln des Fuzzy-Regelsatzes weiterhin korrekte und sinnvolle Aussagen treffen.
Weiterhin ist es aus dem Dokument [4] auch bekannt, bei der Optimierung des neuronalen Netzes eines Neuro-Fuzzy-Systems ganze Regeln des Regelsatzes zu entfernen.
Ferner ist auch ein sogenanntes Early-Stopping-Verfahren zum Entfernen bzw. Wiederbeleben der Gewichte und/oder Neuronen eines neuronalen Netzes aus dem Dokument [5] bekannt .
In [6] ist eine Übersicht über Optimierung von Fuzzy-Control mit Hilfe Neuronaler Netze beschrieben.
Aus [8] ist eine Übersicht bekannt über den Aufbau von Regeln und die Transformation der Regeln in neuronale Netze.
Das Entfernen ganzer Regeln in einem Fuzzy-Regelsatz weist den Nachteil auf, daß die Granularität der Optimierung des Fuzzy-Regelsatzes sehr grob ist. Aus diesem Grunde ist die Genauigkeit der erhaltenen Fuzzy-Regelsätze relativ gering. Auch die mit dem optimierten Fuzzy-Regelsatz erzielten Ergeb¬ nisse sind mit diesem bekannten Verfahren ungenau.
Somit liegt der Erfindung das Problem zugrunde, ein Verfahren zur Optimierung eines Fuzzy-Regelsatzes anzugeben, welches einen aussagekräftigeren, besser optimierten Fuzzy-Regelsatz ergibt, als das mit den bekannten Verfahren möglich ist.
Das Problem wird durch das Verfahren gemäß Patentanspruch 1 gelöst . Bei diesem Verfahren, welches mit einem Rechner durchgeführt wird, wird ein Fuzzy-Regelsatz auf ein neuronales Netz abge¬ bildet. Das neuronale Netz wird trainiert und anschließend werden für das trainierte neuronale Netz Gewichte und/oder Neuronen des trainierten neuronalen Netzes entfernt und/oder wiederbelebt. Ein auf diese Weise gebildetes neues neuronale Netz wird in einem letzten Schritt auf einen neuen Fuzzy- Regelsatz abgebildet.
Durch die Berücksichtigung einzelner Gewichte und/oder Neuro¬ nen bei der Entfernung bzw. Wiederbelebung innerhalb des neu¬ ronalen Netzes wird eine höhere Granularität bei der Verände¬ rung der einzelnen Regeln des Fuzzy-Regelsatzes durch das Entfernen bzw. Wiederbeleben von Elementen des neuronalen
Netzes erreicht. Die Granularität wird in einer Weise erhöht, daß nicht nur lediglich ganze Regeln aus dem Fuzzy-Regelsatz entfernt werden, sondern daß einzelne Prämissen der Regeln des Fuzzy-Regelsatzes entfernt bzw. hinzugefügt werden kön- nen. Dadurch wird die Aussagekraft und Verläßlichkeit und da¬ mit die erzielten Ergebnisse des Neuro-Fuzzy-Systems erheb¬ lich erhöht.
Vorteilhafte Weiterbildungen des erfindungsgemäßen Verfahrens ergeben sich aus den abhängigen Ansprüchen.
Es ist vorteilhaft, das Verfahren iterativ solange durchzu¬ führen, bis ein für das jeweils aktuelle neuronale Netz er¬ mittelter Fehler unter einer vorgebbaren Schranke liegt. Da- durch wird es möglich, zum einen eine Bewertung des jeweils gebildeten neuronalen Netzes und des daraus ermittelten neuen Fuzzy-Regelsatzes zu bilden und zum anderen die "Qualität" des jeweils neuen Fuzzy-Regelsatzes in einer Weise zu steu¬ ern, daß sie eine vorgebbare Qualität erreicht.
Ferner ist es vorteilhaft, die Struktur des neuronalen Netzes in einer Weise auszugestalten, daß mit den Gewichten des neu- ronalen Netzes die Prämissen der Regeln beschrieben werden. Dadurch wird die Entfernung bzw. das Wiederbeleben von Prä¬ missen der Regeln schon durch Entfernen bzw. Wiederbeleben der Gewichte des neuronalen Netzes ermöglicht. Eine weitere Vereinfachung bei der Optimierung des Fuzzy-Regelsatzes wird dadurch erreicht, daß die Prämissen der Regeln mit den Ge¬ wichten des neuronalen Netzes binär codiert werden. Damit wird eine sehr einfache, für die Optimierung des Fuzzy- Regelsatzes übersichtliche und mit geringerem Rechenaufwand verbundene Optimierung des Regelsatzes möglich.
Zur weiteren Steigerung der Verläßlichkeit des optimierten Fuzzy-Regelsatzes ist es vorteilhaft, einen semantikerhalten¬ den Lernalgorithmus einzusetzen. Dadurch wird gewährleistet, daß die Semantik der Regeln sich nicht verändert und somit weniger Widersprüche bei den Regeln entstehen.
Ferner ist es zur Vereinfachung und zur damit verbundenen Re¬ chenzeiteinsparung bei der Durchführung des Verfahrens mit Hilfe des Rechners vorteilhaft, neue Regeln, welche die glei¬ che Aussage treffen, also dieselbe Semantik aufweisen, zu ei¬ ner Regel zusammenzufassen. Ein jeder Regel zugeordneter Ver¬ läßlichkeitswert wird in diesem Fall aus der Summe der Ver¬ läßlichkeitswerte der Regeln, die zu der neuen Regel zusam- mengefaßt werden, gebildet.
Zwei Ausführungsbeispiele der Erfindung sind in den Figuren dargestellt und werden im weiteren näher erläutert.
Es zeigen
Fig. 1 ein Blockdiagramm, in dem das Prinzip eines Neuro- Fuzzy-Systems dargestellt ist;
Fig. 2 ein Ablaufdiagramm, in dem einzelne Verfahrens¬ schritte des ersten Ausführungsbeispiels darge¬ stellt sind; Fig. 3 eine Skizze eines 4-schichtigen neuronalen Netzes, dessen Topologie vorteilhaft in dem Verfahren eingesetzt werden kann;
Fig. 4 eine Skizze einer binären Prämissenmatrix, die der Topologie des neuronalen Netzes aus Fig. 3 entspricht;
Fig. 5 ein Ablaufdiagramm, in dem die einzelnen Ver¬ fahrensschritte des Verfahrens dargestellt sind;
Fig. 6 eine Skizze eines Rechners, mit dem das Verfahren durchgeführt wird.
In Fig. 1 ist das Prinzip eines Neuro-Fuzzy-Systems in Form einer Skizze dargestellt. Ein Benutzer B gibt Regeln R^, die jeweils eine Anwendung beschreiben, in einen Rechner R ein. Die Regeln R-^ bilden einen zu optimierenden Fuzzy-Regelsatz FR. Der Fuzzy-Regelsatz FR wird auf ein neuronales Netz NN abgebildet, welches durch beliebige Trainingsverfahren und möglicherweise zusätzliche Verfahren zum Entfernen und/oder Wiederbeleben von Gewichten w^ und/oder Neuronen NE des neu¬ ronalen Netzes NN zu einem neuen neuronalen Netz NNN opti- miert wird. Das neue neuronale Netz NNN wird auf einen neuen Fuzzy-Regelsatz NFR abgebildet. Der neue Fuzzy-Regelsatz NFR wird von dem Benutzer B in einem letzten Schritt interpre¬ tiert. Dadurch können auf einfache Weise Informationen über das optimierte Neuro-Fuzzy-System von dem Benutzer B extra- hiert werden.
Der Benutzer B gibt, wie oben beschrieben, die Regeln Rj^, die den Fuzzy-Regelsatz FR bilden, in den Rechner R ein. Die Re¬ geln R-[, wobei i eine beliebige natürliche Zahl zwischen 1 und n ist und jede Regel eindeutig identifiziert, und n eine Anzahl von Regeln Ri innerhalb des Fuzzy-Regelsatzes FR be- schreibt, weist beispielsweise folgende, allgemein formulier¬ te Form auf :
Regel R^ : Prämisse: IF X]_ = a and X2 = b
Konklusion: THEN 1 = c WITH BELIEF d.
Hierbei werden mit a und b beliebige Werte von Prämissenva¬ riablen x1# X2 bezeichnet. Dieses einfache Beispiel schränkt eine beliebige Anzahl von Prämissen in einer Regel Rj_ in keinster Weise ein, sondern soll den allgemeinen Aufbau einer Regel lediglich übersichtlich darstellen.
Die Anzahl n von Regeln R± sowie die Anzahl von Prämissen in- nerhalb der Regel R^ sind beliebig. Mit 1 wird eine Konklusi¬ onsvariable der jeweiligen Regeln R-^ beschrieben. Ein Wert c der Konklusionsvariable 1 beschreibt jeweils den Ausgangswert der Regel Rj_ , wenn alle Prämissen der Regel R^ zutreffen.
Ferner ist jeder Regel R^ ein Verläßlichkeitswert K-^ zugeord- net . In dem oben beschriebenen allgemeinen Fall weist der Verläßlichkeitswert K^ den speziellen Wert d auf.
Der Fuzzy-Regelsatz FR wird auf das neuronale Netz NN abge¬ bildet. Das kann beispielsweise in einer Weise erfolgen, daß jede Regel Ri einer Aktivierungsfunktion b-[ (x) eines Neurons
NE in einer versteckten Schicht des neuronalen Netzes NN ent¬ spricht. Dies bedeutet in diesem Fall, daß die Anzahl von
Neuronen NE in einer versteckten Schicht des neuronalen Net¬ zes NN der Anzahl von Regeln Rj_ im Fuzzy-Regelsatz FR ent- spricht. Ein Ausgabewert y(x) des neuronalen Netzes NN für einen gegebenen Eingabewert x, der im obigen Beispiel sich ergibt aus einem Vektor mit den einzelnen Komponenten xτ_ und
X2, ergibt sich beispielsweise aus einem gewichteten Mittel¬ wert aller Konklusionen aller Neuronen NE der versteckten Schicht des neuronalen Netzes NN. Gewichtsfaktoren, im weite¬ ren als Gewichte w^ bezeichnet, der Neuronen NE in dem neuro¬ nalen Netz NN sind beliebig vorgebbar und werden in dem wei- teren Optimierungsschritt des neuronalen Netzes NN optimiert. Es ergibt sich für den Ausgabewert y(x) des neuronalen Netzes NN beipielsweise folgende Vorschrift:
n
∑ Wi • bi(x) y(χ) = ^ (D .
∑bi(x) i=l
Die Aktivierungsfunktion bi (x) ergibt sich beispielsweise je¬ weils nach folgender Vorschrift:
Figure imgf000009_0001
Die linguistischen Ausdrücke der Regel Rj des Fuzzy-Regel- Satzes FR werden üblicherweise durch eindimensionale Zugehö- figkeitsfunktionen
Figure imgf000009_0002
(XJ) realisiert. Hierbei wird mit ei- nem Index j die Anzahl von Eingangsgrößen der Neuronen, in diesem Zusammenhang auch die Anzahl der Prämissen in der je¬ weiligen Regel R^ bezeichnet. Es sind verschiedenste Formen von Zugehörigkeitsfunktionen MFj_j(x-j) bekannt und können in diesem Verfahren ohne Einschränkungen eingesetzt werden. Zur besseren Darstellbarkeit wird jedoch im weiteren die Zugehö¬ rigkeitsfunktion MFij(xj) als eine gaußförmige Funktion ange¬ nommen, die durch Zentren μ-^j und Varianzen σ^j parametri- siert werden.
Ferner wird vereinfachend angenommen, daß die Konklusion je¬ weils durch eine vorgebbare Konstante gegeben ist. Für diesen einfachen, hier beispielhaft dargelegten Fall ergibt sich für die Aktivierungsfunktion b^(x) eine typische normalisierte radiale Basisfunktion und somit ein neuronales Netz NN, wel- ches normalisierte radiale Basisfunktionen als Aktivierungs¬ funktion b-[ (x) enthält. Es ergibt sich eine Vorschrift zur Bildung der Aktivierungsfunktion bj_ (x) für diesen Spezialfall auf folgende Weise:
>i ( χ )
Figure imgf000010_0001
Der Verläßlichkeitswert K^ ist ein Maß, mit dem beschrieben wird, wie verläßlich die jeweilige Regel R± ist. Der Verlä߬ lichkeitswert κ± ist üblicherweise eine positive Zahl. Ist der Verläßlichkeitswert κ-[ gleich 0, so bedeutet das, daß die gesamte Regel R^, die durch die Aktivierungsfunktions b-^ (x) beschrieben wird, entfernt wurde.
In dem ersten Ausführungsbeispiel des Verfahrens wird nun nach der Abbildung der Regel Rj_ auf das neuronale Netz NN 201 (vgl. Fig. 2) eine vorgebbare Anzahl von Testwerten Δjς für verschiedene Topologien k ausgehend von dem neuronalen Netz NN gebildet 202. Die verschiedenen Topologien k werden bei¬ spielsweise durch Weglassen oder Hinzugüen einzelner Prämis¬ sen von dem neuronalen Netz NN gebildet.
Die Ermittlung der Testwerte Δ^ kann beispielsweise folgen¬ dermaßen erfolgen. Anhand von Trainingsdaten, welche eine be¬ liebige Anzahl von Tupeln (z]_, ..., jzm|t]_, ... , Jtm) enthalten, wobei mit z.ι, ..., zm jeweils Eingabedaten des neuronalen Net- zes NN beschrieben werden, die entsprechend zu bekannten Er¬ gebniswerten t.ι» • • • ι £m führen. Die Tupel
(.z.1, • • • ι ü-ml-tl' • • ■ ' £-m) • die i-m weiteren als Trainingsdaten (Αι > • • • / • • • ' tm) bezeichnet werden, bilden einen Trai¬ ningsdatensatz des neuronalen Netzes NN. Mit m wird die An- zahl der Trainingsdaten für ein erstes Ausführungsbeispiel bezeichnet. Mit Θ wird ein Parametervektor bezeichnet, der die jeweilige Zugehörigkeitsfunktion MFji (XJ ) beschreibt. Es wird ein Fehler E (£]_, ..., zm, Θ) für die Trainingsdaten mit den jeweils aktuell geltenden Regeln R^ und den Zugehörig¬ keitsfunktionen MFij(xj) ermittelt.
Die Ermittlung des Fehlers E ( z^, ... , zm, Θ) erfolgt bei- spielsweise nach folgender Vorschrift:
m / \ι E( zl t . . . , zm,Θ) = ∑ Zp - y(zp)| (4) .
P=l
Mit einem Laufindex p wird jeweils ein in der Summe berück- sichtigtes Trainingsdatum z^ mit dem Zieldatum tp und einem tatsächlichen Ausgabewert y(z.p) des neuronalen Netzes NN be¬ zeichnet .
Es wird in einem iterativen Verfahren eine beliebige Anzahl von Testwerten Δ . ermittelt, indem jeweils eine beliebige An¬ zahl von Prämissen bzw. Regeln R-^ weggelassen oder hinzuge¬ fügt wird. Für die jeweils neu entstandenen Topologien des neuronalen Netzes NN und somit neu entstandenen Fuzzy- Regelsätzen NFR wird jeweils ein Testwert Δj^ auf folgende Weise ermittelt:
m
Δv = Σ h ~ Yk ( ; )| - EUX zm,θ) (5)
Bei jeder Änderung der Topologie k des neuronalen Netzes NN durch Veränderung des Fuzzy-Regelsatzes FR ergibt sich allge¬ mein ein Ausgabewert yk(x) zu der jeweiligen Topologie k des neuronalen Netzes NN:
n
∑wi ' bi,k(χ) yk(x) = 1=1- (6) .
∑bi,κ(x) i=l Die jeweiligen Aktivierungsfunktionen b^ ^ (x) zu der jeweili¬ gen Topologie k ergeben sich zu:
t>i , k (-<) = κi • π MFij (^ ) π ) . j ≠ k
Dies gilt für jede Topologie k e {MFij (xj) | i, j}.
Das Ergebnis ist eine in dem Rechner R gespeicherte Liste von Testwerten Δj^, die jeweils den Einfluß von spezifischen Ände- rungen an dem Fuzzy-Regelsatz FR beschreiben, die durch Ent¬ fernen bzw. Hinzufügen von Prämissen bzw. von ganzen Regeln R-L auf den gesamten Fehler E(z_]_, ..., zm, Θ) verursacht wer¬ den, den das neuronale Netz NN bei dem Trainingsdatensatz je¬ weils aufweist 203.
Es wird eine vorgebbare Anzahl, beispielsweise ein Prozent¬ satz von Gewichten w^ und/oder Neuronen NE, die relativ den geringsten Einfluß auf die Änderung des Fehlers E(z_ι, ..., zm, Θ) des neuronalen Netzes NN besitzen, entfernt, bzw. hinzugefügt 204.
In einem letzten Schritt wird das auf die im vorigen beschre- bene Weise gebildete neue neuronale Netz NNN auf den neuen Fuzzy-Regelsatz NFR abgebildet 205.
Das neue neuronale Netz NNN mit seiner neuen Topologie wird in einer Weiterbildung des Verfahrens beispielsweise entweder wiederum trainiert auf einem weiteren Trainingsdatensatz oder das oben beschriebene Verfahren kann von vorne mit dem neuen neuronalen Netz NNN als neuronales Netz NN der nächsten Ite¬ ration durchgeführt werden.
Anschaulich dargestellt bedeutet diese Vorgehensweise, daß Prämissen, die bezüglich des Fehlers E ( z^ , . . . , z_m, Θ) des neuronalen Netzes NN für den Trainingsdatensatz einen gerin- gen Informationsgehalt aufweisen, entfernt werden. Prämissen mit einem hohen Informationsgehalt bezüglich des Fehlers E {zι , . . . , zm, Θ) des neuronalen Netzes NN für den Trainings¬ datensatz dagegen bleiben in der Struktur des neuen neurona- len Netzes NNN sowie in dem neuen, optimierten Fuzzy- Regelsatz NFR weiter enthalten.
In Fig. 3 ist ein neuronales Netz NN mit einer 4-schichtigen Topologie dargestellt. Anhand der 4-schichtigen Topologie wird ein zweites Ausführungsbeispiel des Verfahrens erläu¬ tert.
Eine Eingabeschicht Sl mit Eingangsneuronen NES, wobei mit s die Anzahl der Eingangsneuronen NES bezeichnet wird und s ei- ne beliebige natürliche Zahl ist, werden die Eingangsvaria¬ blen des neuronalen Netzes NN beschrieben.
In einer zweiten Schicht S2 des neuronalen Netzes NN werden in diesem Ausführungsbeispiel direkt die Zugehörigkeitsfunk- tionen MFJ_J (XJ) beschreiben. Das bedeutet, daß zu jeder Zuge¬ hörigkeitsfunktion MFji (x-;) jeweils ein Neuron NE in der zweiten Schicht S2 vorgesehen ist. Die Regeln Rj_ werden auf jeweils ein Neuron NE einer dritten Schicht S3 eindeutig ab¬ gebildet. Ferner ist eine Ausgabeschicht S4, die in diesem einfachen Beispiel lediglich ein Ausgabeneuron NEA aufweist, dargestellt.
Bei der Transformation der Regeln R-^ des Fuzzy-Regelsatzes FR auf die 4-schichtige Topologie des neuronalen Netzes NN wer- den folgende Aspekte beachtet:
jede Regel R± wird eindeutig auf ein Neuron NE der dritten Schicht S3 des neuronalen Netzes NN abgebildet;
- jede Zugehörigkeitsfunktion MF-H (XJ) wird eindeutig auf ein Neuron NE in der zweiten Schicht S2 des neuronalen Netzes NN abgebildet,
Gewichte w^ der Verbindungen zwischen Eingangsneuronen NES und den Neuronen NE der zweiten Schicht S2 werden durch den Parameter σ^j der entsprechenden Zugehörig¬ keitsfunktion MFJ_J (XJ) für den Spezialfall einer gauß- förmigen Zugehörigkeitsfunktion MF-H (x-j ) durch die Va¬ rianz σ-Lj, bestimmt. Außerdem wird der Parameter μ^j , bei einer gaußförmigen Zugehörigkeitsfunktion MF-H (XJ ) das Zentrum μ^j der gaußförmigen Zugehörigkeitsfunktion MFJ_J (XJ) , der jeweils einen negativen Bias darstellt gespeichert, da dieser Wert von dem jeweils anliegenden Eingabesignal subtrahiert wird;
- eine Verbindung eines Neurons NE der zweiten Schicht
S2 zu einem Neuron NE der dritten Schicht S3 existiert genau dann, wenn die Zugehörigkeitsfunktion MFij (x-:) in der Prämisse der Regel Rj_ auch tatsächlich vorkommt, ansonsten gilt für die Verbindung der Wert 0
Wie in Fig. 4 dargestellt ist, führt diese Art der Transfor¬ mation dazu, daß die Verbindungen zwischen den Neuronen NE der zweiten Schicht S2 und der Neuronen NE der dritten
Schicht S3 durch eine binäre Matrix BM dargestellt werden können. In der binären Matrix BM werden die Regeln R^ des
Fuzzy-Regelsatzes FR in jeweils einer Zeile der binären Ma¬ trix BM aufgetragen. In den Spalten werden die einzelnen Zu¬ gehörigkeitsfunktionen MFji (XJ ) eingetragen. Eine 1 in der binären Matrix BM bedeutet in diesem Zusammenhang, daß die Verbindung zwischen dem jeweiligen Neuron NE der zweiten
Schicht S2, der einer entsprechenden Zugehörigkeitsfunktion MF-H (x-j ) entspricht, und dem jeweiligen Neuron NE der dritten Schicht S3, das eine Prämisse der jeweiligen Regel R^ be¬ schreibt, besteht. Anschaulich bedeutet dies, daß mit dem Wert 1 in der binären
Matrix BM angegeben wird, daß die jeweilige Prämisse in der Regel R^ berücksichtigt wird und der Wert 0, daß die jeweili¬ ge Prämisse in der Regel Rj_ nicht berücksichtigt wird.
Durch die hier dargestellte 4-schichtige Topologie des neuro¬ nalen Netzes NN ist es möglich, das Verfahren auf sehr einfa¬ che Weise durchzuführen, wodurch der Rechenzeitbedarf zur Durchführung des Verfahrens durch einen Rechner weiter redu- ziert wird. Ferner können die in diesem Zusammenhang verwen¬ deten Verfahren zum Entfernen bzw. Wiederbeleben von Gewich¬ ten w^ und/oder Neuronen NE frei ausgewählt werden.
In Fig. 5 ist in Form eines Ablaufdiagramms das Verfahren mit seinen Verfahrensschritten dargestellt.
Der Fuzzy-Regelsatz FR wird auf das neuronale Netz NN abge¬ bildet 501.
Das neuronale Netz NN wird mit einem beliebigen Lernverfah¬ ren, beispielsweise einem Gradientenabstiegsverfahren (z. B. das Backpropagation-Verfahren) trainiert 502. Eine Übersicht über verschiedene Lernverfahren eines neuronalen Netzes sind in dem Dokument [2] zu finden.
Für das nunmehr trainierte neuronale Netz NN werden in einem weiteren Schritt 503 Gewichte w^ und/oder Neuronen NE des trainierten neuronalen Netzes NN entfernt oder wiederbelebt. Es können hierbei beliebige Verfahren zum Entfernen bzw. Wie- derbeleben eingesetzt werden. Eine Übersicht über solche Ver¬ fahren ist in dem Dokument [3] dargestellt. Ferner ist auch ein sogenanntes Early-Stopping-Verfahren zum Entfernen bzw. Wiederbeleben der Gewichte w^ und/oder Neuronen NE des neuro¬ nalen Netzes NN einsetzbar. Dieses Verfahren ist in dem Doku- ment [5] beschrieben. Durch Entfernen bzw. Wiederbeleben von Gewichten w^ und/oder
Neuronen NE des neuronalen Netzes NN wird ein neues neurona¬ les Netz NNN gebildet.
Das neue neuronale Netz NNN wird auf den neuen Fuzzy- Regelsatz NFR abgebildet. Dabei wird der neue Fuzzy-Regelsatz NFR durch das neue neuronale Netz NNN charakterisiert 504.
In einer Weiterbildung des Verfahrens ist es vorteilhaft, beispielsweise den Fehler E(zτ_, ..., zm, Θ) nach der oben be¬ schriebenen Vorschrift (4) zu bestimmen und zu überprüfen, ob der Fehler E(zη_,..., zm, Θ) kleiner ist als eine vorgebbare
Schranke, mit der eine gewünschte Qualität des optimierten Fuzzy-Regelsatzes NFR angegeben wird.
Ist dies der Fall, kann bei dieser Weiterbildung davon ausge¬ gangen werden, daß die Qualität des optimierten neuronalen Netzes, also dem neuen neuronalen Netz NNN entsprechend der Vorgabe durch die Schranke ausreichend ist. Ist jedoch der Fehler E ( z-± , . . . , zm, Θ) größer als die vorgebbare Schranke, so muß das neue neuronale Netz NNN weiter optimiert werden, was durch eine iterative Durchführung des oben beschriebenen
Verfahrens erreicht wird. In der binären Matrix BM, die in
Figur 4 dargestellt ist, ist ein einfaches Beispiel angenom- men, bei der zwei Eingangsvariablen x-^ und x2 mit jeweils drei möglichen Werten angenommen wird. Dies schränkt jedoch die allgemeine Verwendbarkeit dieser prinzipiellen Vorgehens- weise in keinster Weise ein. Sowohl die Anzahl der Eingangs- werte für das neuronale Netz NN als auch die Anzahl der Wer- te, die die Eingangsvariablen xη_ und X2 annehmen können, ist beliebig.
In einer Weiterbildung des Verfahrens ist es vorgesehen, ei¬ nen sogenannten semantikerhaltenden Lernalgorithmus zur Opti- mierung des neuronalen Netzes NN zu verwenden. Der semanti¬ kerhaltende Lernalgorithmus ist beispielsweise in dem Doku- ment [4] beschrieben. Da durch Änderung der Regeln R± durch das Entfernen bzw. Wiederbeleben von Gewichten w^ und/oder Neuronen NE neue Regeln R^ mit denselben Prämissen und den¬ selben Konklusionen entstehen können, ist es in einer Weiter- bildung des Verfahrens vorteilhaft, "gleiche" neue Regeln Rj_ zu einer Regel R^ zusammenzufassen, und den Verläßlichkeits- wert K^ der jeweiligen Regel R^, die sich aus der Zusammen¬ fassung mehrerer gleicher Regeln R^ ergibt, aus der Summe der Verläßlichkeitswerte K^ der zusammengefaßten Regeln R^ zu bilden.
In Fig. 6 ist der Rechner R in Form einer Skizze dargestellt, mit dem das Verfahren durchgeführt wird. Der Rechner R weist zusätzlich beispielsweise eine Tastatur TA, eine Maus MA als Eingabemittel zur Eingabe des Fuzzy-Regelsatzes FR durch den Benutzer B sowie beispielsweise einen Drucker DR oder einen Bildschirm BS zur Darstellung des neuen Fuzzy-Regelsatzes NFR für den Benutzer B auf.
97/44743 PC17DE97/00967
16 In diesem Dokument folgende Veröffentlichungen zitiert:
[1] R. Kruse et al, Neuronale Fuzzy-Systeme, Spektrum der Wissenschaft, S. 34-41, Juni 1995
[2] J. Hertz et al, Introduction to the Theory of Neural Computation, Lecture Notes Volume I, Addison Wesley Publishing Company, ISBN 0-201-51560-1, 1995
[3] C. Bishop, Neuronal Networks for Pattern Recognition, Clarendon Press, Oxford, ISBN 0-198-538-642, S. 353 - 364, 1995
[4] R. Neuneier und H. G. Zimmermann, A Semantic-Preserving Learning Algorithm for Neuro-Fuzzy-Systems with Appli¬ cations to Time Series prediction, Proceedings of the ICANN-Workshop "Banking, Finance and Insurance", Paris, S. 1 - 5, 1995
[5] W. Finnoff et al, Improving generalization by Noncon- vergent Model Selection Methods, Neural Networks, Nr. 6, 1992
[6] H. Hensel et al, Optimierung von Fuzzy-Control mit Hilfe Neuronaler Netze, atp, Automatisierungstechnische Praxis, Vol. 37, Nr. 11, S. 40 - 48, 1995
[7] A. Gail et al, Rule Extraction: From Neural Architecture to Symbolic Representation, Connection Science, Vol. 7, No. 1, S. 3 - 27, 1995
[8] J. Hollatz, Integration von regelbasiertem Wissen in neuronale Netze, Dissertation Institut für Informatik, Technische Universität München, S. 35 - 58, 1993

Claims

Patentansprüche
1. Verfahren zur Optimierung eines vorgegebenen Fuzzy- Regelsatzes, der eine beliebige Anzahl von Regeln aufweist, durch einen Rechner, a) bei dem der Fuzzy-Regelsatz (FR) auf ein Neuronales Netz (NN) abgebildet wird (501) , b) bei dem das Neuronale Netz (NN) trainiert wird (502) , c) bei dem Gewichte (WJ_) und/oder Neuronen (NE) des Neurona¬ len Netzes (NN) entfernt oder wiederbelebt werden, wodurch ein neues Neuronales Netz (NNN) gebildet wird (503) , und d) bei dem das neue Neuronale Netz (NNN) auf einen neuen Fuz¬ zy-Regelsatz (NFR) abgebildet wird, wobei der neue Fuzzy- Regelsatz (NFR) durch das neue Neuronale Netz (NNN) charakte¬ risiert wird (504) .
2. Verfahren nach Anspruch 1,
- bei dem für das neue Neuronale Netz (NNN) ein Fehler ermit- telt wird,
- bei dem für den Fall, daß der Fehler unter einer vorgebba¬ ren Schranke liegt, das Verfahren beendet wird und der neue Fuzzy-Regelsatz (NFR) den optimalen Fuzzy-Regelsatz dar¬ stellt, und - bei dem für den Fall, daß der Fehler über der Schranke liegt, das Verfahren iterativ solange wiederholt wird, bis der Fehler unter der Schranke liegt.
3. Verfahren nach Anspruch 1 oder 2, bei dem mit den Gewichten (w^) des Neuronalen Netzes (NN) die Prämissen der Regeln (Rj_) beschrieben werden.
4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem die Prämissen der Regeln (R^) mit den Gewichten (WJ_) des Neuronalen Netzes (NN) binär codiert werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem zum Trainieren des Neuronalen Netzes (NN) ein Gra¬ dientenabstiegsverfahren verwendet wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem zum Trainieren des Neuronalen Netzes (NN) ein seman¬ tikerhaltender Lernalgorithmus verwendet wird.
7. Vefahren nach einem der Ansprüche 1 bis 6, bei dem Regeln (R^) des neuen Fuzzy-Regelsatzes (NFR) mit gleicher Semantik zu einer neuen Regel (R-jJ zusammengefaßt werden, wobei ein Verläßlichkeitswert (K^) der neuen Regel (Rj_) sich aus der Summe der Verläßlichkeitswerte (K^) der Re¬ geln (R^) ergibt, die zu der neuen Regel (R± ) zusammengefaßt werden.
8. Verfahren nach einem der Ansprüche 1 bis 7, bei dem Aktivierungsfunktionen von Neuronen (NE) des Neurona¬ len Netzes (NN) jeweils einer Regel (Rj_) entsprechen.
PCT/DE1997/000967 1996-05-23 1997-05-14 Verfahren zur optimierung eines fuzzy-regelsatzes durch einen rechner WO1997044743A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US09/194,263 US6317730B1 (en) 1996-05-23 1997-05-14 Method for optimizing a set of fuzzy rules using a computer
JP9541363A JPH11510936A (ja) 1996-05-23 1997-05-14 コンピュータによるファジィルールの最適化方法
EP97924883A EP0901658B1 (de) 1996-05-23 1997-05-14 Verfahren zur optimierung eines fuzzy-regelsatzes durch einen rechner
DE59702108T DE59702108D1 (de) 1996-05-23 1997-05-14 Verfahren zur optimierung eines fuzzy-regelsatzes durch einen rechner

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19620841.6 1996-05-23
DE19620841 1996-05-23

Publications (1)

Publication Number Publication Date
WO1997044743A1 true WO1997044743A1 (de) 1997-11-27

Family

ID=7795157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE1997/000967 WO1997044743A1 (de) 1996-05-23 1997-05-14 Verfahren zur optimierung eines fuzzy-regelsatzes durch einen rechner

Country Status (5)

Country Link
US (1) US6317730B1 (de)
EP (1) EP0901658B1 (de)
JP (1) JPH11510936A (de)
DE (1) DE59702108D1 (de)
WO (1) WO1997044743A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19808372A1 (de) * 1998-02-27 1999-09-02 Siemens Ag Trainings- und Herstellverfahren für ein neuronales Netz
DE102011010006A1 (de) * 2011-02-01 2012-08-02 Manroland Ag Druckmaschinenleitstand

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374974B2 (en) * 2003-01-06 2013-02-12 Halliburton Energy Services, Inc. Neural network training data selection using memory reduced cluster analysis for field model development
US20040254902A1 (en) * 2003-06-11 2004-12-16 Von Klleeck David Lawrence Second Opinion Selection System
US7328202B2 (en) * 2004-08-18 2008-02-05 Xishi Huang System and method for software estimation
US7587373B2 (en) * 2005-06-24 2009-09-08 Halliburton Energy Services, Inc. Neural network based well log synthesis with reduced usage of radioisotopic sources
US7613665B2 (en) * 2005-06-24 2009-11-03 Halliburton Energy Services, Inc. Ensembles of neural networks with different input sets
WO2008112921A1 (en) * 2007-03-14 2008-09-18 Halliburton Energy Services, Inc. Neural-network based surrogate model construction methods and applications thereof
US8417993B2 (en) * 2007-06-21 2013-04-09 Microsoft Corporation Fuzz testing and attack-surface scoping for URI handlers and pluggable protocols
US9514388B2 (en) * 2008-08-12 2016-12-06 Halliburton Energy Services, Inc. Systems and methods employing cooperative optimization-based dimensionality reduction
US8700541B2 (en) 2012-02-02 2014-04-15 I-Shou University Modeling method of neuro-fuzzy system
US9501740B2 (en) 2014-06-03 2016-11-22 Saudi Arabian Oil Company Predicting well markers from artificial neural-network-predicted lithostratigraphic facies
CN107239825B (zh) * 2016-08-22 2021-04-09 赛灵思电子科技(北京)有限公司 考虑负载均衡的深度神经网络压缩方法
CN112365291A (zh) * 2020-11-30 2021-02-12 北京工业大学 一种改进的基于模糊神经网络的废旧手机定价方法
CN116682551B (zh) * 2023-07-27 2023-12-22 腾讯科技（深圳）有限公司 疾病预测方法、疾病预测模型训练方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993021598A1 (en) * 1992-04-09 1993-10-28 Omron Corporation Neural network/fuzzy conversion device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751915A (en) * 1993-07-13 1998-05-12 Werbos; Paul J. Elastic fuzzy logic system
US5714866A (en) * 1994-09-08 1998-02-03 National Semiconductor Corporation Method and apparatus for fast battery charging using neural network fuzzy logic based control

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993021598A1 (en) * 1992-04-09 1993-10-28 Omron Corporation Neural network/fuzzy conversion device

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BERENJI H R ET AL: "Clustering in product space for fuzzy inference", PROCEEDINGS OF IEEE 2ND INTERNATIONAL FUZZY SYSTEMS CONFERENCE, SAN FRANCISCO, CA, USA, 28 MARCH-1 APRIL 1993, ISBN 0-7803-0614-7, 1993, NEW YORK, NY, USA, IEEE, USA, pages 1402 - 1407 vol.2, XP000371605 *
JUNHONG NIE ET AL: "A rule-based channel equalizer with learning capability", PROCEEDINGS OF ICNN 95 - INTERNATIONAL CONFERENCE ON NEURAL NETWORKS, PERTH, WA, AUSTRALIA, 27 NOV.-1 DEC. 1995, ISBN 0-7803-2768-3, 1995, NEW YORK, NY, USA, IEEE, USA, pages 606 - 611 vol.1, XP002039980 *
SHANN J J ET AL: "A FUZZY NEURAL NETWORK FOR RULE ACQUIRING ON FUZZY CONTROL SYSTEMS", FUZZY SETS AND SYSTEMS, vol. 71, no. 3, 12 May 1995 (1995-05-12), pages 345 - 357, XP000500970 *
TAZAKI E ET AL: "A GENERATION METHOD FOR FUZZY RULES USING NEURAL NETWORKS WITH PLANAR LATTICE ARCHITECTURE", INTERNATIONAL CONFERENCE ON NEURAL NETWORKS/ WORLD CONGRESS ON COMPUTATIONAL INTELLIGENCE, ORLANDO, JUNE 27 - 29, 1994, vol. 3, 27 June 1994 (1994-06-27), INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, pages 1743 - 1748, XP000503898 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19808372A1 (de) * 1998-02-27 1999-09-02 Siemens Ag Trainings- und Herstellverfahren für ein neuronales Netz
DE102011010006A1 (de) * 2011-02-01 2012-08-02 Manroland Ag Druckmaschinenleitstand

Also Published As

Publication number Publication date
DE59702108D1 (de) 2000-09-07
JPH11510936A (ja) 1999-09-21
EP0901658B1 (de) 2000-08-02
US6317730B1 (en) 2001-11-13
EP0901658A1 (de) 1999-03-17

Similar Documents

Publication Publication Date Title
EP0901658B1 (de) Verfahren zur optimierung eines fuzzy-regelsatzes durch einen rechner
DE212020000731U1 (de) Kontrastives Vortraining für Sprachaufgaben
EP2112569A2 (de) Verfahren zum rechnergestützten Lernen einer Steuerung und/oder Regelung eines technischen Systems
DE10296704T5 (de) Fuzzy-Inferenznetzwerk zur Klassifizierung von hochdimensionalen Daten
EP1546823B1 (de) Verfahren zur rechnergestützten erstellung von prognosen für operative systeme sowie system zur erstellung von prognosen für operative systeme
DE10356399A1 (de) Datenverarbeitungssystem
DE19635758C1 (de) Verfahren und Vorrichtung zur rechnergestützten Generierung mindestens eines künstlichen Trainingsdatenvektors für ein neuronales Netz
EP1231596A1 (de) Trainingsmethode von den freien Parameten eines Maximum-Entropie-Sprachmodells
EP0890153B1 (de) Verfahren zur ermittlung von zur entfernung geeigneten gewichten eines neuronalen netzes mit hilfe eines rechners
DE19703964C1 (de) Verfahren zur Transformation einer zur Nachbildung eines technischen Prozesses dienenden Fuzzy-Logik in ein neuronales Netz
EP0777881B1 (de) Verfahren zur festlegung des gültigkeitsbereichs für ein künstliches neuronales netzwerk
WO1998007100A1 (de) Rechnergestütztes verfahren zur auswahl von trainingsdaten für ein neuronales netz
EP0548127B1 (de) Neuronales Netzwerk und Schaltungsanordnung zur Bool&#39;schen Realisierung neuronaler Netze vom ADALINE-Typ
DE19734735C2 (de) Klassifizierungsverfahren mit einem neuronalen Netz
EP0591259B1 (de) Verfahren zur verarbeitung von unsicherheiten von eingangsdaten in neuronalen netzwerken
EP1190383B1 (de) Verfahren zur rechnergestützten ermittlung einer zugehörigkeit einer vorgegebenen eingangsgrösse zu einem cluster
WO2000011601A2 (de) Verfahren zum trainieren eines neuronalen netzes, verfahren zur klassifikation einer folge von eingangsgrössen unter verwendung eines neuronalen netzes, neuronales netz und anordnung zum trainieren eines neuronalen netzes
DE102022203045A1 (de) Konfidenzbetrachtung während dem Training eines KNN
WO2000002135A2 (de) Verfahren und anordnung zur ermittlung eines ausgangssignals zu einem vorgegebenen eingangssignal und verfahren zum trainieren der anordnung
DE102019214308A1 (de) Schnelles quantisiertes Training trainierbarer Module
DE102020213366A1 (de) Verfahren zum Bereitstellen eines Algorithmus maschinellen Lernens, Verfahren und System zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten
EP3736709A1 (de) Klassifikatorsystem und verfahren zum verteilten erzeugen von klassifikationsmodellen
DE102019202450A1 (de) Quantisiertes Training trainierbarer Module
EP1588229A2 (de) Verfahren zur ermittlung des zulässigen arbeitsbereichs eines neuronalen netzes
WO2000020964A1 (de) Fraktales netz n-ter ordnung zum behandeln komplexer strukturen

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1997924883

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09194263

Country of ref document: US

ENP Entry into the national phase

Ref country code: JP

Ref document number: 1997 541363

Kind code of ref document: A

Format of ref document f/p: F

WWP Wipo information: published in national office

Ref document number: 1997924883

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1997924883

Country of ref document: EP