WO1989011684A1 - Inference rule determination method and inference apparatus - Google Patents

Inference rule determination method and inference apparatus Download PDF

Info

Publication number
WO1989011684A1
WO1989011684A1 PCT/JP1989/000504 JP8900504W WO8911684A1 WO 1989011684 A1 WO1989011684 A1 WO 1989011684A1 JP 8900504 W JP8900504 W JP 8900504W WO 8911684 A1 WO8911684 A1 WO 8911684A1
Authority
WO
WIPO (PCT)
Prior art keywords
inference
input
rule
output
signal processing
Prior art date
Application number
PCT/JP1989/000504
Other languages
English (en)
French (fr)
Inventor
Hideyuki Takagi
Isao Hayashi
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP89905781A priority Critical patent/EP0378689B1/en
Priority to DE68928612T priority patent/DE68928612T2/de
Publication of WO1989011684A1 publication Critical patent/WO1989011684A1/ja

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/0285—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks and fuzzy logic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
    • G06N7/023—Learning or tuning the parameters of a fuzzy system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S706/00—Data processing: artificial intelligence
    • Y10S706/90—Fuzzy logic

Definitions

  • the present invention provides an inference rule determining method for controlling devices, performing inference in an expert system, and performing turn recognition based on input data. We will discuss the inference device.
  • fuzzy inference In describing the conventional technology, first, a basic outline of fuzzy inference will be described using fuzzy control used in device control and the like as an example.
  • the variables subjectively and intuitively judged by the operator such as “large”, “medium”, “very”, “slightly”
  • the final control manipulated variable is determined using variables such as fuzzy variables.
  • the operator determines the operation amount from the input variable based on the control experience obtained from his own experience.
  • the inference device using fuzzy control according to the IF-THEN-J type inference rules, the fuzzy variables of the input variables are applied to the IF part of the inference rules, and how much the inference rules are applied.
  • the number of fuzzies to be output in the THEN section is determined from the ratio (measure type value) that indicates whether or not the output is satisfied. It can be obtained by taking the value of the center of gravity of the fuzzy number.
  • the conventional control method using this fuzzy inference is similar to that of the conventional control method.
  • Fuzzy modeling for example, Kanezawa, Michio Suga, "Fuzzy modeling", Transactions of the Society of Instrument and Control Engineers, vo. 23, no. 8, pp. 850- 652, 1387.
  • the IF part consists of fuzzy propositions
  • the THEN part consists of ordinary input / output linear relational expressions.
  • the control rule between the control deviation e, its change rate de, and the control output (manipulated variable) u is as follows: .
  • NB Negat ive 6 ig
  • NM egative Medium
  • NS Negative SmalU Z0
  • PB Positive Big ⁇ Puru.
  • R 3 If Xi is Ai, X2 is Aa, ⁇ , x n is A a
  • R s indicates that the s-th rule is satisfied
  • xj is an input variable
  • Aj s is a fuzzy set
  • y s is an output from the s-th rule
  • c s is the THEN part Check with the meter. Inference result for ⁇ uru input (x?, ⁇ ?, ⁇ ,) ⁇ ) y is obtained by the following equation,
  • n is the number of rules
  • W 3 is Input (x?, X, ... is at a rate that applies to IF section of the s-th rule Aru.
  • ⁇ ⁇ of off ⁇ di I set A s W s is expressed by the following equation, when the main perceived value is expressed as ⁇ ().
  • the identification of the 0 fuzzy model consists of two steps: identification of the structure of the IF and THEN sections and identification of the parameters of the IF and THEN sections.
  • Conventional identification methods (1) 1 the full ⁇ di I proposition F unit shall be determined in a proper proposition, (2) a W S is changed into _Jo, (3) Input the THEN portion at backward elimination Search for only the parameters that are really necessary from among the variables,) obtain the parameters of TH EN 5 parts by the least squares method, repeat the above (2)-) to determine the optimal parameters, (B ) Changing the fuzzy proposition in the IF section, returning to (7) (2), repeatedly searching for the optimal parameters under the conditions of the new fuzzy proposition. In other words, it is a discovery algorithm.
  • a fuzzy inference device as shown in a block 25 in FIG. 2 was used.
  • -1a is data (including measured values and human evaluation values) input part
  • 2a is display command part
  • 3a is fuzzy inference operation part
  • 4a Is the output part of the inference result
  • 5a is the display part.
  • the display unit 2a is composed of a keyboard 5 and the fuzzy inference operation unit 3a is composed of a digital computer. Puru.
  • the data input to the data input unit 1a is subjected to the inference operation in the fuzzy inference and calculation unit 3a, and the inference result is output.At the same time, the inference rule is displayed in the display unit 5a.
  • the list of lists and fuzzy variables and the usage status of various inference rules are displayed.
  • the conventional inference apparatus shown in Fig. 2 uses the fuzzy inference rules for inference rules, and fuzzy variables as input data are fixed to constants in the fuzzy inference operation unit 3a. It does not have the function of changing fuzzy variables.
  • the decision algorithm of the empersive function is based on a heuristic solution.
  • the number of parameters that are complex and must be determined is very large. Therefore, the optimum inference rule cannot be obtained quickly and easily.
  • the present invention uses the learning function to solve the conventional problems.
  • the first is to provide an inference rule determination method that automatically determines the fuzzy number included in the inference rules described in the form of ri F..., T HEN... Without relying on the rules. Aim.
  • a second object of the present invention is to provide an inference apparatus capable of responding at high speed even when the inference problem is nonlinear by using the nonlinearity of the neural network model.
  • a parser value determining unit configured as a neural network estimates a parser value corresponding to IF3 ⁇ 45 of each inference rule from input variables.
  • the individual inference amount determination unit of the inference device estimates an inference amount corresponding to the T HEN part of the inference rule from the input variables.
  • the final inference amount determination unit determines the final inference amount by comprehensively judging the membership value and the inference amount estimated for each rule for the input variable.
  • the present invention is an inference apparatus that operates in this manner.
  • Fig. 1 is an explanatory diagram of fuzzy variables
  • Fig. 2 is a block diagram of a conventional inference device
  • Fig. 3 and Fig. 4 are mapper value determination units and individual inference amount determination
  • Fig. 5 is a block diagram of the linear signal processing unit
  • Fig. 6 is a block diagram of the nonlinear signal processing unit
  • Fig. 7 is an input / output characteristic diagram of the threshold processing unit
  • FIG. 8 is an explanatory diagram of a method for automatically determining a membership function using a neural network model.
  • FIG. 9 is a configuration diagram of an inference apparatus according to an embodiment of the present invention.
  • FIG. Fig. 11 is an input / output data configuration diagram for explaining the operation of the first embodiment.
  • FIG. 11 is an explanatory diagram of the mapper value of each learning data of the IF unit of the first embodiment.
  • Fig. 12 is a diagram showing input variables.
  • Fig. 13 is the inference error diagram in the case of reduction, Fig. 13 is the result of estimation of the inference amount in Example 1, and
  • Fig. 14 is the invention. Best Mode for Applying the Invention with an Estimation Chart when Applied to the COD Estimation Problem in Osaka
  • the feature of the method of the present invention lies in that the learning function sequentially determines the membership function.
  • the learning function sequentially determines the membership function.
  • the learning ker- golism of the neural network is used.
  • the neural network model is a mathematical net that gains insight into the connection of brain neurons. By determining the connection strength between the cuts that also make up the circuit network by sequential learning, it is possible to determine the inference rules based on experiments.
  • the network shown in Fig. 3 is represented by a neural network model.
  • 100 also indicates a multi-input / output signal processing unit, and 101 is a neural network.
  • the input clause of the model is displayed.
  • Fig. 4 also shows a specific configuration example.
  • Fig. 4 shows an example of a three-stage Shinto network model in which four input variables are input and the output value of i-sora is estimated. A signal is transmitted only to the upper eyebrows fc.
  • the multi-entry car output signal processor 100 which also forms such a neural network, has a specific structure. The thing is shown in Fig. 5.
  • FIG. 5 In FIG.
  • 100'1 is a multi-input car output signal processing unit 100 0 input unit, and 1002 weights a plurality of inputs from the input unit i 0 1.
  • Memory storing the weighting coefficient 1003 is the weighting coefficient of memory 1 0 0 2 and input section 1 0 0 1
  • a multiplier 1004 multiplies the inputs from the multipliers, and 1004 is an adder that adds together the outputs of the multipliers 103. That is, the multi-input / output signal processing section 100 shown in FIG. 5 stores the input value to the input section 1001 as ⁇ and the weight stored in the memory 1002. If the coefficient is
  • FIG. 6 specifically shows the configuration of the multi-input car output signal processing unit 100 constituting the neural network model, that is, the nonlinear operation and the nonlinear signal processing unit.
  • 100 is a linear signal processing unit described in FIG.
  • Reference numeral 20000 denotes a value processing unit that limits the output of the linear signal processing unit to a value within a certain range.
  • FIG. 7 shows an example of the input / output characteristics of the threshold processing section 2000.
  • the input / output characteristic of the threshold processing unit 20000 that limits the output to the range of (0, 1) is
  • IN and OUT are input and output of the value processing unit 20000.
  • Nao in the description of the embodiment, even for to represent the model scale of k eyebrows [u ⁇ X u, X ... X u k] in. u and are the numbers of neuron models in the input layer, middle layer and output layer, respectively.
  • the above is a general description of the neural network model.
  • the error between the output value of the neural network model at that time and the affiliation ratio value to the inference rule is found. Since this error is a function of the weight coefficient of the memory 1002, the weight coefficient is corrected in the weight differential direction of the error. In other words, learning is performed by minimizing the error by sequentially correcting the weights according to the steepest decent method. This is the outline of the learning method using the Backpropagation algorithm.
  • the input / output data ( ⁇ ,, ⁇ ,) is divided into inference rule structure identification data (hereafter, referred to as TRD, n t) and inference rule evaluation data (hereafter, CHD, n.).
  • TRD inference rule structure identification data
  • CHD inference rule evaluation data
  • n n + n. Duru.
  • ( nt ) 3 indicates the number of TRD data at each R s .
  • a neural network model for estimating the ratio W is belonging to each R 3 of each learning data (xi, yi) is learned.
  • the value output from the trained neural network model is used as the emper- sive value of the IF section.
  • the membership function is
  • variable reduction method only the input variables that contribute to the inference amount estimation formula in the THEN part of each inference rule are selected. Of the m input variables, one arbitrary input variable is removed, and a neural network model is identified for each THEN part using TRD as in Step 5. Next, the estimated error sum of squares of the inference amount when GHD is used is calculated.
  • Step 5 to Step 6 are repeated, and all the expressions (2) are performed.
  • the model that minimizes ⁇ 3 is the optimal neural network model.
  • steps 1 to 7 the IF section and the THEN section for each inference rule are determined, and the structure identification of the fuzzy inference rule is completed.
  • the inference amount y is obtained by the following equation.
  • y s is an estimated value obtained by substituting CHD into the optimal neural network model obtained in step 7.
  • the neural network model consists of a collection of non-linear characteristics as shown in Fig. 7, it is naturally possible to automatically infer non-linear objects by this learning.
  • the inference rule is determined by the method of the present invention, even if the inference target has a non-linear relation or various input / output relations, it can be sequentially used using the learning function. Since inference rules are determined, inference rules can be obtained easily and accurately without taking heuristics.
  • Fig. 10 shows the input and output data.
  • Data Nos. 1-20 are data for determining inference rules (TRD) of inference rules used for learning
  • Three eyebrows [3 X 3 X 3 X 1] We learned 15,000 times using a neural network model and selected input variables. The results shown in Table 1 were obtained.
  • the input variable 4 does not significantly differ from the sum of squared errors when added or removed. Therefore, it was judged that it hardly affected the determination of the membership function, and it was useful in subsequent experiments.
  • each learning data can be divided into two as shown in Table 2.
  • Table 2
  • the neural network model of step 5 is used as the ⁇ ⁇ ⁇ ⁇ partial model.
  • the neural network model of step 5 is used as the ⁇ ⁇ ⁇ ⁇ partial model.
  • the input neural network model be the ⁇ ⁇ ⁇ ⁇ part model.
  • the obtained fuzzy model is
  • R 1 : IF Cxi, xa, 3) is A 1
  • the weighted centroid according to the equation (3) is searched for the inference amount obtained as a result of the fuzzy inference.
  • algebraic product is used in the W s O arithmetic expression, but a fuzzy logic operation such as an mi Hi operation may be used instead of the algebraic product.
  • Fig. 8 (a) the learning data is classed in step 3 (Fig. 8 (a)).
  • These classes correspond to one inference rule. For example, ⁇ IF X! It is rather small, cut, if Kere chi 2 is large, THEN - Aru in J and I'was inference rules.
  • Ri the inference rules Ri ⁇ R3.
  • Fig. 8 (c) the membership function, and its shape is shown, for example, in Fig. 8 (c). This is a diagram of the membership function viewed from above. The hatched area indicates the area where the membership function intersects.
  • Steps 3 and 4 show how to create such a simple parser function. That is, providing a neural network model of FIG. 8 (b), the variable value of the IF portion Input allocation (the case of FIG. X, and chi 2) and, in the rule number input mosquito value belongs to deca Assign 1 and 0 to the others to train.
  • One of the important features of the neural network model is that similar inputs correspond to similar outputs. Only the X points in Fig. 8 (a) were used for learning, but if they were near them, they would output the same output, that is, they would follow the same inference rules.
  • the neural network model that has completed learning will output the optimal value of the ratio that belongs to each inference rule for the input data near the boundary of each inference rule. . This is the parser value. In other words, this neural network model contains all the parser functions of each inference rule.
  • the learning algorithm of the neural network is used to determine the fuzzy inference rule's empirical function. It is okay to use the algorithm. It is easy to imagine that Bac kpr opaga tiyon, which was described in Neural Network Algorithm, is based on the classic steepest descent method. As other learning methods, many learning algorithms used in the field of nonlinear minimization problems such as the Newton method and the conjoint gradient method are easily considered. Can be Also, no. Turn recognition In shadowing, it is common sense to use a learning method that uses standard patterns to approach the input pattern sequentially for recognition, and may use this kind of sequential learning method. .
  • the THEN part is also configured by a neural network
  • the THEN part may be represented by another method.
  • the fuzzy modeling described by the conventional method a difference occurs in the nonlinear expression and the first embodiment from the first embodiment. If a simple learning function of a circuit network model is incorporated, if the fuzzy number of the inference rule is automatically and sequentially determined by the learning function, the essence of the present invention is not lost.
  • the automatic formation of the membership function of the fuzzy inference rule and the dynamic expression are used.
  • This special case is the case for the production rules used in the classic expert system. In this case, if the reliability of the inference rule is automatically formed, the expression is better understood. However, this is also a special case of the embodiment of the method of the present invention.
  • FIG. 9 shows a configuration diagram of a first embodiment of the inference apparatus of the present invention.
  • 1 is a mapper value determination unit that calculates the mapper value of the IF part of each inference rule
  • 2 is the inference amount to be calculated in the TH.EN part of each inference rule.
  • the individual inference amount determination unit 3 to be estimated determines a final inference amount from the output from the individual inference amount determination unit 2 and the output from the membership value determination unit 1.
  • the twenty one 2 r is the internal configuration of the individual inference amount determination unit 21 that determines the inference amount based on each of the inference rules 1 to r.
  • the membership value deciding unit 1, the chorus, and the individual inference amount deciding units 21 to 2r have a multistage circuit network configuration as shown in FIG. .
  • the membership value determination unit 1 When the input value ⁇ !: ⁇ »Can be input to the inference apparatus of the present invention, the membership value determination unit 1 outputs a ratio in which these input values satisfy each inference rule. I do. This member value determination unit 1 has already learned according to the procedure described in the inference rule determination method of the present invention. Also, the individual inference amount determination unit 21 outputs an inference amount when these input values are in accordance with the inference rule 1. Similarly, the individual inference amount determination unit 21-2 r outputs the inference amount when the inference rules 2 to r are followed. The final inference amount determination unit 3 outputs a final inference result from the main inference value determination unit 1 and the individual inference amount determination unit 2. For example, equation (3) is used for the determination.
  • the input / output relationship of the multi-input / output signal processor 100 constituting the neural network model is non-linear. Therefore, the neural network model itself can perform nonlinear inference. Therefore, the inference apparatus of the present invention can realize high inference accuracy that could not be achieved by linear approximation.
  • This specific inference accuracy of the present invention is shown in a specific application example.
  • An example of application is to measure the C0D (Chemical Oxygen demand) concentration from five measurement parameters measured in Osaka Bay from April 1976 to March 1997. This is a problem to be estimated.
  • C0D Chemical Oxygen demand
  • the five measurement parameters are (1) water temperature (.C), (2) transparency (m :), (3) D0 concentration (ppm),) salt concentration (% :), and (5) filtration. COD Degrees ( ⁇ ⁇ ). Of these data, learning was performed using 32 sets of data from April 1976 to April 1977, and the remaining 12 were used for evaluation after training. The data was used. The results estimated by the present invention (solid line) and the measured values of the actual COD intensity (dotted line) are shown in FIG. The estimation result is very difficult.
  • the inference apparatus According to the first embodiment of the inference apparatus according to the present invention, at least a member which is constituted by a plurality of multi-entry car output signal processing units which have been subjected to net-logging. It has a learning function by providing a tap value determination unit and an individual inference amount determination unit composed of at least a plurality of multi-input / output signal processing units connected in a net- work. Therefore, it is possible to determine the amount of inference that nonlinearly corresponds to the input variables.
  • the input-output relationship of a neural network model obtained in advance is stored in a memory, and instead of directly executing the neural network model each time, the method is executed. Approximate inference can also be made by referring to memory.
  • the emphasis value determination unit and the individual inference amount determination unit are configured as a neural network model.However, if the input variables are clear in advance, some If it is acceptable to perform the approximation, it is possible to create an input / output correspondence table in advance from the neural network model determined by the learning algorithm.
  • the replacement of the emphasis value determination unit or the individual inference amount determination unit is performed.
  • learning is performed by incorporating the method of the present invention.
  • the inexpensive and compact inference device can be realized because the circuit configuration shown in FIG. 5 is not required.
  • non-linear Inference corresponding to the shape can be performed in the same manner as in the first embodiment of the inference apparatus of the present invention.
  • At least a member value determining unit or an individual inference amount determining unit includes at least a plurality of network-connected units. It consists of a memory that holds the input / output characteristics of the inference unit of the multi-input car output signal processing unit in advance and a memory reference unit. It is possible to determine the amount of inference that corresponds nonlinearly to power variables.
  • inference rule As described above, according to the method of the present invention, it is possible to automatically form an inference rule with a learning function, perform the best inference, and create an inference rule. Further, according to the inference apparatus of the present invention, inference can be performed with high accuracy even when the inference target is non-linear, so that the practical value thereof is large.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)

Description

明 細 鲁
発明の名称
推論規則決定方法と推論装置
技術分野
本発明は入カデータに基づぃて、 機器制御をしたり、 ェ キス パー ト シ ス テムでの推論を行った り、 ノ、 ·ターン認識を行った り する場合の、 推論規則決定方法ぉょび推論装置に関する も ので める。
背景技術
従来の技術を説明するに当た り、 まず、 フ ァ ジ ィ推論の基本 概略にっぃて機器制御等で用ぃ られる フ ァ ジ ィ 制御を例に と っ て説明する。
人間の評価が関与する制御シ ス テ ムにぉぃて、 操作者が主観 的 · 感覚的に判定した変量、 た とぇば 「大きぃ」、 「中位」、 「とても」、 「少し」 等の変量. （これをフ ァ ジ ィ変数と言ぅ） を用ぃて最終的な制御操作量を決定する場合がぁる。 こ の場合、 操作者は 自分の経験から得た制御経験に基づぃて入カ変量から 操作量を決定してぃる。 フ ァ ジ ィ 制御を用ぃた推論裝置では 「 I F - THEN - J 形式の推論規則に従って、 入カ変量のフ ァ ジ ィ変 数を推論規則の I F部に適用し、 その推論規則をどの程度満た してぃるかを示す割合 （ メ ンパー シ ヅ プ値） から、 T H E N部 での出カのフ ァ ジ ィ数を決定してぃる。 実際の操作量は複数の 規則にょ る出カのフ ァ ジ ィ数の重心値等を取る こ とにょ り、 得 る こ とができ る。
さて、 こ の フ ァ ジ ィ推論を用ぃた従来の制御方法のーっに フ ァ ジ ィ モデ リ ングがぁ り、 例ぇば、 姜根沢、 菅翳道夫、 " フ ァ ジ ィ モデ リ ング"、 計測自動制御学会論文集 voし 23,no.8，pp. 850-652， 1387年、 に示されてぃる。 フ ァ ジ ィ モデ リ ン グを構成 する制御規則にぉぃては、 I F部は フ ァ ジ ィ命題からな り、 T H E N部は普通の入出カの線形関係式からなってぃる。 ぃま、 例ぇば、 一次遅れのタ ン クモデルを考ぇる と制御偏差 e、 ぉょ びその変化率 de と、 制御出カ （操作量） uの間の制御規則は次 のょぅになる。
If e is Zero and de is Positive Medium
Then u = 0.25 e + 1.5d e
上記のょ ぅ な推論規則は複数個用意され、 その全体を制御規 則と呼ぶ。 Zero、 Pos ive Mediumなどは規則の記述に用ぃる入 カのフ ァジ ィ数を表ゎすラべルでぁ り、 フ ァ ジ ィ変数でぁる。 第 1図にそのー例を示す。 第 1 図にぉぃて、 NB は Negat i ve 6 ig、 NM は egative Medium^ NS は Negative SmalU Z0 は Z ero、 PS は Positive SnalK PH は— Positive Medium-, PB は Positive Big^ を意味してぃる。 こ こで、 X上の フ ァ ジ ィ数 F を表ゎす関数をメ ンパーシ ッ プ関数 ^ F ()と呼び、 各 X0の関数 値をメ ンパーシ ッ プ値 F(xa)と言ぅ。 上記の制御規則のー般形 は次式のょ ぅ になる。 ，
R3： If Xi is Ai , X2 is Aa , ··· , xn is Aa
Then ys = c§+ c Xi + c*X2 + … + c^ B
こ こで、 Rsは s番目規則でぁるこ とを示し、 xjは入カ変数、 Aj sは フ ァ ジ ィ集合、 ysは s番目規則からの出カ、 csは T H E N 部バラ メ ータでぁる。 ぁる入カ (x? ,χ? ,··· ,χ^)に対する推論結果 yは次式で求められる,
n
∑ y
s =l
y =
n
s =l
こ こ で、 nは規則の数、 W3は入カ（x?,x ，… が s番目規 則の I F部に当てはまる割合でぁる。 フ ァ ジ ィ集合 Asの χβにぉけ る メ ン パー シ ッ プ値を； ^ （ ）と表ゎすと W sは次式で表される。
W8 = Π （xf )
0 フ ァ ジ ィ モデルの同定は、 I F部と T H E N部の構造同定と、 I F部と T H E N部のパ ラ メータ同定との 2段階で構成される。 従来の同定法は、 （1) 1 F部のフ ァ ジ ィ 命題を適当な命題に定め る、 （2)WS をー定に変化させる、 （3)変数減少法で T H E N部 の入カ変数の中から本当に必要なも のだけを捜す、 )TH E N 5 部のパラ メータを最小ニ乗法で求める、 )以上の（2)~ )を繰 り返し、 最適なパラ メータを決める、 （B) I F部の フ ァ ジ ィ命題 を変ぇる、 （7)(2)へ戻り、 新しぃフ ァ ジ ィ 命題の条件での最適 なパラ メ ータ を繰り返し捜す、 でぁ った。 っま り、 発見方法的 な同定ァル ゴ リ ズムでぁると言ぇょ ぅ。
0 また、 従来の推論装置と しては、 例ぇば、 第 2図のブロ ッ ク 25 図に示すょぅ なフ ァ ジ ィ推論装置がぁった。 第 2図にぉぃて、 - 1 aはデータ （計測値ぉょび人間の評価値を含む） 入カ部、 2 aは表示指令部、 3 aはフ ァ ジ ィ推論演算部、 4 aは推論結果 出カ部、 5 aは表示部でぁる。 表示部 2 aはキーボ一 ドで構成 5 され、 フ ァ ジ ィ推論演算部 3 aはデジタル計算機で構成されて ぃる。 データ入カ部 1 aに入カされたデータはフ ァ ジ ィ推論渲 算部 3 aで推論演算が施された結果、 推論結果を出カし、 同時 に表示部 5 aに推論規則の リ ス ト、 フ ァ ジ ィ変数の リ ス トぉょ び各種推論規則の使用状況などが表示されるょ ぅになってぃる。 第 2図に示すょぅな従来の推論装置はフ ァ ジ ィ推論規則の推論 規則ゃ入カデータと しての フ 'ァ ジ ィ変数はフ ァ ジ ィ推論演算部 3 aでー定に固定されてぉり、 フ ァ ジ ィ変数を変更する機能は 持たなぃ。
上記の フ ァ ジ ィ モデ リ ン グに限らず従来の推論規則決定方法 にぉぃては、 メ ンパーシ ッ プ関数の決定ァル ゴ リ ズムが発見的 解法に基づぃてぃるため、 複雑でぁ りかっ決定すべきパラ メ ー タ数も非常に多ぃ。 従って、 高速にかっ容易に最適な推論規則 を得られなかつた。
また、 上記のょぅ な第 2図の推論装置では、 推論規則の学習 機能がなぃために、 入カ変数の特性が時間と共に変化し、 当初 設定した推論規則では推論精度が悪 く なる とぃ ぅ課題に対応で きなかった。 例ぇば、 Γ暑ければ〇〇に制御する J とぃぅ推論 規則がぁったしょ ぅ。 「暑ぃ J とぃ ぅ曖昧な概念は人にょって も季節にょ っても異なるので、 推論装置が学習機能を持ち、 使 用状況に応じて適応的に推論規則を変更できなければ镝足のぃ く 制御はできなぃ。 更に、 実際には非線形な推論が必要な場^ が多く、 従来例の説明で述ぺたょ ぅ な線形近似を行ぅ方法では 推論精度向上 限界がぁった。
発明の開示
本発明は従来の問題点を解決するため、 学習機能を使ぃ経験 則に頼らずに r i F …， T HEN ···」 形式で記述された推論規則中 に含まれる フ ァ ジ ィ数を自動的に決定する推論規則決定方法を 提供する こ とを第 1 の目的とする。
また、 神経回路網モデルの非線形性を利用して推論問題が非 線形の場合にも高速に対応可能な推論装置を提供する こ とを第 2 の目的とする。 こ の推論装置にぉぃては、 神経回路網構成を した メ ン パーシ ッ プ値決定部が、 各推論規則の I F ¾5に相当す る メ ンパーシ ッ プ値を入カ変数から推定する。 また、 この推論 装置の個別推論量決定部が、 推論規則の T H E N部に相当する 推論量を入カ変数から推定する。 そして、 最終推論量決定部が 入カ変数に対する各規則毎に推定された メ ン バー シ ッ プ値と推 論量とから総合判断し最終的な推論量を求める。 本発明は こ の ょ ぅに動作する推論装置でぁる。
図面の簡単な説明
第 1 図は フ ァ ジ ィ変数の説明図、 筹 2図は従来の推論装置の 構成図、 第 3図ぉょび第 4図は メ ンパー シ ッ プ値決定部ぉょび 個別推論量決定部を構成する神経回路網モデルの構成図、 第 5 図は線形信号処理部の構成図、 第 6 図は非線形信号処理部の構 成図、 第 7図は閾値処理部の入出カ特性図、 第 8図は神経回路 網モ'デル を用ぃた メ ンパーシ ッ プ関数の自動決定方法の説明図、 第 9図は本発明にぉけるー実施例の推論装置の構成図、 第 1 Ό 図は実施例 1 の動作を説明するための入出カデータ構成図、 第 1 1図は実施例 1 の I F部の各学習データ の メ ンパー シ ッ プ値 説明図、 第 1 2図は入カ変数を削減した場合の推論誤差図、 第 1 3図は実施例 1 の推論量の推定結果図、 第 1 4図は本発明を 大阪镩の C O D攛度推定問題に応用したと きの推定桔果図でぁ 発明を荑施するための最良の形態
本発明の方法の特徵は、 学習機能でメ ンパーシ ッブ関数を逐 次に決定する点にぁる。 学習機能の実現方法には色 考ぇられ るが、 第 1の実施例では神経回路瘸乇デルの学習ケルゴ リ ズム を用ぃる こ とにする a そ で、 実施例の説明をする前に神轻回 路網モヂルの説明と神錢回路網モデルの学習ァルゴリ ズム とを- 説明する
神経回路網モデルは脳神轻細胞の結合に ヒ ン ト.を得た数理ネ ト ヮ一クでぁる。 回路網も構成するュュッ ト間の接統強度を 逐次学習で決定することにょり、 絰験に基づかなぃで推狳規則 も决定するこ と ^できる。
第 3図の回路網は神経回路網モデルの 1 霉でぁる， 第 3図に ぉぃて、 1 0 0は多入カ一出カ信号処理部も示し、 1 0 1 は神 経回路網モデルの入カ節を表ゎしてぃる。 第 4図に具体的な構 成例も示す。 第 4図は入カ変数 4個を入カと し i 俚の出カ値を 推定する 3段構成の神轻回路網モデルの例でぁ り、 各段.内相互 拮合がな く、 かっ上段の眉 fcのみ信号が伝揍される。 このょ ぅ な神経回路網そデルも栊成する多入カー出カ信号処理部 1 0 0のぅち、 鎳形 算のみも基本：とする鎳肜信号処理郎の構成も 具体的に示したものが第 5図でぁる。 第 5図にぉぃて、 1 0 0' 1 は多入カー出カ信号処理部 1 0 0 め入カ部、 1 0 0 2は入カ 部 i 0 0 1からの複数入カを重み付ける重み係数を格鈉するメ モ リ、 1 0 0 3はメ 乇 リ 1 0 0 2の重み係数と入カ部 1 0 0 1 からの入カを各々掛け合ゎせる乗算器、 1 0 0 4は乗算器 1 0 0 3各々の出カを足し合ゎせる加算器でぁる。 っま り、 第 5図 に示す多入カ一出カ信号処理部 1 0 0は入カ部 1 00 1への入 カ値を χι、 メ モ リ 1 0 0 2に格納されてぃる重み係数を と すれば、
y = ∑ c I X I
を計算してぃるゎけでぁる。 また、 第 6図は、 神経回路網モデ ルを構成する多入カー出カ信号処理部 1 0 0の ぅ ち、 非線形演 算も行ぅ非線形信号処理部の構成を具体的に示したも のでぁる。 第 6図にぉぃて、 1 0 0 0は第 5図で説明した線形信号処理部、
2 0 0 0は線形信号処理部の出カを一定範囲の値に制限する闞 値処理部でぁる。 閾値処理部 2 0 0 0の入出カ特性例を第 7図 に示す。 例ぇば、 出カを （ 0, 1 ) の範囲に制限する閾値処理 部 20 0 0の入出カ特性は
OUT = 1 / (1 + exp(-IN))
と数式的に表現でき る。 こ こで、 INと OUTは闞値処理部 20 0 0 の入カと出カでぁる。
上記の神経回路網の入出カ関係を（1)式で表現する。
y = N N ( X ) (1)
なぉ、 実施例の説明では、 モデルの規模を k眉 [ u β X u， X … X u k ] で表現するも のとする。 u ,はそれぞれ、 入カ層、 中 間層、 出カ層の神経細胞モデル数でぁる。 以上が神経回路網モ デルのー般的説明でぁる。
次に神経回路網モデルの学習ァル ゴ リ ズム にっぃて述ぺる。 学習ァル ゴ リ ズムは色々提案されてぉり、 その 1っに、 backpr opagati on ( D .E .Rume lhart , G . E . H i n t o n and R . J . William s, "Learning Representations by Back-Propagating Errors , " ature, vol.323 , pp .533-536 , Oct . 3, 1386) がぁる。 数 学的な証明 · 定式化は参考文献に譲るが、 基本的には次の通り でぁる。 まず、 学習データ として入カ変数と、 他の手段で推定 した各推論規則への所属割合値とを組にして多数用意してぉ く。 入カデー タを神経回路網モデルに入カする。 初 はメ モ リ 1 0 0 2には適当な値、 例ぇば乱数値を入れてぉ く。 その時の神経 回路網モデルの出カ値と推論規則への所属割合値との誤差を求 める。 こ の誤差はメ モ リ 1 0 0 2の重み係数の関数になっ てぃ るので誤差の重み微分方向へ重み係数を修正する。 っま り、 最 急降下法 (Steepest Decent Method )に従って逐次に重みを修正 する こ とで誤差を最小にし学習を行ぅのでぁる。 これが Backpr opagati onァ ルゴ リ ズムを用ぃた学習方法の概要でぁる。
以上の神経回路網モデルぉょび学習ァルゴ リ ズムを用ぃて、 本発明の推論規則決定方法、 ぉょび推論量の計算方法を説明す る o
[ ス テ ヅ プ 1 ]
推論値と高ぃ相関がぁる入カ変数のみを選択し、 不要な入カ 変数を取り除く。 例ぇば、 神経回路網モデルを用ぃてこの判定 を行ぅ場合は、 まず、 各入カ変数 x r,i = l ,2， ··· ，kを神経回路 網モデルへ入カし、 推論値 y ,になるょ ぅ学習する。 次に入カ変 数を 1っ減らして同様の学習を行ぅ。 以下同様に、 変数減少法 を繰り返す。 これら の学習が完了した各神経回路網モデルの出 カと推論値 y rと の差を誤差ニ乗和を評価指標と して比較し、 最 も小さぃ誤差になった時の神経回路網モデルの入カ変数 X j ,j = 1,2， … ，ra, m kの みを選択する。
[ ステ ッ プ 2 ]
入出カデータ（Χ , ,Υ , )を推論規則の構造同定用データ （以下、 TRDと記す。 n t個）と推論規則の評価用データ（以下， CHDと記す。 n。個）と に分割する。 n = n + n。でぁる。
[ ステ ッ プ 3 ]
TBDを通常のク ラ スタ リ ング手法を用ぃて最適な r分割を行ぅ。 r分割された学習データ の各組を Rs ,s = l ,2, ··· ,r、 Rsの学習 データを（X？ , y^s ) ,i = l ,2， … ，（nt )3とする。 ただし、 （nt )3は 各 Rsで の TRDのデータ数を示す。 こ こ で m.次元空間を r分割す る とぃ ぅ こ と は推論規則数を r個にする こ とを意味してぃる。
[ ステ ッ プ 4 ]
I F部構造の同定を行ぅ。 X！を神経回路網モデルの入カ層の入 カ値と し、 出カ層の出カ値を、
( 1 ： ( X i , y I )c R3.
w？ =
0 :(x I ,y I )<z R =
for i =l , … ,i ， s=l , … , r
とする。 そして各学習データ （x i , y i )の各 R3に属する割合 W i sを推定する ょ ぅ神経回路網モデルを学習する。 学習後の神経回 路網モデルが出カする値を I F部の メ ンパーシ ッ プ値とする。 即ち、 メ ンパーシ ッ プ関数を、
% - (xi , i ) = wf ， i =l ,2， … ,nt
とする。 /^ M (Xhy X)となる学習データ を改めて、 （ x s ， y ? ) ,i = l ,2， … ,(m )sとする。 [ス テ ヅ プ 5 ]
T H.E N部構造の同定を行ぅ。 各推論規則の T H E N部構造 モデルを神経回路網モデルの入出カ関係（1)式で表ゎし、 TRDの 入カ値 X!» ， … ,xs« ,i=l,2, ··· ，（nt)sと出カ値 yA？を割り付け る。 学習にょって推論量を推定する神経回路網モデルを同定す る。 次に、 得られた神経回路網モデルに GHDの入カ値 ， ··· ·， ,i=l ,2,··· ,(iit)sを代入し、 誤差ニ乗和 を求める。
Θ ' = s (y.s - y.a )2
i =l
[ ス テ ッ プ 6 ]
変数減少法を用ぃて、 各推論規則の TH E N部の推論量推定 式に寄与してぃる入カ変数のみを選び出す。 m個の入カ変数の 中で、 任意の 1個の入カ変数を取り除き、 ス テ ヅ プ 5 と同様に TRDを用ぃて T H E N部毎に神経回路網モデルを同定する。 次に、 GHDを用ぃた場合の推論量の推定誤差ニ乗和 を計算する。
(lie )3 _
Θ 3 p = ：∑ ( y.a - y.a ) , Ρ=1，2, "· ,m
w-ぃ i=l " 上式から、 取り除ぃた入カ変数が T H E N部の決める のにどの 程度重要でぁるかがゎかる。 即ち、
Figure imgf000012_0001
となる場合には取り除ぃた入カ変数 χρの重要度は低ぃ と考ぇら れるので、 χρを捨てる。 [ ステ ッ プ 7 ]
残り の入カ変.数の個数を m個として ス テ ッ プ 5と同様の操作を 行ぅ。 以下、 ステ ッ プ 5〜ステ ッ プ 6を繰り返し、 （2)式が全て の入カ変数に対して成立しな く なった場合に計算を停止する。
Θ 3が最小と なるモデルが最適な神経回路網モデルでぁる。
ステ ヅ プ 1 〜ステ ッ プ 7 にょ り、 各推論規則毎の I F部と T H E N部が決定され、 フ ァ ジ ィ 推論規則の構造同定が終了する。
[ステ ッ プ 8コ
推論量 y は以下の式にょ り得られる。
r 〜
∑ w.s y.s
s =l ¾
γで-: , i =l ,2 , … ，η。 （3)
r
s=l
ただし、 y sはステ ッ プ 7で得られた最適な神経回路網モデルに CHDを代入した推定値を示す。
神経回路網モデルが第 7図のょ ぅ に非線形な特性の集ま りで ぁれば、 当然この学習にょって自動的に非線形対象の推論が可 能になる。
こ のょ ぅ に、 本発明の方法で推論規則を決定すれば、 推論対 象が非線形関係ぁるぃはぁぃまぃな入出カ関係でぁっても、 学 習機能を用ぃて逐次に推論規則を決定して行 く ので、 発見的方 法を取る こ と もな く、 容易に、 かっ正確に推論規則を得る こ と ができ る。
次に、 具体的実験数値を用ぃて上述した本発明の方法を分か り ゃす く 説明しょ ぅ。 こ こでは近藤正、 " モデルの次数を推定 する改良形 G M D H "、 計測自動制御学会論文集， vol .22，no .3 ，pp.328 -334 ,1988年に示されてぃ る簡単な数値例を用ぃて推論 規則を決定し ，推論量を決定した。 推論規則決定過程を以下に述 ぺる。
[ステ ヅ プ 1, 2 ]
第 1 0図に入出カデ一タ を示す。 データ番号 1-20は学習に用ぃ る推論規則の搆造決定用データ （TRD)でぁ り、 データ番号 21-40 は評価用データ （CHD)でぁる。 したがって、 iu = n。 = 20， m= 2で ぁる。 3眉 [ 3 X 3 X 3 X 1 ] 神経回路網モデルで 15000 回学 習して入カ変数の選択を行なった結果、 表 1 の結果が得られた。
Figure imgf000014_0001
入カ変数 χ4は加ぇても取り除ぃても誤差ニ乗和に大した違ぃが なぃ。 従って、 メ ンパーシ ッ プ関数決定にはほとんど影響がし なぃと判断し、 以後の実験では用ぃなぃ。
[ステ ッ プ 3 ]
通常のク ラ スタ リ ング手法を用ぃて TRDを分割する。 ク ラ ス タ リ ングの結果、 各学習データは表 2のょぅ に 2分割可能でぁる。 表 2
Figure imgf000014_0002
[ス ヅ プ 4] 学習データ （ΧΊ ,y I ),i = l,2, ··· ,20の A3に属する割合 w = {0 , 1}を [0,1]の値 推定するために 3層 [ 3 X 3 X 3 X 2] 神経回路網モデルを 5000 回学習し、 I F部の フ ァ ジ ィ数 A3を 得た。 こ の時の推論規則 R1に対する I F部のフ ァ ジ ィ数 A1を 第 1 1図に示す。 学習データ は (xi ,yi ) = w.1 > 0となる表 2の入カデータを用ぃた。
同様に、 R 2に対しても I F部のフ ァ ジ ィ数を得る。
[ステ ッ ブ 5 ]
各推論規則にぉける T H E N部の推論量推定式を求める。 3層
[ 3 X 8 X 8 X 1 ] 神経回路網モデルを 20000回学習した後の Θ 43は表 3 のょ ぅに得られた。
表 2
Figure imgf000015_0001
[ステ ッ プ 6， 73
推論規則 R -の T H E N部の構造モデルか ら任意の 1個の入カ 変数を取り除ぃた場合の Θ 3を求め る。 3層 [ 2 X 8 X 8 X 1 ] 神経回路網モデルを 10000〜 20000回学習し た結果、 推論規則 R R2に対して第 1 2図の誤差ニ乗和が得られた。 各推論規則 毎にステ ッ ブ 5と ステ ヅ プ 6 比較する と
全ての Θ . > Θ,, ( = 27.86)
X iを取り除ぃた場合の < (= 1.93)
となってぃる ので、 推論規則 1に対してはステ ッ プ 5の神経回 路網モデルを Τ Η Ε Ν部モデルとする。 推論規則 2に対しては 更に計箕を続け、 第 2段階目の操り返し計箕で終了する。 （ X a ,χ3) 入カの神経回路網モデルを Τ Η Ε Ν部モデルとする。 得 られたフ ァ ジ ィ モデルは
R1： IF = Cxi ,xa , 3 ) is A1
THEN y1 ニ NN! (xt ,x2 ,x3 )
Ra： IF x = (xi ,xa ,xs ) is A2
THEN y2 = NN2 (x≥ ,x3 )
となる。 こ ぅ して得られた規則を実行する推論装置を用ぃて、 (3)式の y 'を求めたものが第 1 3図でぁる。
なぉ、 この実施例では、 フ ァ ジ ィ推論の結果とし T得られる 推論量を（3)式にょる重み付き重心を探用したが、 中心値ゃ最大 値などを取る方法を用ぃてもょぃ。 また、 本実施例では、 WsO 演算式で代数積を用ぃたが代数積の代ゎり に mi Hi演算等のフ ァ ジ ィ論理演算を用ぃても ょぃ。
上記の推論規則決定方法の手順の中で、 特に非線形メ ン パー シ ッ プ関数を自動的に決定する手順にっぃて更に具体的に説明 し ょぅ。
似通っ た入カデータには同ー推論規則が適用される と考ぇる のは自然でぁる。 そこで、 ステ ッ プ 3で学習データをク ラ ス ラ リ ングする（第 8図（a))。 これらのク ラ スが 1っ 1っの推論規則 に対応してぃる。 例ぇば、 Γ IF X！が小さ く、 かっ、 χ 2が大き ければ、 THEN - J とぃった推論規則でぁる。 第 8図（a)の場合 この推論規則が Ri~R3の 3個ぁる。 これらの ク ラ スの代表的 な点 （入カデータの組） では各推論規則にほぼ 1 0 0 %従ぅが、 境界に近付く にっれ、 複数の推論規則の影響を受けてぃ く こ と になる。 この割合の関数がメ ンバーシ ッ プ関数でぁり、 その形 状は例ぇば 第 8図（c )でぁる。 これは上から見た メ ン バーシ ッ プ関数の図で斜線部は メ ンパー シ ッ プ関数が交差してぃる領域 ぁ 0
さてこ のょ ぅな メ ン パーシ ッ プ関数を作る手順がステ ッ プ 3 • 4でぁる。 即ち、 第 8図（b )の神経回路網モデルを用意し、 入カに I F 部の変数値 （図の場合 X，と χ 2 ) を割り当て、 出カ にその入カ値が属する規則番号に 1、 その他に 0 を割り当てて 学習させる。 神経回路網モデル の重要な特長の 1 っに、 類似入 カには類似出カが対応する点がぁる。 学習には 第 8図（a )の X 点のみが使ゎれたが、 その近傍でぁれば同じ出カ、 っま り 同じ 推論規則に従ぅ旨出カして く る。 更に、 学習を終ぇた神経回路 網モデルは各推論規則の境界付近の入カデータ に対しては、 そ れぞれの推論規則に属する割合の最適パラ ン ス値を出カする こ と になる。 これがメ ン パーシ ッ プ値で、 言ぃ代ぇれば、 こ の神 経回路網モデルは各推論規則の全ての メ ンパーシ ッ プ関数を内 部に包含した とぃぇる。
なぉ、 本発明の方法の実施例にぉぃては神経回路網の学習ァ ル ゴ リ ズムを用ぃて フ ァ ジ ィ推論規則の メ ンパーシ ッ ブ関数を 決定したが、 もちろん他の学習ァルゴ リ ズムでぁっても構ゎな ぃ。 神経回路網のァ ル ゴ リ ズム で述べた B ac kpr opaga t i onァル ゴ リ ズムが古典的な最急降下法に基づぃてぃる こ とから も容易に 想像がっ く ょ ぅに、 他の学習方法と しては、 ニ ュー ト ン法ゃ共 役傾斜法などの非線形最小化間題の分野で使ゎれてぃる多 く の 学習ァル ゴ リ ズムが容易に考ぇ られる。 また、 ノ、。ターン認識の 分翳では認識に使ぅ標準パター ン を逐次的に入カパターン に近 づける学習方法を用ぃる ことは常識になってぉ り、 こ のょ ぅ な 逐次学習方法を用ぃても ょぃ。
また、 実施例のステ ッ プ 5では T H E N部も神経回路網で構 成する場合を説明したが、 T H E N部は他の方法で表現しても ょぃ。 例ぇば、 従来の方法で述ぺたょぅなフ ァ ジ ィ モデ リ ン グ を使ぇば、 非線形表現とぃぅ点で第 1の実施例とは違ぃ生じ る が、 I F部に神経回路網モデルのょ ぅな学習機能を組み込んで ぁれば、 推論規則の フ ァジ ィ数を学習機能で逐次に自動決定す るとぃぅ本発明の本質は損なゎれなぃ。
また、 本発明の実施例ではフ ァ ジ ィ推論規則の メ ンバー シ ッ プ関数の 自動形成とぃ ぅ表現を用ぃてぃる。 こ の特殊な場合が 古典的なェキスパー ト シ ステ ムで用ぃられてぃるプロ ダク シ ョ ン ルールの場合でぁる。 この場合でぁれば、 推論規則の信頼度 を自動形成する とぃぅ表現の方が理解しゃすぃでぁろ ぅ。 しか し、 これも本発明の方法にぉける実施例の特殊な場合に過ぎな ぃ。
次に、 本発明の方法で得られた推論規則に基づぃて推論を行 な ぅ第 2 の発明にっぃてその実施例を述ぺる。 第 9図は本発明 の推論装置の第 1 の実施例にぉける構成図を示すものでぁる。 第 1図にぉぃて、 1 は各推論規則の I F部の メ ンパー シ ッ プ値 を求める メ ンパーシ ッ プ値決定部、 2は各推論規則の T H. E N 部で求めるべき推論量を推定する個别推論量決定部、 3 は個別 推論量決定部 2から の出カと メ ンパーシ ッ プ値決定部 1 の出カ から最終的な推論量を決定する.最終推論量決定部でぁる。 2 1 ~ 2 rは推論規則 1〜推論規則 r の各々に基づぃて推論量を決 める個別推論量決定部 2 1の内部構成でぁる。 こ こ で、 メ ン パ ー シ ッ プ値決定部 1、 ぉょび、 個別推論量決定部 2 1〜 2 r は 第 3図に示すょ ぅ な多段の回路網的構成をしてぃる。
入カ値 χ ! :^»が本発明の推論装置に入カきれる と、 メ ン パ ーシ ッ プ値決定部 1 はこれらの入カ値が各推論規則を潢たす割 合を出カする。 こ の メ ンパー シ ッ プ値決定部 1 は予め本発明の 推論規則決定方法で述べた手順に従って学習を済ませてぁる。 また、 個別推論量決定部 2 1 は これらの入カ値が推論規則 1に 従ぅ と した場合の推論量を出カする。 以下同様に、 個别推論量 決定部 2 1 - 2 r は推論規則 2〜 r に従ぅ と した場合の推論量 を出カする。 最終推論量決定部 3は、 メ ンパー シ ッ プ値決定部 1 と個別推論量決定部 2から最終的な推論結果を出カする。 そ の決定方法は、 例ぇば、 （3)式を用ぃる。
第 6図ぉょび第 7図からも明 らかなょ ぅ に、 神経回路網モデ ルを構成する多入カ一出カ信号処理部 1 0 0の入出カ関係は非 線形でぁる。 従って、 神経回路網モデルそ の も のも非線形推論 を行な ぅ こ とができ る。 従って本発明の推論装置は、 線形近似 ではできなかった高ぃ推論精度を実現する こ とができ る。
具体的応用例で本発明のこの萵ぃ推論精度を示す。. 応用例は 1 9 7 6年 4月〜 1 9 7 9年 3月 まで大阪湾で測定した 5個 測定パラ メータから C 0 D (化学的酸素要求量： Chemical Oxy gen D em ond)濃度を推定する問題でぁる。
5個の測定パラ メ ータ と は（ 1 )水温 （。C )、 （ 2 )透明度 （ m：)、 (3)D 0濃度 （ppm)、 ）塩分濃度 （％：)、 （5)濾過した C O D 度 （ Ρ Ρπι) でぁる。 れらのデータの ぅ ち、 1 9 7 6年 4月か ら 1 9 7 8年 1 2月 までの 3 2組のデータを用ぃて学習し、 残 り 1 2個を学習後の評価用データ とした。 本発明が推定した結 果 （実線） と実際の C O D饞度の測定値 （点線.） を第 1 4図に 示す。 大変ょぃ推定結果と言ぇょ ぅ。
このょ.ぅに本発明の推論装置にぉける第 1 の実施例にょれば、 少な く とも ネ ッ ト ヮーグ接繚された複数の多入カー出カ信号処 理部から構成される メ ンパーシ ッ プ値決定部と、 同じ く 少な く とも ネ ッ トーク接続された複数の多入カ一出カ信号処理部から 構成される個別推論量決定部とを設ける こ とにょり、 学習機能 を持ち、 入カ変数に非線形に対応した推論量を決定する こ とが できる。
本発明の推論裝置の第 2の実施例として、 予め得られた神経 回路網モデルの入出カ関係をメ モ リ に保持してぉき、 毎回直接 神経回路網モデルを実行する代ゎ り に メ モ リ を参照する こ とで も近似的な推論ができ る。 第 1 の実施例にぉぃてメ ンパーシ ッ プ値決定部と個別推論量決定部は神経回路網モデルの構成をし てぃる と したが、 事前に入カ変数が明らかな場合ゃ多少の近似 をしても構ゎなぃとするならば、 学習ァルゴ リ ズムで决定され た神経回路網モデルから予め入出カの対応表を作るこ とができ る。 推論規 '則実行時にこの対応表を参照する こ とでメ ンパーシ ッ プ値決定部または個别推論量決定部の代用を行なぅ第 2 の実 施例では本発明の方法を組み込んで学習機能を持たせる こ とは できな く なるが、 第 5図のょ ぅ な回路構成が不要になるので安 価で小型の推論装置を実現する こ とが可能になる。 また、 非線 形に対応した推論は本発明の推論装置の第 1 の実施例と同様に 行な ぅ事ができ る。
こ のょ ぅ に第 2 の実施例にょれば、 少な く と も メ ン バー シ ッ プ値決定部または個別推論量決定部が、 少な く と も ネ ッ ト ヮ ー ク接続された複数の多入カー出カ信号処理部か ら構成される推 論部の入出カ特性を予め保持した メ モ リ と メ モ リ 参照部とから 構成される こ とにょ り、 簡単な回路構成で、 入カ変数に非線形 に対応し た推論量を決定する こ とができ る。
産業上の利用可能性
以上説明したょ ぅ に、 本発明の方法にょれば、 学習機能を持 ち 自動的に推論規則を形成して最良の推論を行ぅ推論規則を作 る こ とがでぃる。 また、 本発明の推論装置にょれば、 推論対象 が非線形でぁ っても精度良 く 推論ができ る ので、 これらの実用 的価値には大なるも のがぁる。

Claims

請 求 の 範 囲
1 I F部と T H E N部とから なる フ ァ ジ ィ推論規則を決定す る方法にぉぃて、 推論規則中に含まれるぁぃまぃな言語を表現 する フ ァ ジ ィ数を学習機能で逐次に決定する こ とを特徴とする 推論規則決定方法。 -
2 ' 讃求の範囲第 1項にぉぃて、 推論規則中に含まれるぁぃま ぃな言語を表現する フ ァ ジ ィ数を神経回路網モデルの学習機能 で決定する こ とを特徵とする推論規則決定方法。
3 入カ変数から '少な く とも 1 っ以上の推論規則の I F部に相 当する メ ンパーシ ッ プ値を求める メ ンパーシ ッ プ値決定部と、 入カ変数から少な く とも 1っ以上の推論規則の T H E N部に相 当する推論量を求め る個別推論量決定部と、 前記メンパー シ ッ - プ値決定部の出カと前記個別推論量决定部の出カとを入カして フ ァ ジ ィ 推論を行なぃ最終的な推論量を決定する最終推論量決 定部とを備ぇ、 少な く と も前記 メ ンバー シ ッ プ値決定部が神経 回路網構成をしてぃる こ とを特徵とする推論装置。
4 請求の範囲第 3項にぉぃて、 神経回路網構成をした前記メ ン パー シ ッ プ値決定部は少な く とも ネ ッ ト ヮーク接続された複 数の多入カー出カ信号処理部から構成される信号処理網でぁ り、 前記 入カー出カ信号処理部は、
複彆の重み係数を保持する メ モ リ と、 ' 複数のデータ を入カする入カ部と、
前記メ モ リ に貯ぇられた重み係数で前記入カ部から の入 カデータ を重み付けする乘算手段と、
前記乗算手段で重み付け された複数のデータを多数加ぇ 合ゎせる加算手段
と を傰ぇ る線形信号処理部でぁ る こ とを特徴とする推論装置。
5 請求の範囲第 3項にぉぃて、 祌経回路網構成をし た前記ノ ンパーシ ッ プ値決定部は少な く とも ネ ッ ト ヮーク接続された複 数の多入カ一出カ信号処理部か ら構成される信号処 ¾網でぁ り、 前記多入カー出カ信号処理部は、 前記線形信号処理部の出カ側 にその出カをー定範囲の値に制限する闞値処理部を接続し た非 線形信号処理部でぁる こ とを特徵とする推論装置。
8 請求の範囲第 3項にぉぃて、 前記多入カー出カ信号処理部 か ら構成される信号処理網の入出カ関係を予め求めて記憶きせ た メ モ リ と、 前記 メ モ リ の入出カ関係を参照する メ モ リ 参照部 と から構成される こ とを特徵とする推論裝置。
PCT/JP1989/000504 1988-05-20 1989-05-19 Inference rule determination method and inference apparatus WO1989011684A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP89905781A EP0378689B1 (en) 1988-05-20 1989-05-19 Inference rule determination method and inference apparatus
DE68928612T DE68928612T2 (de) 1988-05-20 1989-05-19 Verfahren zur bestimmung der inferenzregel sowie inferenzmotor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP12435488 1988-05-20
JP63/124354 1988-05-20

Publications (1)

Publication Number Publication Date
WO1989011684A1 true WO1989011684A1 (en) 1989-11-30

Family

ID=14883313

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1989/000504 WO1989011684A1 (en) 1988-05-20 1989-05-19 Inference rule determination method and inference apparatus

Country Status (5)

Country Link
US (1) US5168549A (ja)
EP (2) EP0378689B1 (ja)
CN (1) CN1043543C (ja)
DE (1) DE68928612T2 (ja)
WO (1) WO1989011684A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0451742A2 (en) * 1990-04-09 1991-10-16 Matsushita Electric Industrial Co., Ltd. Fuzzy inference device
EP0471857A1 (en) * 1990-03-12 1992-02-26 Fujitsu Limited Neuro-fuzzy fusion data processing system
WO2018115616A1 (fr) 2016-12-23 2018-06-28 Dhatim Moteur de regles universel et optimise pour le traitement de documents de gestion
CN111498148A (zh) * 2020-04-23 2020-08-07 北京航空航天大学 基于fdnn的智能航天器控制器和控制方法
CN113822349A (zh) * 2021-09-14 2021-12-21 南京邮电大学 基于数据模态缺失和Embrace Net的图像定位方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5895458A (en) * 1989-08-31 1999-04-20 Omron Corporation Apparatus and method in which control rules can be changed during fuzzy reasoning operations and control system and method in which changeover is controlled by fuzzy reasoning
DE69030190T2 (de) * 1989-08-31 1997-10-09 Omron Tateisi Electronics Co Unscharfe steuervorrichtung mit der fähigkeit eine regel und ihr betriebsverfahren zu wechseln und ein durch unscharfe inferenz schaltgesteuertes steuersystem und sein steuerverfahren
EP0452824A3 (en) * 1990-04-17 1992-12-02 Apt Instruments Corp. Approximate reasoning apparatus
KR950004454B1 (ko) * 1990-07-26 1995-05-01 오므론 가부시끼 가이샤 근사 추론 장치
JP2543242B2 (ja) * 1990-09-03 1996-10-16 松下電器産業株式会社 ファジィ推論装置
US5581459A (en) * 1990-09-26 1996-12-03 Hitachi, Ltd. Plant operation support system
JP2747104B2 (ja) * 1990-10-22 1998-05-06 株式会社東芝 ニューラルネットワーク
US5402519A (en) * 1990-11-26 1995-03-28 Hitachi, Ltd. Neural network system adapted for non-linear processing
JPH04343138A (ja) * 1991-05-20 1992-11-30 Omron Corp 推論部開発システムおよびその動作方法
DE4120828A1 (de) * 1991-06-24 1993-01-07 Siemens Ag Verfahren zur verarbeitung von unsicherheiten von eingangsdaten in neuronalen netzwerken
JP2605505B2 (ja) * 1991-07-04 1997-04-30 株式会社日立製作所 プロセス運転支援ルール獲得システム、プロセス運転支援システム、プロセス運転制御システム及びプロセス運転支援ルール獲得方法
JPH0527906A (ja) * 1991-07-24 1993-02-05 Matsushita Electric Ind Co Ltd 図形選択装置
US5499319A (en) * 1991-09-30 1996-03-12 Al Janabi; Talib H. Fuzzy logic controller
JPH05181987A (ja) * 1991-12-28 1993-07-23 Rohm Co Ltd ファジイニューロンチップ
US5649066A (en) * 1992-01-03 1997-07-15 The Florida State University For And On Behalf Of The Florida Board Of Regents Method and apparatus for refinement of learning in expert networks
WO1993020530A1 (de) * 1992-04-06 1993-10-14 Siemens Aktiengesellschaft Strukturierung von neuronalen netzen durch regelbasiertes wissen
US5263125A (en) * 1992-06-17 1993-11-16 Motorola, Inc. Circuit and method for evaluating fuzzy logic rules
US5471677A (en) * 1992-06-24 1995-11-28 Matsushita Electric Industrial Co., Ltd. Data retrieval using user evaluation of data presented to construct interference rules and calculate range of inputs needed for desired output and to formulate retrieval queries
US5425108A (en) * 1992-09-04 1995-06-13 Industrial Technology Research Institute Mobile type of automatic identification system for a car plate
US5579439A (en) * 1993-03-24 1996-11-26 National Semiconductor Corporation Fuzzy logic design generator using a neural network to generate fuzzy logic rules and membership functions for use in intelligent systems
US5828812A (en) * 1993-03-24 1998-10-27 National Semiconductor Corporation Recurrent neural network-based fuzzy logic system and method
US5696881A (en) * 1993-06-14 1997-12-09 Motorola, Inc. Method for use in a processing system having a network that generates a network output signal as a polynomial function of a plurality of network input signals
US5524176A (en) * 1993-10-19 1996-06-04 Daido Steel Co., Ltd. Fuzzy expert system learning network
US5561738A (en) * 1994-03-25 1996-10-01 Motorola, Inc. Data processor for executing a fuzzy logic operation and method therefor
US5677609A (en) * 1994-07-28 1997-10-14 National Semiconductor Corporation Intelligent servomechanism controller
US5751910A (en) * 1995-05-22 1998-05-12 Eastman Kodak Company Neural network solder paste inspection system
US5966701A (en) * 1995-06-21 1999-10-12 Matsushita Electric Industrial Co., Ltd. Recognition and judgement apparatus having various learning functions
US5943659A (en) * 1995-10-03 1999-08-24 Nec Research Institute, Inc. Deterministic encoding of fuzzy finite state automata in continuous recurrent neural networks
US5737493A (en) * 1995-12-11 1998-04-07 Motorola, Inc. Instruction set for evaluating fuzzy logic rules
DE19811490C2 (de) * 1998-03-17 1999-08-26 Klaasen Verfahren zur Erstellung eines regelbasierten Fuzzy-Systems mit vorgegebenem Übertragungsverhalten
MY141127A (en) * 2002-11-18 2010-03-15 Univ Putra Malaysia Artificial intelligence device and corresponding methods for selecting machinability data
US20080255684A1 (en) * 2002-11-18 2008-10-16 Universiti Putra Malaysia Artificial intelligence device and corresponding methods for selecting machinability data
US7840503B2 (en) * 2007-04-10 2010-11-23 Microsoft Corporation Learning A* priority function from unlabeled data
JP6286574B2 (ja) * 2014-10-02 2018-02-28 シャープ株式会社 信号処理装置、信号処理方法およびコンピュータプログラム
WO2016076200A1 (ja) * 2014-11-14 2016-05-19 シャープ株式会社 信号処理装置、信号処理方法およびコンピュータプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61234405A (ja) * 1985-04-10 1986-10-18 Hitachi Ltd デジタル制御方式
JPS62293401A (ja) * 1986-06-12 1987-12-21 Mitsubishi Heavy Ind Ltd ファジーコントローラ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4730259A (en) * 1985-03-01 1988-03-08 Gallant Stephen I Matrix controlled expert system producible from examples
JPH0682396B2 (ja) * 1985-10-22 1994-10-19 オムロン株式会社 メンバーシップ関数合成装置およびファジィ・システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61234405A (ja) * 1985-04-10 1986-10-18 Hitachi Ltd デジタル制御方式
JPS62293401A (ja) * 1986-06-12 1987-12-21 Mitsubishi Heavy Ind Ltd ファジーコントローラ

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0471857A1 (en) * 1990-03-12 1992-02-26 Fujitsu Limited Neuro-fuzzy fusion data processing system
EP0471857A4 (en) * 1990-03-12 1993-04-28 Fujitsu Limited Neuro-fuzzy fusion data processing system
US5875284A (en) * 1990-03-12 1999-02-23 Fujitsu Limited Neuro-fuzzy-integrated data processing system
US6456989B1 (en) 1990-03-12 2002-09-24 Fujitsu Limited Neuro-fuzzy-integrated data processing system
EP0451742A2 (en) * 1990-04-09 1991-10-16 Matsushita Electric Industrial Co., Ltd. Fuzzy inference device
EP0451742A3 (en) * 1990-04-09 1993-06-09 Matsushita Electric Industrial Co., Ltd. Fuzzy inference device
WO2018115616A1 (fr) 2016-12-23 2018-06-28 Dhatim Moteur de regles universel et optimise pour le traitement de documents de gestion
CN111498148A (zh) * 2020-04-23 2020-08-07 北京航空航天大学 基于fdnn的智能航天器控制器和控制方法
CN113822349A (zh) * 2021-09-14 2021-12-21 南京邮电大学 基于数据模态缺失和Embrace Net的图像定位方法
CN113822349B (zh) * 2021-09-14 2023-10-24 南京邮电大学 基于数据模态缺失和Embrace Net的图像定位方法

Also Published As

Publication number Publication date
CN1043543C (zh) 1999-06-02
EP0378689B1 (en) 1998-03-18
EP0378689A1 (en) 1990-07-25
EP0378689A4 (en) 1993-05-05
CN1038713A (zh) 1990-01-10
DE68928612D1 (de) 1998-04-23
EP0813127A2 (en) 1997-12-17
US5168549A (en) 1992-12-01
DE68928612T2 (de) 1998-09-17
EP0813127A3 (en) 1998-05-06

Similar Documents

Publication Publication Date Title
WO1989011684A1 (en) Inference rule determination method and inference apparatus
Martignon et al. Fast, frugal, and fit: Simple heuristics for paired comparison
Cheng et al. Multi-attribute fuzzy time series method based on fuzzy clustering
Foster et al. Neural network forecasting of short, noisy time series
EP0471857B1 (en) Neuro-fuzzy integrated data processing system; network structure conversion system ; fuzzy model extracting system
Ziasabounchi et al. ANFIS based classification model for heart disease prediction
Bee-Hua Evaluating the performance of combining neural networks and genetic algorithms to forecast construction demand: the case of the Singapore residential sector
Guan et al. An adaptive neuro-fuzzy inference system based approach to real estate property assessment
JPH05342191A (ja) 経済時系列データ予測及び解析システム
CN110119540B (zh) 一种用于生存风险分析的多输出梯度提升树建模方法
Sahu et al. Fuzziness: a mathematical tool
CN112164462B (zh) 一种乳腺癌风险评估方法、系统、介质及设备
Gou Quick multiple test procedures and p-value adjustments
CN110321951B (zh) 一种vr模拟飞行器训练评价方法
Roszkowska The extention rank ordering criteria weighting methods in fuzzy enviroment
Modha et al. Prequential and cross-validated regression estimation
JP3287738B2 (ja) 関係関数探索装置
JP2813567B2 (ja) 推論規則決定装置及び推論規則決定方法
CN113505925B (zh) 一种基于anfis的实验室危险化学品异常信息预警方法
Mohamad et al. Solving incomplete fuzzy pairwise comparison matrix using fuzzy DEMATEL
Aladag et al. A novel membership value based performance measure
Chang et al. Fuzzy back-propagation network for PCB sales forecasting
Zettervall et al. The Mamdani controller in prediction of the survival length in elderly gastric patients
JP2553725B2 (ja) 推論装置
JPH07160662A (ja) ニューラルネットワークの予測結果における信頼度算出方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE FR GB IT LU NL SE

WWE Wipo information: entry into national phase

Ref document number: 1989905781

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1989905781

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1989905781

Country of ref document: EP