JPH11510936A - コンピュータによるファジィルールの最適化方法 - Google Patents

コンピュータによるファジィルールの最適化方法

Info

Publication number
JPH11510936A
JPH11510936A JP9541363A JP54136397A JPH11510936A JP H11510936 A JPH11510936 A JP H11510936A JP 9541363 A JP9541363 A JP 9541363A JP 54136397 A JP54136397 A JP 54136397A JP H11510936 A JPH11510936 A JP H11510936A
Authority
JP
Japan
Prior art keywords
neural network
new
rule set
rule
fuzzy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9541363A
Other languages
English (en)
Inventor
ノイナイアー ラルフ
ズィークマン シュテファン
ツィンマーマン ハンス―ゲオルク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of JPH11510936A publication Critical patent/JPH11510936A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/02Computing arrangements based on specific mathematical models using fuzzy logic
    • G06N7/04Physical realisation
    • G06N7/046Implementation by means of a neural network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/043Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Algebra (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

(57)【要約】 ファジィルールセット(FR)がニューラルネットワークに変換される(ステップ501)。このニューラルネットワーク(NN)がトレーニングされ(ステップ502)、このニューラルネットワーク(NN)における重み(wi)および/またはニューロン(NE)が分離または再生される(ステップ503)。このようにして形成された新たなニューラルネットワーク(NNN)は新たなファジィルールセット(NFR)に変換される(ステップ504)。

Description

【発明の詳細な説明】 コンピュータによるファジィルールの最適化方法 ニューラルネットを用いた時系列予測の場合あるいはプロセスモデリングの場 合も、エキスパートの知識が無視されることが多い。しかしながら多くの事例に おいて、知識をファジィルールのかたちで表現することのできるエキスパートを 個々の問題分野に関して見出すことができるので、時系列予測あるいはプロセス モデリングのためにいわゆるニューロ・ファジィシステムが用いられ、これによ ればファジィシステムとニューラルネットワークがそれらの個々の特性とともに 互いに組み合わせられる。 その際に一般的には、ルールによって記述されたファジィシステムがそれらの ルールと等価のニューラルネットワークに移行され、ニューラルネットワークは トレーニングデータに基づき最適化される。次に、最適化されたニューラルネッ トワークは再びファジィルールに変換され、このことによりエキスパートに関し て最適化されたシステムを介して知識を抽出することができる。このようなこと は、もっぱらニューラルネットワークしか利用しないのであれば不可能である。 ニューロ・ファジィシステムに関する基礎的な事項は、たとえば文献[1]か ら公知である。 ニューラルネットワークのための様々な学習方法たとえば教師あり学習または 教師なし学習に関する概要は、文献[2]から公知である。 また、ニューラルネットワークにおける重み付けおよび/またはニューロンを 分離(Pruning)または再生(Growing)する方法は、たとえば文献[3]および 文献[7]から公知である。 文献[4]により公知であるのは、ニューロ・ファジィシステムにおけるニュ ーラルネットワークのトレーニングのためセマンティクスから形成される学習ア ルゴリズムを用い、このことでファジィルールにおける新たなルールによって引 き続き適切かつ意味のある記述が表現されるようになることである。 さらに文献[4]からは、ニューロ・ファジィシステムにおけるニューラルネ ットワークの最適化にあたり、ルールセットにおけるすべてのルールを取り除く ことも公知である。 文献[5]から、ニューラルネットワークの重み付けおよび/またはニューロ ンを分離または再生するためのいわゆる Early-Stopping 法が知られている。 また、文献[6]には、ニューラルネットワークを用いたファジィコントロー ルの最適化に関する概要が記述されている。 さらに文献[8]から、ルールの構築やニューラルネットワークへのルールの 変換に関する概要が知られ ている。 ファジィルールセット内のすべてのルールを分離することの欠点は、ファジィ ルールセットの最適化の細分性がきわめて大雑把なことである。この理由から、 得られたファジィルールセットの精度はかなり低い。また、この公知の方法によ れば、最適化されたファジィルールセットにより達成される結果も不正確である 。 したがって本発明の課題は、情報信頼度があり公知の方法により実現可能なも のよりも良好に最適化されたファジィルールセットの得られるファジィルールセ ットの最適化方法を提供することにある。 この課題は、請求項1に記載の方法により解決される。 コンピュータにより実行されるこの方法の場合、ファジィルールセットがニュ ーラルネットワークに変換される。ニューラルネットワークはトレーニングされ 、ついでトレーニングされたニューラルネットワークに対しトレーニングされた ニューラルネットワークの重みおよび/またはニューロンが分離され、および/ または再生される。このようにして形成された新たなニューラルネットワークは 、最後のステップにおいて新たなファジィルールセットに変換される。 ニューラルネットワーク内部における分離または再生にあたり個々の重みおよ び/またはニューロンを考 慮することにより、ニューラルネットワークの要素からの分離または再生により ファジィルールセットの個々のルールを変化させる際の細分性が高められる。こ のような細分性は、単にファジィルールセットからすべてのルールを取り除くだ けでなく、ファジィルールセットにおけるルールの個々の前件部を除去したり付 加したりすることができる。このことにより、表出力や信頼性ひいてはニューロ ・ファジィシステムの達成結果が著しく高度なものとなる。 従属請求項には本発明の有利な実施形態が示されている。 この方法を、そのつど目下のニューラルネットワークに対して検出されたエラ ーが所定の限界よりも小さくなるまで繰り返し実行するのが有利である。このこ とにより、そのつど形成されるニューラルネットワークならびにそこから求めら れる新たなファジィルールセットの評価を形成できるとともに、そのつど新たな ファジィルールセットの品質を所定の品質が達成されるよう制御することができ る。 さらに有利であるのは、ニューラルネットワークの重みによってルールの前件 部が記述されるよう、ニューラルネットワークの構造を形成することである。こ のことにより、ルールの前件部の除去または再生を、ニューラルネットワークの 重みの分離または再生によってすでに行うことができる。また、ルールの前件部 をニューラルネットワークの重みによってバイナリコーディングすることで、フ ァジィルールセットの最適化がさらに簡単になる。このことにより、ファジィル ールセットの最適化に関して明快なルールセットの著しく簡単な最適化が可能と なり、これに付随して計算の煩雑さが低減される。 最適化されたファジィルールセットの信頼性を改善するために、セマンティク スから形成される学習アルゴリズムを用いるのが有利である。このことにより、 ルールのセマンティクスは変えられないということが保証され、したがってルー ルにおける矛盾はほとんど生じないようになる。 さらに、コンピュータを用いたこの方法の実行にあたり簡単化を達成し、それ に付随して計算時間の節約を達成するのに有利であるのは、同じ命題に該当する 新しいルールすなわち同じセマンティクスを有する新しいルールをまとめて、1 つのルールを形成することである。この場合、各ルールに割り当てられた信頼性 の値は、新たなルールにまとめられる各ルールの信頼性の値の和から形成される 。 次に、図面を参照しながら本発明の2つの実施例について詳細に説明する。 図面 図1は、ニューロ・ファジィシステムの基本原理を示すブロック図である。 図2は、第1の実施例における個々のステップを示すフローチャートである。 図3は、本発明による方法に有利に用いることのできるトポロジーをもつ4層 ニューラルネットワークの概略図である。 図4は、図3のニューラルネットワークにおけるトポロジーに対応するバイナ リの前件部マトリックスを示す図である。 図5は、本発明による方法の個々のステップを示すフローチャートである。 図6は、本発明による方法を実行するコンピュータの概略図である。 図1には、ニューロ・ファジィシステムの基本原理が概略図のかたちで示され ている。ユーザBは、それぞれ適用の記述されたルールRiをコンピュータRへ 入力する。それらのルールRiは、最適化すべきファジィルールセットFRを成 すものである。ファジィルールセットFRはニューラルネットワークNNへ変換 され、さらにこのニューラルネットワークは任意のトレーニング方式により、さ らに場合によってはニューラルネットワークNNの重みWiおよび/またはニュ ーロンNEを分離および/または再生する付加的な方法によって最適化され、新 たなニューラルネットワークNNNが形成される。そしてこの新たなニューラル ネットワークNNNが新たなファジィルールセットN FRに変換される。新たなファジィルールセットNFRはユーザBにより最後の ステップにおいて解釈される。これによりユーザは簡単なやり方で、最適化され たニューロ・ファジィシステムに関する情報を抽出することができる。 上述のようにユーザBは、ファジィルールセットFRを成すルールRiをコン ピュータRへ入力する。なお、ルールRiにおける添字iは、1〜nまでの任意 の自然数であり各ルールを一義的に識別するものであって、ここでnはファジィ ルールセットFR内のルールRiの個数を表すものであるが、このRiはたとえば 以下のように一般式化された形態を有する: ルールRi : 前件部 : IF X1 = a and X2 = b 後件部 : THEN l =O c WITH BELIEF d ここでaとbは、前件部変数X1,X2における任意の値を表す。もっとも、こ の簡単な実例によってルールRiにおける任意の個数の前件部が制約されてしま うわけではなく、単にルールの一般的な構造を概略的に表そうというものである 。 ルールRiの個数nならびにルールRiにおける前件部の個数は任意である。こ こでlは、個々のルールRiにおける後件部変数を表す。また、後件部変数lの 値cは、ルールRiにおける前件部がすべて満たされたときのルールRiの出力値 を表す。さらに各ルー ルRiに対し信頼性値κiが割り当てられている。上述の一般的な事例の場合、信 頼性値κiは固有値dを有している。 ファジィルールセットFRはニューラルネットワークNNへ変換される。これ はたとえば、各ルールRiがニューラルネットワークNNの隠れ層におけるニュ ーロンNEの活性度関数bi(x)に対応するようにして行うことができる。つまり この場合、ニューラルネットワークNNの隠れ層におけるニューロンNEの個数 は、ファジィルールセットFRにおけるルールRiの個数に対応する。与えられ た入力値xに対するニューラルネットワークNNの出力値y(x)(これは上述の実 例では個々の成分x1とx2によるベクトルから得られる)はたとえば、ニューラ ルネットワークNNの隠れ層におけるすべてのニューロンNEの全後件部に関す る重みづけられた平均値から得られる。ニューラルネットワークNN内のニュー ロンNEの重み付け係数(以下では重みwiと称する)は任意に設定可能であっ て、ニューラルネットワークNNにおける後続の最適化ステップにおいて最適化 される。ニューラルネットワークNNにおける出力値y(x)についてたとえば以 下の規則が生じる: 活性度関数bi(x)はたとえばそれぞれ以下の規則 に従って得られる: ファジィルールセットFRにおけるルールRiの言語的表現は通常、一義的な メンバシップ関数MFij(x j)により実現される。ここで添字jはニューロンの入 力量の個数を表し、これと関連して個々のルールRiにおける前件部の個数も表 されることになる。この場合、種々の形態のメンバシップ関数MFij(x j)が知ら れており、この方法ではそれらを何ら制約なく利用することができる。しかし説 明をわかりやすくするため、以下ではメンバシップ関数MFij(x j)はガウス関数 であるとし、これは中央値μijと分散σijによりパラメータ化される。 さらにこの場合には簡単に、後件部はそれぞれ所定の定数により与えられてい るものとする。このような簡単なそしてここでは実例として示されている事例に 関して、活性度関数bi(x)に対し典型的な正規化されたラディアル基底関数が生 じ、したがって正規化された放射状の基本関数を活性度関数bi(x)として有する 1つのニューラルネットワークNNが生じる。このような固有の事例について活 性度関数bi(x)を形成するための規則は以下のようになる: ここで信頼性値κiは、個々のルールRiがどの程度信頼できるかについて記述 される尺度である。信頼 性値κiは一般に正の数である。信頼性値κiがゼロと等しければ、活性度関数bi (x)により記述されるルールRi全体が除去されたことを意味する。 さて、本発明による方法の第1の実施例では、ルールRiがニューラルネット ワークNNに変換された後(ステップ201,図2参照)、このニューラルネッ トワークNNに基づき所定数のテスト値Δkが形成される(ステップ202)。 その際、たとえば個々の前件部の除去または追加によって、ニューラルネットワ ークNNから種々のトポロジーkが生成される。 テスト値Δkの算出はたとえば以下のようにして行うことができる。すなわち この場合、任意の個数の組(z 1,...,z m|t 1,...,t m)を含むトレーニングデータ に基づいて行われ、ここでz 1,...,z mはそれぞれニューラルネットワークNNに おける入力データを表し、これらは相応に既知の結果値t 1,...,t mとなる。以下 ではトレーニングデータ(z 1,...,z m|t 1,...,t m)と称するこれらの組(z 1,...,z m |t 1,...,t m)は、ニューラルネットワークNNのトレーニングデータセットを 成すものである。また、mは、第1の実施例のためのトレーニングデータの個数 を表す。さらにΘは、個々のメンバシップ関数MFij(x j)を記述するパラメータ ベクトルを表す。この場合、それぞれ目下有効なルールRiとメンバシップ関数 MFij(x j)により、トレーニングデータに対するエラーE(z 1,...,z m,Θ)が求 め られる。 エラーE(z 1,...,z m,Θ)の算出は、たとえば以下の規則に従って行われる: ここで添字pによって、それぞれ和において考慮されるトレーニング期日z pが 表され、これは目標期日t pとニューラルネットワークNNにおける実際の出力値 y(z p)を有する。 反復手法により任意の個数のテスト値Δkが求められ、これはそのつど任意の 個数の前件部ないしルールRiが除去または追加されることによって行われる。 ニューラルネットワークNNにおいてそのつど新たに生成されるトポロジーつま りは新たに生じたファジィルールセットNFRに対し、それぞれ1つのテスト値 Δkが以下のようにして求められる: ニューラルネットワークNNにおけるトポロジーkをファジィルールセットF Rの変更により変えるごとに、一般にニューラルネットワークNNの個々のトポ ロジーkに対し出力値yk(x)が生じる: 個々のトポロジーkに対する個々の活性度関数bi,k(x)は以下のとおりとな る: これは各トポロジーk∈{MFij(x j)|i,j}についてあてはまる。 結果は、コンピュータR内に格納されたテスト値Δkのリストであり、これら はそれぞれファジィルールセットFRにおける固有の変更の作用が表され、これ は前件部または全ルールRiの除去または追加により、ニューラルネットワーク NNがトレーニングデータセットにおいてそれぞれ有する全エラーE(z 1,...,z m ,Θ)において引き起こされるものである(ステップ203)。 所定数の重みwiおよび/またはニューロンNEたとえばエラー E(z 1,...,z m ,Θ)の変化に対し相対的に最も僅かな影響しか有していない重みwiおよび/ またはニューロンNEの所定のパーセントが、分離または追加される(ステップ 204)。 最後のステップにおいて、これまで述べてきたようにして形成された新たなニ ューラルネットワークNNNが新たなファジィルールセットNFRに変換される (ステップ205)。 本発明による方法の1つの実施形態によれば、新しいトポロジーをもつ新たな ニューラルネットワークNNNは、たとえば再び別のトレーニングセットにおい てトレーニングされるかまたは、上述の方法を最初から新たなニューラルネット ワークNNNによって次の 反復のニューラルネットワークNNとして実行してもよい。 このことを具体的に説明すると、トレーニングデータセットに対するニューラ ルネットワークNNのエラーE(z 1,...,z m,Θ)に関して僅かな情報内容しかも たない前件部が除去される、ということである。これに対し、トレーニングセッ トに対するニューラルネットワークNNのエラーE(z 1,...,z m,Θ)に関して高 い情報内容をもつ前件部は、新たなニューラルネットワークNNNの構造内に、 さらには最適化されたファジィルールセットNFRに、引き続き含まれることに なる。 図3には、4層トポロジーのニューラルネットワークNNが示されている。次 に、この4層トポロジーに基づき本発明による方法の第2の実施例について説明 する。 入力ニューロンNEs(ここでsは入力ニューロンNEsの個数を表しsは任意 の自然数)を有する入力層S1により、ニューラルネットワークNNの入力変数 が表される。 この実施例ではニューラルネットワークNNの第2層S2において、メンバシ ップ関数MFij(x j)がそのまま記述される。つまり、第2層S2では、各メンバ シップ関数MFij(x j)ごとにそれぞれニューロンNEが設けられている。そして ルールRiは、第3層S3 のそれぞれ1つのニューロンNEに一義的に変換される。さらに出力層S4が示 されており、これはこの実施例では単に出力ニューロンNEAを有している。 ファジィルールセットFRの各ルールRiをニューラルネットワークNNの4 層トポロジーに変換するにあたり、以下の観点が留意される: −各ルールRiは、ニューラルネットワークNNの第3層S3のニューロンNE に一義的に変換される。 −各メンバシップ関数MFij(x j)は 、ニューラルネットワークNNの第2層S 2におけるニューロンNEに一義的に変換される。 −入力ニューロンNEsと第2層S2のニューロンNEとの間の結合における重 みwiは、分散σijによるガウス状メンバシップ関数MFij(x j)の固有の事例に ついて、対応するメンバシップ関数MFij(x j)のパラメータσijにより求められ る。さらにパラメータμijが格納され、ガウス状メンバシップ関数MFij(x j)の 場合には、それぞれ負のバイアスを表すガウス状メンバシップ関数MFij(x j)の 中央値μijが格納される。その理由は、この値はそのつど到来する入力信号から 減算されるからである。 −第2層S2のニューロンNEから第3層S3のニューロンNEへの結合は、メ ンバシップ関数MFij(x j)がルールRiの前件部においても実際に現れる場合に 精確に発生する。さもなければその結合に対し0が適 用される。 図4に示されているようにこのような形式の変換の結果、第2層S2のニュー ロンNEと第3層S3のニューロンNEの間の結合をバイナリのマトリックスB Mによって表現できるようになる。このバイナリマトリックスBMによれば、フ ァジィルールセットFRのルールRiがそれぞれこのバイナリマトリックスBM のそれぞれ1つの行に書き込まれている。各列には、個々のメンバシップ関数M Fij(x j)がエントリされている。このようなコンテキストにおいてバイナリマト リックスBM内の”1”は、対応するメンバシップ関数MFij(x j)に相応する第 2層S2の個々のニューロンNEと、個々のルールRiの前件部を記述する第3 層S3の個々のニューロンNEとの間の結合が成立している、ということを意味 している。 このことを具体的に説明すると、バイナリマトリックスBM内の値1はルール Riにおける個々の前件部が考慮されることを表し、値0はルールRiにおける個 々の前件部が考慮されないことを表す、ということである。 ここに描かれているニューラルネットワークNNの4層トポロジーにより、こ の方法をきわめて簡単に実行することが可能であり、したがってコンピュータを 用いてこの方法を実行するための所要計算時間がいっそう低減される。さらにこ れに関連して、重みwiお よび/またはニューロンNEの分離または再生のために用いられる方法は、任意 に選択することができる。 図5には、この方法のフローチャートが各ステップとともに描かれている。 まず、ファジィルールセットFRがニューラルネットワークへ変換される(ス テップ501)。 次に、ニューラルネットワークNNは、任意の学習法たとえば勾配降下法(た とえばバックプロパゲーション法)によってトレーニングされる(ステップ50 2)。ニューラルネットワークの様々な学習法に関する概要は、文献[2]に記 載されている。 このようにしてトレーニングされたニューラルネットワークNNに対し次のス テップ503において、トレーニングされたニューラルネットワークNNの重み wiおよび/またはニューロンNEが分離または再生される。この場合、分離や 再生のために任意の方法を用いることができる。この種の方法に関する概要は、 文献[3]に描かれている。ニューラルネットワークNNの重みwiおよび/ま たはニューロンNEを分離または再生するために、いわゆる Early-Stopping 法 を用いることもできる。この方法については、文献[5]に記載されている。 ニューラルネットワークNNにおける重みwiおよび/またはニューロンNE の分離または再生により、新たなニューラルネットワークNNNが形成される。 新たなニューラルネットワークNNNは新たなファジィルールセットNFRに 変換される。この場合、新たなファジィルールセットNFRは新たなニューラル ネットワークNNNによって特性づけられる(ステップ504)。 有利には本発明による方法の1つの実施形態によれば、たとえば先に挙げた規 則(4)に従ってエラーE(z 1,...,z m,Θ)を求め、最適化されたファジィルー ルセットNFRの望ましい品質を表す所定の限界よりもエラーE(z 1,...,z m,Θ )が小さいか否かについて検査する。 これがあてはまるならばこの実施形態の場合、最適化されたニューラルネット ワークつまり新たなニューラルネットワークNNNの品質が限界の設定に相応し て十分であるものとすることができる。しかしエラーE(z 1,...,z m,Θ)が所定 の閾値よりも大きければ、新たなニューラルネットワークNNNをさらに最適化 する必要があり、このことは上述の方法を繰り返して実行することにより達成さ れる。図4に示したバイナリマトリックスBMでは、2つの入力変数x1とx2が それぞれ3つの可能な値をとるという簡単な実例を採用した。しかしこのことに よっても、本発明による手法の汎用的利用性が限定されるものではない。ニュー ラルネットワークNNのための入力値の個数も入力変数x1,x2がとることので きる値の個数も、任意 である。 さらに本発明による方法の1つの実施形態によれば、ニューラルネットワーク NNの最適化のためにいわゆるセマンティクスから形成される学習アルゴリズム が用いられる。セマンティクスから形成される学習アルゴリズムについては、た とえば文献[4]に記載されている。重みwiおよび/またはニューロンNEの 分離または再生によるルールRiの変化によって、同じ前件部と同じ後件部をも つ新たなルールRiの生じる可能性がある。それゆえ本発明の有利な実施形態に よれば、”同じ”新たなルールRiがまとめられて1つのルールRiが形成され、 複数の同じルールRiの統合により生じた個々のルールRiの信頼性値κiは、ま とめられた各ルールRiの信頼性値κiの和によって形成される。 図6には、本発明の実行されるコンピュータRの概略図が示されている。コン ピュータRは付加的にたとえば、ユーザがファジィルールセットFRを入力する ための入力手段としてたとえばキーボードTA、マウスMA、さらにユーザBに 対し新たなルールセットNFRを示すためにプリンタDRあるいはディスプレイ BSを有している。 以下、引用した刊行物を挙げておく: [1] R.Kruse et al, Neuronale Fuzzy-Systeme, Spektrum der Wissens chaft, p.34-41, Juni 1995 [2] J.Hertz et al, Introduction to the Theory of Neural Comput ation, Lecture Notes Volume 1,Addison Wesley Publishing Company, ISBN 0-201-51560-1, 1995 [3] C.Bishop, Neuronal Networks for Pattern Recognition, Clarendo n Press, Oxford, ISBN 0-198-538-642, P.353 - 364, 1995 [4] R.Neuneier und H. G. Zimmermann, A Semantic-Preserving Learn ing Algorithm for Neuro-Fuzzy-Systems with Applications to Timese ries prediction, Proceedings of the ICANN-Workshop ,,Banking, Fin ance and Insurance", Paris, P.1 - 5, 1995 [5] W.Finnoff et al, Improving qeneralization by Noncon-vergent Model Selection Methods, Neural Networks, No.6, 1992 [6] H.Hensel et al, Optimierung von Fuzzy-Control mit Hilfe Neu ronaler Netze, atp, Automatisierungstechnische Praxis, Vol.37, No. 11, 5. 40 - 48, 1995 [7] A.Gail et al, Rule Extraction: From Neural Architecture to Symbolic Representation, Connection Science, Vol.7, No.1, P.3 - 27, 1995 [8] J.Hollatz, Integration von regelbasiertem Wissen in neuronale Netze, Dissertation
【手続補正書】特許法第184条の8第1項 【提出日】1998年9月11日 【補正内容】 請求の範囲 1. a)ファジィルールセット(FR)をニューラルネットワーク(NN)へ 変換し(ステップ501)、ここで該ニューラルネットワーク(NN)における それぞれ1つのニューロン(NE)によりファジィルールセットの1つのルール を記述し、それぞれニューロン(NE)の重み(wi)により、対応するニュー ロン(NE)により表されるルールの前件部を記述し、 b)該ニューラルネットワーク(NN)をトレーニングし(ステップ502) 、 c)新たなニューラルネットワーク(NNN)を新たなファジィルールセット (NFR)へ変換し、ここで該新たなファジィルールセット(NFR)は新たな ニューラルネットワーク(NNN)により特性づけられる(ステップ504)、 ファジィルールセットをコンピュータにより最適化する方法において、 d)ニューラルネットワーク(NN)の個々の重みを除去または再生して新た なニューラルネットワーク(NNN)を形成し(ステップ503)、ここでファ ジィルールセットのルールにおける個々の前件部を除去または追加することを特 徴とする、 ファジィルールセットをコンピュータにより最適化する方法。

Claims (1)

  1. 【特許請求の範囲】 1.任意の個数のルールを有する所定のファジィルールセットをコンピュータに より最適化する方法において、 a)ファジィルールセット(FR)をニューラルネットワーク(NN)へ変換 し(ステップ501)、 b)該ニューラルネットワーク(NN)をトレーニングし(ステップ502) 、 c)該ニューラルネットワーク(NN)の重み(wi)および/またはニュー ロン(NE)を分離または再生し、これにより新たなニューラルネットワーク( NNN)を形成し(ステップ503)、 d)該新たなニューラルネットワーク(NNN)を新たなファジィルールセッ ト(NFR)へ変換し、該新たなファジィルールセット(NFR)を新たなニュ ーラルネットワーク(NNN)により特性づける(ステップ504)ことを特徴 とする、ファジィルールセットをコンピュータにより最適化する方法。 2.新たなニューラルネットワーク(NNN)に対しエラーを求め、 エラーが所定の限界よりも小さければ該方法を終了させ、新たなファジィル ールセット(NFR)は 最適化されたファジィルールセットを成し、 エラーが限界よりも大きければ、エラーが限界よりも小さくなるまで該方法 を反復させて繰り返す、 請求項1記載の方法。 3.ニューラルネットワーク(NN)の重み(wi)によりルール(Ri)の前件 部を記述する、請求項1または2記載の方法。 4.ルール(Ri)の前件部をニューラルネットワーク(NN)の重み(wi)に よりバイナリで符号化する、請求項1〜3のいずれか1項記載の方法。 5.ニューラルネットワーク(NN)をトレーニングするために勾配降下法を用 いる、請求項1〜4のいずれか1項記載の方法。 6.ニューラルネットワーク(NN)をトレーニングするためにセマンティクス から形成される学習アルゴリズムを用いる、請求項1〜5のいずれか1項記載の 方法。 7.同じセマンティクスをもつ新たなファジィルールセット(NFR)の複数の ルール(Ri)を1つの新たなルール(Ri)としてまとめ、該新たなルール(Ri )の信頼性値(κi)を、該新たなルール(Ri)としてまとめられた各ルール (Ri)における信頼性値(κi)の和から求める、請求項1〜6のいずれか1項 記載の方法。 8.ニューラルネットワーク(NN)におけるニュー ロン(NE)の活性度関数はそれぞれ1つのルール(Ri)に対応する、請求項 1〜7のいずれか1項記載の方法。
JP9541363A 1996-05-23 1997-05-14 コンピュータによるファジィルールの最適化方法 Pending JPH11510936A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19620841.6 1996-05-23
DE19620841 1996-05-23
PCT/DE1997/000967 WO1997044743A1 (de) 1996-05-23 1997-05-14 Verfahren zur optimierung eines fuzzy-regelsatzes durch einen rechner

Publications (1)

Publication Number Publication Date
JPH11510936A true JPH11510936A (ja) 1999-09-21

Family

ID=7795157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9541363A Pending JPH11510936A (ja) 1996-05-23 1997-05-14 コンピュータによるファジィルールの最適化方法

Country Status (5)

Country Link
US (1) US6317730B1 (ja)
EP (1) EP0901658B1 (ja)
JP (1) JPH11510936A (ja)
DE (1) DE59702108D1 (ja)
WO (1) WO1997044743A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19808372A1 (de) * 1998-02-27 1999-09-02 Siemens Ag Trainings- und Herstellverfahren für ein neuronales Netz
US8374974B2 (en) * 2003-01-06 2013-02-12 Halliburton Energy Services, Inc. Neural network training data selection using memory reduced cluster analysis for field model development
US20040254902A1 (en) * 2003-06-11 2004-12-16 Von Klleeck David Lawrence Second Opinion Selection System
US7328202B2 (en) * 2004-08-18 2008-02-05 Xishi Huang System and method for software estimation
US7613665B2 (en) * 2005-06-24 2009-11-03 Halliburton Energy Services, Inc. Ensembles of neural networks with different input sets
US7587373B2 (en) * 2005-06-24 2009-09-08 Halliburton Energy Services, Inc. Neural network based well log synthesis with reduced usage of radioisotopic sources
WO2008112921A1 (en) * 2007-03-14 2008-09-18 Halliburton Energy Services, Inc. Neural-network based surrogate model construction methods and applications thereof
US8417993B2 (en) * 2007-06-21 2013-04-09 Microsoft Corporation Fuzz testing and attack-surface scoping for URI handlers and pluggable protocols
US9514388B2 (en) * 2008-08-12 2016-12-06 Halliburton Energy Services, Inc. Systems and methods employing cooperative optimization-based dimensionality reduction
DE102011010006A1 (de) * 2011-02-01 2012-08-02 Manroland Ag Druckmaschinenleitstand
US8700541B2 (en) 2012-02-02 2014-04-15 I-Shou University Modeling method of neuro-fuzzy system
US9501740B2 (en) 2014-06-03 2016-11-22 Saudi Arabian Oil Company Predicting well markers from artificial neural-network-predicted lithostratigraphic facies
CN107689948B (zh) * 2016-08-22 2020-09-01 赛灵思公司 应用于神经网络硬件加速系统的高效数据访存管理装置
CN112365291A (zh) * 2020-11-30 2021-02-12 北京工业大学 一种改进的基于模糊神经网络的废旧手机定价方法
CN115562023A (zh) * 2022-10-12 2023-01-03 湖南师范大学 基于模糊控制的容噪零化神经网络模型设计及方法
CN116682551B (zh) * 2023-07-27 2023-12-22 腾讯科技(深圳)有限公司 疾病预测方法、疾病预测模型训练方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993021598A1 (en) * 1992-04-09 1993-10-28 Omron Corporation Neural network/fuzzy conversion device
US5751915A (en) * 1993-07-13 1998-05-12 Werbos; Paul J. Elastic fuzzy logic system
US5714866A (en) * 1994-09-08 1998-02-03 National Semiconductor Corporation Method and apparatus for fast battery charging using neural network fuzzy logic based control

Also Published As

Publication number Publication date
WO1997044743A1 (de) 1997-11-27
EP0901658B1 (de) 2000-08-02
US6317730B1 (en) 2001-11-13
EP0901658A1 (de) 1999-03-17
DE59702108D1 (de) 2000-09-07

Similar Documents

Publication Publication Date Title
Jantzen Neurofuzzy modelling
Fu Knowledge-based connectionism for revising domain theories
JPH11510936A (ja) コンピュータによるファジィルールの最適化方法
US5438644A (en) Translation of a neural network into a rule-based expert system
Albrecht et al. Generalized radial basis function networks for classification and novelty detection: self-organization of optimal Bayesian decision
CN101310294A (zh) 神经网络的训练方法
Kiliç et al. Comparison of different strategies of utilizing fuzzy clustering in structure identification
Kumaraswamy Neural networks for data classification
Das et al. A Hybrid Neuro‐Fuzzy and Feature Reduction Model for Classification
CN114418071A (zh) 循环神经网络训练方法
CN114757432A (zh) 基于流程日志和多任务学习的未来执行活动及时间预测方法及系统
US5175796A (en) Neural system of classification and classification method using such a system
CN114692310A (zh) 一种基于Dueling DQN的虚实融合一二级分离模型参数优化方法
Hung et al. Training neural networks with the GRG2 nonlinear optimizer
Urgun et al. Composite power system reliability evaluation using importance sampling and convolutional neural networks
Khan et al. Fuzzy cognitive maps and intelligent decision support–a review
Terziyska A distributed adaptive neuro-fuzzy network for chaotic time series prediction
JP2907486B2 (ja) ニューラルネットワーク装置
Zalasiński et al. Intelligent approach to the prediction of changes in biometric attributes
Jankowski et al. Statistical control of growing and pruning in RBF-like neural networks
Alcalá et al. Learning and tuning fuzzy rule-based systems for linguistic modeling
Nayak et al. GA based polynomial neural network for data classification
Xu et al. Synergism of neural networks and expert systems for system identification
JP2021081930A (ja) 学習装置、情報分類装置、及びプログラム
Barbosa et al. A new genetic algorithm-based pruning approach for optimum-path forest