JP2747104B2 - ニューラルネットワーク - Google Patents

ニューラルネットワーク

Info

Publication number
JP2747104B2
JP2747104B2 JP2283679A JP28367990A JP2747104B2 JP 2747104 B2 JP2747104 B2 JP 2747104B2 JP 2283679 A JP2283679 A JP 2283679A JP 28367990 A JP28367990 A JP 28367990A JP 2747104 B2 JP2747104 B2 JP 2747104B2
Authority
JP
Japan
Prior art keywords
neurons
layer
weight
output
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2283679A
Other languages
English (en)
Other versions
JPH04157559A (ja
Inventor
勝千 下川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2283679A priority Critical patent/JP2747104B2/ja
Publication of JPH04157559A publication Critical patent/JPH04157559A/ja
Priority to US08/113,514 priority patent/US5416888A/en
Application granted granted Critical
Publication of JP2747104B2 publication Critical patent/JP2747104B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/0285—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks and fuzzy logic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
    • G06N7/04—Physical realisation
    • G06N7/046—Implementation by means of a neural network
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S706/00—Data processing: artificial intelligence
    • Y10S706/90—Fuzzy logic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Devices For Executing Special Programs (AREA)
  • Feedback Control In General (AREA)

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は入力と出力を持ち、教示データとして入出力
のデータを与えて学習することにより、ニューロン間の
結合重みをバックプロパゲーションという手法で決定す
る、ファジー理論によって入出力関係を表わす方式の階
層形の神経回路（以下、ニューラルネットワークと称す
る）に関するものである。
（従来の技術） この種の階層形のニューラルネットワークは、入力と
出力を持ち、教示データとして入出力のデータを与えて
学習することにより、ニューロン間の結合重みをバック
プロパゲーションという手法で決定できる。この入出力
の関係は、非線形の関係が容易に精度よく実現できる。
以上から、近年の階層形のニューラルネットワークは、
学習が容易である、非線形実現が容易である、精度が良
いというメリットを有するが、その反面以下のような問
題を有している。
（ａ）学習によって決定したニューラルネットワークの
内部表現の理解が困難である。このため、内部表現を知
識として獲得することができない。
（ｂ）上記（ａ）と同じ理由により、人間の持つ知識を
最初にあらかじめ与え、概略の入出力関係を設定するこ
とができない。そして、そこを起点として学習し、学習
時間を短縮することができない。
（ｃ）上記（ａ）と同じ理由により、一度学習した内部
表現を、入出力関係の変化が一部発生した場合や変更し
たい場合に、人間の持つ知識によっての追加変更が容易
ではない。
一方、近年ファジー理論によって、入出力関係を表わ
す方式が提案されてきている。すなわち、人間の持つ知
識をif thenルールによって表現する。変数はsmall,bi
gのようなメンバシップ関数で表現するので、厳密な数
式モデルに比べて人間の知識が表現し易く、その有用性
が評価されている。しかしながら、ファジー理論では、
メンバシップ関数の決定やルールの最適化が難しく、試
行錯誤により決めているのが現状である。
そこで、ファジー理論の持つ人間の知識の表現能力
と、ニューラルネットワークの学習能力とを兼ね備えた
ニューラルネットワークがあれば、最も望ましい。そし
て、かかる方向での研究成果として、いくつかの方法が
紹介されてきている。
（ａ）NFS（情報処理学会論文誌VOL30,No.6,1989年６月
号）は、if部とthen部とが別々のニューラルネットワー
ク（以下、NNと称する）を構成し、両者をミニマム演算
子で結合したものである。これは、メンバシップ関数の
代わりに、入力・出力とも適当な数の領域に区分してい
るので、メンバシップ関数の制約がない反面、知識とし
て、例えばbigなのかsmallなのかが明示的に示されない
という問題がある。また、NNは、単数または複数のifブ
ロックとthenプロックとに分かれていて別個に学習する
ので、それぞれのブロックにどのように入出力データを
設定するかが難しく、最適な設定を行なうのに試行錯誤
を伴なう。
以上のように、 NNが明示的に知識を示したい。
１個のNNから構成し、前件部、後件部とも同時に学習
できない。
（ｂ）（第４回ファジーシステムシンポジウム,1988年
５月「神経回路網モデルによるファジー推論の定式
化」）は、前者と異なり、入出力を適当な数の領域に区
分せずに、そのまま入力、出力として使用するものであ
る。これは、前件部と後件部と別々にNNを作り、さらに
ルール毎に持つ。すなわち、（２×ルール）数分のNNを
作り、複数のルールより出力を計算する。本方式は、前
件部、後件部ともNNでできているので、複雑な入出力関
係が表現できる反面、そのNNの意味している知識が明示
的に表現されない。具体的に述べると、知識を３次元の
X1,X2,X3で現わすことは、ファジーの目的とする人間の
持つルール知識を使用したり、逆にNNからルールを抽出
することを難しくする。また、NNが多く、しかもその決
定は「はん雑」である。
以上のように、NNで同定した結果は、汎化が十分でな
く、評価用データに対しては誤差が大きい。
（発明が解決しようとする課題） 以上のように、従来のファジー理論を融合したNNにお
いては、下記のような問題がある。
（ａ）知識が、NNにはっきり表現されない （ｂ）前件部と後件部とが別々のNNでできており、複雑
である （ｃ）（ｂ）の理由により、前件部と後件部とが同時に
学習できない （ｄ）汎化が十分でない 発明の目的は、１個のNNが前件部と後件部とも含み、
かつ前件部と後件部の知識が明確に分かると共に、前件
部と後件部とが同時に学習することができ、しかも十分
な汎化を行なうことができ、人間の持つ知識によってあ
らかじめNNの初期設定を可能とし、後での部分変更も可
能なニューラルネットワークを提供することにある。
［発明の構成］ （課題を解決するための手段） 上記の目的を達成するために、 請求項（１）に記載の発明では、入力と出力を持ち、
教示データとして入出力のデータを与えて学習すること
により、ニューロン間の結合重みをバックプロパゲーシ
ョン手法で決定する階層形のニューラルネットワークに
おいて、ニューロン間の接続を限定し、当該接続の重み
が可変である個所を限定し、乗除算機能を有するニュー
ロンを備え、 また、入力と出力を持ち、教示データとして入出力の
データを与えて学習することにより、ニューロン間の結
合重みをバックプロパゲーション手法で決定する階層形
のニューラルネットワークで、ファジー理論によって入
出力関係を表わすものにおいて、 請求項（２）に記載の発明では、ファジー制御規制を
前件部と後件部とに分けて表現するようにニューロン間
の接続を限定し、当該接続の重みが可変である個所を限
定し、乗除算機能を有するニューロンを備え、 さらに、請求項（４）に記載の発明では、ファジー制
御規制を前件部と後件部とに分けて表現するようにニュ
ーロン間の接続を限定し、当該接続の重みが可変である
個所を限定し、乗除算機能を有するニューロンを備え、
かつ後件部の重みの絶対値が小さい時重みを０にするよ
うに変更する項を含む重み変更式を用いて学習を行な
い、０に近い場合にはその上流側のネットワークを削除
するようにしている。
（作用） 従って、通常のNNが、隣合うニューロン層間の全ての
ニューロンが接続を持ち、その接続の重みが全て可変で
あり、学習により決定されるのに対して、本発明のニュ
ーラルネットワークにおいては、１個のNNが前件部と後
件部とも含み、また前件部と後件部の知識が明確に分か
ると共に、前件部と後件部とが同時に学習することがで
き、さらに十分な汎化を行なうことができ、しかも人間
の持つ知識によってあらかじめNNの初期設定を可能と
し、後での部分変更も行なうことができる。
（実施例） 本発明のニューラルネットワークは、複数のニューロ
ン層よりなる階層形のニューラルネットワーク（NN）で
あり、 接続に制約を持ち、必要な部分のみ接続する 学習により可変である接続も制約され、指定部分のみ
可変であり、他は初期時に設定された固定値である ニューロンは、各種の特性を持つ。通常のNNはシグモ
イド関数を使うが、本発明では、線形加算、乗除算が可
能である ，により、NNは、前件部と後件部とに明確に分か
れている。各ニューロンの出力も、通常のNNと違って全
て意味が明確である。
学習により、前件部、後件部とも同時に決定される。
以下、上記のような考え方に基づく本発明の一実施例
について説明する。
第１図は、本発明によるニューラルネットワークの構
成例を示す概要図である。なお、本例は、x1,x2,x3の３
個の入力より出力ｙを求めるNNである。
いま、ルールとして、下記のようなファジー制御規制
Ｒを一般的に表わす。
Ri:iF x1 is A1i、 and x2 is−A2i、……、 and xm is Ami then ｙ is Bi ……（１） ここで、Ri（ｉ＝1,2,…,n）はｉ番目のファジー制御
規制、xj（ｊ＝1,2,…,m）は入力、yiはファジー制御規
制Riの出力である。また、簡単のため、多入力１出力と
する。出力が複数の場合には、y1i,y2iなどの変数を用
いる。A1i〜Amiはファジー変数であり、SMALL,MEDIUM,B
IGなどである。
Biもファジー変数であるが、本例では簡易形といわれ
る一定数値とする。すなわち、 yi＝Bi ……（２） 入力x1〜xmに対するｎ個のファジー制御規制Ｒによる
出力ｙの推論法は、 ここで、Aji（xj）はファジー変数Ajiの入力xjにおけ
るメンバシップ値である。wiは入力x1〜xmに対するファ
ジー制御規制Riの前件部の適合度で、（４）式によるメ
ンバーシップ値の積である。すなわち、前件部のand
は、通常のファジー理論ではMINIMUM（最低）を使用す
るが、局所的な非直線性がプロセス制御などの用途に
は、制御の安定性の点から不適当であり、NNの学習収束
にも問題があるので積を用いる。
（３）式に示すように、出力ｙは適合度の和を分母に
し、適合度と後件部定数の積を分子としているので、ｎ
個の規制より重心を求めるものである。
（１）式は、ｍ個の入力を全て使用しているが、規制
は簡単であればある程、広い一般性を持つので望まし
い。従って、ｍ個よりも少ない条件を可能な限り使用す
る。本実施例では、２個の条件、すなわち２個のandの
例を示している。なお、１個の各件のケースも当然あり
得る。よって、（１）式、（４）式は、不要な“j"が削
除されたケースである。同様に、（３）式でも、不要な
“i"は削除される。
一方、第２層ニューロン13〜24は、シグモイド関数を
持つニューロンであり、特定の一個の入力層と接続し、
バイアスＢを有する。第２層ｉ番目のニューロンの出力
Oiは、下記のようになる。
neti＝wji・xj＋wBi・１ ＝wji（xj＋（wBi/wji）） ……（５） Oi＝1/（１＋ｅ−neti） ……（６） ここで、wjiは入力xjと第２層ニューロンｉ間の重
み、ωBiは第２層ニューロンｉのバイアスであり、
（５）式のように“1"である入力との間で重みwBiを持
つ結合とみなすことができる。従って、学習時も、通常
の結合と同じように行なわれる。なお、“1"である入力
でなく、他の任意の値でもよい。また、netiはシグモイ
ド関数の入力となるニューロンｉの内部状態を示すもの
である。
（６）式は、０と１との間を単調に増加するシグモイ
ド関数と呼ばれるもので、第２図に示すように傾き0.2
5、中心が０の関数である。
上記（５式）、（６）式を組合せると、第３図に示す
ようになる。すなわち、傾き0.25・wji、中心（−wBi/w
ji）の単調増加の関数である。
第４図は、SMALL,MEDIUM,BIG（以下、S,M,Bと略す
る）の３個のメンバシップ関数を，，で示す。関
数はつりがね状の形状を示す。，は、上記（５），
（６）式そのものである。また、は左、右２つの部分
があるので、２個のシグモイド関数の差より作る。これ
が、第３層ニューロン25〜33のうち、26,29,32のニュー
ロンであり、差が作られるように、重みが１と−１とで
第２層ニューロンの特定ニューロンにつながる。第３層
ニューロンは、シグモイド関数ではなく、内部状態をそ
のまま出力する線形加算のニューロンである。
第２層の出力は、１本のみであり、第３層へは１本ま
たは２本の第２層出力が接続され、その重みが、接続63
〜71は１、接続72〜74は−１にそれぞれ固定される。す
なわち、学習にかかわらず重みは変化せず、接続も制約
されている。
また、第３層の出力は、ファジー変数Ajiの入力xjに
おけるメンバシップ値Aji（xj）で、第１図では、上か
らＳ（x1）,M（x1）,B（x1）,S（x2）,M（x2）,B
（x2）,S（x3）,M（x3）,B（x3）である。S,M,Bは、そ
れぞれSMALL,MEDIUM,BIGのメンバシップ関数である。
さらに、第４層ニューロン34〜42の出力は、（４）式
で示される前件部の適合度wiである。第１図では、２個
のファジー変数のandを採用し、前述した理由によりand
は積であるので、ニューロンは（４）式により乗算を行
ないその積を出力とする。すなわち、ニューロン34〜42
は乗除算機能を持ち、この場合には乗算のみ行なう。
ニューロン34,35,36…の出力はそれぞれw1,w2,w3…で
あり、それぞれ下記のようになる。
w1＝Ｓ（x1）・Ｓ（x2） w2＝Ｓ（x1）・Ｍ（x2） w3＝Ｓ（x1）・Ｂ（x2） w4＝Ｓ（x1）・Ｓ（x3） ： ： 第３層、第４層間の接続75〜92の重みは全て１の固定
であり、接続も制約をつけている。
以上のように、第１層から第４層までが前件部の計算
を行なう。
次に、第５層ニューロン43,44から第６層ニューロン4
5までは、後件部の計算を（３），（２）式により行な
う。第５層ニューロン43は、第４層ニューロン34〜42か
ら接続93〜101によりつながれ、その重みは可変値Biで
あり、この可変値Biは学習により決定する。ニューロン
43,44とも、線形加算形のニューロンである。ニューロ
ン43は（３）式の分子の計算を行なう。ニューロン44
も、同じく第４層ニューロン34〜42から接続102〜110に
よりつながれ、その重みは“1"の固定値で、適合度wiの
和、すなわち（３）式の分母の計算を行なう。
第６層ニューロン45は、ニューロン43,44からニュー
ロン43を被除数、ニューロン44を除算数とする除算を行
なう乗除算機能を持つニューロンであり、ニューロン43
と45と間の接続111、ニューロン44と45と間の接続112
は、ともに固定値１の重みを持つ。本実施例において、
Ｍは乗除算機能を持つニューロンを示し、“0"は除数の
入力であることを示す。第６層ニューロン45の出力は、
出力ｙとして（３）の計算値となる。
以上述べたように、本実施例では、ファジー制御規制
をNNによりそのまま実現し、その実現手法は、各計算を
行なうニューロンが決められている。すなわち、各ニュ
ーロンの出力、そして接続の重みの意味が明確である。
重みは、下記の部分が可変である。
第１層、第２層間の接続およびバイアス 第４層、第５層間の接続の一部 この可変部分は、後述する学習により決定する。ま
た、学習によらず、人間の知識によって初期設定するこ
ともできる。これは、重みの意味がファジー制御規制と
そのまま結びついているからである。同様に、一度決定
した重みや構造を制御対象の変更は、制御の変更に伴な
って一部の変更も容易である。
上記可変部分以外は固定値の重みを持つ。また、接続
は前述したように制約を設け、必要な個所のみ接続す
る。さらに、ニューロンは、通常のシグモイドの他、線
形加算、乗除算を行なうタイプを持つ。
なお、第２層のニューロンは第５図に示すように、リ
ミット特性を持つ線形加算形としてもよい。そうすれ
ば、第４図に示すメンバシップ関数は、台形（三角形）
とすることができる。
次に、本実施例のニューラルネットワーク（NN）の作
用について説明する。
第１図において、本実施例のNNは、（１）式の知識を
そのまま実現しているので、下記のような場合がある。
（ａ）ファジー制御規制に従ってNNの構成と重みを決定
し、そのままで入出力関係が決定できる場合 （ｂ）ファジー制御規制のうち、前件部または後件部、
あるいは前後件部両方に未定の部分があり、学習によっ
て決定する場合。
（ａ）については、前述したように前件部、後件部の
可変部の重みを決定すればよい。
前件部について、第４図を用いて簡単に説明する。こ
こでは、入力の範囲を０〜６とする。
傾き−0.5 中心1.5 傾き＋0.5 中心1.5（左） 傾き−0.5 中心4.5（右） 傾き 0.5 中心4.5 第３図より、 w11＝−２（∵0.25・w11＝−0.5） wB1＝３（∵−wB1/w11＝1.5） 同様に、 w12＝＋２ wB2＝−３ w13＝−２ wB3＝９ w14＝＋２ wB4 ＝ -9 接続51,52,53,54の重みは、w11,w12,w13,w41であるの
で、それぞれ−2,2,−2,＋２である。
ニューロン13,14,15,16のバイアスは、wB1,wB2,wB3,w
B4であるので、3,−3,9,−９である。なお、x2,x3に関
しても同様である。
また、もう一つの可変部である第４層、第５層間の接
続93〜101は、（１），（２）式のBiそのものであるの
で、その数値を入れる。以上により、（ａ）のケースに
ついては、全てのNNの重みが決定できる。
次に、（ｂ）のケースについて説明する。
まず、前件部については、入力範囲に基づいて（ａ）
のケースと同様に、分割に応じて初期値を典型的な値に
設定する。第４図は、入力が０〜６で３分割、すなわち
S,M,Bの時の典型的な値である。この初期値は、学習に
よって最適な値に変化する。
また、後件部の可変な接続93〜101は、期待すべき出
力に比べて小さい乱数をセットする。例えば、出力を０
〜１とすれば、０〜0.1の間の乱数を93〜101へ設定す
る。
以上により、全ての初期値がセットされる。
次に、入出力の教師データを与えて、学習を行なう。
まず、NNの入力を与えて出力を計算する。各ニューロン
の計算は、入力から出力へ順次行なう。
学習は下記のようになる。
ただし、ｍ≠ｎ Ok j＝ｆ（netk j） ……（９） ＝1/（１＋e-netk ｊ）（ジグモイド形） ……（10） ＝netk j（乗除算形，線形加算形） ……（11） ここで、netk jはｋ層ｊ番目のニューロン内部状態で
ある。また、wk ijはｋ−１層ｉ番目とｋ層ｉ番目のニュ
ーロン間の重みである。バイアスの場合は、前述したよ
うに、ｋ−１層ｉ番目のニューロンは、一定出力のニュ
ーロンとして模擬される。
さらに、Ok iはｋ層ｉ番目のニューロンの出力であ
り、ニューロン内部状態netk jが関数ｆにより処理され
て出力される。一般には、（10）式に示すようにシグモ
イド形であるが、乗除算形、線形加算形では、（11）式
に示すようにnetk jがそのまま出力される。なお、式に
は記載しなかったが、第５図のケースでは、０〜１の間
にリミットするような関数が採用される。
次に、ニューロン内部状態netk jは（７）式に示すよ
うに前の層と接続がある時、その出力Ok-1 iと重みwk ij
の乗算を行なって総和を求める。
乗除算形のnetk jは、（８）式に示すように前の層と
接続がある時、除数になるケース以外は、その出力Ok-1
mと重みwk mjの乗算を行ない、さらに他との乗算を行な
う。また、除数になるケースは、その出力Ok-1 nと重みw
k njの乗算を行ない、その逆数を全体に乗算する。すな
わち、（８）式に示す分母の計算を行なう。除数のケー
スがない時には、分母は“1"とする。ｍとｎは、同一と
なることはない。なお、入力層は、入力がそのまま出力
される。以上のように、（７）ないし（11）式によって
出力の計算が行なわれる。
次に、上記の出力値と教師データより学習を行なう
（例えば、産業図書刊「PDPモデル」D.E.ラメルハート
他著）。
学習はバックプロパゲーション法によって行なう。し
かし、下記のような点が異なる。
接続が行なわれているところのみが信号が伝播する 重みの変更を許す可変部のみが、学習による重みの変
更が行なわれる 乗除算器はバックプロパゲーション法にないので、後
述する式によって計算される ウエイトの変更Δwk ijは、 Δwk ij＝η・δk j・Ok-1 i＋α・Δ＊ｋ ij ……（12） によって行なわれる。ここで、ηは学習計数、αは慣性
係数、Δｗ＊ｋ ijはΔwk ijの前回計算時の値であり、収
束を早めるための慣性項を作るために使用される。ま
た、δk jは下記によって計算される。なお、δk jは下記
により定義される。
δk j＝−∂E/∂netk j ……（12） ここで、Ｅは二乗誤差である。
出力層 δk j＝（tj−Ok j）ｆ′ （netk j） ……（13） ただし、ｋは出力層である。
出力層以外で、次層（ｋ＋１層）が乗除算器でない時 次層（ｋ＋１層）が乗除算器である時、 ここで、（13），（14）式は文献にも記載され、周知
のことであるので（15）について説明する。
第６図は、ｋ＋１層乗除算ニューロンとｋ層の接続の
一般形を示す図である。乗除算ニューロンにおいて、
“○”がつく接続は除数になることを示す。第６図は、
（８）式におけるk,k−１を、ｋ＋1,kと置き直したもの
に等しい。第６図のm,nは、除数でない接続と除数の接
続を代表している。除算がないケースでは、前述したよ
うに（８）式は分子のみとなる。
δk jを求める。δk jは出力層以外は下記のようにな
る。
ここで、∂Ok j/∂netk jは（９）式よりｆ′（netk j）
であり、∂E/∂netk+1 eは（12）式よりδk+1 eである。
よって、∂netk+1 e/∂Ok jを（８）式より求めればよ
い。
（８）式，（11）式において、k,k−１をｋ＋1,kとお
き、（８）式の偏微分を行なうと、 （ｋ層ｊニューロンがｋ＋１層乗除算器ｌニューロンの
除数入力でない時） （ｋ層ｊニューロンがｋ＋１層乗除算器ｌニューロンの
除数入力の時） よって、（18），（19）をケースによって（15）式に
代入する。
δk jが全て求まったことにより、乗除算器がどのよう
に組合さっても、バックプロパゲーション法によって学
習することができる。
次に、第１図に基づいて、学習についてより具体的に
説明する。
いま、出力層（第６層）の出力O6 1をはじめとする全
ての出力が、与えられた入出力データによって計算さ
れ、教師データt1も与えられているとする。以下、順次
出力から入力に向かってδk jを計算する。その代表例に
ついて、下記に示す。
＊出力層ニューロン45 （13）式により、 δ6 1＝（t1＝O6 1） が求まる。
＊第５層ニューロン43 （15）式，（18）式により、 が求まる。
＊第５層ニューロン44 （15）式，（19）式により、 が求まる。
＊第４層ニューロン34 が求まる。
＊第３層ニューロン25 （15）式，（18）式により、 が求まる。
＊第２層ニューロン13 が求まる。これは、（10）式の微分が ｆ′（netk j）＝（１−Ok j）・Ok j となるからである。
以上により、δk jが求められるので、次に（12）式に
よって、第４、第５層間の接続93〜101、第１、第２層
間の接続51〜62、およびバイアスについて計算する。
例えば、接続93ではΔw5 11を計算する。
Δw5 11＝η・δ5 1・O4 1＋α・Δｗ＊５ 11 また、接続51では、Δw2 11とΔw2 41（バイアス）を計
算する。
Δw2 11＝η・δ2 1・O1 1＋α・Δｗ＊２ 11 ＝η・δ2 1・x1＋α・Δｗ＊２ 11 Δw2 41＝η・δ2 1・１＋α・Δｗ＊２ 41 なお、ηについては、いかに変化を大きくするかに応
じて、適当な値を選択する。
以上の学習の結果、前件部のメンバシップ関数と、後
件部の定数とが定まる。
メンバシップ関数は、例えば第４図に示すように初期
設定するので、関数が関数よりも右にいくようなこ
とは起こらない。これは、初期設定の点から、バックプ
ロパゲーションによって二重誤差が一番少ない点に収束
するからであり、全体の順序は変らない。しかし、傾
き、中心点は変化し、最適値が選ばれる。後件部は、例
えば第７図（ａ）に示すように、ルールR1ではｙ＝0.
9、ルールR2ではｙ＝0.12と学習される。
ここで、いま出力ｙが０から１までの値をとるものと
する。これは、第７図（ｂ）に示すように、ルールR1の
後件部のメンバシップ関数B1は、中心が0.9で面積が１
の関数と解釈できる。同様に、ルールR2のメンバシップ
関数B2も、中心が0.12で面積が１の関数と解釈できる。
そして、これらに適合度w1,w2がそれぞれ乗じられ、ル
ールR1の推論結果200と、ルールR2の論結果201（それぞ
れハッチングした部分）を得る。面積は、それぞれw1,w
2である。さらに、w1が0.7、w2が0.3とすると、ハッチ
ング部分の全体の重心は0.66となり、これが全体の推論
結果であり、（３）式そのものである。
一方、後件部ｙ＝0.9、ｙ＝0.12は、ｙの範囲が０〜
１であるので、ｙ is Big、ｙ is Smallと解釈でき
る。そして、そのメンバシップ関数は、第７図（ｂ）に
示す中心0.9およびび0.12の関数とみなす。
このように考えれば、学習によって人間が分かり易い
定性的なファジー変数を得ることもできるし、そのファ
ジー変数も明確にメンバシップ関数として規定すること
ができる。
もし、（３）式において、分母があらゆるケースで一
定値となるならば、重心計算を行なわなくとも、前述し
た計算値と同様の結果が得られる。しかし、第７図にお
いて、w1,w2が0.3,0.3のようになると、第１図の実施例
ではｙは中間点の0.51になるが、重心計算を行なわない
とｙは0.306となり、ファジー規則とは異なってしま
う。
これを防ぐため、重心計算をしない場合には、（３）
式の分母が一定に近づくような前件部の決定が必要にな
り、一般にルール数が多くなったり、メンバシップ関数
の制約が多くなる。第１図の実施例のメリットは、重心
計算による補間機能によって、少ないルールで済むこと
である。
上述したように、本実施例のニューラルネットワーク
においては、次のような種々の効果が得られるものであ
る。
（ａ）通常のニューラルネットワークに比べて、各ニュ
ーロンの役割が極めて明確であるため、どのような知識
が抽出されたかを学習によつ理解することができる。
（ｂ）初期設定は、人間の知識によって行なうことがで
き、これは部分的に前件部のみ設定しても、前後件部と
も設定することもできるため、学習をしないでもそのま
ま入出力条件を決定することができる。また、前後件部
全てが一つのNNであるため、学習によって前後件部とも
同時に決定することもできる。
（ｃ）一度作り上げたNNを、状況の変化に応じて部分的
に学習によらず変更することができる。
（ｄ）通常のNNは、全てのニューロンが隣接層の全ての
ニューロンと接続し、重みも全て可変であることから、
学習データには十分誤差が少なく同定できるが、未学習
データは誤差が大きいという問題があったのに対して、
本実施例では、乗除算機能を持つニューロンがあるこ
と、ならびに接続および重みの可変部が限定されている
ため、学習によってNNの汎化（学習後、未学習データを
与えた時に、誤差が少なく出力データを出力すること）
を極めて効果的に行なうことができる。
（ｅ）後件部の重心計算を行なうようにしているため、
ルール数を少なくすることができる。これにより、ニュ
ーロン数を減らすことができるため、計算時間が極めて
短くて済むばかりでなく、ルール数が少ないため、汎化
も十分に行なうことができる。
尚、本発明は上記実施例に限定されるものではなく、
次のようにしても実施できるものである。
（ａ）上記実施例では、ファジー変数として一定数値を
採用した（（２）式）場合について説明したが、これを
入力の一次式で表わす方法、すなわち（２）式の代わり
に下記の（２′）のような式を採用するようにしてもよ
い。
yi＝b0i＋b1i・x1＋b2i・x2 ＋……＋bmi・xm ……（２′） この（２′）式で、b1i以降がない特別のケースが
（２）式になる。すなわち、後件部が複雑になること
で、１ルール当りの情報量が増え、結局少ないルールに
よって入出力関係を記述することができる。
第８図は、第１図を（２′）式に基づいて変更した場
合のニューラルネットワークの構成例を示す図である。
なお、第８図において、93〜110以外は第１図と同様で
あり、同一部分には同一符号を付して示している。
すなわち、第１図の実施例と異なるのは、以下のよう
な点である。
第４層と第５層間に、第4A層という乗除算器を持つニ
ューロン113〜115と、線形加算機能を持つニューロン11
7〜118を設けたこと。
ニューロン113〜115は、ルールの数分だけあり、
（４）式のyi・wiの乗算を行なう。（２）式のケースで
は、接続93〜101の重みの変化によってこれを実現した
が、ここでは一次式となったため、乗算を行なう。ま
た、ニューロン116〜118は、ニューロン34〜42の出力で
ある適合度をそのまま伝えるものであり、特になくとも
よい。
一次式を実現するため、第２層に線形加算機能を持つ
ニューロン119〜120と、第３層に線形加算機能とバイア
スを持つニューロン122〜124と、第４層に線形加算機能
を持つニューロン125〜129とを設け、ニューロン119〜1
21は、入力x1,x2,x3に対応した３個のニューロンであ
り、単に入力層をそのまま第３層へ伝える。また、ニュ
ーロン122〜124は、一次式（２′）を計算するバイアス
付き線形加算機能を持ち、ルールの数（ｉの数）分だけ
ある。さらに、ニューロン125〜127は、ニューロン122
〜124の出力をそのまま第4A層へ伝えるものである。要
するに、ニューロン119〜121、125〜127は、特になくと
もよい。すなわち、単にそのまま入力を出力へ渡すのみ
の目的だからである。
新規に設けたニューロンの接続のために、以下の接続
を設けた。
入力層と第２層ニューロン119〜121間を１対１でつな
ぐ重み１固定の接続137〜139。
第２層ニューロン119〜121と第３層ニューロン122〜1
24間をつなぎ、一次式を形成する重み可変の接続140〜1
48。ここでは、（２′）式のｍ＝３のケースを実現す
る。
第３層ニューロン122〜124と第４層ニューロン125〜1
27を１対１でつなぐ重み１固定の接続149〜151。
第４層ニューロン34〜42と第4A層ニューロン113〜115
を１対でつなぐ重み１固定の接続128〜130。これは、ニ
ューロン113〜115の乗算の入力の一方となる。
第４層ニューロン34〜42と第4A層ニューロン116〜118
を１対１でつなぐ重み１固定の接続131〜133。
第４層ニューロン125〜127と第4A層ニューロン113〜1
15を１対１でつなぐ重み１固定の接続134〜136。これ
は、ニューロン113〜115の乗算の入力の一方となる。
接続93〜101は、第4A層ができたため、および一次式
の計算を他のニューロンで行なうため、第4A層ニューロ
ン113〜115と第５層ニューロン43をつなぐ固定重み１の
接続に変えた。また、接続102〜110は、第4A層ができた
ため、第4A層ニューロン116〜118と第５層ニューロン44
をつなぐ固定重み１の接続となる。
なお、接続93〜101、102〜110が（４）式の分子およ
び分母の計算に使用することには変わりがない。
以上述べた以外は、第１図の場合と同様であり、可変
重み部分が、接続51〜62、93〜101から接続51〜62、140
〜148に変わったものである。
要約すると、前件部適合度はニューロン34〜42で計算
し、後件部一次式はニューロン122〜124で計算し、第
（４）式分子の計算はニューロン113〜115で個別のルー
ルの計算を行なって、第１図と同じくニューロン43で合
算され、第（４）式分母の計算は第１図と同じくニュー
ロン44で計算され、最後にニューロン45で重心が計算さ
れる。
本実施例の入力から出力の計算および学習は、（２）
式が（２′）式のように一般化されただけであり、同一
の手順で行なわれる。また、学習時の各層の計算につい
ても、そのニューロンとその後に接続されているニュー
ロンによって決まることも同じである。
上述したように、本実施例においては、第１図の実施
例の場合と同様の効果が実現できるが、特に本実施例で
は、後件部が一次式になっていることにより、非線形性
の多い入出力関係を少ないルールで表現することができ
る。また、数式とすることにより、入出力関係を簡明に
表現することができる。
（ｂ）上記実施例において、前述したように（３）式の
分母があらゆるケースで一定値になるのであれば、分母
を削除するようにしてもよい。すなわち、 とした時、第１図および第８図の各実施例は、それぞれ
第９図および第10図に示すように簡略化される。
第９図は、後件部が一定数値の場合のニューラルネッ
トワークを示す図であり、第５層ニューロン44と第６層
ニューロン45とを削除し、これに伴なって第５層ニュー
ロン43の出力が出力ｙとなり、不要となった接続も削除
している。
第10図は、後件部が一次式の場合のニューラルネット
ワークを示す図であり、第4A層ニューロン116〜118、第
５層ニューロン44、第６層ニューロン45を削除し、これ
に伴なって不要となった接続を削除すると共に、第５層
ニューロン43の出力が出力ｙとなる。
入出力の計算および学習は、前述と同様の手法で計算
する。
本実施例は、前述したように（３）式の分母が一定に
近づくような前件部の決定が必要になる。このため、一
般にルール数が多くなったり、メンバシップ関数に制約
が多くなる。ルール数が多くなることは、ニューロン数
を多くすることになり、汎化が行われずらくなる。すな
わち、学習時誤差を少なくするために、ルール数を多く
して同定を行なうと、それが逆に汎化を行なわせずらく
なる。
次に、ルールの単純化の問題がある。この場合、前件
部の単純化とも言い換えることができる。すなわち、 前件部で x1 is Ｓ and x2 is Ｓ ……（Ａ） x1 is Ｓ and x2 is Ｍ ……（Ｂ） x1 is Ｓ and x2 is Ｂ ……（Ｃ） 以上の３つが有効であったとする。この場合、x2は省略
した x1 is Ｓ ……（Ｄ） があれば、もっとルールを単純化できることがある。こ
うした時、前件部として、上記の４個を作成して学習を
行なっても、ニューラルネットワークでは分散記憶の特
性より（Ｄ）には集約されず、（Ａ）〜（Ｄ）に分散し
て重みづけされてしまう。
そこで、このような点を改良するために、後件部NNの
重みの計算に対して、重みによる補正を行なう。すなわ
ち、いま重みの絶対値が大きくなれば１に近づき、０な
らば０に近づく関数fwを考える。
例えば fw（w/c）＝１−ｅ−（w/c）２ ……（20） これを偏微分し、 ∂fw/∂ｗ＝（2w/c2）・ｅ−（w/c）２ ……（21） これは、第11図（ａ）に示すように、w/cが0.7または
−0.の時山、および谷を持つ０に対称な関係である。ｃ
は定数である。
いま、ウェイトの変更Δwk ijは、（13）式に右辺第３
項を追加して下記とする。
Δwk ij＝η・δk j・Ok-1 i ＋αΔｗ＊ｋ ij ＋β・（∂fw/∂ｗ） ……（13′） βは負の比例定数である。
このようにすれば、w/cが０に近い時、０になるよう
に収束し、w/cが０より遠い時、すなわち大きい値を持
ち、意味のある時は、その効果が少なくなる。つまり、
w/cが０に収束できるものを積極的に０にする効果を有
する。こうすることにより、ａ〜ｄのうち、ｄのみが０
以外のある値を持ち、ａ〜ｃは０に近い値になったり、
小数のものが０以外のある値を持つようにすることがで
きる。
例えば、第９図において、いま接続93,94が０以外の
ある値を持ち、他は０に近い値とすると、接続95〜101
に関係した前方のニューロンは、削除したのと同じであ
るので削除し、NNを簡単にすることができる。NNが簡単
になることは、汎化をも促進することになる。
一方、第１図において、接続95〜101が０に近づくと
も、接続104,105〜110が重み１でニューロン44へつなが
り重心計算に使われるので、簡単に前方のニューロンを
削除できない。
第９図および第10図に示すNNは、このような簡単さが
利点である。
w/cのｃは、出力ｙの範囲によって決まる定数であ
る。また、ｙが大きく変化する場合と、０〜１までしか
変化しない場合とでは、第11図（ａ）の山および谷の点
を、ｗに対してのみ0.7,−−0.7とするのでは意味がな
い。よって、ｗの変動範囲にかかわらず正規化するため
に、ｃは用いられる。
上記（21）式としては、種々が考えられる。例えば、 fw（w/c）＝（w2/c2）／ （１＋w2/c2） ……（20′） ∂fw/∂ｗ＝（2w/c2）／ （１＋w2/c2）２ ……（21′） あるいは第11図（ｂ）に示すように、 ただし、（21″）式では、ｗが０の付近で学習時振動
することがあるので、十分０に近づいたらｗ＝０とした
りする。また、振動対策が必要な場合もある。第10図の
場合には、接続140〜148に対して、（13′）式の学習を
行なう。
上述したように、本実施例においては、比較的多くの
ルールを必要とするため、単に前件部及び後件部を決定
するだけでなく、（13′）式により、より一層簡単なル
ールに集約することが必要である。すなわち、前件部と
してandのない１条件のもの、andが１個の２条件のもの
のように、異なる性質のルールをNNとして作り上げ、
（13′）式によって不要なものの後件部が０となり、結
果的にルールの簡単なものに集約することができる。ま
た、本実施例では、第１図の実施例と異なり、補間の機
能が重心計算をしないので弱い。このため、このような
（13′）式の手法が必要となる。
以上により、第１図で述べた（ａ）〜（ｃ）の効果の
他に、多くのルールより重みが０に近い場合、０にする
ような関係を後件部の重み変化の式に付加することによ
り、簡単なルールに集約し、不要なルール、すなわちネ
ットワークを削除して、汎化を増進することができる。
なお、第１図の実施例においても、（13′）式を使用
して、意味のない重みを“0"にもっていくことは可能で
ある。
（ｃ）上記各実施例では、ファジー制御規則を実現する
NNの場合について説明したが、本発明の用途を拡大し
て、通常のNNにも適用することができる。すなわち、NN
として乗除算機能を有するニューロンを含む学習可能な
階層形NNである。
第12図は、この種のニューラルネットワークの構成例
を示す図であり、３層の階層形NNである。第12図におい
て、NN中に乗除算機能を有するニューロン204,205,209
を持つ。また、ニューロン204では入力x1と入力x2との
乗算を行ない、ニューロン205では入力x2と入力x3との
除算を行なう。さらに、接続は、全ての層間で行なって
もよいし、本実施例のように一部は削除してもよい。
一方、例えば接続210,211,212,213の重みを固定の
“1"とすると、前述したようにニューロン204,205の出
力は、x1×x2、x2/x3のようにあらかじめわかる値を出
力させることができる。すなわち、人間が前もって、NN
においてx1×x2、x2/x3の演算を含ませるという知識を
持っていた時、これらの演算を含ませる教師データを多
く与えるよりも、固定的に内部に入れこむ方が、より容
易にかつ精度よくしかも短時間で学習を終了させること
ができる。
さらに、乗算や除算は３層のNNで実現できることが明
らかになっているが、これを実現するためには多くの学
習が必要であり、しかもNNの層数、ニューロン数が多く
なってしまう。また、乗除算が第12図に示すように、複
雑に組合わったものを実現するように学習するのは、そ
れだけ膨大な学習データが必要になる。
以上より、あらかじめ知識として乗除算が必要である
とわかっている時には、明示的にNNに入れこみ、短時間
で学習を行なうことは望ましい。そして、従来これがで
きなかったのは、乗除算を含む場合の学習についての方
法がなかったからであり、前述した学習方法によって本
実施例でも学習することができる。
上述したように、本実施例においては、人間のもつ知
識を入れ込むことができ、学習を短時間に行なうことが
可能となると共に、膨大な学習データを与えなくとも汎
化が行ない易くなる。
［発明の効果］ 以上説明したように本発明によれば、１個のNNが前件
部と後件部とも含み、かつ前件部と後件部の知識が明確
に分かると共に、前件部と後件部とが同時に学習するこ
とができ、しかも十分な汎化を行なうことができ、人間
の持つ知識によってあらかじめNNの初期設定を可能と
し、後での部分変更も可能なニューラルネットワークが
提供できる。
【図面の簡単な説明】
第１図は本発明によるニューラルネットワークｋ一実施
例を示す図、 第２図はシグモイド関数を示す図、 第３図はシグモイド関数を示す図、 第４図はリミット付きの一次式を示す図、 第５図は前件部のメンバシップ関数を示す図、 第６図は乗除算器を持つニューロンの一般形を示す図、 第７図はルールと後件部の計算を示す図、 第８図は本発明の後件部が一次式のニューラルネットワ
ークを示す図、 第９図は同実施例において重心計算を省いたニューラル
ネットワークを示す図、 第10図は第７図の後件部が一次式のニューラルネットワ
ークで重心計算を省いた場合を示す図、 第11図は重みが０に近い場合に０にするような関数を示
す図、 第12図は乗除算機能を有するニューロンを含む学習可能
な階層形NNを示す図である。 10〜12……第１層ニューロン、13〜24……第２層ニュー
ロン、25〜33……第３層ニューロン、34〜42……第４層
ニューロン、43……第５層ニューロン、44,45……第６
層ニューロン、51〜62……第１層・第２層間接続、63〜
74……第２層・第３層間接続、75〜92……第３層・第４
層間接続、93〜110……第４層・第５層間接続、111、11
2……第５層・第６層間接続、113〜118……第4A層ニュ
ーロン、119〜121……第２層ニューロン、122〜124……
第３層ニューロン、125〜127……第４層ニューロン、Ｂ
……バイアス有り。

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項１】入力と出力を持ち、教示データとして入出
    力のデータを与えて学習することにより、ニューロン間
    の結合重みをバックプロパゲーション手法で決定する階
    層形のニューラルネットワークにおいて、ニューロン間
    の接続を限定し、当該接続の重みが可変である個所を限
    定し、乗除算機能を有するニューロンを備えて成ること
    を特徴とするニューラルネットワーク。
  2. 【請求項２】入力と出力を持ち、教示データとして入出
    力のデータを与えて学習することにより、ニューロン間
    の結合重みをバックプロパゲーション手法で決定する階
    層形のニューラルネットワークで、ファジー理論によっ
    て入出力関係を表わすものにおいて、ファジー制御規則
    を前件部と後件部とに分けて表現するようにニューロン
    間の接続を限定し、当該接続の重みが可変である個所を
    限定し、乗算機能を有するニューロンを備えて成ること
    を特徴とするニューラルネットワーク。
  3. 【請求項３】前記後件部の重みの絶対値が小さい時重み
    を０とするように変更する項を含む重み変更式を用いて
    学習を行なうことを特徴とする請求項（２）に記載のニ
    ューラルネットワーク。
  4. 【請求項４】入力と出力を持ち、教示データとして入出
    力のデータを与えて学習することにより、ニューロン間
    の結合重みをバックプロパゲーション手法で決定する階
    層形のニューラルネットワークで、ファジー理論によっ
    て入出力関係を表わすものにおいて、ファジー制御規制
    を前件部と後件部とに分けて表現するようにニューロン
    間の接続を限定し、当該接続の重みが可変である個所を
    限定し、乗除算機能を有するニューロンを備え、かつ前
    記後件部の重みの絶対値が小さい時重みを０にするよう
    に変更する項を含む重み変更式を用いて学習を行ない、
    ０に近い場合にはその上流側のネットワークを削除する
    ようにしたことを特徴とするニューラルネットワーク。
JP2283679A 1990-10-22 1990-10-22 ニューラルネットワーク Expired - Lifetime JP2747104B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2283679A JP2747104B2 (ja) 1990-10-22 1990-10-22 ニューラルネットワーク
US08/113,514 US5416888A (en) 1990-10-22 1993-08-30 Neural network for fuzzy reasoning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2283679A JP2747104B2 (ja) 1990-10-22 1990-10-22 ニューラルネットワーク

Publications (2)

Publication Number Publication Date
JPH04157559A JPH04157559A (ja) 1992-05-29
JP2747104B2 true JP2747104B2 (ja) 1998-05-06

Family

ID=17668667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2283679A Expired - Lifetime JP2747104B2 (ja) 1990-10-22 1990-10-22 ニューラルネットワーク

Country Status (2)

Country Link
US (1) US5416888A (ja)
JP (1) JP2747104B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664066A (en) * 1992-11-09 1997-09-02 The United States Of America As Represented By The United States Department Of Energy Intelligent system for automatic feature detection and selection or identification
US5828812A (en) * 1993-03-24 1998-10-27 National Semiconductor Corporation Recurrent neural network-based fuzzy logic system and method
US5592590A (en) * 1994-07-01 1997-01-07 General Electric Company Method for efficiently detecting covered rules in a knowledge base
JP3247803B2 (ja) * 1994-07-27 2002-01-21 シャープ株式会社 ファジィ・ニューラルネットワーク・システム
US5659666A (en) 1994-10-13 1997-08-19 Thaler; Stephen L. Device for the autonomous generation of useful information
JP3129932B2 (ja) * 1995-05-16 2001-01-31 シャープ株式会社 ファジィ・ニューラルネットワーク装置およびその学習方法
DE19528984C1 (de) * 1995-08-07 1996-09-19 Siemens Ag Verfahren zur Nachbildung von insbesondere dreieck- oder trapezförmigen Zugehörigkeitsfunktionen bei der Transformation eines Fuzzy-Systems in ein neuronales Netz
US5845271A (en) * 1996-01-26 1998-12-01 Thaler; Stephen L. Non-algorithmically implemented artificial neural networks and components thereof
US5993194A (en) * 1996-06-21 1999-11-30 Lemelson; Jerome H. Automatically optimized combustion control
DE19703965C1 (de) 1997-02-03 1999-05-12 Siemens Ag Verfahren zur Transformation einer zur Nachbildung eines technischen Prozesses dienenden Fuzzy-Logik in ein neuronales Netz
US6330553B1 (en) * 1997-04-09 2001-12-11 Yamaha Hatsudoki Kabushiki Kaisha Autonomic system for updating fuzzy neural network and control system using the fuzzy neural network
US6424960B1 (en) * 1999-10-14 2002-07-23 The Salk Institute For Biological Studies Unsupervised adaptation and classification of multiple classes and sources in blind signal separation
US20050149462A1 (en) * 1999-10-14 2005-07-07 The Salk Institute For Biological Studies System and method of separating signals
US6468069B2 (en) 1999-10-25 2002-10-22 Jerome H. Lemelson Automatically optimized combustion control
DE10021955A1 (de) * 2000-05-05 2001-11-08 Bodenseewerk Geraetetech Verfahren zur Erzeugung von Software
US10817042B2 (en) * 2018-09-27 2020-10-27 Intel Corporation Power savings for neural network architecture with zero activations during inference
CN110195823A (zh) * 2019-07-16 2019-09-03 重庆科技学院 一种基于深度神经网络的管道微泄露检测方法
CN110766144B (zh) * 2019-11-09 2023-10-13 河南工业大学 基于多层分解模糊神经网络的原子之间标量耦合常数预测系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4922423A (en) * 1987-12-10 1990-05-01 Koomey Paul C Position and seal wear indicator for valves and blowout preventers
EP0813127A3 (en) * 1988-05-20 1998-05-06 Matsushita Electric Industrial Co., Ltd. Inference rule determining method and inference device
US5095443A (en) * 1988-10-07 1992-03-10 Ricoh Company, Ltd. Plural neural network system having a successive approximation learning method
JPH02155045A (ja) * 1988-12-07 1990-06-14 Aputo Instr Kk 真理値コンバータ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
電子情報通信学会技術研究報告 ＮＣ９０−８２ Ｐ．８３−８８ Ｖｏｌ．９０ Ｎｏ．４８３ １９９１ 下川勝千 「ファジィニューラルネットワークの一手法」

Also Published As

Publication number Publication date
US5416888A (en) 1995-05-16
JPH04157559A (ja) 1992-05-29

Similar Documents

Publication Publication Date Title
JP2747104B2 (ja) ニューラルネットワーク
Ishibuchi et al. Fuzzy regression using asymmetric fuzzy coefficients and fuzzified neural networks
Lee et al. Identification and control of dynamic systems using recurrent fuzzy neural networks
Li et al. The equivalence between fuzzy logic systems and feedforward neural networks
Ishibuchi et al. Numerical analysis of the learning of fuzzified neural networks from fuzzy if–then rules
Rutkowski et al. Designing and learning of adjustable quasi-triangular norms with applications to neuro-fuzzy systems
US5630023A (en) Signal processor
Li Neural network models for intelligent support of mark‐up estimation
Li et al. An algorithm for extracting fuzzy rules based on RBF neural network
Wu et al. Type-1 and interval type-2 fuzzy systems [AI-eXplained]
CN112949835A (zh) 基于卷积循环神经网络对知识图谱的推理方法及设备
JP3247803B2 (ja) ファジィ・ニューラルネットワーク・システム
EP0444878B1 (en) Neural network
CN109697511B (zh) 数据推理方法、装置及计算机设备
JP3354593B2 (ja) ネットワーク型情報処理装置の学習システム
Gencer et al. Design and validation of an artificial neural network based on analog circuits
JPH07210534A (ja) ニューラルネットワーク
JPH08286922A (ja) ファジィ・ニューラルネットワーク装置
Atanassov et al. Generalized nets as tools for modelling of the neural networks
JP3508783B2 (ja) パルス密度型信号処理回路網における結合係数更新方法並びに結合係数更新装置
Liang Equivalence between local exponential stability of the unique equilibrium point and global stability for Hopfield-type neural networks with two neurons
Chan The interpolation property of fuzzy polynomial approximation
Sakai et al. Simulation of neural network digital adder and multiplier
Sun et al. Solving satisfiability problems with neural networks
JP3396489B2 (ja) ネットワーク型情報処理システム