JP3019145B2 - 決定性ファジィ有限オートマトンを実現するニューラルネットワーク - Google Patents
決定性ファジィ有限オートマトンを実現するニューラルネットワークInfo
- Publication number
- JP3019145B2 JP3019145B2 JP8212273A JP21227396A JP3019145B2 JP 3019145 B2 JP3019145 B2 JP 3019145B2 JP 8212273 A JP8212273 A JP 8212273A JP 21227396 A JP21227396 A JP 21227396A JP 3019145 B2 JP3019145 B2 JP 3019145B2
- Authority
- JP
- Japan
- Prior art keywords
- fuzzy
- equation
- state
- output
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/0285—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks and fuzzy logic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、ファジィ有限状態
オートマトンの、現在の状態が現在の入力と直前の状態
に依存する動的プロセスをモデル化することのできるフ
ァジィ有限状態オートマトン（ＦＦＡｓ）に関する。特
に、本発明は、ファジィ有限状態オートマトンを符号化
するとともに任意の精度をもって与えられたファジィ正
規言語を認識する再帰ニューラルネットワークに関す
る。
オートマトンの、現在の状態が現在の入力と直前の状態
に依存する動的プロセスをモデル化することのできるフ
ァジィ有限状態オートマトン（ＦＦＡｓ）に関する。特
に、本発明は、ファジィ有限状態オートマトンを符号化
するとともに任意の精度をもって与えられたファジィ正
規言語を認識する再帰ニューラルネットワークに関す
る。
【０００２】
【従来の技術ならびに発明が解決しようとする課題】昨
今、複合人工ニューラルネットワークやファジィシステ
ムへの関心が高まっている。ファジィ論理は、近似推論
に数学的な基礎を与えるものである。ファジィ論理制御
装置は、可変翼をもった飛行機のロールや動きの制御、
温水プラントの制御、交通制御といった多様な分野にお
いて非常に有用であると証明されている。ファジィシス
テムに適したパラメータは、その初期値の選択を容易に
するような明確な物理的意味を持っている。その上、規
則に基礎付けられた情報もシステマチックにファジィシ
ステムに統合することができる。
今、複合人工ニューラルネットワークやファジィシステ
ムへの関心が高まっている。ファジィ論理は、近似推論
に数学的な基礎を与えるものである。ファジィ論理制御
装置は、可変翼をもった飛行機のロールや動きの制御、
温水プラントの制御、交通制御といった多様な分野にお
いて非常に有用であると証明されている。ファジィシス
テムに適したパラメータは、その初期値の選択を容易に
するような明確な物理的意味を持っている。その上、規
則に基礎付けられた情報もシステマチックにファジィシ
ステムに統合することができる。
【０００３】人工ニューラルネットワークは単純な動作
を実行するニューロンの協動と幾つかの例からの学習能
力とに基づく生体機能（生体システム）にみられる情報
処理メカニズムを小さいスケールでエミュレートするも
のである。人工ニューラルネットワークは、パターン認
識、制御、予報などのような仕事のための正確さにおい
て貴重な計算ツールとなっている。
を実行するニューロンの協動と幾つかの例からの学習能
力とに基づく生体機能（生体システム）にみられる情報
処理メカニズムを小さいスケールでエミュレートするも
のである。人工ニューラルネットワークは、パターン認
識、制御、予報などのような仕事のための正確さにおい
て貴重な計算ツールとなっている。
【０００４】ファジィシステムと多階層パーセプトロン
とは、計量学的には等価である。即ち、それらは共に、
普遍的又は万能な近似体である。再帰ニューラルネット
ワークは、チューリングマシンと計量的に等価であるこ
とが示されているが、再帰ファジィシステムもチューリ
ングと等価であるか否かについては、未解決の問題が残
っている。ファジィシステム及びニューラルネットワー
クの基礎となる方法論は全く異なるものである一方、そ
れらの機能的形式は似通ったものである。ニューラルネ
ットワークのための強力な学習アルゴリズムの開発は、
学習機構（例えば、ニューラルネットワークの学習アル
ゴリズムと同様のファジィ論理システムのためのバック
プロパゲーション学習アルゴリズム）を持つファジィシ
ステムの分野においても有益である。
とは、計量学的には等価である。即ち、それらは共に、
普遍的又は万能な近似体である。再帰ニューラルネット
ワークは、チューリングマシンと計量的に等価であるこ
とが示されているが、再帰ファジィシステムもチューリ
ングと等価であるか否かについては、未解決の問題が残
っている。ファジィシステム及びニューラルネットワー
クの基礎となる方法論は全く異なるものである一方、そ
れらの機能的形式は似通ったものである。ニューラルネ
ットワークのための強力な学習アルゴリズムの開発は、
学習機構（例えば、ニューラルネットワークの学習アル
ゴリズムと同様のファジィ論理システムのためのバック
プロパゲーション学習アルゴリズム）を持つファジィシ
ステムの分野においても有益である。
【０００５】いくつかの場合、ニューラルネットワーク
は、P. Goode et al entitled A hybrid fuzzy/neural
systems used to extract heuristic knowledge from
a fault detection problem"(Proc. Of the third IEEE
Conference on Fuzzy Systems, vol. III,pp.1731-173
6,1994" とC. Perneel et al entitled Fuzzy Reasoni
ng and Neural Networks for Decision Making Problem
s in Uncertain Environments" in Proc. Of the Third
IEEE Conference of Fuzzy Systems, vol. II, pp. 11
11-1125,1994. に記されるファジィ論理の原理上に構築
される。ファジィ論理を補間するニューラルネットワー
クの表現は、補強学習の状況にも用いられる。
は、P. Goode et al entitled A hybrid fuzzy/neural
systems used to extract heuristic knowledge from
a fault detection problem"(Proc. Of the third IEEE
Conference on Fuzzy Systems, vol. III,pp.1731-173
6,1994" とC. Perneel et al entitled Fuzzy Reasoni
ng and Neural Networks for Decision Making Problem
s in Uncertain Environments" in Proc. Of the Third
IEEE Conference of Fuzzy Systems, vol. II, pp. 11
11-1125,1994. に記されるファジィ論理の原理上に構築
される。ファジィ論理を補間するニューラルネットワー
クの表現は、補強学習の状況にも用いられる。
【０００６】現在の入力と直前の状態に依存する再帰状
態の主な問題は、有限状態オートマトンまたはそれらに
同等の文法としてモデル化される。次の段階では、再帰
的ニューラルネットワーク決定する。次の段階では、再
帰的ニューラルネットワークもまたファジィ有限状態オ
ートマトン（以降ＦＦＡｓ）を示すこと、ファジィ正規
文法の認識に用いられるかどうかということを確定す
る。
態の主な問題は、有限状態オートマトンまたはそれらに
同等の文法としてモデル化される。次の段階では、再帰
的ニューラルネットワーク決定する。次の段階では、再
帰的ニューラルネットワークもまたファジィ有限状態オ
ートマトン（以降ＦＦＡｓ）を示すこと、ファジィ正規
文法の認識に用いられるかどうかということを確定す
る。
【０００７】ファジィ文法は、Ｘ線解析、デジタル回路
設計、および知的コンピュータインターフェースの設計
などのような多様な分野で、その有用性が認められてい
る。ＦＦＡｓの基本理論は、B. Gaines 著 The Logic
of Automata" in Int l Journal of General Systems,
vol.2, pp. 191-208, 1976, E. Santos 著 "MaximumAu
tomata" in Information and Control, vol.13, pp. 36
3-377, 1968 , W. Wee 著 "A Formulation of Fuzzy A
utomata and its as a Model of Learning Systems," i
n IEEE Transactions on System Science and Cybernet
ics, vol.5, pp. 215-223, 1969上などで機器との統合
のためのシステマティックな方法論抜きで議論されてき
た。また、ニューラルネットワークのファジィオートマ
トンへの適用は、J. Grantner 著 Synthesis and Ana
lysis of Fuzzy Logic Finite State Machine Models,"
in Proc. Of Third IEEE Conference on Fuzzy System
s,vol. I, pp. 205-210, 1994, や、J. Grantner 著
VLSI Implementations ofFuzzy Logic Finite State Ma
chine," in roc. Of the Fifth IFSA Congress,pp. 781
-784, 1993, S. Lee 著 Fuzzy Neural Networks," in
Mathematical Biosciences, vol. 23 pp. 151-177, 19
95, F. Unal著 A Fuzzy Finete StateMachine Implem
entation Based on a Neural Fuzzy System," in Proc.
Of theThird Int l Conf. On Fuzzy Systems, vol.3 p
p. 1749-1754, 1994 などで提案されている。Ｇｒａｎ
ｔｎｅｒ等が前記論文に提案した統合の方法論は、その
状態と出力のファジィ表現を実施するために、デジタル
設計技術を用いている。Ｕｎａｌ等による前記の論文で
は、ファジィ入力と状態を持つムーアマシンの適用（実
施）は、バックプロパゲーションアルゴリズムを用いた
状態遷移テーブル上の明示的フィードフォワード・ネッ
トワークの学習によって実現されている。入力と状態の
ファジィ化は、アンチロックブレーキシステムのような
マイクロ制御装置にオートマトンを適用する際に必要と
されるメモリーサイズを削減することができる。関連す
るものとして、重み付けされた正規言語に確率的ノード
を持つニューラルネットワーク適用のためのアルゴリズ
ムは、T. Ludermir 著 Logical Networks Capable of
Computing Weighted Regular Languages," in Proc. o
f the Int l Joint Conf. on Neural Networks 1991, v
ol. II, pp. 1687-1692m1991 で議論されてきた。同期
ファジィ連続回路の一般的統合方法については、T. Wat
anabe 著 Synthesis of Synchronous Fuzzy Sequenti
al Circuits,"in Proc. of the Third IFSA World Cong
ress, pp. 288-291, 1989. で議論されてきた。グレイ
レベルのイメージ処理などに応用される多階層閾値ニュ
ーロンを有する離散時間（非連続時点）ニューラルネッ
トワークのクラスのための統合方法については、J. Sie
t 著 Analysis and Synthesis of a Class of Discre
te-Time Neural networks with Multilevel Threshold
Neurons," in IEEE Trans.On Neural Networks, vol. 6
no. 1 p.105,1995. で提案されている。
設計、および知的コンピュータインターフェースの設計
などのような多様な分野で、その有用性が認められてい
る。ＦＦＡｓの基本理論は、B. Gaines 著 The Logic
of Automata" in Int l Journal of General Systems,
vol.2, pp. 191-208, 1976, E. Santos 著 "MaximumAu
tomata" in Information and Control, vol.13, pp. 36
3-377, 1968 , W. Wee 著 "A Formulation of Fuzzy A
utomata and its as a Model of Learning Systems," i
n IEEE Transactions on System Science and Cybernet
ics, vol.5, pp. 215-223, 1969上などで機器との統合
のためのシステマティックな方法論抜きで議論されてき
た。また、ニューラルネットワークのファジィオートマ
トンへの適用は、J. Grantner 著 Synthesis and Ana
lysis of Fuzzy Logic Finite State Machine Models,"
in Proc. Of Third IEEE Conference on Fuzzy System
s,vol. I, pp. 205-210, 1994, や、J. Grantner 著
VLSI Implementations ofFuzzy Logic Finite State Ma
chine," in roc. Of the Fifth IFSA Congress,pp. 781
-784, 1993, S. Lee 著 Fuzzy Neural Networks," in
Mathematical Biosciences, vol. 23 pp. 151-177, 19
95, F. Unal著 A Fuzzy Finete StateMachine Implem
entation Based on a Neural Fuzzy System," in Proc.
Of theThird Int l Conf. On Fuzzy Systems, vol.3 p
p. 1749-1754, 1994 などで提案されている。Ｇｒａｎ
ｔｎｅｒ等が前記論文に提案した統合の方法論は、その
状態と出力のファジィ表現を実施するために、デジタル
設計技術を用いている。Ｕｎａｌ等による前記の論文で
は、ファジィ入力と状態を持つムーアマシンの適用（実
施）は、バックプロパゲーションアルゴリズムを用いた
状態遷移テーブル上の明示的フィードフォワード・ネッ
トワークの学習によって実現されている。入力と状態の
ファジィ化は、アンチロックブレーキシステムのような
マイクロ制御装置にオートマトンを適用する際に必要と
されるメモリーサイズを削減することができる。関連す
るものとして、重み付けされた正規言語に確率的ノード
を持つニューラルネットワーク適用のためのアルゴリズ
ムは、T. Ludermir 著 Logical Networks Capable of
Computing Weighted Regular Languages," in Proc. o
f the Int l Joint Conf. on Neural Networks 1991, v
ol. II, pp. 1687-1692m1991 で議論されてきた。同期
ファジィ連続回路の一般的統合方法については、T. Wat
anabe 著 Synthesis of Synchronous Fuzzy Sequenti
al Circuits,"in Proc. of the Third IFSA World Cong
ress, pp. 288-291, 1989. で議論されてきた。グレイ
レベルのイメージ処理などに応用される多階層閾値ニュ
ーロンを有する離散時間（非連続時点）ニューラルネッ
トワークのクラスのための統合方法については、J. Sie
t 著 Analysis and Synthesis of a Class of Discre
te-Time Neural networks with Multilevel Threshold
Neurons," in IEEE Trans.On Neural Networks, vol. 6
no. 1 p.105,1995. で提案されている。
【０００８】
【課題を解決するための手段】本発明は、連続判別関数
を持つ再帰ニューラルネットワークにおいてファジィ有
限状態オートマトンの表現に関する。ファジィ有限状態
オートマトンは、再帰ネットワークにおいて符号化さ
れ、任意の精度を持ってストリング（記号列）メンバー
シップ関数を計算する。ファジィ有限状態オートマトン
を同等の決定性有限オートマトン（ＤＦＡ）に変換しフ
ァジィストリングメンバーシップを計算するするアルゴ
リズムが使われる。ファジィＦＦＡ状態は、クリスプな
（歯切れのよい）ＤＦＡへ変換される。０＜μｉ≦１で
あるメンバーシップラベルμｉは各受け付けＤＦＡ状態
と関係する。非受け付けＤＦＡ状態はラベルμｉ＝０を
有する。ストリング（記号列）のメンバーシップは、最
後に訪れたＤＦＡ状態のメンバーシップラベルに等し
い。
を持つ再帰ニューラルネットワークにおいてファジィ有
限状態オートマトンの表現に関する。ファジィ有限状態
オートマトンは、再帰ネットワークにおいて符号化さ
れ、任意の精度を持ってストリング（記号列）メンバー
シップ関数を計算する。ファジィ有限状態オートマトン
を同等の決定性有限オートマトン（ＤＦＡ）に変換しフ
ァジィストリングメンバーシップを計算するするアルゴ
リズムが使われる。ファジィＦＦＡ状態は、クリスプな
（歯切れのよい）ＤＦＡへ変換される。０＜μｉ≦１で
あるメンバーシップラベルμｉは各受け付けＤＦＡ状態
と関係する。非受け付けＤＦＡ状態はラベルμｉ＝０を
有する。ストリング（記号列）のメンバーシップは、最
後に訪れたＤＦＡ状態のメンバーシップラベルに等し
い。
【０００９】ファジィシステムのパラメータは、明確に
物理的意味を持ち、規則的及び言語的な情報は、システ
マティックな方法において適用性のあるファジィシステ
ムに組み入れられる。また、多様なニューラルネットワ
ークモデルを学習のための強力なアルゴリズムも存在す
る。しかし、多くの提案されてきたファジィシステムと
ニューラルネットワークアーキテクチュアとのほとんど
は、静的な入出力を制御することを可能にするだけのも
のである。例えば、それらは、任意の長さの一時的入力
列を処理することはできない。ファジィ有限状態オート
マトン（ＦＦＡ）は、その現在の状態が現在の入力と直
前の状態に依存する動的プロセスをモデル化することが
できる。決定性有限状態オートマトン（ＤＦＡｓ）と違
って、ＦＦＡｓはある固有の状態ではなく、というより
も各々の状態がメンバーシップ関数によって規定される
いくつかの度合いに占められる。本発明は、ＦＦＡを符
号化し、与えられた任意の精度をもってファジィ正規言
語を認識する再帰ニューラルネットワークを構築するア
ルゴリズムに関する。つまり、ファジィシステムはニュ
ーラルネットワークと組み合わされ、結果としてのファ
ジィニューラルシステムは両パラダイムの有利性を示
す。
物理的意味を持ち、規則的及び言語的な情報は、システ
マティックな方法において適用性のあるファジィシステ
ムに組み入れられる。また、多様なニューラルネットワ
ークモデルを学習のための強力なアルゴリズムも存在す
る。しかし、多くの提案されてきたファジィシステムと
ニューラルネットワークアーキテクチュアとのほとんど
は、静的な入出力を制御することを可能にするだけのも
のである。例えば、それらは、任意の長さの一時的入力
列を処理することはできない。ファジィ有限状態オート
マトン（ＦＦＡ）は、その現在の状態が現在の入力と直
前の状態に依存する動的プロセスをモデル化することが
できる。決定性有限状態オートマトン（ＤＦＡｓ）と違
って、ＦＦＡｓはある固有の状態ではなく、というより
も各々の状態がメンバーシップ関数によって規定される
いくつかの度合いに占められる。本発明は、ＦＦＡを符
号化し、与えられた任意の精度をもってファジィ正規言
語を認識する再帰ニューラルネットワークを構築するア
ルゴリズムに関する。つまり、ファジィシステムはニュ
ーラルネットワークと組み合わされ、結果としてのファ
ジィニューラルシステムは両パラダイムの有利性を示
す。
【００１０】再帰状態ニューロンと線形出力ニューロン
を結合することによって、再帰ネットワークは、ＤＦＡ
符号化に用いられるオリジナルアーキテクチャで構築さ
れる。それらの結合の重みづけは、ＤＦＡ状態のメンバ
ーシップラベルの値にセットされる。そのストリングメ
ンバーシップ関数における計算の精度は、ネットワーク
サイズ、メンバーシップラベルμｉ＞０であるＤＦＡ状
態の数、ならびにその再帰ネットワークにおいて有限状
態ダイナミクス（動力学）を符号化する際に用いられる
重み強さＨに依存する。Ｈを大きくとることで、そのネ
ットワークは、より正確にメンバーシップ関数を計算す
ることができる。
を結合することによって、再帰ネットワークは、ＤＦＡ
符号化に用いられるオリジナルアーキテクチャで構築さ
れる。それらの結合の重みづけは、ＤＦＡ状態のメンバ
ーシップラベルの値にセットされる。そのストリングメ
ンバーシップ関数における計算の精度は、ネットワーク
サイズ、メンバーシップラベルμｉ＞０であるＤＦＡ状
態の数、ならびにその再帰ネットワークにおいて有限状
態ダイナミクス（動力学）を符号化する際に用いられる
重み強さＨに依存する。Ｈを大きくとることで、そのネ
ットワークは、より正確にメンバーシップ関数を計算す
ることができる。
【００１１】それ故、本発明の主な目的は、ファジィシ
ステムをニューラルネットワークに組み合わせる手法を
提供することにある。
ステムをニューラルネットワークに組み合わせる手法を
提供することにある。
【００１２】また、本発明の別の目的は、ＦＦＡｓへ適
用するためのＤＦＡｓを表現することのできるニューラ
ルネットワークを修正することにある。
用するためのＤＦＡｓを表現することのできるニューラ
ルネットワークを修正することにある。
【００１３】さらに、本発明の目的は、ＦＦＡｓを再帰
ネットワークに符号化して構築されたネットワークが任
意の精度をもって任意の長さのストリング（文字列）を
生成するメンバーシップを割り当てることにある。
ネットワークに符号化して構築されたネットワークが任
意の精度をもって任意の長さのストリング（文字列）を
生成するメンバーシップを割り当てることにある。
【００１４】加えて、本発明の目的は、以降の記述を添
付の図と関連づけて読むことで、よりはっきり明らかに
なるであろう。
付の図と関連づけて読むことで、よりはっきり明らかに
なるであろう。
【００１５】
【発明の実施の形態】まず、図面、特に、図１を参照し
て、典型的な知的（インテリジェント）制御に用いられ
るファジィニューラルネットワークが示されている。特
に、このようなネットワークは、下記の数７式によって
示される言語的規則によって初期化される。
て、典型的な知的（インテリジェント）制御に用いられ
るファジィニューラルネットワークが示されている。特
に、このようなネットワークは、下記の数７式によって
示される言語的規則によって初期化される。
【００１６】
【数７】 ここで、Ａ1 、Ａ3 、およびＣ1 はファジィ集合（セッ
ト）であり、ｘ1 、ｘ3 、およびｙ1 はそれぞれ、言語
的入力および出力である。
ト）であり、ｘ1 、ｘ3 、およびｙ1 はそれぞれ、言語
的入力および出力である。
【００１７】このネットワークは、実数の入力変数（例
えば、言語的変数）を備える入力階層、入力値ｘｉをフ
ァジィ集合Ａｉへマッピングするファジィ化階層、一つ
の規則において全ての先行する状態（条件）の結合を計
算する書き換え階層、与えられた規則に対して出力を計
算する非ファジィ化階層、及びルールベース（規則ベー
ス：例えば、重み付き合計）において全てのファジィ制
御規則から推奨値を組み合わせる出力階層を有する。こ
のように、ファジィニューラルネットワークは、ファジ
ィロジックの書き換え機能を有する。ファジィ推論とい
う用語は、ファジィニューラルネットワークの機能を記
述するために用いられることがある。ファジィロジック
書き換えという用語は、ファジィニューラルネットワー
クの機能とファジィロジック推論とを区別するために用
いられる。このファジィロジック推論では、その目的が
推論スキームＡ1 ，Ａ2 ，…→Ｂ1 ，Ｂ2 ，…の助けを
もってファジィ集合Ａ1 ，Ａ2 ，…の特徴からファジィ
集合Ｂ1 ，Ｂ2 ，…の特徴を得るためであり、推論スキ
ームは１組の規則によって統制される。これら規則とし
て、多階層パーセプトロンのための標準学習アルゴリズ
ムが用いられ、そして、これに規則は細かく調整され
る。
えば、言語的変数）を備える入力階層、入力値ｘｉをフ
ァジィ集合Ａｉへマッピングするファジィ化階層、一つ
の規則において全ての先行する状態（条件）の結合を計
算する書き換え階層、与えられた規則に対して出力を計
算する非ファジィ化階層、及びルールベース（規則ベー
ス：例えば、重み付き合計）において全てのファジィ制
御規則から推奨値を組み合わせる出力階層を有する。こ
のように、ファジィニューラルネットワークは、ファジ
ィロジックの書き換え機能を有する。ファジィ推論とい
う用語は、ファジィニューラルネットワークの機能を記
述するために用いられることがある。ファジィロジック
書き換えという用語は、ファジィニューラルネットワー
クの機能とファジィロジック推論とを区別するために用
いられる。このファジィロジック推論では、その目的が
推論スキームＡ1 ，Ａ2 ，…→Ｂ1 ，Ｂ2 ，…の助けを
もってファジィ集合Ａ1 ，Ａ2 ，…の特徴からファジィ
集合Ｂ1 ，Ｂ2 ，…の特徴を得るためであり、推論スキ
ームは１組の規則によって統制される。これら規則とし
て、多階層パーセプトロンのための標準学習アルゴリズ
ムが用いられ、そして、これに規則は細かく調整され
る。
【００１８】言語的規則の変数が再帰的になるような応
用もある。例えば、以下の数８式に示す規則がある。
用もある。例えば、以下の数８式に示す規則がある。
【００１９】
【数８】 ここで、ｕ（ｔ−１）およびｘ（ｔ−１）はそれぞれ入
力変数および状態変数を表す。状態変数ｘ（ｔ）の値
は、入力ｕ（ｔ−１）と直前の状態ｘ（ｔ−１）とに依
存する。フィードフォワード型のニューラルネットワー
クは、再帰の深さが予め知られていない際、再帰的規則
を表すための計算能力を備えていない。再帰ニューラル
ネットワークは、無限期間に亘って情報を格納するため
の能力を備えており、これによって、再帰的言語上の規
則を表すため潜在的に有効である。
力変数および状態変数を表す。状態変数ｘ（ｔ）の値
は、入力ｕ（ｔ−１）と直前の状態ｘ（ｔ−１）とに依
存する。フィードフォワード型のニューラルネットワー
クは、再帰の深さが予め知られていない際、再帰的規則
を表すための計算能力を備えていない。再帰ニューラル
ネットワークは、無限期間に亘って情報を格納するため
の能力を備えており、これによって、再帰的言語上の規
則を表すため潜在的に有効である。
【００２０】規則的な言語は、チョムスキー（Ｃｈｏｍ
ｓｋｙ）ハイアラーキーにおいて正規言語の最小クラス
を表す。正規言語は、正規文法から生成される。
ｓｋｙ）ハイアラーキーにおいて正規言語の最小クラス
を表す。正規言語は、正規文法から生成される。
【００２１】規則的な文法Ｇは、４成分から成る文法
（クワドループ）Ｇ＝＜Ｓ，Ｎ，Ｔ，Ｐ＞として定義さ
れる、ここで、Ｓは開始符号、ＮおよびＴは非終端符号
および終端符号、Ｐは形式Ａ→ａまたはＡ→ａＢの生成
物であって、Ａ，Ｂ∈Ｎかつａ∈Ｔである。
（クワドループ）Ｇ＝＜Ｓ，Ｎ，Ｔ，Ｐ＞として定義さ
れる、ここで、Ｓは開始符号、ＮおよびＴは非終端符号
および終端符号、Ｐは形式Ａ→ａまたはＡ→ａＢの生成
物であって、Ａ，Ｂ∈Ｎかつａ∈Ｔである。
【００２２】Ｇによって生成される正規言語は、Ｌ
（Ｇ）と表される。
（Ｇ）と表される。
【００２３】一つの決定性有限状態オートマトン（ＤＦ
Ａ） Ｍが正規言語Ｌが関係しており、決定性有限状態
オートマトン（ＤＦＡ） Ｍは言語Ｌ（Ｇ）、例えば、
Ｌ（Ｇ）＝Ｌ（Ｍ）のためのアクセプターである。ＤＦ
Ａ Ｍは、正規言語Ｌ（Ｇ）のメンバーである記号列
（ストリング）のみを受け付ける。
Ａ） Ｍが正規言語Ｌが関係しており、決定性有限状態
オートマトン（ＤＦＡ） Ｍは言語Ｌ（Ｇ）、例えば、
Ｌ（Ｇ）＝Ｌ（Ｍ）のためのアクセプターである。ＤＦ
Ａ Ｍは、正規言語Ｌ（Ｇ）のメンバーである記号列
（ストリング）のみを受け付ける。
【００２４】ＤＦＡ Ｍは、５成分から成るものＭ＝＜
Σ，Ｑ，Ｒ，Ｆ，δ＞として定義される。ここで、集合
Σ＝｛ａ１，…，ａｍ｝は言語Ｌのアルファベット、Ｑ
＝｛ｑ１，…，ｑｎ｝は状態の集合、Ｒ∈Ｑは初期状
態、Ｆ⊆Ｑは受容（受け付け）集合、ならびにδ：Ｑ×
Σ→ＱはＭにおける状態遷移を定義するものである。
Σ，Ｑ，Ｒ，Ｆ，δ＞として定義される。ここで、集合
Σ＝｛ａ１，…，ａｍ｝は言語Ｌのアルファベット、Ｑ
＝｛ｑ１，…，ｑｎ｝は状態の集合、Ｒ∈Ｑは初期状
態、Ｆ⊆Ｑは受容（受け付け）集合、ならびにδ：Ｑ×
Σ→ＱはＭにおける状態遷移を定義するものである。
【００２５】記号列ｘがＭによって読み込まれた後、受
容状態が到達すると、記号列ｘは、ＤＦＭ Ｍに受け付
けられ、それ故、正規言語Ｌ（Ｍ）のメンバーである。
または、ＤＦＡ Ｍは、正規言語Ｌ（Ｍ）を生成する生
成器であると考えることもできる。
容状態が到達すると、記号列ｘは、ＤＦＭ Ｍに受け付
けられ、それ故、正規言語Ｌ（Ｍ）のメンバーである。
または、ＤＦＡ Ｍは、正規言語Ｌ（Ｍ）を生成する生
成器であると考えることもできる。
【００２６】種々の方法が再帰的ニューラルネットワー
クにおいてＤＦＡｓを用いるため提案されてきた。我々
の好ましい方法は、以下の数９式に示す方程式に応じて
それらの現在の状態を更新するシグモイド判別関数を備
える離散時間、第２次の再帰的ニューラルネットワーク
においてＤＦＡｓを用いることにある。
クにおいてＤＦＡｓを用いるため提案されてきた。我々
の好ましい方法は、以下の数９式に示す方程式に応じて
それらの現在の状態を更新するシグモイド判別関数を備
える離散時間、第２次の再帰的ニューラルネットワーク
においてＤＦＡｓを用いることにある。
【００２７】
【数９】 ここで、ｂｉは隠れ再帰的状態ニューロンＳｉに関係す
るバイアスであり、Ｉｋは符号ａｋに対する入力ニュー
ロンを示す。数１０式で示す結果は、状態遷移δ
（ｑｊ，ａｋ）＝ａｋに直接的に対応する。第２次の重
みを備える再帰的ニューラルネットワークにおいて用い
られるＤＦＡは、米国特許出願番号０８／４００，７３
２号に記述されており、これは引用例によってここに組
み入れられている。
るバイアスであり、Ｉｋは符号ａｋに対する入力ニュー
ロンを示す。数１０式で示す結果は、状態遷移δ
（ｑｊ，ａｋ）＝ａｋに直接的に対応する。第２次の重
みを備える再帰的ニューラルネットワークにおいて用い
られるＤＦＡは、米国特許出願番号０８／４００，７３
２号に記述されており、これは引用例によってここに組
み入れられている。
【００２８】
【数１０】 ＤＦＡｓは、シグモイド判別関数を備える離散時間、第
２次の再帰的ニューラルネットワークで符号化でき、こ
れによって、構築されたネットワークが同一の規則的な
言語を受け付ける。望ましい有限状態ダイナミクスは、
ほぼ直交的な内部ＤＦＡ状態表記に導く値（＋Ｈと−
Ｈ）に全ての有効な重みの小さな部分集合をプログラム
することによってネットワーク中へ符号化される。同様
に、正確な記号列分類のため、ネットワーク出力ューロ
ンＳ0 の重みは、＋Ｈまたは−Ｈにプログラムされる。
このことは、ネットワークダイナミクスを支配する以下
の数１１式に導かれる。
２次の再帰的ニューラルネットワークで符号化でき、こ
れによって、構築されたネットワークが同一の規則的な
言語を受け付ける。望ましい有限状態ダイナミクスは、
ほぼ直交的な内部ＤＦＡ状態表記に導く値（＋Ｈと−
Ｈ）に全ての有効な重みの小さな部分集合をプログラム
することによってネットワーク中へ符号化される。同様
に、正確な記号列分類のため、ネットワーク出力ューロ
ンＳ0 の重みは、＋Ｈまたは−Ｈにプログラムされる。
このことは、ネットワークダイナミクスを支配する以下
の数１１式に導かれる。
【００２９】
【数１１】 ここで、ｘはニューロンＳｉへの入力である。
【００３０】構築されたネットワークの上記シグモイド
ニューロン中には、ただ２種類の信号のみが存在する。
再帰状態ニューロンが現在のＤＦＡ状態に対応するとき
にのみ、再帰状態ニューロンは高い出力信号を持ち、そ
の他の全ての再帰ニューロンは低い出力信号を持つ。低
出力信号および高出力信号の度合いにはそれぞれ上限及
び下限境界が存在する。
ニューロン中には、ただ２種類の信号のみが存在する。
再帰状態ニューロンが現在のＤＦＡ状態に対応するとき
にのみ、再帰状態ニューロンは高い出力信号を持ち、そ
の他の全ての再帰ニューロンは低い出力信号を持つ。低
出力信号および高出力信号の度合いにはそれぞれ上限及
び下限境界が存在する。
【００３１】ｎの再帰状態ニューロンを備える構築され
たニューラルネットワークにおいて、低出力信号は、関
数の固定点（数１２式）によって上方から制限される。
この関数は数１３式で示される。
たニューラルネットワークにおいて、低出力信号は、関
数の固定点（数１２式）によって上方から制限される。
この関数は数１３式で示される。
【００３２】
【数１２】
【００３３】
【数１３】 同様に、高出力信号も定量化することができる。
【００３４】任意の数の再帰状態ニューロンを備えるニ
ューラルネットワークにおいて高出力信号は、関数の固
定点（数１４式）によって下方から制限される。この関
数は数１５式で示される。
ューラルネットワークにおいて高出力信号は、関数の固
定点（数１４式）によって下方から制限される。この関
数は数１５式で示される。
【００３５】
【数１４】
【００３６】
【数１５】 ＤＦＡとそのＤＦＡと等価なニューラルネットワークの
使用によって規則的な言語を認識するためには、そのネ
ットワークの内部ＤＦＡ表現が、ストリングや任意の長
さに対して十分な安定性を残していなければならない。
０．５より大きい高出力信号を持ちかつ残り全ての再帰
ニューロンが０．５より小さい低出力信号を持つ一つの
再帰ニューロンが厳密に存在すると、第２次の再帰的ニ
ューラルネットワークにおいてＤＦＡの符号化は安定し
ているとされる。
使用によって規則的な言語を認識するためには、そのネ
ットワークの内部ＤＦＡ表現が、ストリングや任意の長
さに対して十分な安定性を残していなければならない。
０．５より大きい高出力信号を持ちかつ残り全ての再帰
ニューロンが０．５より小さい低出力信号を持つ一つの
再帰ニューロンが厳密に存在すると、第２次の再帰的ニ
ューラルネットワークにおいてＤＦＡの符号化は安定し
ているとされる。
【００３７】出力ニューロンＳ0 は、再帰的でないの
で、上記の定義に含まれず、このため、ＤＦＡ符号化の
安定性に影響がないことがわかる。
で、上記の定義に含まれず、このため、ＤＦＡ符号化の
安定性に影響がないことがわかる。
【００３８】高出力信号及び低出力信号それぞれの場合
において、ニューロンの入力がある閾値を越える又はあ
る閾値未満となることがなければ、そのネットワークの
内部的ＤＦＡの表現は安定性している。それらの二つの
状態は、関数ｇΔ−およびｇΔ＋の固定点（数１６式お
よび数１７式）上で定量的な境界に導く。
において、ニューロンの入力がある閾値を越える又はあ
る閾値未満となることがなければ、そのネットワークの
内部的ＤＦＡの表現は安定性している。それらの二つの
状態は、関数ｇΔ−およびｇΔ＋の固定点（数１６式お
よび数１７式）上で定量的な境界に導く。
【００３９】
【数１６】
【００４０】
【数１７】 内部的有限状態ダイナミクスの安定性という主張は、次
の定義を用いる。定義：Ｄikが入力符号ａk に対して状
態ｑi へ遷移させる状態ｑj の数を表すとする。さら
に、Ｄi ＝ｍａｘ｛Ｄik｝（全ての入力符号に亘るｑi
への遷移の最大数）ならびにＤ＝ｍａｘ｛Ｄi ｝（全て
の入力符号に亘るすべて状態への遷移の最大数）を定義
する。それから、ρ＝Ｄ／ｎはδ（｛ｑj ｝，ａk ）＝
ｑi となるための全ての状態ｑj の最大比を表す。
の定義を用いる。定義：Ｄikが入力符号ａk に対して状
態ｑi へ遷移させる状態ｑj の数を表すとする。さら
に、Ｄi ＝ｍａｘ｛Ｄik｝（全ての入力符号に亘るｑi
への遷移の最大数）ならびにＤ＝ｍａｘ｛Ｄi ｝（全て
の入力符号に亘るすべて状態への遷移の最大数）を定義
する。それから、ρ＝Ｄ／ｎはδ（｛ｑj ｝，ａk ）＝
ｑi となるための全ての状態ｑj の最大比を表す。
【００４１】定理１：ｎ個の状態とｍの入力符号を有す
るいくつかのＤＦＡ Ｍに対して、ＤはＭの全ての入力
符号に亘るすべての状態への遷移の最大数を表し、かつ
ρ＝Ｄ／ｎであるとする。すると、Ｎ＋１の積算状態ニ
ューロンとｍの入力ニューロンとを有する再帰ニューラ
ルネットワークは、Ｍから構築され、その結果、内部状
態の表現は安定性している。例えば、ｑi が現在のＤＦ
Ａ状態であるときはＳi ＞０．５であり、一方、Ｈの適
当な選択に対して数１８式で示す状態であると、Ｓi ＜
０．５となる。
るいくつかのＤＦＡ Ｍに対して、ＤはＭの全ての入力
符号に亘るすべての状態への遷移の最大数を表し、かつ
ρ＝Ｄ／ｎであるとする。すると、Ｎ＋１の積算状態ニ
ューロンとｍの入力ニューロンとを有する再帰ニューラ
ルネットワークは、Ｍから構築され、その結果、内部状
態の表現は安定性している。例えば、ｑi が現在のＤＦ
Ａ状態であるときはＳi ＞０．５であり、一方、Ｈの適
当な選択に対して数１８式で示す状態であると、Ｓi ＜
０．５となる。
【００４２】
【数１８】 上記の条件は、与えられたサイズのネットワークに対し
て安定的な有限状態ダイナミクスを保証するＨの大きさ
に絶対的に下限の境界を与える。このように、それら
は、最悪のケースを表し、例えば、与えられたニューラ
ルネットワークの使用における有限状態ダイナミクス
は、大変大きなネットワークにおいてでさえ、Ｈのより
小さい値に対して安定性するだろう。
て安定的な有限状態ダイナミクスを保証するＨの大きさ
に絶対的に下限の境界を与える。このように、それら
は、最悪のケースを表し、例えば、与えられたニューラ
ルネットワークの使用における有限状態ダイナミクス
は、大変大きなネットワークにおいてでさえ、Ｈのより
小さい値に対して安定性するだろう。
【００４３】決定性有限状態オートマトンとファジィ有
限状態オートマトンとは、状態遷移によって表現された
共通の基礎構成を共有しているので、ファジイ有限状態
オートマトンを用いるためのＤＦＡｓに対してネットワ
ークダイナミクスの安定性によるの結果を用いることが
できる。
限状態オートマトンとは、状態遷移によって表現された
共通の基礎構成を共有しているので、ファジイ有限状態
オートマトンを用いるためのＤＦＡｓに対してネットワ
ークダイナミクスの安定性によるの結果を用いることが
できる。
【００４４】まず、再帰的ニューラルネットワークのた
めに開発された統合方法をファジィオートマトンのクラ
スに対して定義することから始めよう。
めに開発された統合方法をファジィオートマトンのクラ
スに対して定義することから始めよう。
【００４５】数１９式に示すファジィ正規言語は、数２
０式に示す４成分から成るものとして定義される。
０式に示す４成分から成るものとして定義される。
【００４６】
【数１９】
【００４７】
【数２０】 ここで、Ｓは開始符号、ＮおよびＴは、それぞれ非終端
符号および終端符号、Ｐは数２１式または数２２式で示
す形式の結果である。
符号および終端符号、Ｐは数２１式または数２２式で示
す形式の結果である。
【００４８】
【数２１】
【００４９】
【数２２】 ここで、Ａ，Ｂ∈Ｎ、ａ∈Ｔ、および０≦θ≦１であ
る。
る。
【００５０】記号列がある正規言語に属するか又は属さ
ないかのＤＦＡｓの場合と異なり、ファジィ言語の記号
列は階層メンバーシップを有している。
ないかのＤＦＡｓの場合と異なり、ファジィ言語の記号
列は階層メンバーシップを有している。
【００５１】数２３式に示す正規なファジィ文法を与え
られると、数２４式で示す正規な言語において記号列ｘ
∈Ｔのメンバーシップ階層μG （ｘ）は、ｘの全ての派
生物の最大値として定義される。
られると、数２４式で示す正規な言語において記号列ｘ
∈Ｔのメンバーシップ階層μG （ｘ）は、ｘの全ての派
生物の最大値として定義される。
【００５２】
【数２３】
【００５３】
【数２４】 ここで、ｘの特別な派生物の値は、数２５式を用いた結
果の最小の重みに等しい。
果の最小の重みに等しい。
【００５４】
【数２５】 これは、最大および最小演算子がそれぞれ積および合計
演算子に置き換えられる確率的正規な言語の定義に同様
である。ファジィ正規な言語および確率的正規な言語は
共に、重みづけられた正規な言語の例である。
演算子に置き換えられる確率的正規な言語の定義に同様
である。ファジィ正規な言語および確率的正規な言語は
共に、重みづけられた正規な言語の例である。
【００５５】数２６式で示すファジィ有限状態オートマ
トン（ＦＦＡ）は、数２７式で示す６成分から成るもの
として定義される。
トン（ＦＦＡ）は、数２７式で示す６成分から成るもの
として定義される。
【００５６】
【数２６】
【００５７】
【数２７】 ここでは、Σ、Ｑ、およびｑ0 はＤＦＡｓの場合と同様
であり、Ｚは有限出力のアルファベット、数２８式で示
す記号はファジィ初期状態、δ：Σ×Ｑ×［０，１］→
Ｑはファジィ遷移マップ、ならびにω：Ｑ→Ｚは出力マ
ップである。
であり、Ｚは有限出力のアルファベット、数２８式で示
す記号はファジィ初期状態、δ：Σ×Ｑ×［０，１］→
Ｑはファジィ遷移マップ、ならびにω：Ｑ→Ｚは出力マ
ップである。
【００５８】
【数２８】 本発明では、初期状態がファジィではなくかつωがＦか
らＺへの関数である制限タイプのオートマトンについて
考えた。ここで、Ｆは最終状態と呼ばれる非ファジィ部
分集合である。数２９式に示す（ＦＦＡ）の定義におい
て述べたようなどのようなファジィオートマトンも、制
限ファジィオートマトンに同等である。ＦＦＡが遷移重
みを１に制限することによって従来のＤＦＡに縮小する
ことに気付く。
らＺへの関数である制限タイプのオートマトンについて
考えた。ここで、Ｆは最終状態と呼ばれる非ファジィ部
分集合である。数２９式に示す（ＦＦＡ）の定義におい
て述べたようなどのようなファジィオートマトンも、制
限ファジィオートマトンに同等である。ＦＦＡが遷移重
みを１に制限することによって従来のＤＦＡに縮小する
ことに気付く。
【００５９】
【数２９】 ＤＦＡｓや正規な文法の場合のように、ＦＦＡｓとファ
ジィ正規な文法との間に対応が存在する。
ジィ正規な文法との間に対応が存在する。
【００６０】定理２：数３０式に示すファジィ文法に対
して、数３１式のようなファジィオートマトン（数３２
式）が存在する。
して、数３１式のようなファジィオートマトン（数３２
式）が存在する。
【００６１】
【数３０】
【００６２】
【数３１】
【００６３】
【数３２】 この結論は、ＦＦＡｓのニューラルネットワーク使用
（実行）に対して連続（シグモイドおよび線形）判別関
数でのみ使用できる。以下の結果は、連続判別関数を有
する再帰的ニューラルネットワークにおいてＦＦＡｓの
符号化を大いに単純化する。
（実行）に対して連続（シグモイドおよび線形）判別関
数でのみ使用できる。以下の結果は、連続判別関数を有
する再帰的ニューラルネットワークにおいてＦＦＡｓの
符号化を大いに単純化する。
【００６４】定理３：数３３式で示すファジィ正規な文
法が与えられ、数３４式で示す言語のメンバーシップ関
数μ：Σ* →［０，１］を計算する出力アルファベット
Ｚ⊆｛θ：θは、シグモイド重み｝∪｛０｝を有する決
定性有限状態オートマトンＭが存在するとする。
法が与えられ、数３４式で示す言語のメンバーシップ関
数μ：Σ* →［０，１］を計算する出力アルファベット
Ｚ⊆｛θ：θは、シグモイド重み｝∪｛０｝を有する決
定性有限状態オートマトンＭが存在するとする。
【００６５】
【数３３】
【００６６】
【数３４】 この定理の中間結果は次のような結果である。数３５式
に示す正規なファジィ文法が与えられると、結果（シグ
モイド結果）が数３６式または数３７式に示す形式を有
する等価的な明白な文法Ｇが存在する。
に示す正規なファジィ文法が与えられると、結果（シグ
モイド結果）が数３６式または数３７式に示す形式を有
する等価的な明白な文法Ｇが存在する。
【００６７】
【数３５】
【００６８】
【数３６】
【００６９】
【数３７】 例えば、非終端符号Ｎ＝｛Ａ，Ｂ｝、終端符号Ｔ＝
｛０，１｝、ならびに数３８式に示す生成規則を有する
ファジィ正規な文法を考えてみる。
｛０，１｝、ならびに数３８式に示す生成規則を有する
ファジィ正規な文法を考えてみる。
【００７０】
【数３８】 上記文法によって生成される記号列（ストリング）を受
け付けるＦＦＡは、図２（ａ）に示されている。生成規
則に対応する遷移だけが示され、他の全ての遷移は拒絶
廃棄の状態に達する。同一の記号列（ストリング）メン
バーシップを計算するＦＦＡの決定性アクセプターは、
図２（ｂ）に示されている。図２（ａ）において、重み
付き状態遷移を有するファジィ有限状態オートマトンが
示されている。状態１は、オートマトンの開始状態で、
受け付け状態が２重の円で描かれている。受け付け状態
に達することができるパスだけが示されている（廃棄状
態への遷移は、全く描かれていない）。図２（ｂ）で
は、メンバーシップ関数記号列（ストリング）を計算す
る対応する決定性有限状態オートマトンが示されてい
る。受け付け状態は、メンバーシップの階級でラベル付
けされている。留意すべきことは、ＤＦＡにおいて全て
の遷移が重み付け１を有していることである。
け付けるＦＦＡは、図２（ａ）に示されている。生成規
則に対応する遷移だけが示され、他の全ての遷移は拒絶
廃棄の状態に達する。同一の記号列（ストリング）メン
バーシップを計算するＦＦＡの決定性アクセプターは、
図２（ｂ）に示されている。図２（ａ）において、重み
付き状態遷移を有するファジィ有限状態オートマトンが
示されている。状態１は、オートマトンの開始状態で、
受け付け状態が２重の円で描かれている。受け付け状態
に達することができるパスだけが示されている（廃棄状
態への遷移は、全く描かれていない）。図２（ｂ）で
は、メンバーシップ関数記号列（ストリング）を計算す
る対応する決定性有限状態オートマトンが示されてい
る。受け付け状態は、メンバーシップの階級でラベル付
けされている。留意すべきことは、ＤＦＡにおいて全て
の遷移が重み付け１を有していることである。
【００７１】プログラムされたネットワークダイナミク
スの安定性に関する定理１の結果は、その状態がクリス
プ（ｃｒｉｓｐ）、例えば、オートマトンの現在の状態
が０または１であるような状態を持つ階層である有限状
態オートマトンに当てはまる。一方、ＦＦＡｓは、曖昧
さの異なる度合い（階級）を備えて、どのような与えら
れた時刻においても幾つかの状態となる。そして、曖昧
さは［０，１］間の実数によって特定される。
スの安定性に関する定理１の結果は、その状態がクリス
プ（ｃｒｉｓｐ）、例えば、オートマトンの現在の状態
が０または１であるような状態を持つ階層である有限状
態オートマトンに当てはまる。一方、ＦＦＡｓは、曖昧
さの異なる度合い（階級）を備えて、どのような与えら
れた時刻においても幾つかの状態となる。そして、曖昧
さは［０，１］間の実数によって特定される。
【００７２】定理３は、どのようなＦＦＡも同一のメン
バーシップ関数μ：Σ* →［０，１］を計算する決定性
オートマトンにできる。連続判別関数を有するμの計算
をどのように使用（実行）するかを論証することが必要
である。
バーシップ関数μ：Σ* →［０，１］を計算する決定性
オートマトンにできる。連続判別関数を有するμの計算
をどのように使用（実行）するかを論証することが必要
である。
【００７３】その目的のために、ＤＦＡｓを符号化する
ために用いられるネットワークアーキテクチャは、再帰
状態ニューロンを線形出力ニューロンに結合する付加重
みで増大される。図３に示す再帰ニューロンは、望まし
い有限状態ダイナミクス、例えば、クリスプ（ｃｒｓｉ
ｐ）状態間の遷移、を実行する。任意の長さの記号列
（ストリング）に対して有限状態ダイナミクスを安定に
することは上述した。再帰状態ニューロンを線形出力ニ
ューロンに結合する重みは、ＦＦＡを同等のＤＦＡへの
変換後ＤＦＡ状態に割り当てられたメンバーシップであ
る。第２次の再帰ニューラルネットワークにおいてＦＦ
Ａｓを符号化するためのアルゴリズムが図４に示されて
いる。
ために用いられるネットワークアーキテクチャは、再帰
状態ニューロンを線形出力ニューロンに結合する付加重
みで増大される。図３に示す再帰ニューロンは、望まし
い有限状態ダイナミクス、例えば、クリスプ（ｃｒｓｉ
ｐ）状態間の遷移、を実行する。任意の長さの記号列
（ストリング）に対して有限状態ダイナミクスを安定に
することは上述した。再帰状態ニューロンを線形出力ニ
ューロンに結合する重みは、ＦＦＡを同等のＤＦＡへの
変換後ＤＦＡ状態に割り当てられたメンバーシップであ
る。第２次の再帰ニューラルネットワークにおいてＦＦ
Ａｓを符号化するためのアルゴリズムが図４に示されて
いる。
【００７４】ファジィオートマトンを実行するためのネ
ットワークアーキテクチャが図３に示されている。与え
られたＦＦＡが等価な決定性アクセプターに変換されて
いるとすると、入力は、入力ニューロン１２を通ってネ
ットワーク１０に供給される。オートマトンアルファベ
ットの符号とネットワーク入力ニューロンとの間の１対
１マッピングがある（“ワンーホット（ｏｎｅ−ｈｏ
ｔ）”符号化）。記号列（ストリング）は、時間ステッ
プあたりの一符号をネットワークに与えられる。各再帰
状態ニューロン１４の出力は、数１を用いるネットワー
クの現在の状態を計算するためにシグモイド判別関数１
６を通過するそれら全ての入力の重み付き合計から計算
される。次の時間ステップに対して、状態ニューロン１
４の現在の出力は、時間遅延Ｚ-1１８を通してフィード
バックされる。この再帰的構造は、ＦＦＡの有限状態ダ
イナミクスを符号化する。μj ＞０を有するＦＦＡ状態
ｑjに対応するＳj によって表された全ての再帰状態ニ
ューロン１４は、０＜μj ≦１として表されるファジィ
メンバーシップ重み２２を通して線形ネットワーク出力
ニューロン２０に結合される。ネットワーク出力２０
は、合計が全ての再帰状態ニューロン１４に亘って取ら
れるところの数３９式を用いてその出力を計算する。
ットワークアーキテクチャが図３に示されている。与え
られたＦＦＡが等価な決定性アクセプターに変換されて
いるとすると、入力は、入力ニューロン１２を通ってネ
ットワーク１０に供給される。オートマトンアルファベ
ットの符号とネットワーク入力ニューロンとの間の１対
１マッピングがある（“ワンーホット（ｏｎｅ−ｈｏ
ｔ）”符号化）。記号列（ストリング）は、時間ステッ
プあたりの一符号をネットワークに与えられる。各再帰
状態ニューロン１４の出力は、数１を用いるネットワー
クの現在の状態を計算するためにシグモイド判別関数１
６を通過するそれら全ての入力の重み付き合計から計算
される。次の時間ステップに対して、状態ニューロン１
４の現在の出力は、時間遅延Ｚ-1１８を通してフィード
バックされる。この再帰的構造は、ＦＦＡの有限状態ダ
イナミクスを符号化する。μj ＞０を有するＦＦＡ状態
ｑjに対応するＳj によって表された全ての再帰状態ニ
ューロン１４は、０＜μj ≦１として表されるファジィ
メンバーシップ重み２２を通して線形ネットワーク出力
ニューロン２０に結合される。ネットワーク出力２０
は、合計が全ての再帰状態ニューロン１４に亘って取ら
れるところの数３９式を用いてその出力を計算する。
【００７５】
【数３９】 この構造は、ネットワーク出力ニューロン２０によって
合計される前のファジィメンバーシップウェイトに従属
するストリングメンバーシップを計算する。ネットワー
ク出力ニューロンの出力は、ファジィ有限状態オートマ
トンの出力である。第２次再帰ニューラルネットワーク
において、ＦＦＡｓを符号化するアルゴリズムは図４に
示されている。
合計される前のファジィメンバーシップウェイトに従属
するストリングメンバーシップを計算する。ネットワー
ク出力ニューロンの出力は、ファジィ有限状態オートマ
トンの出力である。第２次再帰ニューラルネットワーク
において、ＦＦＡｓを符号化するアルゴリズムは図４に
示されている。
【００７６】低出力信号および高出力信号上の上限およ
び下限境界は、それぞれ上述した数１３及び数１４に関
連して上述した。μi がＤＦＡ状態ｑi に割り当てられ
た階層（階級）メンバーシップを表すとしよう。最悪の
場合、このネットワークは、与えられたストリングに対
して、数４０式で示すファジィメンバーシップ関数を計
算する。
び下限境界は、それぞれ上述した数１３及び数１４に関
連して上述した。μi がＤＦＡ状態ｑi に割り当てられ
た階層（階級）メンバーシップを表すとしよう。最悪の
場合、このネットワークは、与えられたストリングに対
して、数４０式で示すファジィメンバーシップ関数を計
算する。
【００７７】
【数４０】 ここで、ｎacc はμi ＞０を有するＤＦＡ状態の数であ
る。
る。
【００７８】Ｈの値を増加させるために数４１式および
数４２式がそれぞれ０および１に向かって収束するの
で、μRNN はμi に向かって収束する。｜μRNN −μi
｜がＨを増加させることによって任意に小さくできるこ
とに気付く。
数４２式がそれぞれ０および１に向かって収束するの
で、μRNN はμi に向かって収束する。｜μRNN −μi
｜がＨを増加させることによって任意に小さくできるこ
とに気付く。
【００７９】
【数４１】
【００８０】
【数４２】 シミュレーションにおいて、決定性アクセプターは次の
ように１００の状態を有するアルファベット｛０，１｝
に亘ってファジィ正規な言語に対してランダムに生成さ
れる。各ＤＦＡ状態に対して、遷移が２つの入力符号の
各々に対して他の状態にランダムに発生された。各受け
付けＤＦＡ状態ｑi はメンバーシップ０＜μi ＜１を割
り当てられた。全ての非受容状態ｑj に対して、μj ＝
０をセットする。これらアクセプターは、１００の再帰
状態ニューロン、２つの入力ニューロン（２つの入力符
号０および１の各々に対して一つ）、および１つの線形
出力ニューロンを有する再帰ネットワークに符号化され
た。これらの動作は、そのメンバーシップが決定性アク
セプターから決定される長さ１００のランダムに発生さ
れた１００の記号列（ストリング）に基づいて測定され
る。図５のグラフは、全ての状態の１％、５％、２０
％、３０％、５０％、および１００％がラベル０＜μi
＜１を有するＤＦＡｓに対して有限状態ダイナミクスを
符号化するために用いられる重み強さＨの関数としてネ
ットワーク出力の平均絶対誤差を示している。当業者に
は、高強度Ｈの増加に伴い、誤差が指数的に減少してい
ることがわかる。つまり、平均出力誤差を任意に小さく
できることは、当業者には明らかであろう。６つのＤＦ
Ａｓ全てのダイナミクスが任意の長さ記号列に対して安
定しているＨの値は、ほぼ数４３式で示される。
ように１００の状態を有するアルファベット｛０，１｝
に亘ってファジィ正規な言語に対してランダムに生成さ
れる。各ＤＦＡ状態に対して、遷移が２つの入力符号の
各々に対して他の状態にランダムに発生された。各受け
付けＤＦＡ状態ｑi はメンバーシップ０＜μi ＜１を割
り当てられた。全ての非受容状態ｑj に対して、μj ＝
０をセットする。これらアクセプターは、１００の再帰
状態ニューロン、２つの入力ニューロン（２つの入力符
号０および１の各々に対して一つ）、および１つの線形
出力ニューロンを有する再帰ネットワークに符号化され
た。これらの動作は、そのメンバーシップが決定性アク
セプターから決定される長さ１００のランダムに発生さ
れた１００の記号列（ストリング）に基づいて測定され
る。図５のグラフは、全ての状態の１％、５％、２０
％、３０％、５０％、および１００％がラベル０＜μi
＜１を有するＤＦＡｓに対して有限状態ダイナミクスを
符号化するために用いられる重み強さＨの関数としてネ
ットワーク出力の平均絶対誤差を示している。当業者に
は、高強度Ｈの増加に伴い、誤差が指数的に減少してい
ることがわかる。つまり、平均出力誤差を任意に小さく
できることは、当業者には明らかであろう。６つのＤＦ
Ａｓ全てのダイナミクスが任意の長さ記号列に対して安
定しているＨの値は、ほぼ数４３式で示される。
【００８１】
【数４３】 本発明では、連続再帰ニューラルネットワークにおいて
ファジィ有限状態オートマトンの決定性符号化の好まし
い方法について説明したが、請求項の範囲によって限定
されている本発明の精神および広い原則から逸脱するこ
となく変更および修正が可能であることは、当業者には
明らかであろう。
ファジィ有限状態オートマトンの決定性符号化の好まし
い方法について説明したが、請求項の範囲によって限定
されている本発明の精神および広い原則から逸脱するこ
となく変更および修正が可能であることは、当業者には
明らかであろう。
【図１】ファジィニューラルネットワークを示す概略図
である。
である。
【図２】その（ａ）および（ｂ）は、対応するＤＦＡへ
のＦＦＡの変換を示す図である。
のＦＦＡの変換を示す図である。
【図３】ファジィ有限状態オートマトンのための再帰ネ
ットワークアーキテクチァの概略図である。
ットワークアーキテクチァの概略図である。
【図４】秒オーダー再帰ニューラルネットワークにおい
て任意のＦＦＡｓを符号化するためのアルゴリズムであ
る。
て任意のＦＦＡｓを符号化するためのアルゴリズムであ
る。
【図５】ネットワークの実行を示すグラフである。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 カーベル ソーンバー アメリカ合衆国，ニュージャージー 07922，ベーカリーハイツ，マーシャー プレイス 23 (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 15/18 540 G06F 9/44 554 ＩＮＳＰＥＣ（ＤＩＡＬＯＧ) ＪＩＣＳＴファイル（ＪＯＩＳ) ＷＰＩ（ＤＩＡＬＯＧ)
Claims (4)
- 【請求項１】 入力信号を受けストリングを生成するた
めの入力ニューロンと、計算を行ってネットワークの現
在の状態を出力として生成するためのシグモイド判別器
と、前記シグモイド判別器の全ての出力の重み付き合計
を出力として生成するための再帰状態ニューロンと、前
記再帰状態ニューロンの出力を該シグモイド判別器への
時間遅延入力として生成するためのフィードバック手段
と、前記再帰状態ニューロンの出力を受け該再帰状態ニ
ューロンの出力それぞれに対してファジィウエイトを加
えるファジィメンバーシップウエイト手段と、前記ファ
ジィウエイト出力を合計して出力信号を与えるネットワ
ーク出力ニューロンとを有することを特徴とする決定性
ファジィ有限オートマトンを実現するニューラルネット
ワーク。 - 【請求項２】 請求項１に記載の決定性ファジィ有限オ
ートマトンを実現するニューラルネットワークにおい
て、前記シグモイド判別器は、下記の数１式および数２
式で示す関数 【数１】 【数２】 を計算するものであり、ｂｉは隠れ再帰状態ニューロン
Ｓｉに関係したバイアスであり、Ｉｋは符号ａｋのため
の入力ニューロンであり、下記の数３式で示す結果は状
態遷移δ（ｑｉ，ｑｋ）＝ｑｉに対応していることを特
徴とする決定性ファジィ有限オートマトンを実現するニ
ューラルネットワーク。 【数３】 - 【請求項３】 入力信号を受けストリングを生成するス
テップと、出力ストリングにシグモイド判別関数を施す
ステップと、全ての出力ストリングの重み付き合計に比
例する第１の信号とシグモイド判別関数を施された時間
遅延信号を生成するステップと、前記第１の信号をシグ
モイド判別関数が施された時間遅延信号としてフィード
バックするステップと、前記第１の信号にファジィメン
バーシップの重み付けを施すステップと、出力信号を生
成するため前記ファジィ重み付け出力を合計するステッ
プとを有することを特徴とする決定性ファジィ有限オー
トマトンを実現するニューラルネットワークにて出力信
号を発生する方法。 - 【請求項４】 請求項３に記載の決定性ファジィ有限オ
ートマトンを実現するニューラルネットワークにて出力
信号を発生する方法において、前記シグモイド判別関数
は、下記の数４式及び５式で示され、 【数４】 【数５】 ｂｉは隠れ再帰状態ニューロンＳｉに関係したバイアス
であり、Ｉｋは符号ａｋのための入力ニューロンであ
り、下記の数６式で示す結果は状態遷移δ（ｑｉ，
ｑｋ）＝ｑｉに対応していることを特徴とする決定性フ
ァジィ有限オートマトンを実現するニューラルネットワ
ークにて出力信号を発生する方法。 【数６】
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/538,662 US5943659A (en) | 1995-10-03 | 1995-10-03 | Deterministic encoding of fuzzy finite state automata in continuous recurrent neural networks |
| US08/538662 | 1995-10-03 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09138787A JPH09138787A (ja) | 1997-05-27 |
| JP3019145B2 true JP3019145B2 (ja) | 2000-03-13 |
Family
ID=24147889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8212273A Expired - Fee Related JP3019145B2 (ja) | 1995-10-03 | 1996-08-12 | 決定性ファジィ有限オートマトンを実現するニューラルネットワーク |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5943659A (ja) |
| JP (1) | JP3019145B2 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6434541B1 (en) * | 1996-10-23 | 2002-08-13 | Ford Global Technologies, Inc. | Automotive engine misfire detection system including a bit-serial based recurrent neuroprocessor |
| US6018735A (en) * | 1997-08-22 | 2000-01-25 | Canon Kabushiki Kaisha | Non-literal textual search using fuzzy finite-state linear non-deterministic automata |
| US6073098A (en) * | 1997-11-21 | 2000-06-06 | At&T Corporation | Method and apparatus for generating deterministic approximate weighted finite-state automata |
| JP4093858B2 (ja) * | 2000-10-13 | 2008-06-04 | フラウンホーファー−ゲゼルシャフト・ツア・フォルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ | リカレントニューラルネットワーク |
| US6839698B2 (en) * | 2001-08-09 | 2005-01-04 | Northrop Grumman Corporation | Fuzzy genetic learning automata classifier |
| US7143073B2 (en) * | 2002-04-04 | 2006-11-28 | Broadcom Corporation | Method of generating a test suite |
| US20070282480A1 (en) * | 2003-11-10 | 2007-12-06 | Pannese Patrick D | Methods and systems for controlling a semiconductor fabrication process |
| US20070269297A1 (en) | 2003-11-10 | 2007-11-22 | Meulen Peter V D | Semiconductor wafer handling and transport |
| US10086511B2 (en) | 2003-11-10 | 2018-10-02 | Brooks Automation, Inc. | Semiconductor manufacturing systems |
| US8639489B2 (en) * | 2003-11-10 | 2014-01-28 | Brooks Automation, Inc. | Methods and systems for controlling a semiconductor fabrication process |
| US8639365B2 (en) * | 2003-11-10 | 2014-01-28 | Brooks Automation, Inc. | Methods and systems for controlling a semiconductor fabrication process |
| US20080208372A1 (en) * | 2003-11-10 | 2008-08-28 | Pannese Patrick D | Scheduling with neural networks and state machines |
| US8950998B2 (en) * | 2007-02-27 | 2015-02-10 | Brooks Automation, Inc. | Batch substrate handling |
| US8655797B2 (en) * | 2009-12-14 | 2014-02-18 | Lane D. Yoder | Systems and methods for brain-like information processing |
| US20120166363A1 (en) * | 2010-12-23 | 2012-06-28 | Hongbo He | Neural network fault detection system and associated methods |
| US11132211B1 (en) | 2018-09-24 | 2021-09-28 | Apple Inc. | Neural finite state machines |
| US11694062B2 (en) * | 2018-09-27 | 2023-07-04 | Nec Corporation | Recurrent neural networks having a probabilistic state component and state machines extracted from the recurrent neural networks |
| CN111086268B (zh) * | 2019-11-08 | 2021-02-23 | 新疆天业（集团）有限公司 | 一种电石炉石灰粉料压球控制系统的积分强化学习控制方法 |
| US12024203B2 (en) | 2021-07-09 | 2024-07-02 | Toyota Research Institute | Method for learning an explainable trajectory generator using an automaton generative network |
| CN114997168B (zh) * | 2022-05-27 | 2024-05-28 | 国家电网公司华中分部 | 一种基于神经化正则表达式的电网故障处置预案解析方法 |
| CN117572770B (zh) * | 2023-11-15 | 2024-05-17 | 淮阴工学院 | 智能阀门定位器的控制方法及其物联网系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5168549A (en) * | 1988-05-20 | 1992-12-01 | Matsushita Electric Industrial Co., Ltd. | Inference rule determining method and inference device |
| JPH02292602A (ja) * | 1989-05-02 | 1990-12-04 | Nkk Corp | 人工神経回路網型ファジィ制御装置 |
| US5471381A (en) * | 1990-09-20 | 1995-11-28 | National Semiconductor Corporation | Intelligent servomechanism controller |
| US5579439A (en) * | 1993-03-24 | 1996-11-26 | National Semiconductor Corporation | Fuzzy logic design generator using a neural network to generate fuzzy logic rules and membership functions for use in intelligent systems |
| US5524176A (en) * | 1993-10-19 | 1996-06-04 | Daido Steel Co., Ltd. | Fuzzy expert system learning network |
| JP3247803B2 (ja) * | 1994-07-27 | 2002-01-21 | シャープ株式会社 | ファジィ・ニューラルネットワーク・システム |
-
1995
- 1995-10-03 US US08/538,662 patent/US5943659A/en not_active Expired - Lifetime
-
1996
- 1996-08-12 JP JP8212273A patent/JP3019145B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US5943659A (en) | 1999-08-24 |
| JPH09138787A (ja) | 1997-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3019145B2 (ja) | 決定性ファジィ有限オートマトンを実現するニューラルネットワーク | |
| Omlin et al. | Fuzzy finite-state automata can be deterministically encoded into recurrent neural networks | |
| Blanco et al. | A real-coded genetic algorithm for training recurrent neural networks | |
| Foster et al. | Neural network forecasting of short, noisy time series | |
| US5524176A (en) | Fuzzy expert system learning network | |
| Thawonmas et al. | Function approximation based on fuzzy rules extracted from partitioned numerical data | |
| Cho et al. | Novel fuzzy logic control based on weighting of partially inconsistent rules using neural network | |
| Rabuñal et al. | A new approach to the extraction of ANN rules and to their generalization capacity through GP | |
| Tan et al. | Efficient identification of RBF neural net models for nonlinear discrete-time multivariable dynamical systems | |
| Panchariya et al. | Nonlinear system identification using Takagi-Sugeno type neuro-fuzzy model | |
| Gabrys | Agglomerative learning algorithms for general fuzzy min-max neural network | |
| Kruse et al. | Learning methods for fuzzy systems | |
| Stavroulakis | Neuro-fuzzy and fuzzy-neural applications in telecommunications | |
| Aouiti et al. | The design of beta basis function neural network and beta fuzzy systems by a hierarchical genetic algorithm | |
| Pavlidis et al. | Computational intelligence methods for financial time series modeling | |
| Palade et al. | A method for compiling neural networks into fuzzy rules using genetic algorithms and hierarchical approach | |
| Huber et al. | Application of fuzzy graphs for metamodeling | |
| Khan | NeuFuz: an intelligent combination of fuzzy logic with neural nets | |
| Igelnik et al. | Additional perspectives on feedforward neural-nets and the functional-link | |
| Kaul et al. | Deep Learning-based Advancement in Fuzzy Logic Controller | |
| Zia et al. | Neuro-fuzzy control using self-organizing neural nets | |
| Bezdek | Hybrid modeling in pattern recognition and control | |
| Kingham et al. | Financial modelling and prediction of interest rate using fuzzy logic and genetic algorithms | |
| Omlin et al. | Representation of fuzzy finite state automata in continuous recurrent, neural networks | |
| Tsoi et al. | Building MLP networks by construction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19991201 |
|
| LAPS | Cancellation because of no payment of annual fees |