JP2860057B2 - ニューラルネットワークシステム - Google Patents
ニューラルネットワークシステムInfo
- Publication number
- JP2860057B2 JP2860057B2 JP6183717A JP18371794A JP2860057B2 JP 2860057 B2 JP2860057 B2 JP 2860057B2 JP 6183717 A JP6183717 A JP 6183717A JP 18371794 A JP18371794 A JP 18371794A JP 2860057 B2 JP2860057 B2 JP 2860057B2
- Authority
- JP
- Japan
- Prior art keywords
- network
- output
- self
- node
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
【０００１】
【産業上の利用分野】本発明は関数近似（ｆｕｎｃｔｉ
ｏｎ ａｐｐｒｏｘｉｍａｔｉｏｎ）又は回帰分析（ｒ
ｅｇｒｅｓｓｉｏｎ ａｎａｌｙｓｉｓ）のための回帰
モデル（ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌ）に関する
ものである。
ｏｎ ａｐｐｒｏｘｉｍａｔｉｏｎ）又は回帰分析（ｒ
ｅｇｒｅｓｓｉｏｎ ａｎａｌｙｓｉｓ）のための回帰
モデル（ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌ）に関する
ものである。
【０００２】
【従来の技術】関数近似又は回帰分析方法は、経済分
野、生体科学、天気、株式動向等の分野において、時間
の進行と関連して発生する写像（ｍａｐｐｉｎｇ）の変
動状況を、時間的発生順序に観察し、表示する（統計系
列である）時系列の予測を行うことに用いられている。
また、このような予測では、不確実に与えられたデータ
を処理してそのデータを発生させるシステムの関数関係
を見つけることが行われている。
野、生体科学、天気、株式動向等の分野において、時間
の進行と関連して発生する写像（ｍａｐｐｉｎｇ）の変
動状況を、時間的発生順序に観察し、表示する（統計系
列である）時系列の予測を行うことに用いられている。
また、このような予測では、不確実に与えられたデータ
を処理してそのデータを発生させるシステムの関数関係
を見つけることが行われている。
【０００３】従来の時系列予測方法としては、局所平均
法（ｌｏｃａｌ ａｖｅｒａｇｉｎｇ ｍｅｔｈｏｄ
（Ｗ．Ｓ．Ｃｌｅｖｅｌａｎｄ．Ｒｏｂｕｓｔ ｌｏｃ
ａｌｌｙ ｗｅｉｇｈｔｅｄ ｒｅｇｒｅｓｓｉｏｎ
ａｎｄ ｓｍｏｏｔｈｉｎｇｓｃａｔｔｅｒｐｌｏｔ
ｓ．Ｊｏｕｒｎａｌ ｏｆ Ａｍｅｒｉｃａｎ Ｓｔａ
ｔｉｓｔｉｃａｌ Ａｓｓｏｃｉａｔｉｏｎ，７４：８
２８〜８３６．））が知られている。
法（ｌｏｃａｌ ａｖｅｒａｇｉｎｇ ｍｅｔｈｏｄ
（Ｗ．Ｓ．Ｃｌｅｖｅｌａｎｄ．Ｒｏｂｕｓｔ ｌｏｃ
ａｌｌｙ ｗｅｉｇｈｔｅｄ ｒｅｇｒｅｓｓｉｏｎ
ａｎｄ ｓｍｏｏｔｈｉｎｇｓｃａｔｔｅｒｐｌｏｔ
ｓ．Ｊｏｕｒｎａｌ ｏｆ Ａｍｅｒｉｃａｎ Ｓｔａ
ｔｉｓｔｉｃａｌ Ａｓｓｏｃｉａｔｉｏｎ，７４：８
２８〜８３６．））が知られている。
【０００４】この方法は、入力空間（時系列の予測のた
めのデータの範囲）の特定点から一定の距離以内にある
データの平均出力値により対象システムの関数値を決定
する。
めのデータの範囲）の特定点から一定の距離以内にある
データの平均出力値により対象システムの関数値を決定
する。
【０００５】しかしこの方法では入力空間を形成する局
所領域が互いに重なるようになり、その重なりの程度は
次数が高くなるほど急激に甚だしくなる。
所領域が互いに重なるようになり、その重なりの程度は
次数が高くなるほど急激に甚だしくなる。
【０００６】そして、これによって、与えられたデータ
の次数が高くなるほど予測性能の急激な低下をもたら
す。
の次数が高くなるほど予測性能の急激な低下をもたら
す。
【０００７】これに対して部分線形関数を構成する方法
も提示されている（Ｖ．Ｃｈｅｒｋａｓｓｋｙ ａｎｄ
Ｈ．Ｌａｒｉ−Ｎａｊａｆ．Ｃｏｎｓｔｒａｉｎｅｄ
ｔｏｐｏｌｏｇｉｃａｌ ｍａｐｐｉｎｇ ｆｏｒ
ｎｏｎｐａｒａ−ｍｅｔｒｉｃｒｅｇｒｅｓｓｉｏｎ
ａｎａｌｙｓｉｓ．Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，
４：２７〜４０，１９９１．）。
も提示されている（Ｖ．Ｃｈｅｒｋａｓｓｋｙ ａｎｄ
Ｈ．Ｌａｒｉ−Ｎａｊａｆ．Ｃｏｎｓｔｒａｉｎｅｄ
ｔｏｐｏｌｏｇｉｃａｌ ｍａｐｐｉｎｇ ｆｏｒ
ｎｏｎｐａｒａ−ｍｅｔｒｉｃｒｅｇｒｅｓｓｉｏｎ
ａｎａｌｙｓｉｓ．Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，
４：２７〜４０，１９９１．）。
【０００８】この部分線形関数を構成する方法は、節
（ｋｎｏｔ）に相当する点に重ならない線形片（ｌｉｎ
ｅａｒ ｐｉｅｃｅ）で連続して引き続けるものであ
る。
（ｋｎｏｔ）に相当する点に重ならない線形片（ｌｉｎ
ｅａｒ ｐｉｅｃｅ）で連続して引き続けるものであ
る。
【０００９】この方法によれば、上記の局所平均法で局
所領域が重なるようになる問題は解決されるが、次数が
高くなるほど線形片（ｌｉｎｅａｒ ｐｉｅｃｅ）の数
が幾何級数的に増加するし構成方法も余りに複雑にな
る。
所領域が重なるようになる問題は解決されるが、次数が
高くなるほど線形片（ｌｉｎｅａｒ ｐｉｅｃｅ）の数
が幾何級数的に増加するし構成方法も余りに複雑にな
る。
【００１０】これに対して、近来に至っては多層ニュ−
ラルネットワ−ク（ｍｕｌｔｉｌａｙｅｒ ｎｅｕｒａ
ｌ ｎｅｔｗｏｒｋ（Ｒ．Ｈｅｃｈｔ−Ｎｉｅｌｓｏ
ｎ．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ．Ａｄｄｉｓｏｎ−
Ｗｅｓｌｅｙ，１９９０．））を用いて、上記問題を効
果的に処理することができることが示されている。
ラルネットワ−ク（ｍｕｌｔｉｌａｙｅｒ ｎｅｕｒａ
ｌ ｎｅｔｗｏｒｋ（Ｒ．Ｈｅｃｈｔ−Ｎｉｅｌｓｏ
ｎ．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ．Ａｄｄｉｓｏｎ−
Ｗｅｓｌｅｙ，１９９０．））を用いて、上記問題を効
果的に処理することができることが示されている。
【００１１】
【発明が解決しようとする課題】前述した多層ニュ−ラ
ルネットワ−クの方法は、学習速度（媒介変数推定速
度）が余りに遅いとか、局所最小点（ｌｏｃａｌ ｍｉ
ｎｉｍａ）に陥り、所望の性能を得られないとかいった
問題が生じる。
ルネットワ−クの方法は、学習速度（媒介変数推定速
度）が余りに遅いとか、局所最小点（ｌｏｃａｌ ｍｉ
ｎｉｍａ）に陥り、所望の性能を得られないとかいった
問題が生じる。
【００１２】そこで、本発明は、上記の従来の問題点を
解決することができる新たなニューラルネットワークシ
ステムを提供することを目的とする。
解決することができる新たなニューラルネットワークシ
ステムを提供することを目的とする。
【００１３】
【課題を解決するための手段】前記目艇達成のために本
発明は、時間の進行と関連して発生したデータを処理し
てそのデータを発生させたシステムの入出力の関数関係
を識別するニューラルネットワークシステムにおいて、
入力空間を分割した、相互に領域の重なりがない複数の
領域であるところの複数の局所領域の各々に、入力ベク
トルが属するか否かを判定して出力する自己分割網と、
上記自己分割網が判定した入力ベクトルが属する局所領
域に対応して定まる線形写像を、入力ベクトルに施すフ
ィードフォワード写像網とを含む含むことを特徴とする
ニューラルネットワークシステムを提供する。
発明は、時間の進行と関連して発生したデータを処理し
てそのデータを発生させたシステムの入出力の関数関係
を識別するニューラルネットワークシステムにおいて、
入力空間を分割した、相互に領域の重なりがない複数の
領域であるところの複数の局所領域の各々に、入力ベク
トルが属するか否かを判定して出力する自己分割網と、
上記自己分割網が判定した入力ベクトルが属する局所領
域に対応して定まる線形写像を、入力ベクトルに施すフ
ィードフォワード写像網とを含む含むことを特徴とする
ニューラルネットワークシステムを提供する。
【００１４】
【作用】自己分割網（１０）は、入力空間を分割した、
相互に領域の重なりがない複数の領域であるところの複
数の局所領域の各々に、入力ベクトルが属するか否かを
判定して出力する。
相互に領域の重なりがない複数の領域であるところの複
数の局所領域の各々に、入力ベクトルが属するか否かを
判定して出力する。
【００１５】一方、フィ−ドフォワード写像網（２０）
は、上記自己分割網が判定した入力ベクトルが属する局
所領域に対応して定まる線形写像（ｌｉｎｅａｒ ｍａ
ｐｐｉｎｇ）を、入力ベクトルに施す。
は、上記自己分割網が判定した入力ベクトルが属する局
所領域に対応して定まる線形写像（ｌｉｎｅａｒ ｍａ
ｐｐｉｎｇ）を、入力ベクトルに施す。
【００１６】
【実施例】本実施例に係るニューラルネットワークシス
テムについて説明する。
テムについて説明する。
【００１７】本実施例に係るニューラルネットワークシ
ステムは、図１に示すように、自己分割網（ｓｅｌｆ
ｐａｒｔｉｔｉｏｎｉｎｇ ｎｅｔｗｏｒｋ）１０とフ
ィ−ドフォワード写像網（ｆｅｅｄｆｏｒｗａｒｄ ｍ
ａｐｐｉｎｇ ｎｅｔｗｏｒｋ）２０により構成され
る。
ステムは、図１に示すように、自己分割網（ｓｅｌｆ
ｐａｒｔｉｔｉｏｎｉｎｇ ｎｅｔｗｏｒｋ）１０とフ
ィ−ドフォワード写像網（ｆｅｅｄｆｏｒｗａｒｄ ｍ
ａｐｐｉｎｇ ｎｅｔｗｏｒｋ）２０により構成され
る。
【００１８】自己分割網１０は、入力空間を相互に重な
らない局所領域に分割する機能を遂行する。
らない局所領域に分割する機能を遂行する。
【００１９】一方、フィ−ドフォワード写像網２０は分
割された各入力空間に対して部分的な線形写像（ｌｉｎ
ｅａｒ ｍａｐｐｉｎｇ）を求める機能を担当する。
割された各入力空間に対して部分的な線形写像（ｌｉｎ
ｅａｒ ｍａｐｐｉｎｇ）を求める機能を担当する。
【００２０】任意の入力ベクトルが上記自己分割網１０
に印加されると、上記自己分割網１０の、一つの出力ノ
ードのみが１の値を出力し、他は０の値を出力する。
に印加されると、上記自己分割網１０の、一つの出力ノ
ードのみが１の値を出力し、他は０の値を出力する。
【００２１】すなわち、上記自己分割網１０内の、一番
目の層のi番目のノードは特定局所領域の中心点を媒介
変数として有しており、次の放射形基底関数（ｒａｄｉ
ａｌｂａｓｉｓ ｆｕｎｃｔｉｏｎ）により出力を発生
する。
目の層のi番目のノードは特定局所領域の中心点を媒介
変数として有しており、次の放射形基底関数（ｒａｄｉ
ａｌｂａｓｉｓ ｆｕｎｃｔｉｏｎ）により出力を発生
する。
【００２２】
【数１】
【００２３】ここで、ｄi（Ｘ）は入力Ｘと中心点ｃiの
間のユークリッド距離‖Ｘ−ｃi‖を意味し、γは局所
領域の大きさを決定する競争媒介変数である。
間のユークリッド距離‖Ｘ−ｃi‖を意味し、γは局所
領域の大きさを決定する競争媒介変数である。
【００２４】この時、記自己分割網１０の一番目の層の
ノ−ドのうち、特定入力パターンに対して中心点までの
距離が最も近いノードが最も大きい出力を発生する。
ノ−ドのうち、特定入力パターンに対して中心点までの
距離が最も近いノードが最も大きい出力を発生する。
【００２５】次に、ＭＡＸＮＥＴ（Ｙ．Ｈ．Ｐａｏ．Ａ
ｄａｐｔｉｖｅ ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏ
ｎ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ．Ａｄｄ
ｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏ
ｍｐａｎｙ，Ｉｎｃ．，１９８９．）を利用して、前述
した最も大きい出力を発生した一番目の層のノードを決
定する。
ｄａｐｔｉｖｅ ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏ
ｎ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ．Ａｄｄ
ｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏ
ｍｐａｎｙ，Ｉｎｃ．，１９８９．）を利用して、前述
した最も大きい出力を発生した一番目の層のノードを決
定する。
【００２６】上記ＭＡＸＮＥＴの各ノードは相互抑制機
能を有しており、最大値を入力したノ−ドのみが１を出
力し余りのノードは出力が抑止される。
能を有しており、最大値を入力したノ−ドのみが１を出
力し余りのノードは出力が抑止される。
【００２７】この出力値は、フィ−ドフォワード写像網
２０内の隠れ層（ｈｉｄｄｅｎ ｌａｙｅｒ）の各ノー
ド（ｎｏｄｅ）と出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）
の各ノードの間の連結加重値（ｃｏｎｎｅｃｔｉｏｎ
ｗｅｉｇｈｔ ｖａｌｕｅ）としての役割を果たす。
２０内の隠れ層（ｈｉｄｄｅｎ ｌａｙｅｒ）の各ノー
ド（ｎｏｄｅ）と出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）
の各ノードの間の連結加重値（ｃｏｎｎｅｃｔｉｏｎ
ｗｅｉｇｈｔ ｖａｌｕｅ）としての役割を果たす。
【００２８】したがい、フィ−ドフォワード写像網２０
内の隠れ層の各ノードにとって、連結加重値は入力ベク
トルによって変化する。ＭＡＸＮＥＴの出力が１である
時のみ、これに対応する隠れ層のノードは学習を行い、
また、出力を発生する。
内の隠れ層の各ノードにとって、連結加重値は入力ベク
トルによって変化する。ＭＡＸＮＥＴの出力が１である
時のみ、これに対応する隠れ層のノードは学習を行い、
また、出力を発生する。
【００２９】さて、本実施例に係る回帰モデルにより得
られる、入出力関数関係は次の通りである。
られる、入出力関数関係は次の通りである。
【００３０】
【数２】
【００３１】ここで、ｘは入力ベクトルであり、ｘjは
ｘのｊ番目要素であり、μi（ｘ）はフィ−ドフォワー
ド写像網２０内隠れ層の各ノードと出力層の各ノードの
間の加重値で、ωijはフィ−ドフォワード写像網２０内
ｉ番目隠れ層ノードとｊ番目入力層ノードの間の加重値
である。また、χは、入力ベクトルが存在する入力領域
を示す。
ｘのｊ番目要素であり、μi（ｘ）はフィ−ドフォワー
ド写像網２０内隠れ層の各ノードと出力層の各ノードの
間の加重値で、ωijはフィ−ドフォワード写像網２０内
ｉ番目隠れ層ノードとｊ番目入力層ノードの間の加重値
である。また、χは、入力ベクトルが存在する入力領域
を示す。
【００３２】なお、Ψ（・）は隠れ層ノードの線形活性
化関数（ｌｉｎｅａｒ ａｃｔｉｖａｔｉｏｎ ｆｕｎ
ｃｔｉｏｎ）である。
化関数（ｌｉｎｅａｒ ａｃｔｉｖａｔｉｏｎ ｆｕｎ
ｃｔｉｏｎ）である。
【００３３】次に、本実施例に係る回帰モデルを構成す
るための学習方法を説明する。
るための学習方法を説明する。
【００３４】本発明による学習方法では、与えられた入
力パターンによって網を自動的に構成し、必要な時にノ
ードを生成させる。
力パターンによって網を自動的に構成し、必要な時にノ
ードを生成させる。
【００３５】この、概括的な学習計画は次の通りであ
る。
る。
【００３６】 新たな入力パターンが自己分割網１０に印
加された時に、現在、存在する前記１番目の層の複数の
ノード各々から出力されるノード出力の合計が任意のス
レショルド値（Ｔ）より小さい場合に、その入力パター
ンに対応する局所領域を担当するノードが無いと判定
し、自己分割網１０とフィ−ドフォワード写像網２０
に、この局所領域を担当する新たなノードを生成する。
加された時に、現在、存在する前記１番目の層の複数の
ノード各々から出力されるノード出力の合計が任意のス
レショルド値（Ｔ）より小さい場合に、その入力パター
ンに対応する局所領域を担当するノードが無いと判定
し、自己分割網１０とフィ−ドフォワード写像網２０
に、この局所領域を担当する新たなノードを生成する。
【００３７】そして、自己分割網１０の、新たに生成し
たノードが生成するgiの中心点(ｃi）を、前記新たな入
力パターンの入力ベクトルによって初期化し、フィ−ド
フォワード写像網２０の新たなノードの加重値（ωij )
を任意に設定する。この新たなノードの加重値（ωij )
は、この後、次に述べる学習段階により順次適正なもの
となる。
たノードが生成するgiの中心点(ｃi）を、前記新たな入
力パターンの入力ベクトルによって初期化し、フィ−ド
フォワード写像網２０の新たなノードの加重値（ωij )
を任意に設定する。この新たなノードの加重値（ωij )
は、この後、次に述べる学習段階により順次適正なもの
となる。
【００３８】
【００３９】
【００４０】
【００４１】 そうでなく、ＭＡＸＮＥＡＴの、あるノー
ドが１の出力を発生すれば自己分割網１０の１番目の層
の当該局所領域を担当するノードと、フィ−ドフォワー
ド写像網２０の隠れ層の当該局所領域を担当するノード
の媒介変数（加重値ベクトル）を調整する。
ドが１の出力を発生すれば自己分割網１０の１番目の層
の当該局所領域を担当するノードと、フィ−ドフォワー
ド写像網２０の隠れ層の当該局所領域を担当するノード
の媒介変数（加重値ベクトル）を調整する。
【００４２】より、詳細にいえば、自己分割網１０の１
番目の層のｉ番目ノードの中心（媒介変数）は次の式に
依り更新される。
番目の層のｉ番目ノードの中心（媒介変数）は次の式に
依り更新される。
【００４３】
【数３】
【００４４】ここで、ｋはｃiの更新回数である。
【００４５】また、フィ−ドフォワード写像網２０のｉ
番目ノードのかくれ層の加重値ベクトルは次の式に依り
更新される。
番目ノードのかくれ層の加重値ベクトルは次の式に依り
更新される。
【００４６】
【数４】
【００４７】
【数５】
【００４８】
【数６】
【００４９】ここで、式（４）のｅ（Ｘ）は入力Ｘに対
する出力誤差であり、式（６）のＩは単位行列である。
する出力誤差であり、式（６）のＩは単位行列である。
【００５０】なお、αはα＞＞１を満たす常数である。
また、肩にＴ添えられたＸは、ベトルＸの転置ベクトル
を表す。
また、肩にＴ添えられたＸは、ベトルＸの転置ベクトル
を表す。
【００５１】さて、ここで、このような回帰モデルを、
任意性（ｒａｎｄｏｍｎｅｓｓ）と非線形性（ｎｏｎｌ
ｉｎｅａｒｉｔｙ）が強いＭａｃｋｅｙ−Ｇｌａｓｓ
（Ｍ−Ｇ）カオチック時系列予測問題に適用した場合に
ついて説明する。
任意性（ｒａｎｄｏｍｎｅｓｓ）と非線形性（ｎｏｎｌ
ｉｎｅａｒｉｔｙ）が強いＭａｃｋｅｙ−Ｇｌａｓｓ
（Ｍ−Ｇ）カオチック時系列予測問題に適用した場合に
ついて説明する。
【００５２】このＭ−Ｇ時系列は次の通りである。
【００５３】
【数７】
【００５４】ここで、ａ＝０．１，ｂ＝０．２そしてτ
＝１７とした時、任意性と非線形性が強い時系列が発生
される（図４参照）。
＝１７とした時、任意性と非線形性が強い時系列が発生
される（図４参照）。
【００５５】この回帰モデルの入力としてはｘ（ｔ），
ｘ（ｔ−６），ｘ（ｔ−１２），ｘ（ｔ−１８）の、四
つの過去データが用いられる。
ｘ（ｔ−６），ｘ（ｔ−１２），ｘ（ｔ−１８）の、四
つの過去データが用いられる。
【００５６】予測しようとする未来データは８５ステッ
プ後の、ｘ（ｔ＋８５）である。
プ後の、ｘ（ｔ＋８５）である。
【００５７】また、前述した学習計画に従い、回路モデ
ルを構成し、媒介変数を調節するために式（７）の初期
値ｘ（０）＝０．９に対して、ｔ＝２０００から生成さ
れた５００個のデータを用いた（図２）。
ルを構成し、媒介変数を調節するために式（７）の初期
値ｘ（０）＝０．９に対して、ｔ＝２０００から生成さ
れた５００個のデータを用いた（図２）。
【００５８】なお予測性能を試験するために、その次の
５００個のデータを用いた（図３）。
５００個のデータを用いた（図３）。
【００５９】この模擬実験では学習法の変数をτ＝０．
００１，α＝１０，０００と設定した。
００１，α＝１０，０００と設定した。
【００６０】また、γは、０．０００１から０．００１
９まで０．０００１間隔に増加させて１９個の回帰モデ
ルを構成した。
９まで０．０００１間隔に増加させて１９個の回帰モデ
ルを構成した。
【００６１】各回帰モデルはγにしたがって、６７〜３
８３個の隠れ層ノードを生成した。各々の場合の性能を
図４に示した。
８３個の隠れ層ノードを生成した。各々の場合の性能を
図４に示した。
【００６２】たとえば、γ＝０．０００３の時、２９０
個の隠れ層ノードを生成した。また、この時４．８％Ｅ
nrms（平均自乗誤差の二乗根（ｓｑｕａｒｅ ｒｏｏ
ｔ）を出力値の標準偏差で割った値）の性能を得た。
個の隠れ層ノードを生成した。また、この時４．８％Ｅ
nrms（平均自乗誤差の二乗根（ｓｑｕａｒｅ ｒｏｏ
ｔ）を出力値の標準偏差で割った値）の性能を得た。
【００６３】この場合には、図４に示したように、実際
の時系列を表わす実線と本モデルによって予測された時
系列を表わす点線が殆ど一致するので、推定誤差は肉眼
で識別することは殆ど不可能である。
の時系列を表わす実線と本モデルによって予測された時
系列を表わす点線が殆ど一致するので、推定誤差は肉眼
で識別することは殆ど不可能である。
【００６４】図５では、本実施例と他の種々の方法との
時系列例の性能を比較したものを表で示した。
時系列例の性能を比較したものを表で示した。
【００６５】比較された方法はＴｗｏ−ｌａｙｅｒ Ｎ
ｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＴＮＮ）（Ａ．Ｓ．Ｌａ
ｐｅｄｅｓ ａｎｄ Ｒ．ｆａｒｂｅｒ．Ｎｏｎｌｉｎ
ｅａｒ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｓｉ
ｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ：Ｐｒｅｄｉｃ
ｔｉｏｎ ａｎｄ ｓｙｓｔｅｍ ｍｏｄｅｌｉｎｇ．
Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＬＡ−ＵＲ−８７
−２６６２，Ｌｏｓａｌａｍｏｓ Ｎａｔｉｏｎａｌ
Ｌａｂｏｒａｔｏｒｙ，１９８７．），Ｌｏｃａｌｌｙ
−Ｔｕｎｅｄ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ（Ｌ
ＴＰＵ）（Ｊ．Ｍｏｏｄｙ ａｎｄ Ｃ．Ｊ．Ｄａｒｋ
ｅｎ．Ｆａｓｔ ｌｅａｒｎｉｎｇｎｅｔｗｏｒｋｓ
ｏｆ ｌｏｃａｌｌｙ−ｔｕｎｅｄ ｐｒｏｃｅｓｓｉ
ｎｇｕｎｉｔｓ．Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏ
ｎ １，ｐａｇｅｓ ２８１〜２８３，１９９０．），
Ｍｕｌｔｉ−Ｒｅｓｏｌｕｔｉｏｎ Ｈｉｅｒａｒｃｈ
ｉｅｓ（ＭＲＨ）（Ｊ．Ｍｏｏｄｙ ａｎｄ Ｃ．Ｊ．
Ｄａｒｋｅｎ．Ｆａｓｔ ｌｅａｒｎｉｎｇ ｎｅｔｗ
ｏｒｋｓ ｏｆ ｌｏｃａｌｌｙ−ｔｕｎｅｄ ｐｒｏ
ｃｅｓｓｉｎｇ ｕｎｉｔｓ．Ｎｅｕｒａｌ Ｃｏｍｐ
ｕｔａｔｉｏｎ，１：２８１〜２９４，１９８９．）及
びＣａｓｃａｄｅ−Ｃｏｒｒｅｌａｔｉｏｎ Ｎｅｔｗ
ｏｒｋ（ＣＣＮ）（Ｒ．Ｓ．Ｃｒｏｗｄｅｒ．Ｐｒｅｄ
ｉｃｔｉｎｇ ｔｈｅ ｍａｃｋｅｙ−ｇｌａｓｓ ｔ
ｉｍｅ ｓｅｒｉｅｓ ｗｉｔｈ ｃａｓｃａｄｅ−ｃ
ｏｒｒｅｌａｔｉｏｎ ｌｅａｒｎｉｎｇ．Ｐｒｏｃｅ
ｅｄｉｎｇｓ ｏｆ ｔｈｅ １９９０ Ｃｏｎｎｅｃ
ｔｉｏｎｉｓｔ Ｍｏｄｅｌｓ Ｓｕｍｍｅｒ Ｓｃｈ
ｏｏｌ，ｅｄｉｔｅｄ ｂｙ Ｄ．Ｔｏｕｒｅｔｚｋｙ
ｅｔ．ａｌ．，ｐａｇｅｓ １１７〜１２３，１９９
０．）方法等である。
ｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＴＮＮ）（Ａ．Ｓ．Ｌａ
ｐｅｄｅｓ ａｎｄ Ｒ．ｆａｒｂｅｒ．Ｎｏｎｌｉｎ
ｅａｒ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｓｉ
ｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ：Ｐｒｅｄｉｃ
ｔｉｏｎ ａｎｄ ｓｙｓｔｅｍ ｍｏｄｅｌｉｎｇ．
Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＬＡ−ＵＲ−８７
−２６６２，Ｌｏｓａｌａｍｏｓ Ｎａｔｉｏｎａｌ
Ｌａｂｏｒａｔｏｒｙ，１９８７．），Ｌｏｃａｌｌｙ
−Ｔｕｎｅｄ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ（Ｌ
ＴＰＵ）（Ｊ．Ｍｏｏｄｙ ａｎｄ Ｃ．Ｊ．Ｄａｒｋ
ｅｎ．Ｆａｓｔ ｌｅａｒｎｉｎｇｎｅｔｗｏｒｋｓ
ｏｆ ｌｏｃａｌｌｙ−ｔｕｎｅｄ ｐｒｏｃｅｓｓｉ
ｎｇｕｎｉｔｓ．Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏ
ｎ １，ｐａｇｅｓ ２８１〜２８３，１９９０．），
Ｍｕｌｔｉ−Ｒｅｓｏｌｕｔｉｏｎ Ｈｉｅｒａｒｃｈ
ｉｅｓ（ＭＲＨ）（Ｊ．Ｍｏｏｄｙ ａｎｄ Ｃ．Ｊ．
Ｄａｒｋｅｎ．Ｆａｓｔ ｌｅａｒｎｉｎｇ ｎｅｔｗ
ｏｒｋｓ ｏｆ ｌｏｃａｌｌｙ−ｔｕｎｅｄ ｐｒｏ
ｃｅｓｓｉｎｇ ｕｎｉｔｓ．Ｎｅｕｒａｌ Ｃｏｍｐ
ｕｔａｔｉｏｎ，１：２８１〜２９４，１９８９．）及
びＣａｓｃａｄｅ−Ｃｏｒｒｅｌａｔｉｏｎ Ｎｅｔｗ
ｏｒｋ（ＣＣＮ）（Ｒ．Ｓ．Ｃｒｏｗｄｅｒ．Ｐｒｅｄ
ｉｃｔｉｎｇ ｔｈｅ ｍａｃｋｅｙ−ｇｌａｓｓ ｔ
ｉｍｅ ｓｅｒｉｅｓ ｗｉｔｈ ｃａｓｃａｄｅ−ｃ
ｏｒｒｅｌａｔｉｏｎ ｌｅａｒｎｉｎｇ．Ｐｒｏｃｅ
ｅｄｉｎｇｓ ｏｆ ｔｈｅ １９９０ Ｃｏｎｎｅｃ
ｔｉｏｎｉｓｔ Ｍｏｄｅｌｓ Ｓｕｍｍｅｒ Ｓｃｈ
ｏｏｌ，ｅｄｉｔｅｄ ｂｙ Ｄ．Ｔｏｕｒｅｔｚｋｙ
ｅｔ．ａｌ．，ｐａｇｅｓ １１７〜１２３，１９９
０．）方法等である。
【００６６】結果、図５に示したされた比較表により次
の結論を下すことができる。
の結論を下すことができる。
【００６７】第一、ＭＲＨ及びＬＴＰＵの学習速度が最
も速いが、多くの調整媒介変数を必要とする。
も速いが、多くの調整媒介変数を必要とする。
【００６８】第二、ＴＮＮは少ない媒介変数を要するが
計算時間が非常に多く要求される。第三、ＣＣＮは予測
性能が最も悪い。
計算時間が非常に多く要求される。第三、ＣＣＮは予測
性能が最も悪い。
【００６９】これに比べて、本実施例による回帰モデル
はＬＴＰＵとＭＲＨ方法に比べて著しく少ない媒介変数
で済み、ＴＮＮに比べて８００〜１６００倍の計算速度
が向上すると共に、最も良い予測性能を示す。
はＬＴＰＵとＭＲＨ方法に比べて著しく少ない媒介変数
で済み、ＴＮＮに比べて８００〜１６００倍の計算速度
が向上すると共に、最も良い予測性能を示す。
【００７０】
【発明の効果】以上のように、本発明に係る回帰モデル
によれば、入力空間を重ならない局所領域に分割するの
で、局所平均法に比べて少ない媒介変数規模で良い性能
を得ることができる。また、従来の部分線形回帰法にお
いて難しい問題であった部分線形片（ｌｉｎｅａｒ ｐ
ｉｅｃｅ）の構成を行う必要がない。また、多層ニュ−
ラルネットワ−ク法に比べて著しく短い計算時間で済
む。また、所望の性能を得るように自動的に網を構成す
ることによって、局所最小点問題を解決することができ
る。
によれば、入力空間を重ならない局所領域に分割するの
で、局所平均法に比べて少ない媒介変数規模で良い性能
を得ることができる。また、従来の部分線形回帰法にお
いて難しい問題であった部分線形片（ｌｉｎｅａｒ ｐ
ｉｅｃｅ）の構成を行う必要がない。また、多層ニュ−
ラルネットワ−ク法に比べて著しく短い計算時間で済
む。また、所望の性能を得るように自動的に網を構成す
ることによって、局所最小点問題を解決することができ
る。
【図１】本発明の実施例に係る部分線形回帰モデルの構
造を示す図である。
造を示す図である。
【図２】実施例において、学習に用いたカオチック時系
列（Ｃｈａｏｔｉｃ ｔｉｍｅ ｓｅｒｉｅｓ）を示す
図である。
列（Ｃｈａｏｔｉｃ ｔｉｍｅ ｓｅｒｉｅｓ）を示す
図である。
【図３】本発明の実施例おいて、予測性能試験に用いた
カオチック時系列を示す図である。
カオチック時系列を示す図である。
【図４】本発明の実施例において、隠れ層内に生成され
たノード数と、部分線形回帰モデルの予測性能を示す図
である。
たノード数と、部分線形回帰モデルの予測性能を示す図
である。
【図５】本発明の実施例に係る部分線形回帰モデルと、
従来の他方法との時系列予測性能の比較を示す図であ
る。
従来の他方法との時系列予測性能の比較を示す図であ
る。
１０ 自己分割網 ２０ フィ−ドフォワード写像網
フロントページの続き (56)参考文献 特開 平４−155480（ＪＰ，Ａ) Ｊｉｎ Ｙｏｕｎｇ Ｃｈｏｉ，Ｒｈ ｅｅ Ｍａｎ Ｋｉｌ，Ｃｈｏｎｇ−Ｈ ｏ Ｃｈｏｉ，”Ｐｉｅｃｅｗｉｓｅ Ｌｉｎｅａｒ Ｒｅｇｒｅｓｓｉｏｎ Ｎｅｔｗｏｒｋｓ ａｎｄ Ｉｔｓ Ａ ｐｐｌｉｃａｔｉｏｎ ｔｏ Ｔｉｍｅ Ｓｅｒｉｅｓ Ｐｒｅｄｉｃｔｉｏ ｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ 1993 Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊ ｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ｖ ｏｌ．２，ｐ．1349−ｐ．1352（1993. 10) (58)調査した分野(Int.Cl.6，ＤＢ名) G06F 15/18 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (4)
- 【請求項１】時間の進行と関連して発生したデータを処
理してそのデータを発生させたシステムの入出力の関数
関係を識別するニューラルネットワークシステムにおい
て、入力空間を分割した、相互に領域の重なりがない複
数の領域であるところの複数の局所領域の各々に、入力
ベクトルが属するか否かを判定して出力する自己分割網
と、 上記自己分割網が判定した入力ベクトルが属する局所領
域に対応して定まる線形写像を、入力ベクトルに施すフ
ィードフォワード写像網とを含むことを特徴とするニュ
ーラルネットワークシステム。 - 【請求項２】請求項１において、 上記自己分割網は複数のノードを含み、 上記自己分割網の複数のノードの各々は、上記複数の局
所領域の各々に対応し、対応する局所領域の中心点を媒
介変数として有し、 上記複数のノードのうちの、入力ベクトルと上記中心点
の間の距離が最も近い一つのノードのみが１を出力し、
他のノードは０を出力することを特徴とするニューラル
ネットワークシステム。 - 【請求項３】請求項２において、 上記フィードフォワード網は隠れ層と出力層とを含み、 上記隠れ層は複数のノードを含み、 上記隠れ層の複数のノードの各々は、上記複数の局所領
域の各々に対応し、対応する局所領域に対応して定めた
線形写像を、入力ベクトルに施して出力し、 上記自己分割網の各ノードの上記出力を、対応する局所
領域が当該自己分割網のノードと同じ上記隠れ層のノー
ドと上記出力層の間の加重値として用いることを特徴と
するニューラルネットワークシステム。 - 【請求項４】請求項３において、 上記自己分割網より１を加重値として与えられた、上記
フィ−ドフォワード写像網内の上記隠れ層のノードのみ
が学習に参加し、かつ、出力を生成することを特徴とす
るニューラルネットワークシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR93-15129 | 1993-08-04 | ||
| KR1019930015129A KR970006030B1 (ko) | 1993-08-04 | 1993-08-04 | 부분선형 회귀모형 구조 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07152714A JPH07152714A (ja) | 1995-06-16 |
| JP2860057B2 true JP2860057B2 (ja) | 1999-02-24 |
Family
ID=19360773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6183717A Expired - Fee Related JP2860057B2 (ja) | 1993-08-04 | 1994-08-04 | ニューラルネットワークシステム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2860057B2 (ja) |
| KR (1) | KR970006030B1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100397467B1 (ko) * | 2000-09-29 | 2003-09-13 | 주식회사 피스트 글로벌 | 공변성을 갖는 확률변수에 대한 시뮬레이션 방법 및 이를기록한 컴퓨터로 읽을 수 있는 기록매체 |
| CN101387128B (zh) * | 2004-12-14 | 2010-11-03 | 株式会社东芝 | 雨水排水支援系统和支援方法 |
| US8606544B2 (en) * | 2006-07-25 | 2013-12-10 | Fisher-Rosemount Systems, Inc. | Methods and systems for detecting deviation of a process variable from expected values |
| KR101458004B1 (ko) * | 2013-12-26 | 2014-11-04 | 주식회사 코스콤 | 인공 신경망 모형을 이용한 주가 등락 예측 시스템 및 주가 등락 예측 방법 |
-
1993
- 1993-08-04 KR KR1019930015129A patent/KR970006030B1/ko not_active IP Right Cessation
-
1994
- 1994-08-04 JP JP6183717A patent/JP2860057B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| Ｊｉｎ Ｙｏｕｎｇ Ｃｈｏｉ，Ｒｈｅｅ Ｍａｎ Ｋｉｌ，Ｃｈｏｎｇ−Ｈｏ Ｃｈｏｉ，"Ｐｉｅｃｅｗｉｓｅ Ｌｉｎｅａｒ Ｒｅｇｒｅｓｓｉｏｎ Ｎｅｔｗｏｒｋｓ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｔｉｍｅ Ｓｅｒｉｅｓ Ｐｒｅｄｉｃｔｉｏｎ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９３ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ｖｏｌ．２，ｐ．１３４９−ｐ．１３５２（１９９３．１０） |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07152714A (ja) | 1995-06-16 |
| KR950006634A (ko) | 1995-03-21 |
| KR970006030B1 (ko) | 1997-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A constructive algorithm for feedforward neural networks with incremental training | |
| CN108304926B (zh) | 一种适用于神经网络的池化计算装置及方法 | |
| CN113489654B (zh) | 一种路由选择方法、装置、电子设备及存储介质 | |
| JPH07121495A (ja) | １つ以上のニューラルネットワークを使用したエキスパートシステムの構築方法 | |
| JP2860057B2 (ja) | ニューラルネットワークシステム | |
| Lin et al. | On relationship of multilayer perceptrons and piecewise polynomial approximators | |
| JPH07129534A (ja) | 現存するエキスパートシステムを１つ以上のニューラルネットワークを使用するものに変換する方法 | |
| CN115906936A (zh) | 一种神经网络训练及推理方法、装置、终端及存储介质 | |
| CN109697511B (zh) | 数据推理方法、装置及计算机设备 | |
| JP2907486B2 (ja) | ニューラルネットワーク装置 | |
| US5438645A (en) | Neural network which uses a monitor | |
| CN110889635A (zh) | 一种用于对食品安全事件的处理进行应急演练的方法 | |
| JPH1055346A (ja) | ニューラルネットワーク回路 | |
| JP3114276B2 (ja) | 階層型ニューラルネットワークの学習方法 | |
| TW202030647A (zh) | 降低類神經網路之運算複雜度的系統與方法 | |
| CN117521737B (zh) | 网络模型的转换方法、装置、终端及计算机可读存储介质 | |
| JP3310009B2 (ja) | ニューラルネットワークシステム | |
| TWI730452B (zh) | 立體類神經網路系統 | |
| Wang et al. | Noisy chaotic neural networks for combinatorial optimization | |
| JP2877413B2 (ja) | 余剰ニューロン決定処理方式 | |
| JP3476211B2 (ja) | ネットワーク型情報処理システムとその学習方法 | |
| CN113505459A (zh) | 一种基于动态随机游走的多粒度路由网络表达方法 | |
| KR0131862B1 (ko) | 융기함수 형성 유니트를 갖는 신경회로망 모델 | |
| JP3276367B2 (ja) | 神経細胞回路網 | |
| CN115204374A (zh) | 基于分割神经网络的联邦学习及预测的系统、方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19981124 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071204 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081204 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091204 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |