JPH07152714A - 部分線形回帰モデル - Google Patents
部分線形回帰モデルInfo
- Publication number
- JPH07152714A JPH07152714A JP6183717A JP18371794A JPH07152714A JP H07152714 A JPH07152714 A JP H07152714A JP 6183717 A JP6183717 A JP 6183717A JP 18371794 A JP18371794 A JP 18371794A JP H07152714 A JPH07152714 A JP H07152714A
- Authority
- JP
- Japan
- Prior art keywords
- network
- regression model
- self
- output
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
(57)【要約】
【目的】与えられたデータの次数が高くなるほど急激な
性能低下が生じたりせす、高速な学習速度を得ることが
でき、かつ、局所最小点（ｌｏｃａｌ ｍｉｎｉｍａ）
に陥ることなく、所望の性能を得ることができる回帰モ
デルを提供する。 【構成】回帰モデルは自己分割網１０とフィ−ドフォワ
ード写像網２０で構成され、自己分割網１０は入力空間
を重ならない局所領域に分割する一方、自己分割網１０
の出力に応答して、フィ−ドフォワード写像網２０は分
割された各入力空間に対する部分的な線形写像を求め
る。 【効果】局所平均法に比べて少ない媒介変数規模で良い
性能を得ることができ、所望の性能を得るように自動的
に網を構成するので局所最小点問題が解決される。
性能低下が生じたりせす、高速な学習速度を得ることが
でき、かつ、局所最小点（ｌｏｃａｌ ｍｉｎｉｍａ）
に陥ることなく、所望の性能を得ることができる回帰モ
デルを提供する。 【構成】回帰モデルは自己分割網１０とフィ−ドフォワ
ード写像網２０で構成され、自己分割網１０は入力空間
を重ならない局所領域に分割する一方、自己分割網１０
の出力に応答して、フィ−ドフォワード写像網２０は分
割された各入力空間に対する部分的な線形写像を求め
る。 【効果】局所平均法に比べて少ない媒介変数規模で良い
性能を得ることができ、所望の性能を得るように自動的
に網を構成するので局所最小点問題が解決される。
Description
【０００１】
【産業上の利用分野】本発明は関数近似（ｆｕｎｃｔｉ
ｏｎ ａｐｐｒｏｘｉｍａｔｉｏｎ）又は回帰分析（ｒ
ｅｇｒｅｓｓｉｏｎ ａｎａｌｙｓｉｓ）のための回帰
モデル（ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌ）に関する
ものである。
ｏｎ ａｐｐｒｏｘｉｍａｔｉｏｎ）又は回帰分析（ｒ
ｅｇｒｅｓｓｉｏｎ ａｎａｌｙｓｉｓ）のための回帰
モデル（ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌ）に関する
ものである。
【０００２】
【従来の技術】関数近似又は回帰分析方法は、経済分
野、生体科学、天気、株式動向等の分野において、時間
の進行と関連して発生する写像（ｍａｐｐｉｎｇ）の変
動状況を、時間的発生順序に観察し、表示する（統計系
列である）時系列の予測を行うことに用いられている。
また、このような予測では、不確実に与えられたデータ
を処理してそのデータを発生させるシステムの関数関係
を見つけることが行われている。
野、生体科学、天気、株式動向等の分野において、時間
の進行と関連して発生する写像（ｍａｐｐｉｎｇ）の変
動状況を、時間的発生順序に観察し、表示する（統計系
列である）時系列の予測を行うことに用いられている。
また、このような予測では、不確実に与えられたデータ
を処理してそのデータを発生させるシステムの関数関係
を見つけることが行われている。
【０００３】従来の時系列予測方法としては、局所平均
法（ｌｏｃａｌ ａｖｅｒａｇｉｎｇ ｍｅｔｈｏｄ
（Ｗ．Ｓ．Ｃｌｅｖｅｌａｎｄ．Ｒｏｂｕｓｔ ｌｏｃ
ａｌｌｙ ｗｅｉｇｈｔｅｄ ｒｅｇｒｅｓｓｉｏｎ
ａｎｄ ｓｍｏｏｔｈｉｎｇｓｃａｔｔｅｒｐｌｏｔ
ｓ．Ｊｏｕｒｎａｌ ｏｆ Ａｍｅｒｉｃａｎ Ｓｔａ
ｔｉｓｔｉｃａｌ Ａｓｓｏｃｉａｔｉｏｎ，７４：８
２８〜８３６．））が知られている。
法（ｌｏｃａｌ ａｖｅｒａｇｉｎｇ ｍｅｔｈｏｄ
（Ｗ．Ｓ．Ｃｌｅｖｅｌａｎｄ．Ｒｏｂｕｓｔ ｌｏｃ
ａｌｌｙ ｗｅｉｇｈｔｅｄ ｒｅｇｒｅｓｓｉｏｎ
ａｎｄ ｓｍｏｏｔｈｉｎｇｓｃａｔｔｅｒｐｌｏｔ
ｓ．Ｊｏｕｒｎａｌ ｏｆ Ａｍｅｒｉｃａｎ Ｓｔａ
ｔｉｓｔｉｃａｌ Ａｓｓｏｃｉａｔｉｏｎ，７４：８
２８〜８３６．））が知られている。
【０００４】この方法は、入力空間（時系列の予測のた
めのデータの範囲）の特定点から一定の距離以内にある
データの平均出力値により対象システムの関数値を決定
する。
めのデータの範囲）の特定点から一定の距離以内にある
データの平均出力値により対象システムの関数値を決定
する。
【０００５】しかしこの方法では入力空間を形成する局
所領域が互いに重なるようになり、その重なりの程度は
次数が高くなるほど急激に甚だしくなる。
所領域が互いに重なるようになり、その重なりの程度は
次数が高くなるほど急激に甚だしくなる。
【０００６】そして、これによって、与えられたデータ
の次数が高くなるほど予測性能の急激な低下をもたら
す。
の次数が高くなるほど予測性能の急激な低下をもたら
す。
【０００７】これに対して部分線形関数を構成する方法
も提示されている（Ｖ．Ｃｈｅｒｋａｓｓｋｙ ａｎｄ
Ｈ．Ｌａｒｉ−Ｎａｊａｆ．Ｃｏｎｓｔｒａｉｎｅｄ
ｔｏｐｏｌｏｇｉｃａｌ ｍａｐｐｉｎｇ ｆｏｒ
ｎｏｎｐａｒａ−ｍｅｔｒｉｃｒｅｇｒｅｓｓｉｏｎ
ａｎａｌｙｓｉｓ．Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，
４：２７〜４０，１９９１．）。
も提示されている（Ｖ．Ｃｈｅｒｋａｓｓｋｙ ａｎｄ
Ｈ．Ｌａｒｉ−Ｎａｊａｆ．Ｃｏｎｓｔｒａｉｎｅｄ
ｔｏｐｏｌｏｇｉｃａｌ ｍａｐｐｉｎｇ ｆｏｒ
ｎｏｎｐａｒａ−ｍｅｔｒｉｃｒｅｇｒｅｓｓｉｏｎ
ａｎａｌｙｓｉｓ．Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，
４：２７〜４０，１９９１．）。
【０００８】この部分線形関数を構成する方法は、節
（ｋｎｏｔ）に相当する点に重ならない線形片（ｌｉｎ
ｅａｒ ｐｉｅｃｅ）で連続して引き続けるものであ
る。
（ｋｎｏｔ）に相当する点に重ならない線形片（ｌｉｎ
ｅａｒ ｐｉｅｃｅ）で連続して引き続けるものであ
る。
【０００９】この方法によれば、上記の局所平均法で局
所領域が重なるようになる問題は解決されるが、次数が
高くなるほど線形片（ｌｉｎｅａｒ ｐｉｅｃｅ）の数
が幾何級数的に増加するし構成方法も余りに複雑にな
る。
所領域が重なるようになる問題は解決されるが、次数が
高くなるほど線形片（ｌｉｎｅａｒ ｐｉｅｃｅ）の数
が幾何級数的に増加するし構成方法も余りに複雑にな
る。
【００１０】これに対して、近来に至っては多層ニュ−
ラルネットワ−ク（ｍｕｌｔｉｌａｙｅｒ ｎｅｕｒａ
ｌ ｎｅｔｗｏｒｋ（Ｒ．Ｈｅｃｈｔ−Ｎｉｅｌｓｏ
ｎ．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ．Ａｄｄｉｓｏｎ−
Ｗｅｓｌｅｙ，１９９０．））を用いて、上記問題を効
果的に処理することができることが示されている。
ラルネットワ−ク（ｍｕｌｔｉｌａｙｅｒ ｎｅｕｒａ
ｌ ｎｅｔｗｏｒｋ（Ｒ．Ｈｅｃｈｔ−Ｎｉｅｌｓｏ
ｎ．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ．Ａｄｄｉｓｏｎ−
Ｗｅｓｌｅｙ，１９９０．））を用いて、上記問題を効
果的に処理することができることが示されている。
【００１１】
【発明が解決しようとする課題】前述した多層ニュ−ラ
ルネットワ−クの方法は、学習速度（媒介変数推定速
度）が余りに遅いとか、局所最小点（ｌｏｃａｌ ｍｉ
ｎｉｍａ）に陥り、所望の性能を得られないとかいった
問題が生じる。
ルネットワ−クの方法は、学習速度（媒介変数推定速
度）が余りに遅いとか、局所最小点（ｌｏｃａｌ ｍｉ
ｎｉｍａ）に陥り、所望の性能を得られないとかいった
問題が生じる。
【００１２】そこで、本発明は、上記の従来の問題点を
解決することができる新たな部分線形回帰モデルを提供
することを目的とする。
解決することができる新たな部分線形回帰モデルを提供
することを目的とする。
【００１３】
【課題を解決するための手段】前記目艇達成のために本
発明は、時間の進行と関連して発生したデータを処理し
てそのデータを発生させたシステムの関数関係を検出す
る回帰モデルにおいて、入力空間を、重ならない複数の
局所領域に分割する自己分割網（１０）と、隠れ層と出
力層を含み、上記自己分割網（１０）の出力に応答して
上記複数の局所領域の各々に対する線形写像を求めるフ
ィ−ドフォワード写像網（２０）とを含むことを特徴と
する部分線形回帰モデルを提供する。
発明は、時間の進行と関連して発生したデータを処理し
てそのデータを発生させたシステムの関数関係を検出す
る回帰モデルにおいて、入力空間を、重ならない複数の
局所領域に分割する自己分割網（１０）と、隠れ層と出
力層を含み、上記自己分割網（１０）の出力に応答して
上記複数の局所領域の各々に対する線形写像を求めるフ
ィ−ドフォワード写像網（２０）とを含むことを特徴と
する部分線形回帰モデルを提供する。
【００１４】
【作用】自己分割網（１０）は、入力空間を重ならない
局所領域に分割する。
局所領域に分割する。
【００１５】一方、フィ−ドフォワード写像網（２０）
は、上記自己分割網（１０）の出力に応答し、分割され
た各入力空間に対して部分的な線形写像（ｌｉｎｅａｒ
ｍａｐｐｉｎｇ）を求める。
は、上記自己分割網（１０）の出力に応答し、分割され
た各入力空間に対して部分的な線形写像（ｌｉｎｅａｒ
ｍａｐｐｉｎｇ）を求める。
【００１６】
【実施例】本実施例に係る回帰モデルについて説明す
る。
る。
【００１７】本実施例に係る回帰モデルは、図１に示す
ように、自己分割網（ｓｅｌｆ ｐａｒｔｉｔｉｏｎｉ
ｎｇ ｎｅｔｗｏｒｋ）１０とフィ−ドフォワード写像
網（ｆｅｅｄｆｏｒｗａｒｄ ｍａｐｐｉｎｇ ｎｅｔ
ｗｏｒｋ）２０により構成される。
ように、自己分割網（ｓｅｌｆ ｐａｒｔｉｔｉｏｎｉ
ｎｇ ｎｅｔｗｏｒｋ）１０とフィ−ドフォワード写像
網（ｆｅｅｄｆｏｒｗａｒｄ ｍａｐｐｉｎｇ ｎｅｔ
ｗｏｒｋ）２０により構成される。
【００１８】自己分割網１０は、入力空間を重ならない
局所領域に分割する機能を遂行する。
局所領域に分割する機能を遂行する。
【００１９】一方、フィ−ドフォワード写像網２０は分
割された各入力空間に対して部分的な線形写像（ｌｉｎ
ｅａｒ ｍａｐｐｉｎｇ）を求める機能を担当する。
割された各入力空間に対して部分的な線形写像（ｌｉｎ
ｅａｒ ｍａｐｐｉｎｇ）を求める機能を担当する。
【００２０】任意の入力パターンが上記自己分割網１０
に印加されると、上記自己分割網１０の、一つの出力ノ
ードのみが１の値を出力し、他は０の値を出力する。
に印加されると、上記自己分割網１０の、一つの出力ノ
ードのみが１の値を出力し、他は０の値を出力する。
【００２１】すなわち、上記自己分割網１０内の、一番
目の層の各ノードは特定局所領域の中心点を媒介変数と
して有しており、次の放射形基底関数（ｒａｄｉａｌ
ｂａｓｉｓ ｆｕｎｃｔｉｏｎ）により出力を発生す
る。
目の層の各ノードは特定局所領域の中心点を媒介変数と
して有しており、次の放射形基底関数（ｒａｄｉａｌ
ｂａｓｉｓ ｆｕｎｃｔｉｏｎ）により出力を発生す
る。
【００２２】
【数１】
【００２３】ここで、ｄ（Ｘ）は入力Ｘと中心点ｃの間
のユークリッド距離‖Ｘ−ｃ‖を意味し、γは局所領域
の大きさを決定する競争変数である。
のユークリッド距離‖Ｘ−ｃ‖を意味し、γは局所領域
の大きさを決定する競争変数である。
【００２４】この時、記自己分割網１０の一番目の層の
ノ−ドのうち、特定入力パターンに対して中心点までの
距離が最も近いノードが最も大きい出力を発生する。
ノ−ドのうち、特定入力パターンに対して中心点までの
距離が最も近いノードが最も大きい出力を発生する。
【００２５】次に、ＭＡＸＮＥＴ（Ｙ．Ｈ．Ｐａｏ．Ａ
ｄａｐｔｉｖｅ ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏ
ｎ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ．Ａｄｄ
ｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏ
ｍｐａｎｙ，Ｉｎｃ．，１９８９．）を利用して、前述
した最も大きい出力を発生した一番目の層のノードを決
定する。
ｄａｐｔｉｖｅ ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏ
ｎ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ．Ａｄｄ
ｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏ
ｍｐａｎｙ，Ｉｎｃ．，１９８９．）を利用して、前述
した最も大きい出力を発生した一番目の層のノードを決
定する。
【００２６】上記ＭＡＸＮＥＴの各ノードは相互抑制機
能を有しており、最大値を入力したノ−ドのみが１を出
力し余りのノードは出力が抑止される。
能を有しており、最大値を入力したノ−ドのみが１を出
力し余りのノードは出力が抑止される。
【００２７】この出力値は、フィ−ドフォワード写像網
２０内の隠れ層（ｈｉｄｄｅｎ ｌａｙｅｒ）の各ノー
ド（ｎｏｄｅ）と出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）
の各ノードの間の連結加重値（ｃｏｎｎｅｃｔｉｏｎ
ｗｅｉｇｈｔ ｖａｌｕｅ）としての役割を果たす。な
お、実際は、ＭＡＸＮＥＴの各ノ−ドの出力には、−ｅ
が乗じられフィ−ドフォワ−ド網に送られる。
２０内の隠れ層（ｈｉｄｄｅｎ ｌａｙｅｒ）の各ノー
ド（ｎｏｄｅ）と出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）
の各ノードの間の連結加重値（ｃｏｎｎｅｃｔｉｏｎ
ｗｅｉｇｈｔ ｖａｌｕｅ）としての役割を果たす。な
お、実際は、ＭＡＸＮＥＴの各ノ−ドの出力には、−ｅ
が乗じられフィ−ドフォワ−ド網に送られる。
【００２８】したがい、フィ−ドフォワード写像網２０
内の隠れ層の各ノードにとって、連結加重値は入力パタ
ーンによって変化する。ＭＡＸＮＥＴの出力が１である
時のみ、これに対応する隠れ層のノードは学習を行い、
また、出力を発生する。
内の隠れ層の各ノードにとって、連結加重値は入力パタ
ーンによって変化する。ＭＡＸＮＥＴの出力が１である
時のみ、これに対応する隠れ層のノードは学習を行い、
また、出力を発生する。
【００２９】さて、本実施例に係る回帰モデルにより得
られる、入出力関数関係は次の通りである。
られる、入出力関数関係は次の通りである。
【００３０】
【数２】
【００３１】ここで、ｘは入力ベクトルであり、ｘjは
ｘのｊ番目要素であり、μi（ｘ）はフィ−ドフォワー
ド写像網２０内隠れ層の各ノードと出力層の各ノードの
間の加重値で、ωijはフィ−ドフォワード写像網２０内
ｉ番目隠れ層ノードとｊ番目入力層ノードの間の加重値
である。また、χは、入力ベクトルが存在する入力領域
を示す。
ｘのｊ番目要素であり、μi（ｘ）はフィ−ドフォワー
ド写像網２０内隠れ層の各ノードと出力層の各ノードの
間の加重値で、ωijはフィ−ドフォワード写像網２０内
ｉ番目隠れ層ノードとｊ番目入力層ノードの間の加重値
である。また、χは、入力ベクトルが存在する入力領域
を示す。
【００３２】なお、Ψ（・）は隠れ層ノードの線形活性
化関数（ｌｉｎｅａｒ ａｃｔｉｖａｔｉｏｎ ｆｕｎ
ｃｔｉｏｎ）である。
化関数（ｌｉｎｅａｒ ａｃｔｉｖａｔｉｏｎ ｆｕｎ
ｃｔｉｏｎ）である。
【００３３】次に、本実施例に係る回帰モデルを構成す
るための学習方法を説明する。
るための学習方法を説明する。
【００３４】本発明による学習方法では、与えられた入
力パターンによって網を自動的に構成し、必要な時にノ
ードを生成させる。
力パターンによって網を自動的に構成し、必要な時にノ
ードを生成させる。
【００３５】この、概括的な学習計画は次の通りであ
る。
る。
【００３６】● 新たな入力パターンが自己分割網１０
に印加された時に、現在、存在する前記１番目の層の複
数のノード各々から出力されるノード出力の合計が任意
のスレショルド値（Ｔ）より小さい場合に、その入力パ
ターンに対応する局所領域を担当するノードが無いと判
定し、自己分割網１０とフィ−ドフォワード写像網２０
に、この局所領域を担当する新たなノードを生成する。
に印加された時に、現在、存在する前記１番目の層の複
数のノード各々から出力されるノード出力の合計が任意
のスレショルド値（Ｔ）より小さい場合に、その入力パ
ターンに対応する局所領域を担当するノードが無いと判
定し、自己分割網１０とフィ−ドフォワード写像網２０
に、この局所領域を担当する新たなノードを生成する。
【００３７】そして、自己分割網１０の、新たに生成し
たノードの中心を、前記新たな入力パターンの入力ベク
トルによって初期化し、フィ−ドフォワード写像網２０
のノードの加重値を任意に設定する。
たノードの中心を、前記新たな入力パターンの入力ベク
トルによって初期化し、フィ−ドフォワード写像網２０
のノードの加重値を任意に設定する。
【００３８】● そうでなく、ＭＡＸＮＥＡＴの、ある
ノードが１の出力を発生すれば自己分割網１０の１番目
の層の当該局所領域を担当するノードと、フィ−ドフォ
ワード写像網２０の隠れ層の当該局所領域を担当するノ
ードの媒介変数（荷重値ベクトル）を調整する。
ノードが１の出力を発生すれば自己分割網１０の１番目
の層の当該局所領域を担当するノードと、フィ−ドフォ
ワード写像網２０の隠れ層の当該局所領域を担当するノ
ードの媒介変数（荷重値ベクトル）を調整する。
【００３９】より、詳細にいえば、自己分割網１０の１
番目の層のｉ番目ノードの中心（媒介変数）は次の式に
依り更新される。
番目の層のｉ番目ノードの中心（媒介変数）は次の式に
依り更新される。
【００４０】
【数３】
【００４１】ここで、ｋはｃiの更新回数である。
【００４２】また、フィ−ドフォワード写像網２０のｉ
番目ノードのかくれ層の加重値ベクトルは次の式に依り
更新される。
番目ノードのかくれ層の加重値ベクトルは次の式に依り
更新される。
【００４３】
【数４】
【００４４】
【数５】
【００４５】
【数６】
【００４６】ここで、式（４）のｅ（Ｘ）は入力Ｘに対
する出力誤差であり、式（６）のＩは単位行列である。
する出力誤差であり、式（６）のＩは単位行列である。
【００４７】なお、αはα＞＞１を満たす常数である。
また、肩にＴ添えられたＸは、ベトルＸの転置ベクトル
を表す。
また、肩にＴ添えられたＸは、ベトルＸの転置ベクトル
を表す。
【００４８】さて、ここで、このような回帰モデルを、
任意性（ｒａｎｄｏｍｎｅｓｓ）と非線形性（ｎｏｎｌ
ｉｎｅａｒｉｔｙ）が強いＭａｃｋｅｙ−Ｇｌａｓｓ
（Ｍ−Ｇ）カオチック時系列予測問題に適用した場合に
ついて説明する。
任意性（ｒａｎｄｏｍｎｅｓｓ）と非線形性（ｎｏｎｌ
ｉｎｅａｒｉｔｙ）が強いＭａｃｋｅｙ−Ｇｌａｓｓ
（Ｍ−Ｇ）カオチック時系列予測問題に適用した場合に
ついて説明する。
【００４９】このＭ−Ｇ時系列は次の通りである。
【００５０】
【数７】
【００５１】ここで、ａ＝０．１，ｂ＝０．２そしてτ
＝１７とした時、任意性と非線形性が強い時系列が発生
される（図４参照）。
＝１７とした時、任意性と非線形性が強い時系列が発生
される（図４参照）。
【００５２】この回帰モデルの入力としてはｘ（ｔ），
ｘ（ｔ−６），ｘ（ｔ−１２），ｘ（ｔ−１８）の、四
つの過去データが用いられる。
ｘ（ｔ−６），ｘ（ｔ−１２），ｘ（ｔ−１８）の、四
つの過去データが用いられる。
【００５３】予測しようとする未来データは８５ステッ
プ後の、ｘ（ｔ＋８５）である。
プ後の、ｘ（ｔ＋８５）である。
【００５４】また、前述した学習計画に従い、回路モデ
ルを構成し、媒介変数を調節するために式（７）の初期
値ｘ（０）＝０．９に対して、ｔ＝２０００から生成さ
れた５００個のデータを用いた（図２）。
ルを構成し、媒介変数を調節するために式（７）の初期
値ｘ（０）＝０．９に対して、ｔ＝２０００から生成さ
れた５００個のデータを用いた（図２）。
【００５５】なお予測性能を試験するために、その次の
５００個のデータを用いた（図３）。
５００個のデータを用いた（図３）。
【００５６】この模擬実験では学習法の変数をτ＝０．
００１，α＝１０，０００と設定した。
００１，α＝１０，０００と設定した。
【００５７】また、γは、０．０００１から０．００１
９まで０．０００１間隔に増加させて１９個の回帰モデ
ルを構成した。
９まで０．０００１間隔に増加させて１９個の回帰モデ
ルを構成した。
【００５８】各回帰モデルはγにしたがって、６７〜３
８３個の隠れ層ノードを生成した。各々の場合の性能を
図４に示した。
８３個の隠れ層ノードを生成した。各々の場合の性能を
図４に示した。
【００５９】たとえば、γ＝０．０００３の時、２９０
個の隠れ層ノードを生成した。また、この時４．８％Ｅ
nrms（平均自乗誤差の二乗根（ｓｑｕａｒｅ ｒｏｏ
ｔ）を出力値の標準偏差で割った値）の性能を得た。
個の隠れ層ノードを生成した。また、この時４．８％Ｅ
nrms（平均自乗誤差の二乗根（ｓｑｕａｒｅ ｒｏｏ
ｔ）を出力値の標準偏差で割った値）の性能を得た。
【００６０】この場合には、図４に示したように、実際
の時系列を表わす実線と本モデルによって予測された時
系列を表わす点線が殆ど一致するので、推定誤差は肉眼
で識別することは殆ど不可能である。
の時系列を表わす実線と本モデルによって予測された時
系列を表わす点線が殆ど一致するので、推定誤差は肉眼
で識別することは殆ど不可能である。
【００６１】図５では、本実施例と他の種々の方法との
時系列例の性能を比較したものを表で示した。
時系列例の性能を比較したものを表で示した。
【００６２】比較された方法はＴｗｏ−ｌａｙｅｒ Ｎ
ｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＴＮＮ）（Ａ．Ｓ．Ｌａ
ｐｅｄｅｓ ａｎｄ Ｒ．ｆａｒｂｅｒ．Ｎｏｎｌｉｎ
ｅａｒ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｓｉ
ｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ：Ｐｒｅｄｉｃ
ｔｉｏｎ ａｎｄ ｓｙｓｔｅｍ ｍｏｄｅｌｉｎｇ．
Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＬＡ−ＵＲ−８７
−２６６２，Ｌｏｓａｌａｍｏｓ Ｎａｔｉｏｎａｌ
Ｌａｂｏｒａｔｏｒｙ，１９８７．），Ｌｏｃａｌｌｙ
−Ｔｕｎｅｄ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ（Ｌ
ＴＰＵ）（Ｊ．Ｍｏｏｄｙ ａｎｄ Ｃ．Ｊ．Ｄａｒｋ
ｅｎ．Ｆａｓｔ ｌｅａｒｎｉｎｇｎｅｔｗｏｒｋｓ
ｏｆ ｌｏｃａｌｌｙ−ｔｕｎｅｄ ｐｒｏｃｅｓｓｉ
ｎｇｕｎｉｔｓ．Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏ
ｎ １，ｐａｇｅｓ ２８１〜２８３，１９９０．），
Ｍｕｌｔｉ−Ｒｅｓｏｌｕｔｉｏｎ Ｈｉｅｒａｒｃｈ
ｉｅｓ（ＭＲＨ）（Ｊ．Ｍｏｏｄｙ ａｎｄ Ｃ．Ｊ．
Ｄａｒｋｅｎ．Ｆａｓｔ ｌｅａｒｎｉｎｇ ｎｅｔｗ
ｏｒｋｓ ｏｆ ｌｏｃａｌｌｙ−ｔｕｎｅｄ ｐｒｏ
ｃｅｓｓｉｎｇ ｕｎｉｔｓ．Ｎｅｕｒａｌ Ｃｏｍｐ
ｕｔａｔｉｏｎ，１：２８１〜２９４，１９８９．）及
びＣａｓｃａｄｅ−Ｃｏｒｒｅｌａｔｉｏｎ Ｎｅｔｗ
ｏｒｋ（ＣＣＮ）（Ｒ．Ｓ．Ｃｒｏｗｄｅｒ．Ｐｒｅｄ
ｉｃｔｉｎｇ ｔｈｅ ｍａｃｋｅｙ−ｇｌａｓｓ ｔ
ｉｍｅ ｓｅｒｉｅｓ ｗｉｔｈ ｃａｓｃａｄｅ−ｃ
ｏｒｒｅｌａｔｉｏｎ ｌｅａｒｎｉｎｇ．Ｐｒｏｃｅ
ｅｄｉｎｇｓ ｏｆ ｔｈｅ １９９０ Ｃｏｎｎｅｃ
ｔｉｏｎｉｓｔ Ｍｏｄｅｌｓ Ｓｕｍｍｅｒ Ｓｃｈ
ｏｏｌ，ｅｄｉｔｅｄ ｂｙ Ｄ．Ｔｏｕｒｅｔｚｋｙ
ｅｔ．ａｌ．，ｐａｇｅｓ １１７〜１２３，１９９
０．）方法等である。
ｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＴＮＮ）（Ａ．Ｓ．Ｌａ
ｐｅｄｅｓ ａｎｄ Ｒ．ｆａｒｂｅｒ．Ｎｏｎｌｉｎ
ｅａｒ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｓｉ
ｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ：Ｐｒｅｄｉｃ
ｔｉｏｎ ａｎｄ ｓｙｓｔｅｍ ｍｏｄｅｌｉｎｇ．
Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＬＡ−ＵＲ−８７
−２６６２，Ｌｏｓａｌａｍｏｓ Ｎａｔｉｏｎａｌ
Ｌａｂｏｒａｔｏｒｙ，１９８７．），Ｌｏｃａｌｌｙ
−Ｔｕｎｅｄ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ（Ｌ
ＴＰＵ）（Ｊ．Ｍｏｏｄｙ ａｎｄ Ｃ．Ｊ．Ｄａｒｋ
ｅｎ．Ｆａｓｔ ｌｅａｒｎｉｎｇｎｅｔｗｏｒｋｓ
ｏｆ ｌｏｃａｌｌｙ−ｔｕｎｅｄ ｐｒｏｃｅｓｓｉ
ｎｇｕｎｉｔｓ．Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏ
ｎ １，ｐａｇｅｓ ２８１〜２８３，１９９０．），
Ｍｕｌｔｉ−Ｒｅｓｏｌｕｔｉｏｎ Ｈｉｅｒａｒｃｈ
ｉｅｓ（ＭＲＨ）（Ｊ．Ｍｏｏｄｙ ａｎｄ Ｃ．Ｊ．
Ｄａｒｋｅｎ．Ｆａｓｔ ｌｅａｒｎｉｎｇ ｎｅｔｗ
ｏｒｋｓ ｏｆ ｌｏｃａｌｌｙ−ｔｕｎｅｄ ｐｒｏ
ｃｅｓｓｉｎｇ ｕｎｉｔｓ．Ｎｅｕｒａｌ Ｃｏｍｐ
ｕｔａｔｉｏｎ，１：２８１〜２９４，１９８９．）及
びＣａｓｃａｄｅ−Ｃｏｒｒｅｌａｔｉｏｎ Ｎｅｔｗ
ｏｒｋ（ＣＣＮ）（Ｒ．Ｓ．Ｃｒｏｗｄｅｒ．Ｐｒｅｄ
ｉｃｔｉｎｇ ｔｈｅ ｍａｃｋｅｙ−ｇｌａｓｓ ｔ
ｉｍｅ ｓｅｒｉｅｓ ｗｉｔｈ ｃａｓｃａｄｅ−ｃ
ｏｒｒｅｌａｔｉｏｎ ｌｅａｒｎｉｎｇ．Ｐｒｏｃｅ
ｅｄｉｎｇｓ ｏｆ ｔｈｅ １９９０ Ｃｏｎｎｅｃ
ｔｉｏｎｉｓｔ Ｍｏｄｅｌｓ Ｓｕｍｍｅｒ Ｓｃｈ
ｏｏｌ，ｅｄｉｔｅｄ ｂｙ Ｄ．Ｔｏｕｒｅｔｚｋｙ
ｅｔ．ａｌ．，ｐａｇｅｓ １１７〜１２３，１９９
０．）方法等である。
【００６３】結果、図５に示したされた比較表により次
の結論を下すことができる。
の結論を下すことができる。
【００６４】第一、ＭＲＨ及びＬＴＰＵの学習速度が最
も速いが、多くの調整媒介変数を必要とする。
も速いが、多くの調整媒介変数を必要とする。
【００６５】第二、ＴＮＮは少ない媒介変数を要するが
計算時間が非常に多く要求される。
計算時間が非常に多く要求される。
【００６６】第三、ＣＣＮは予測性能が最も悪い。
【００６７】これに比べて、本実施例による回帰モデル
はＬＴＰＵとＭＲＨ方法に比べて著しく少ない媒介変数
で済み、ＴＮＮに比べて８００〜１６００倍の計算速度
が向上すると共に、最も良い予測性能を示す。
はＬＴＰＵとＭＲＨ方法に比べて著しく少ない媒介変数
で済み、ＴＮＮに比べて８００〜１６００倍の計算速度
が向上すると共に、最も良い予測性能を示す。
【００６８】
【発明の効果】以上のように、本発明に係る回帰モデル
によれば、入力空間を重ならない局所領域に分割するの
で、局所平均法に比べて少ない媒介変数規模で良い性能
を得ることができる。また、従来の部分線形回帰法にお
いて難しい問題であった部分線形片（ｌｉｎｅａｒ ｐ
ｉｅｃｅ）の構成を行う必要がない。また、多層ニュ−
ラルネットワ−ク法に比べて著しく短い計算時間で済
む。また、所望の性能を得るように自動的に網を構成す
ることによって、局所最小点問題を解決することができ
る。
によれば、入力空間を重ならない局所領域に分割するの
で、局所平均法に比べて少ない媒介変数規模で良い性能
を得ることができる。また、従来の部分線形回帰法にお
いて難しい問題であった部分線形片（ｌｉｎｅａｒ ｐ
ｉｅｃｅ）の構成を行う必要がない。また、多層ニュ−
ラルネットワ−ク法に比べて著しく短い計算時間で済
む。また、所望の性能を得るように自動的に網を構成す
ることによって、局所最小点問題を解決することができ
る。
【図１】本発明の実施例に係る部分線形回帰モデルの構
造を示す図である。
造を示す図である。
【図２】実施例において、学習に用いたカオチック時系
列（Ｃｈａｏｔｉｃ ｔｉｍｅ ｓｅｒｉｅｓ）を示す
図である。
列（Ｃｈａｏｔｉｃ ｔｉｍｅ ｓｅｒｉｅｓ）を示す
図である。
【図３】本発明の実施例おいて、予測性能試験に用いた
カオチック時系列を示す図である。
カオチック時系列を示す図である。
【図４】本発明の実施例において、隠れ層内に生成され
たノード数と、部分線形回帰モデルの予測性能を示す図
である。
たノード数と、部分線形回帰モデルの予測性能を示す図
である。
【図５】本発明の実施例に係る部分線形回帰モデルと、
従来の他方法との時系列予測性能の比較を示す図であ
る。
従来の他方法との時系列予測性能の比較を示す図であ
る。
１０ 自己分割網 ２０ フィ−ドフォワード写像網
Claims (4)
- 【請求項１】時間の進行と関連して発生したデータを処
理してそのデータを発生させたシステムの関数関係を検
出する回帰モデルにおいて、 入力空間を、重ならない複数の局所領域に分割する自己
分割網（１０）と、 隠れ層と出力層を含み、上記自己分割網（１０）の出力
に応答して上記複数の局所領域の各々に対する線形写像
を求めるフィ−ドフォワード写像網（２０）とを含むこ
とを特徴とする部分線形回帰モデル。 - 【請求項２】請求項１において、 上記自己分割網（１０）は複数のノードを含み、 上記複数のノード各々は特定局所領域の中心点を媒介変
数として有し、 上記複数のノードのうちの、入力ベクトルと上記中心点
の間の距離が最も近い一つのノードのみが１を出力し、
他のノードは０を出力することを特徴とする部分線形回
帰モデル。 - 【請求項３】請求項１または請求項２において、 上記フィ−ドフォワード写像網（２０）は、上記自己分
割網（１０）の上記出力を上記隠れ層を形成するノード
と上記出力層の間の加重値として用いることを特徴とす
る部分線形回帰モデル。 - 【請求項４】請求項２において、 上記自己分割網（１０）を構成する上記複数のノードの
うちの１を出力するノードと連結される、上記フィ−ド
フォワード写像網（２０）内の上記隠れ層のノードのみ
が学習に参加し、かつ、出力を生成することを特徴とす
る部分線形回帰モデル。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR93-15129 | 1993-08-04 | ||
| KR1019930015129A KR970006030B1 (ko) | 1993-08-04 | 1993-08-04 | 부분선형 회귀모형 구조 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07152714A true JPH07152714A (ja) | 1995-06-16 |
| JP2860057B2 JP2860057B2 (ja) | 1999-02-24 |
Family
ID=19360773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6183717A Expired - Fee Related JP2860057B2 (ja) | 1993-08-04 | 1994-08-04 | ニューラルネットワークシステム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2860057B2 (ja) |
| KR (1) | KR970006030B1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100444063C (zh) * | 2004-12-14 | 2008-12-17 | 株式会社东芝 | 雨水排水支援系统和支援方法 |
| US8606544B2 (en) * | 2006-07-25 | 2013-12-10 | Fisher-Rosemount Systems, Inc. | Methods and systems for detecting deviation of a process variable from expected values |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100397467B1 (ko) * | 2000-09-29 | 2003-09-13 | 주식회사 피스트 글로벌 | 공변성을 갖는 확률변수에 대한 시뮬레이션 방법 및 이를기록한 컴퓨터로 읽을 수 있는 기록매체 |
| KR101458004B1 (ko) * | 2013-12-26 | 2014-11-04 | 주식회사 코스콤 | 인공 신경망 모형을 이용한 주가 등락 예측 시스템 및 주가 등락 예측 방법 |
-
1993
- 1993-08-04 KR KR1019930015129A patent/KR970006030B1/ko not_active IP Right Cessation
-
1994
- 1994-08-04 JP JP6183717A patent/JP2860057B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100444063C (zh) * | 2004-12-14 | 2008-12-17 | 株式会社东芝 | 雨水排水支援系统和支援方法 |
| US8606544B2 (en) * | 2006-07-25 | 2013-12-10 | Fisher-Rosemount Systems, Inc. | Methods and systems for detecting deviation of a process variable from expected values |
Also Published As
| Publication number | Publication date |
|---|---|
| KR950006634A (ko) | 1995-03-21 |
| JP2860057B2 (ja) | 1999-02-24 |
| KR970006030B1 (ko) | 1997-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yuan et al. | A method for estimating the number of hidden neurons in feed-forward neural networks based on information entropy | |
| JP6908302B2 (ja) | 学習装置、識別装置及びプログラム | |
| CN111612125B (zh) | 一种面向在线学习的新型htm时间池方法及其系统 | |
| CN113778691B (zh) | 一种任务迁移决策的方法、装置及系统 | |
| CN112508190A (zh) | 结构化稀疏参数的处理方法、装置、设备及存储介质 | |
| Schäfer et al. | Simulation of spiking neural networks—architectures and implementations | |
| JPH07152714A (ja) | 部分線形回帰モデル | |
| CN116888605A (zh) | 神经网络模型的运算方法、训练方法及装置 | |
| JP3515267B2 (ja) | 多層神経回路網学習装置 | |
| Roy et al. | Hardware efficient, neuromorphic dendritically enhanced readout for liquid state machines | |
| Aghajari et al. | A novel chaotic hetero-associative memory | |
| Lavaei et al. | Dynamic analysis of structures using neural networks | |
| WO2021059527A1 (ja) | 学習装置、学習方法、及び、記録媒体 | |
| CN109697511B (zh) | 数据推理方法、装置及计算机设备 | |
| CN113283986B (zh) | 算法交易系统及基于该系统的算法交易模型的训练方法 | |
| Feng | Self-generation fuzzy modeling systems through hierarchical recursive-based particle swarm optimization | |
| Xu et al. | Online Fault Diagnosis Using Bioinspired Spike Neural Network | |
| Atanassov et al. | Generalized nets as tools for modelling of the neural networks | |
| Sedykh et al. | Comparison of Learning Hierarchical Dynamic Neuro-neighborhood Models Based on Perceptron and Radial-basic Functions | |
| Li et al. | Echo state network-based visibility graph method for nonlinear time series prediction | |
| JP3029451B2 (ja) | ファジィ制御装置 | |
| JP3679817B2 (ja) | 非線形時系列データ予測方法 | |
| Yu et al. | A multidirectional associative memory based on self-organizing incremental neural network | |
| Mastorakis | Neural network methods for image segmentation | |
| JP3312042B2 (ja) | 学習機械 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19981124 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071204 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081204 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091204 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |