JPH07152714A - 部分線形回帰モデル - Google Patents
部分線形回帰モデルInfo
- Publication number
- JPH07152714A JPH07152714A JP6183717A JP18371794A JPH07152714A JP H07152714 A JPH07152714 A JP H07152714A JP 6183717 A JP6183717 A JP 6183717A JP 18371794 A JP18371794 A JP 18371794A JP H07152714 A JPH07152714 A JP H07152714A
- Authority
- JP
- Japan
- Prior art keywords
- network
- regression model
- self
- output
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
性能低下が生じたりせす、高速な学習速度を得ることが
でき、かつ、局所最小点(local minima)
に陥ることなく、所望の性能を得ることができる回帰モ
デルを提供する。 【構成】回帰モデルは自己分割網10とフィ−ドフォワ
ード写像網20で構成され、自己分割網10は入力空間
を重ならない局所領域に分割する一方、自己分割網10
の出力に応答して、フィ−ドフォワード写像網20は分
割された各入力空間に対する部分的な線形写像を求め
る。 【効果】局所平均法に比べて少ない媒介変数規模で良い
性能を得ることができ、所望の性能を得るように自動的
に網を構成するので局所最小点問題が解決される。
Description
on approximation)又は回帰分析(r
egression analysis)のための回帰
モデル(regression model)に関する
ものである。
野、生体科学、天気、株式動向等の分野において、時間
の進行と関連して発生する写像(mapping)の変
動状況を、時間的発生順序に観察し、表示する(統計系
列である)時系列の予測を行うことに用いられている。
また、このような予測では、不確実に与えられたデータ
を処理してそのデータを発生させるシステムの関数関係
を見つけることが行われている。
法(local averaging method
(W.S.Cleveland.Robust loc
ally weighted regression
and smoothingscatterplot
s.Journal of American Sta
tistical Association,74:8
28〜836.))が知られている。
めのデータの範囲)の特定点から一定の距離以内にある
データの平均出力値により対象システムの関数値を決定
する。
所領域が互いに重なるようになり、その重なりの程度は
次数が高くなるほど急激に甚だしくなる。
の次数が高くなるほど予測性能の急激な低下をもたら
す。
も提示されている(V.Cherkassky and
H.Lari−Najaf.Constrained
topological mapping for
nonpara−metricregression
analysis.Neural Networks,
4:27〜40,1991.)。
(knot)に相当する点に重ならない線形片(lin
ear piece)で連続して引き続けるものであ
る。
所領域が重なるようになる問題は解決されるが、次数が
高くなるほど線形片(linear piece)の数
が幾何級数的に増加するし構成方法も余りに複雑にな
る。
ラルネットワ−ク(multilayer neura
l network(R.Hecht−Nielso
n.Neurocomputing.Addison−
Wesley,1990.))を用いて、上記問題を効
果的に処理することができることが示されている。
ルネットワ−クの方法は、学習速度(媒介変数推定速
度)が余りに遅いとか、局所最小点(local mi
nima)に陥り、所望の性能を得られないとかいった
問題が生じる。
解決することができる新たな部分線形回帰モデルを提供
することを目的とする。
発明は、時間の進行と関連して発生したデータを処理し
てそのデータを発生させたシステムの関数関係を検出す
る回帰モデルにおいて、入力空間を、重ならない複数の
局所領域に分割する自己分割網(10)と、隠れ層と出
力層を含み、上記自己分割網(10)の出力に応答して
上記複数の局所領域の各々に対する線形写像を求めるフ
ィ−ドフォワード写像網(20)とを含むことを特徴と
する部分線形回帰モデルを提供する。
局所領域に分割する。
は、上記自己分割網(10)の出力に応答し、分割され
た各入力空間に対して部分的な線形写像(linear
mapping)を求める。
る。
ように、自己分割網(self partitioni
ng network)10とフィ−ドフォワード写像
網(feedforward mapping net
work)20により構成される。
局所領域に分割する機能を遂行する。
割された各入力空間に対して部分的な線形写像(lin
ear mapping)を求める機能を担当する。
に印加されると、上記自己分割網10の、一つの出力ノ
ードのみが1の値を出力し、他は0の値を出力する。
目の層の各ノードは特定局所領域の中心点を媒介変数と
して有しており、次の放射形基底関数(radial
basis function)により出力を発生す
る。
のユークリッド距離‖X−c‖を意味し、γは局所領域
の大きさを決定する競争変数である。
ノ−ドのうち、特定入力パターンに対して中心点までの
距離が最も近いノードが最も大きい出力を発生する。
daptive PatternRecognitio
n and Neural Networks.Add
ison−Wesley Publishing Co
mpany,Inc.,1989.)を利用して、前述
した最も大きい出力を発生した一番目の層のノードを決
定する。
能を有しており、最大値を入力したノ−ドのみが1を出
力し余りのノードは出力が抑止される。
20内の隠れ層(hidden layer)の各ノー
ド(node)と出力層(output layer)
の各ノードの間の連結加重値(connection
weight value)としての役割を果たす。な
お、実際は、MAXNETの各ノ−ドの出力には、−e
が乗じられフィ−ドフォワ−ド網に送られる。
内の隠れ層の各ノードにとって、連結加重値は入力パタ
ーンによって変化する。MAXNETの出力が1である
時のみ、これに対応する隠れ層のノードは学習を行い、
また、出力を発生する。
られる、入出力関数関係は次の通りである。
xのj番目要素であり、μi(x)はフィ−ドフォワー
ド写像網20内隠れ層の各ノードと出力層の各ノードの
間の加重値で、ωijはフィ−ドフォワード写像網20内
i番目隠れ層ノードとj番目入力層ノードの間の加重値
である。また、χは、入力ベクトルが存在する入力領域
を示す。
化関数(linear activation fun
ction)である。
るための学習方法を説明する。
力パターンによって網を自動的に構成し、必要な時にノ
ードを生成させる。
る。
に印加された時に、現在、存在する前記1番目の層の複
数のノード各々から出力されるノード出力の合計が任意
のスレショルド値(T)より小さい場合に、その入力パ
ターンに対応する局所領域を担当するノードが無いと判
定し、自己分割網10とフィ−ドフォワード写像網20
に、この局所領域を担当する新たなノードを生成する。
たノードの中心を、前記新たな入力パターンの入力ベク
トルによって初期化し、フィ−ドフォワード写像網20
のノードの加重値を任意に設定する。
ノードが1の出力を発生すれば自己分割網10の1番目
の層の当該局所領域を担当するノードと、フィ−ドフォ
ワード写像網20の隠れ層の当該局所領域を担当するノ
ードの媒介変数(荷重値ベクトル)を調整する。
番目の層のi番目ノードの中心(媒介変数)は次の式に
依り更新される。
番目ノードのかくれ層の加重値ベクトルは次の式に依り
更新される。
する出力誤差であり、式(6)のIは単位行列である。
また、肩にT添えられたXは、ベトルXの転置ベクトル
を表す。
任意性(randomness)と非線形性(nonl
inearity)が強いMackey−Glass
(M−G)カオチック時系列予測問題に適用した場合に
ついて説明する。
=17とした時、任意性と非線形性が強い時系列が発生
される(図4参照)。
x(t−6),x(t−12),x(t−18)の、四
つの過去データが用いられる。
プ後の、x(t+85)である。
ルを構成し、媒介変数を調節するために式(7)の初期
値x(0)=0.9に対して、t=2000から生成さ
れた500個のデータを用いた(図2)。
500個のデータを用いた(図3)。
001,α=10,000と設定した。
9まで0.0001間隔に増加させて19個の回帰モデ
ルを構成した。
83個の隠れ層ノードを生成した。各々の場合の性能を
図4に示した。
個の隠れ層ノードを生成した。また、この時4.8%E
nrms(平均自乗誤差の二乗根(square roo
t)を出力値の標準偏差で割った値)の性能を得た。
の時系列を表わす実線と本モデルによって予測された時
系列を表わす点線が殆ど一致するので、推定誤差は肉眼
で識別することは殆ど不可能である。
時系列例の性能を比較したものを表で示した。
eural Network(TNN)(A.S.La
pedes and R.farber.Nonlin
ear signal processing usi
ng neural networks:Predic
tion and system modeling.
Technical Report LA−UR−87
−2662,Losalamos National
Laboratory,1987.),Locally
−Tuned Processing Units(L
TPU)(J.Moody and C.J.Dark
en.Fast learningnetworks
of locally−tuned processi
ngunits.Neural Computatio
n 1,pages 281〜283,1990.),
Multi−Resolution Hierarch
ies(MRH)(J.Moody and C.J.
Darken.Fast learning netw
orks of locally−tuned pro
cessing units.Neural Comp
utation,1:281〜294,1989.)及
びCascade−Correlation Netw
ork(CCN)(R.S.Crowder.Pred
icting the mackey−glass t
ime series with cascade−c
orrelation learning.Proce
edings of the 1990 Connec
tionist Models Summer Sch
ool,edited by D.Touretzky
et.al.,pages 117〜123,199
0.)方法等である。
の結論を下すことができる。
も速いが、多くの調整媒介変数を必要とする。
計算時間が非常に多く要求される。
はLTPUとMRH方法に比べて著しく少ない媒介変数
で済み、TNNに比べて800〜1600倍の計算速度
が向上すると共に、最も良い予測性能を示す。
によれば、入力空間を重ならない局所領域に分割するの
で、局所平均法に比べて少ない媒介変数規模で良い性能
を得ることができる。また、従来の部分線形回帰法にお
いて難しい問題であった部分線形片(linear p
iece)の構成を行う必要がない。また、多層ニュ−
ラルネットワ−ク法に比べて著しく短い計算時間で済
む。また、所望の性能を得るように自動的に網を構成す
ることによって、局所最小点問題を解決することができ
る。
造を示す図である。
列(Chaotic time series)を示す
図である。
カオチック時系列を示す図である。
たノード数と、部分線形回帰モデルの予測性能を示す図
である。
従来の他方法との時系列予測性能の比較を示す図であ
る。
Claims (4)
- 【請求項1】時間の進行と関連して発生したデータを処
理してそのデータを発生させたシステムの関数関係を検
出する回帰モデルにおいて、 入力空間を、重ならない複数の局所領域に分割する自己
分割網(10)と、 隠れ層と出力層を含み、上記自己分割網(10)の出力
に応答して上記複数の局所領域の各々に対する線形写像
を求めるフィ−ドフォワード写像網(20)とを含むこ
とを特徴とする部分線形回帰モデル。 - 【請求項2】請求項1において、 上記自己分割網(10)は複数のノードを含み、 上記複数のノード各々は特定局所領域の中心点を媒介変
数として有し、 上記複数のノードのうちの、入力ベクトルと上記中心点
の間の距離が最も近い一つのノードのみが1を出力し、
他のノードは0を出力することを特徴とする部分線形回
帰モデル。 - 【請求項3】請求項1または請求項2において、 上記フィ−ドフォワード写像網(20)は、上記自己分
割網(10)の上記出力を上記隠れ層を形成するノード
と上記出力層の間の加重値として用いることを特徴とす
る部分線形回帰モデル。 - 【請求項4】請求項2において、 上記自己分割網(10)を構成する上記複数のノードの
うちの1を出力するノードと連結される、上記フィ−ド
フォワード写像網(20)内の上記隠れ層のノードのみ
が学習に参加し、かつ、出力を生成することを特徴とす
る部分線形回帰モデル。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019930015129A KR970006030B1 (ko) | 1993-08-04 | 1993-08-04 | 부분선형 회귀모형 구조 |
KR93-15129 | 1993-08-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07152714A true JPH07152714A (ja) | 1995-06-16 |
JP2860057B2 JP2860057B2 (ja) | 1999-02-24 |
Family
ID=19360773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6183717A Expired - Fee Related JP2860057B2 (ja) | 1993-08-04 | 1994-08-04 | ニューラルネットワークシステム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2860057B2 (ja) |
KR (1) | KR970006030B1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100444063C (zh) * | 2004-12-14 | 2008-12-17 | 株式会社东芝 | 雨水排水支援系统和支援方法 |
US8606544B2 (en) * | 2006-07-25 | 2013-12-10 | Fisher-Rosemount Systems, Inc. | Methods and systems for detecting deviation of a process variable from expected values |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100397467B1 (ko) * | 2000-09-29 | 2003-09-13 | 주식회사 피스트 글로벌 | 공변성을 갖는 확률변수에 대한 시뮬레이션 방법 및 이를기록한 컴퓨터로 읽을 수 있는 기록매체 |
KR101458004B1 (ko) * | 2013-12-26 | 2014-11-04 | 주식회사 코스콤 | 인공 신경망 모형을 이용한 주가 등락 예측 시스템 및 주가 등락 예측 방법 |
-
1993
- 1993-08-04 KR KR1019930015129A patent/KR970006030B1/ko not_active IP Right Cessation
-
1994
- 1994-08-04 JP JP6183717A patent/JP2860057B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100444063C (zh) * | 2004-12-14 | 2008-12-17 | 株式会社东芝 | 雨水排水支援系统和支援方法 |
US8606544B2 (en) * | 2006-07-25 | 2013-12-10 | Fisher-Rosemount Systems, Inc. | Methods and systems for detecting deviation of a process variable from expected values |
Also Published As
Publication number | Publication date |
---|---|
KR950006634A (ko) | 1995-03-21 |
KR970006030B1 (ko) | 1997-04-23 |
JP2860057B2 (ja) | 1999-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yuan et al. | A method for estimating the number of hidden neurons in feed-forward neural networks based on information entropy | |
JP6908302B2 (ja) | 学習装置、識別装置及びプログラム | |
CN111612125A (zh) | 一种面向在线学习的新型htm时间池方法及其系统 | |
CN113778691B (zh) | 一种任务迁移决策的方法、装置及系统 | |
CN112508190A (zh) | 结构化稀疏参数的处理方法、装置、设备及存储介质 | |
Schäfer et al. | Simulation of spiking neural networks—architectures and implementations | |
CN117236421A (zh) | 一种基于联邦知识蒸馏的大模型训练方法 | |
Okuno et al. | Combining multiple forecasts for multivariate time series via state-dependent weighting | |
JP3515267B2 (ja) | 多層神経回路網学習装置 | |
JPH07152714A (ja) | 部分線形回帰モデル | |
CN116888605A (zh) | 神经网络模型的运算方法、训练方法及装置 | |
Roy et al. | Hardware efficient, neuromorphic dendritically enhanced readout for liquid state machines | |
Xu et al. | Phase space reconstruction-based conceptor network for time series prediction | |
Lavaei et al. | Dynamic analysis of structures using neural networks | |
CN116956081A (zh) | 面向异构社交网络分布外泛化的社交标签预测方法及系统 | |
CN109697511B (zh) | 数据推理方法、装置及计算机设备 | |
Xu et al. | Online Fault Diagnosis Using Bioinspired Spike Neural Network | |
CN113283986B (zh) | 算法交易系统及基于该系统的算法交易模型的训练方法 | |
Atanassov et al. | Generalized nets as tools for modelling of the neural networks | |
Sedykh et al. | Comparison of Learning Hierarchical Dynamic Neuro-neighborhood Models Based on Perceptron and Radial-basic Functions | |
Li et al. | Echo state network-based visibility graph method for nonlinear time series prediction | |
JP3029451B2 (ja) | ファジィ制御装置 | |
Yu et al. | A multidirectional associative memory based on self-organizing incremental neural network | |
JP3312042B2 (ja) | 学習機械 | |
JP2813567B2 (ja) | 推論規則決定装置及び推論規則決定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19981124 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071204 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081204 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091204 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |