JPH0962646A - 関数近似装置 - Google Patents
関数近似装置Info
- Publication number
- JPH0962646A JPH0962646A JP7236160A JP23616095A JPH0962646A JP H0962646 A JPH0962646 A JP H0962646A JP 7236160 A JP7236160 A JP 7236160A JP 23616095 A JP23616095 A JP 23616095A JP H0962646 A JPH0962646 A JP H0962646A
- Authority
- JP
- Japan
- Prior art keywords
- linear function
- function
- linear
- unit
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Complex Calculations (AREA)
Abstract
(57)【要約】
【課題】 関数近似装置において、線形演算結果を補う
形でニューラルネットによる非線形演算を平行して行う
ことにより、認識精度を落とすことなく、非線形演算の
学習時間を短縮することを可能にする。 【解決手段】 入力装置１よりデータを入力し、非線形
関数部３、線形関数部４は、それぞれデータを受け取
り、認識辞書部６，８の行列値の値を用いて照合部５，
７で照合を行い結果を出力する。誤差検出部１０では線
形関数部４からの出力値と教師信号１５との差が求めら
れる。この差を教師信号として非線形関数部の学習を行
う。学習終了後、線形関数部４と非線形関数部３の出力
値が合算部９で足し合わされ出力装置１１から出力され
る。
形でニューラルネットによる非線形演算を平行して行う
ことにより、認識精度を落とすことなく、非線形演算の
学習時間を短縮することを可能にする。 【解決手段】 入力装置１よりデータを入力し、非線形
関数部３、線形関数部４は、それぞれデータを受け取
り、認識辞書部６，８の行列値の値を用いて照合部５，
７で照合を行い結果を出力する。誤差検出部１０では線
形関数部４からの出力値と教師信号１５との差が求めら
れる。この差を教師信号として非線形関数部の学習を行
う。学習終了後、線形関数部４と非線形関数部３の出力
値が合算部９で足し合わされ出力装置１１から出力され
る。
Description
【０００１】
【発明の属する技術分野】本発明は、関数近似装置に関
し、特に線形関数部とニューラルネットワークによる非
線形関数部とを備えた関数近似装置に関する。
し、特に線形関数部とニューラルネットワークによる非
線形関数部とを備えた関数近似装置に関する。
【０００２】
【従来の技術】関数近似装置は、入力と出力の関係を表
わす関数を特定または近似する装置であり、例えば、入
力データとして様々な気象データを入力すると出力デー
タとして降雨量を予測する降雨予測装置などが知られて
いる。
わす関数を特定または近似する装置であり、例えば、入
力データとして様々な気象データを入力すると出力デー
タとして降雨量を予測する降雨予測装置などが知られて
いる。
【０００３】図９は従来の降雨予測装置の概略構成を示
すブロック図である。入力装置３１と、関数部３２と、
ディスプレイ装置等の出力手段３５を備えている。ま
た、関数部３２は、照合手段３３と、認識辞書部３４と
を備えている。
すブロック図である。入力装置３１と、関数部３２と、
ディスプレイ装置等の出力手段３５を備えている。ま
た、関数部３２は、照合手段３３と、認識辞書部３４と
を備えている。
【０００４】入力装置３１から与えられた入力データ
は、ｚ次元の特徴量ベクトルとして、認識部３２の照合
手段３３に供給される。照合手段３３では、ｚ次元の特
徴量ベクトルを認識辞書部３４を用いて出力値を計算
し、出力値は出力装置３５に表示される。辞書の学習の
際には、教師信号３６が入力されて、認識辞書部３４内
の辞書が更新される。
は、ｚ次元の特徴量ベクトルとして、認識部３２の照合
手段３３に供給される。照合手段３３では、ｚ次元の特
徴量ベクトルを認識辞書部３４を用いて出力値を計算
し、出力値は出力装置３５に表示される。辞書の学習の
際には、教師信号３６が入力されて、認識辞書部３４内
の辞書が更新される。
【０００５】認識辞書の学習方法には例えば次に示すよ
うな２通りの方法が良く知られている。一つは、ニュー
ラルネットワークの学習方法を用いる方法で、「１９８
６年、イン・パラレル・ディストリビュティド・プロセ
ッシング、第１巻、３１８〜３６２頁（In Parallel Di
stributed Processing、Vol.1,pp.318-362）」に示され
るような誤差逆伝搬法を用いる方法である。もう一つ
は、重回帰分析などの線形解析を用いる方法である。
うな２通りの方法が良く知られている。一つは、ニュー
ラルネットワークの学習方法を用いる方法で、「１９８
６年、イン・パラレル・ディストリビュティド・プロセ
ッシング、第１巻、３１８〜３６２頁（In Parallel Di
stributed Processing、Vol.1,pp.318-362）」に示され
るような誤差逆伝搬法を用いる方法である。もう一つ
は、重回帰分析などの線形解析を用いる方法である。
【０００６】
【発明が解決しようとする課題】この従来の重回帰分析
等の線形解析で認識辞書を学習した関数近似装置では、
入力データと教師信号の関係に非線形要素が含まれる場
合、認識精度が上がらない。また、ニューラルネットワ
ークで認識辞書を学習した関数近似装置では、認識制度
が、重回帰分析等の線形解析で認識辞書を学習した関数
近似装置の認識精度を上回るものの、認識辞書の学習に
時間がかかるという問題がある。
等の線形解析で認識辞書を学習した関数近似装置では、
入力データと教師信号の関係に非線形要素が含まれる場
合、認識精度が上がらない。また、ニューラルネットワ
ークで認識辞書を学習した関数近似装置では、認識制度
が、重回帰分析等の線形解析で認識辞書を学習した関数
近似装置の認識精度を上回るものの、認識辞書の学習に
時間がかかるという問題がある。
【０００７】
【課題を解決するための手段】上述した問題点を解決す
るため、本発明の関数近似装置は、データを入力する入
力装置と、線形関数部と、非線形関数部と、両関数部の
出力値合算する合算部と、合算部の結果を出力する出力
装置とによって構成される。線形関数部は、入力データ
と教師信号に基づいて、重回帰分析等の線形解析によっ
て線形関数を作成する第１認識辞書部と、この第１認識
辞書部で作成された線形関数に入力装置からデータを入
力して出力値を計算する第１照合部とから構成される。
また、非線形関数部は、教師信号と前記線形関数の出力
値との差を表わす非線形関数をニューラルネットワーク
の学習方法を用いて作成する第２認識辞書部と、この第
２認識辞書部で作成された非線形関数に入力装置からデ
ータを入力して出力値を計算する第２照合部とから構成
される。
るため、本発明の関数近似装置は、データを入力する入
力装置と、線形関数部と、非線形関数部と、両関数部の
出力値合算する合算部と、合算部の結果を出力する出力
装置とによって構成される。線形関数部は、入力データ
と教師信号に基づいて、重回帰分析等の線形解析によっ
て線形関数を作成する第１認識辞書部と、この第１認識
辞書部で作成された線形関数に入力装置からデータを入
力して出力値を計算する第１照合部とから構成される。
また、非線形関数部は、教師信号と前記線形関数の出力
値との差を表わす非線形関数をニューラルネットワーク
の学習方法を用いて作成する第２認識辞書部と、この第
２認識辞書部で作成された非線形関数に入力装置からデ
ータを入力して出力値を計算する第２照合部とから構成
される。
【０００８】図１０は本発明の原理を説明する図であっ
て、説明の簡単のため、入力をｘとし、出力をｙとし、
図中のドットは、入力データ（ｘ）とそれに対する出力
データである教師信号（ｙ）の組合せを表わしている。
本発明の関数近似装置はｙとｘとの関係を、関数Ｆ
（ｘ）で近似する装置である。まず、前記ドット（入力
データと教師信号）を表わすように、重回帰分析等の線
形解析によって線形関数Ｌ（ｘ）を作成する。次いで、
この線形関数Ｌ（ｘ）の出力値（図１０のａ）と教師信
号（図１０のｂ）との差ｄを表わす非線形関数Ｎ（ｘ）
を作成する。これは、例えば、誤差逆伝搬法等を用いて
作成する。線形関数Ｌ（ｘ）と非線形関数Ｎ（ｘ）との
和が求める関数Ｆ（ｘ）となる。線形関数部において前
記線形関数Ｌ（ｘ）が作成され、非線形関数部において
上記非線形関数Ｎ（ｘ）が作成され、合算部において両
者は合算される。
て、説明の簡単のため、入力をｘとし、出力をｙとし、
図中のドットは、入力データ（ｘ）とそれに対する出力
データである教師信号（ｙ）の組合せを表わしている。
本発明の関数近似装置はｙとｘとの関係を、関数Ｆ
（ｘ）で近似する装置である。まず、前記ドット（入力
データと教師信号）を表わすように、重回帰分析等の線
形解析によって線形関数Ｌ（ｘ）を作成する。次いで、
この線形関数Ｌ（ｘ）の出力値（図１０のａ）と教師信
号（図１０のｂ）との差ｄを表わす非線形関数Ｎ（ｘ）
を作成する。これは、例えば、誤差逆伝搬法等を用いて
作成する。線形関数Ｌ（ｘ）と非線形関数Ｎ（ｘ）との
和が求める関数Ｆ（ｘ）となる。線形関数部において前
記線形関数Ｌ（ｘ）が作成され、非線形関数部において
上記非線形関数Ｎ（ｘ）が作成され、合算部において両
者は合算される。
【０００９】
【発明の実施の形態】次に、本発明について図面を参照
して説明する。図１は本発明の一実施例のブロック図で
ある。ここでは、気象項目データを入力して積雪荷重を
予測する積雪荷重予測装置を例にとって説明する。図１
に示すように、本装置は、気象データが入力される入力
装置１と、非線形関数部３と、線形関数部４と、両関数
部３，４の出力値を足し合わせる合算部９と、合算部９
の結果を表示する出力装置１１と、誤差検出部１０とを
備えている。また、線形関数部４は、第１照合部７と第
１認識辞書部８とを備え、非線形関数部３は、第２照合
部５と第２認識辞書部６とを備えている。
して説明する。図１は本発明の一実施例のブロック図で
ある。ここでは、気象項目データを入力して積雪荷重を
予測する積雪荷重予測装置を例にとって説明する。図１
に示すように、本装置は、気象データが入力される入力
装置１と、非線形関数部３と、線形関数部４と、両関数
部３，４の出力値を足し合わせる合算部９と、合算部９
の結果を表示する出力装置１１と、誤差検出部１０とを
備えている。また、線形関数部４は、第１照合部７と第
１認識辞書部８とを備え、非線形関数部３は、第２照合
部５と第２認識辞書部６とを備えている。
【００１０】以上の装置は、例えば、デジタルコンピュ
ータ及びその周辺機器等を用いて構成することができ
る。
ータ及びその周辺機器等を用いて構成することができ
る。
【００１１】以下、本装置の動作について説明する。本
装置の動作としては、学習モードと予測モードとがあ
り、はじめに学習モードの動作を図２のフローチャート
を用いて説明する。
装置の動作としては、学習モードと予測モードとがあ
り、はじめに学習モードの動作を図２のフローチャート
を用いて説明する。
【００１２】本予測装置においては、入力装置１から、
気象項目データ（例えば、前日の積雪荷重、降水量、蒸
発量、平均相対湿度、正の換算気温、平均気温、全天日
射量等）が入力される。
気象項目データ（例えば、前日の積雪荷重、降水量、蒸
発量、平均相対湿度、正の換算気温、平均気温、全天日
射量等）が入力される。
【００１３】学習モードにおいては、まずスイッチ２，
１３，１４が切断されて、非線形関数部３の切り離しが
行われ（ステップ２１）、最初に線形関数部４の第１認
識辞書８の学習が行われる（ステップ２２）。このと
き、スイッチ１２はオンであり、学習に必要な教師信号
１５を第１認識辞書部８に取り込めるようになってい
る。
１３，１４が切断されて、非線形関数部３の切り離しが
行われ（ステップ２１）、最初に線形関数部４の第１認
識辞書８の学習が行われる（ステップ２２）。このと
き、スイッチ１２はオンであり、学習に必要な教師信号
１５を第１認識辞書部８に取り込めるようになってい
る。
【００１４】ステップ２２の学習の内容を図３に示す。
すなわち、認識辞書が設定済みかどうかチェックして
（ステップ４０１）、設定済みでなければ、重回帰分析
等の線形解析を用いて認識辞書を設定する（ステップ４
０２）。具体的には、教師信号ｔjである当日の積雪荷
重と気象項目データｇiとの組合せを数十日分用意し、
それらを順に第１認識辞書部８に入力して、次式で示さ
れる認識辞書Ｗji、Ｗ’j（定数）を求める。 ｔj＝ΣＷjiｇi＋Ｗ’j （１） ここで、ｉは入力層ｉ番目を表わし、ｊは出力層のｊ番
目を表わしている。なおΣはｉについての和を表わす。
すなわち、認識辞書が設定済みかどうかチェックして
（ステップ４０１）、設定済みでなければ、重回帰分析
等の線形解析を用いて認識辞書を設定する（ステップ４
０２）。具体的には、教師信号ｔjである当日の積雪荷
重と気象項目データｇiとの組合せを数十日分用意し、
それらを順に第１認識辞書部８に入力して、次式で示さ
れる認識辞書Ｗji、Ｗ’j（定数）を求める。 ｔj＝ΣＷjiｇi＋Ｗ’j （１） ここで、ｉは入力層ｉ番目を表わし、ｊは出力層のｊ番
目を表わしている。なおΣはｉについての和を表わす。
【００１５】例えば、入力層のセルが７個（ｉ＝７）、
出力層のセルが１個（ｊ＝１）であれば、（１）式は次
のとおりになる。 ｔ1＝Ｗ11ｇ1＋Ｗ12ｇ2＋…＋Ｗ17ｇ7＋Ｗ1 （２） この（２）式を、所定数の入力データおよび教師信号の
組合せについて解いて、Ｗ11，Ｗ12，…，Ｗ17，Ｗ1を
求め、第１認識辞書部８に記憶する。
出力層のセルが１個（ｊ＝１）であれば、（１）式は次
のとおりになる。 ｔ1＝Ｗ11ｇ1＋Ｗ12ｇ2＋…＋Ｗ17ｇ7＋Ｗ1 （２） この（２）式を、所定数の入力データおよび教師信号の
組合せについて解いて、Ｗ11，Ｗ12，…，Ｗ17，Ｗ1を
求め、第１認識辞書部８に記憶する。
【００１６】図２に戻って、線形関数部４の学習（ステ
ップ２２）が終了すると、次に非線形関数部３の学習の
ために、非線形学習部３の接続を行う（ステップ２
３）。すなわち、図１の構成において、スイッチ２，１
３，１４を接続し、スイッチ１２を切断する。これによ
り線形関数部４の学習を停止し、非線形関数部３の学習
（ステップ２４から２８まで）を開始する。
ップ２２）が終了すると、次に非線形関数部３の学習の
ために、非線形学習部３の接続を行う（ステップ２
３）。すなわち、図１の構成において、スイッチ２，１
３，１４を接続し、スイッチ１２を切断する。これによ
り線形関数部４の学習を停止し、非線形関数部３の学習
（ステップ２４から２８まで）を開始する。
【００１７】このとき、入力された気象項目データｇi
に対して、線形関数部での認識処理（ステップ２４）お
よび非線形関数部での認識処理（ステップ２５）は同時
に実行される。
に対して、線形関数部での認識処理（ステップ２４）お
よび非線形関数部での認識処理（ステップ２５）は同時
に実行される。
【００１８】まず、ステップ２４の処理は図４に示した
流れに従って処理される。すなわち、気象項目別データ
ｇiを入力し（ステップ６０１）、ステップ４０２（図
３）で設定した認識辞書ＷjiとバイアスＷ’jとを用い
て次式により出力ｈjを求める（ステップ６０２）。Σ
はｉについての和を表わす。 ｈj＝ΣＷji＋Ｗj （３）
流れに従って処理される。すなわち、気象項目別データ
ｇiを入力し（ステップ６０１）、ステップ４０２（図
３）で設定した認識辞書ＷjiとバイアスＷ’jとを用い
て次式により出力ｈjを求める（ステップ６０２）。Σ
はｉについての和を表わす。 ｈj＝ΣＷji＋Ｗj （３）
【００１９】ステップ６０３（図４）において、求めた
ｈjを出力する。
ｈjを出力する。
【００２０】ステップ２５（図２）の処理は、図５に示
した流れに従って処理される。すなわち、第２認識辞書
部６の認識辞書が設定済みかどうか判断し（ステップ５
０１）、設定されていなければ、認識辞書を初期化する
（ステップ５０２）。本実施例では、入力層（ｉ）、中
間層（ｋ）、出力層（ｊ）の３段のニューロネットワー
クを用い、中間層、出力層のそれぞれの出力ｈk，ｑjは
それぞれ次のとおり表わされる。 ｈk＝ΣＷkiｇi＋Ｗ’k （４） ここでΣはｉについての和を表わす。 ｑj＝Σｕjk−ｈ’k＋ｕ’j （５） ここでΣはｋについての和を表わす。
した流れに従って処理される。すなわち、第２認識辞書
部６の認識辞書が設定済みかどうか判断し（ステップ５
０１）、設定されていなければ、認識辞書を初期化する
（ステップ５０２）。本実施例では、入力層（ｉ）、中
間層（ｋ）、出力層（ｊ）の３段のニューロネットワー
クを用い、中間層、出力層のそれぞれの出力ｈk，ｑjは
それぞれ次のとおり表わされる。 ｈk＝ΣＷkiｇi＋Ｗ’k （４） ここでΣはｉについての和を表わす。 ｑj＝Σｕjk−ｈ’k＋ｕ’j （５） ここでΣはｋについての和を表わす。
【００２１】上記Ｗki，Ｗ’k，ｕjk，ｕ’jを、１と−
１の間で乱数により設定し、認識辞書として第２認識辞
書部６に記憶する。なお上記Ｗ’k、ｕ’jは定数、ｈ’
kは中間層の出力ｈkをシグモイド関数によって変換した
値である。
１の間で乱数により設定し、認識辞書として第２認識辞
書部６に記憶する。なお上記Ｗ’k、ｕ’jは定数、ｈ’
kは中間層の出力ｈkをシグモイド関数によって変換した
値である。
【００２２】図５のステップ５０３においては、設定さ
れた認識辞書を使用して、入力データ１日分ごとに認識
処理を行い。その結果の出力値ｑ’jを計算する。ステ
ップ５０３の処理は図６に示した流れに従って処理され
る。すなわち、気象項目別データｇiを入力し（ステッ
プ７１）、ステップ７２において認識辞書Ｗkiとバイア
スＷ’kとにより以下の式により変換し中間層の出力ｈk
を求める。 ｈk＝ΣＷkiｇi＋Ｗ’k （６）
れた認識辞書を使用して、入力データ１日分ごとに認識
処理を行い。その結果の出力値ｑ’jを計算する。ステ
ップ５０３の処理は図６に示した流れに従って処理され
る。すなわち、気象項目別データｇiを入力し（ステッ
プ７１）、ステップ７２において認識辞書Ｗkiとバイア
スＷ’kとにより以下の式により変換し中間層の出力ｈk
を求める。 ｈk＝ΣＷkiｇi＋Ｗ’k （６）
【００２３】ステップ７３では、この出力ｈkに、下式
に示す示すシグモイド関数をかけｈ’ kとする。 Ｓ（ｘ）＝１／（１＋ｅｘｐ（−ｖｘ）） （７） ｈ’k＝Ｓ（ｈk） （８） ｖはシグモイド関数の傾きを制御するが、例えば、０．
７に設定する。さらに、ステップ７４では認識辞書中の
ｕjkとｕ’jとを用いてｈ’kを以下の式で変換し、出力
ｑjとする。Σはｋについての和を表わす。 ｑj＝Σｕjk−ｈ’k＋ｕ’j （９）
に示す示すシグモイド関数をかけｈ’ kとする。 Ｓ（ｘ）＝１／（１＋ｅｘｐ（−ｖｘ）） （７） ｈ’k＝Ｓ（ｈk） （８） ｖはシグモイド関数の傾きを制御するが、例えば、０．
７に設定する。さらに、ステップ７４では認識辞書中の
ｕjkとｕ’jとを用いてｈ’kを以下の式で変換し、出力
ｑjとする。Σはｋについての和を表わす。 ｑj＝Σｕjk−ｈ’k＋ｕ’j （９）
【００２４】ステップ７５では、次式でｑjをシグモイ
ド関数により変換しｑ’jを求め、この値はステップ７
６において出力される。 ｑ’j＝Ｓ（ｑj） （１０）
ド関数により変換しｑ’jを求め、この値はステップ７
６において出力される。 ｑ’j＝Ｓ（ｑj） （１０）
【００２５】図２に戻って、ステップ２６において、線
形関数部の出力値ｈjとと非線形関数部の出力値ｑ’jを
合算部９で足し合わせて合算値ｔ’jを求める。ステッ
プ２７において、教師信号ｔjと上記合算値ｔ’jとの差
δ’jを、誤差検出部１０によって計算する。誤差検出
部１０からの出力値δ’jを教師信号とし、ステップ２
８において、図７に詳述する学習を行って非線形関数部
の第２認識辞書６を修正する。１日分ごとの処理を、用
意した全気象データについて行い、誤差検出部１０から
の各々の出力値δ’jの二乗平均が０に収束するか、ま
たは与えられた回数になるまで学習を繰り返す（ステッ
プ２９）。
形関数部の出力値ｈjとと非線形関数部の出力値ｑ’jを
合算部９で足し合わせて合算値ｔ’jを求める。ステッ
プ２７において、教師信号ｔjと上記合算値ｔ’jとの差
δ’jを、誤差検出部１０によって計算する。誤差検出
部１０からの出力値δ’jを教師信号とし、ステップ２
８において、図７に詳述する学習を行って非線形関数部
の第２認識辞書６を修正する。１日分ごとの処理を、用
意した全気象データについて行い、誤差検出部１０から
の各々の出力値δ’jの二乗平均が０に収束するか、ま
たは与えられた回数になるまで学習を繰り返す（ステッ
プ２９）。
【００２６】図７に非線形関数の学習処理（ステップ２
８）の内容を示す。ステップ２７で計算した教師信号と
合算値との差（δ’j＝ｔj−ｔ’j）を求めた後、ステ
ップ８５においてｑjの誤差の評価値であるδjを次式に
より求める。 δj＝δ’jｑ’j（１−ｑ’j） （１１） このδjはｕjkの修正とステップ８８に始る誤差の逆伝
搬の計算に用いられる。ｕjkの修正項の計算はステップ
８６で以下の式によりなされる。 Δｕjk＝εδjｈ’k （１２） Δｕ’j ＝ξδj （１３） ここで与えられたパラメータε、ξはそれぞれ学習の効
果を表わすもので、大きくすると１回の学習での変化量
は大きく発散のおそれがあり、小さくすると学習に時間
がかかる。ここではε、ξを共に０．１とする。その修
正項を用いてステップ８７においてｕjkの修正が以下の
式でなされる。 ｕjk ←ｕjk＋Δｕjk （１４） ｕ’j←ｕ’j＋Δｕ’j （１５）
８）の内容を示す。ステップ２７で計算した教師信号と
合算値との差（δ’j＝ｔj−ｔ’j）を求めた後、ステ
ップ８５においてｑjの誤差の評価値であるδjを次式に
より求める。 δj＝δ’jｑ’j（１−ｑ’j） （１１） このδjはｕjkの修正とステップ８８に始る誤差の逆伝
搬の計算に用いられる。ｕjkの修正項の計算はステップ
８６で以下の式によりなされる。 Δｕjk＝εδjｈ’k （１２） Δｕ’j ＝ξδj （１３） ここで与えられたパラメータε、ξはそれぞれ学習の効
果を表わすもので、大きくすると１回の学習での変化量
は大きく発散のおそれがあり、小さくすると学習に時間
がかかる。ここではε、ξを共に０．１とする。その修
正項を用いてステップ８７においてｕjkの修正が以下の
式でなされる。 ｕjk ←ｕjk＋Δｕjk （１４） ｕ’j←ｕ’j＋Δｕ’j （１５）
【００２７】ステップ８８からは誤差δjをさらに伝搬
させ、Ｗki、Ｗ’kを修正する。ステップ８８ではｈkの
誤差評価をおこない以下の式でδ’kを求める。 δ’k＝Σｕjkδj （１６） これよりステップ８９においてｈ’kの誤差評価をおこ
ない以下の式でδkを計算する。 δk＝δ’kｈ’k（１−ｈ’k） （１７） このδkを用いてＷkiの修正項をステップ９０におい
て、以下の式で計算する。 ΔＷki ＝εδkｇi （１８） ΔＷ’k＝ξδk （１９） ここで用いたパラメータε、ξは共に前述の値と同じも
のを用いる。最後にこれからの修正項を用いてステップ
９１においてＷkiの修正をする。 Ｗki ←Ｗki＋ΔＷki （２０） Ｗ’k←Ｗ’k＋ΔＷ’k （２１）
させ、Ｗki、Ｗ’kを修正する。ステップ８８ではｈkの
誤差評価をおこない以下の式でδ’kを求める。 δ’k＝Σｕjkδj （１６） これよりステップ８９においてｈ’kの誤差評価をおこ
ない以下の式でδkを計算する。 δk＝δ’kｈ’k（１−ｈ’k） （１７） このδkを用いてＷkiの修正項をステップ９０におい
て、以下の式で計算する。 ΔＷki ＝εδkｇi （１８） ΔＷ’k＝ξδk （１９） ここで用いたパラメータε、ξは共に前述の値と同じも
のを用いる。最後にこれからの修正項を用いてステップ
９１においてＷkiの修正をする。 Ｗki ←Ｗki＋ΔＷki （２０） Ｗ’k←Ｗ’k＋ΔＷ’k （２１）
【００２８】次に実施例の予測モードの動作について図
８のフローチャートを用いて説明する。
８のフローチャートを用いて説明する。
【００２９】まず、入力装置１を非線形関数部３および
線形関数部８の両方に接続し（ステップ８１）、気象項
目データを両関数部３，８に入力する（ステップ８
２）。両関数部３，８においては、それぞれ上述したよ
うな学習で得られた認識辞書によって認識処理を行い
（ステップ８３，８４）、その結果を各々出力する。次
に、両関数部の出力値を合算し（ステップ８５）、ステ
ップ８６では予測処理の終了判定を行い、未終了の場合
には次の気象データを入力して再びステップ８２の処理
から再開する。予測処理が終了した場合には、合算値を
予測結果として出力する（ステップ８７）。
線形関数部８の両方に接続し（ステップ８１）、気象項
目データを両関数部３，８に入力する（ステップ８
２）。両関数部３，８においては、それぞれ上述したよ
うな学習で得られた認識辞書によって認識処理を行い
（ステップ８３，８４）、その結果を各々出力する。次
に、両関数部の出力値を合算し（ステップ８５）、ステ
ップ８６では予測処理の終了判定を行い、未終了の場合
には次の気象データを入力して再びステップ８２の処理
から再開する。予測処理が終了した場合には、合算値を
予測結果として出力する（ステップ８７）。
【００３０】以上のように、上記装置においては、線形
関数部と非線形関数部を設け、線形関数部の出力値と非
線形関数部の出力値を合算した値を最終出力値とする。
非線形関数部における認識辞書は、線形関数部の出力値
と教師信号との誤差を最小にするように設定されるた
め、線形関数部のみを用いた場合よりも認識精度が向上
する。また、上記装置では予め線形関数部の認識辞書を
学習し、線形関数部の出力値と望ましい出力値との差を
最小にするように、ニューラルネットの学習方式である
誤差逆伝搬法を用いて非線形関数部の認識辞書を学習す
るため、伝搬される誤差量が小さくなり、非線形関数部
の学習時間が短縮される。
関数部と非線形関数部を設け、線形関数部の出力値と非
線形関数部の出力値を合算した値を最終出力値とする。
非線形関数部における認識辞書は、線形関数部の出力値
と教師信号との誤差を最小にするように設定されるた
め、線形関数部のみを用いた場合よりも認識精度が向上
する。また、上記装置では予め線形関数部の認識辞書を
学習し、線形関数部の出力値と望ましい出力値との差を
最小にするように、ニューラルネットの学習方式である
誤差逆伝搬法を用いて非線形関数部の認識辞書を学習す
るため、伝搬される誤差量が小さくなり、非線形関数部
の学習時間が短縮される。
【００３１】以上、本発明の実施例について詳細に述べ
た。ここで、実施例中でもちいたパラメータは説明のた
めに便宜的に設定したが、これらのパラメータは説明中
で用いた値以外でも本発明には適用できる。実施例の説
明では、特徴量として気象項目別データを用いたが、従
来の関数近似装置で用いられている特徴量を適用するこ
とも容易にできる（例えば、文字認識、指紋認識等）。
また、実施例では３段のニューラルネットワーク（神経
回路網）シミュレーションを用いた方法により認識処理
及び学習処理を構成し説明したが、より多段の神経回路
網シミュレーションを用いたものも容易に類推可能であ
る。
た。ここで、実施例中でもちいたパラメータは説明のた
めに便宜的に設定したが、これらのパラメータは説明中
で用いた値以外でも本発明には適用できる。実施例の説
明では、特徴量として気象項目別データを用いたが、従
来の関数近似装置で用いられている特徴量を適用するこ
とも容易にできる（例えば、文字認識、指紋認識等）。
また、実施例では３段のニューラルネットワーク（神経
回路網）シミュレーションを用いた方法により認識処理
及び学習処理を構成し説明したが、より多段の神経回路
網シミュレーションを用いたものも容易に類推可能であ
る。
【００３２】
【発明の効果】以上説明にたように、本発明による関数
近似装置は、線形関数部と非線形関数部を設け、線形関
数部の出力値と非線形関数部の出力値を合算した値を最
終出力値とするため、入力値と出力値の間に非線形要素
が高い場合にも適用でき認識精度が向上する。また、予
め線形関数部の認識辞書を学習し、線形関数部の出力値
と望ましい出力値との差を最小にするように、ニューラ
ルネットの学習方式である誤差逆伝搬法を用いて非線形
関数部の認識辞書を学習しているため非線形関数部の学
習時間を短縮することができる。
近似装置は、線形関数部と非線形関数部を設け、線形関
数部の出力値と非線形関数部の出力値を合算した値を最
終出力値とするため、入力値と出力値の間に非線形要素
が高い場合にも適用でき認識精度が向上する。また、予
め線形関数部の認識辞書を学習し、線形関数部の出力値
と望ましい出力値との差を最小にするように、ニューラ
ルネットの学習方式である誤差逆伝搬法を用いて非線形
関数部の認識辞書を学習しているため非線形関数部の学
習時間を短縮することができる。
【図１】本発明の一実施例の構成を示すブロック線図で
ある。
ある。
【図２】実施例の動作（学習モード）を説明するフロー
チャートである。
チャートである。
【図３】線形関数部での学習処理の流れを示すフローチ
ャートである。
ャートである。
【図４】線形関数部での予測処理の流れを示すフローチ
ャートである。
ャートである。
【図５】非線形関数部での学習処理の流れを示すフロー
チャートである。
チャートである。
【図６】非線形関数部での予測処理の流れを示す。
【図７】非線形関数部での学習処理の流れを示す。
【図８】実施例の動作（予測モード）を説明するフロー
チャートである。
チャートである。
【図９】従来の降雨予測装置のブロック線図である。
【図１０】本発明の基本原理を説明する図である。
１ 入力装置 ２ スイッチ ３ 非線形関数部 ４ 線形関数部 ５ 第２照合部 ６ 第２認識辞書部 ７ 第１照合部 ８ 第１認識辞書 ９ 合算部 １０ 誤差検出部 １１ 出力装置 １２ スイッチ １３ スイッチ １４ スイッチ １５ 教師信号
Claims (3)
- 【請求項１】 データを入力する入力装置と、 入力データと教師信号に基づいて、重回帰分析等の線形
解析によって線形関数を作成する第１認識辞書部と、こ
の第１認識辞書部で作成された線形関数に入力装置から
データを入力して出力値を計算する第１照合部とから構
成される線形関数部と、 前記教師信号と前記線形関数の出力値との差を表わす非
線形関数をニューラルネットワークの学習方法を用いて
作成する第２認識辞書部と、この第２認識辞書部で作成
された非線形関数に入力装置からデータを入力して出力
値を計算する第２照合部とから構成される非線形関数部
と、 前記第１、第２の照合部からの出力を合算する合算部
と、 前記合算部の結果を出力する出力装置とを備えたことを
特徴とする関数近似装置。 - 【請求項２】 入力と出力との関係を表わす関数を近似
する関数近似装置において、入力データと教師信号を与
え、線形解析を用いて、前記入力データと教師信号の関
係を近似する線形関数を作成する線形関数部と、前記教
師信号と前記線形関数の出力値との差を表わす非線形関
数を作成する非線形関数部と、前記両関数部の出力値を
合算する合算部とを備えたことを特徴とする関数近似装
置。 - 【請求項３】 前記非線形関数部において、ニューラル
ネットワークの誤差逆伝搬法を用いて前記非線形関数を
作成する請求項２に記載の関数近似装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7236160A JPH0962646A (ja) | 1995-08-22 | 1995-08-22 | 関数近似装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7236160A JPH0962646A (ja) | 1995-08-22 | 1995-08-22 | 関数近似装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0962646A true JPH0962646A (ja) | 1997-03-07 |
Family
ID=16996664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7236160A Pending JPH0962646A (ja) | 1995-08-22 | 1995-08-22 | 関数近似装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0962646A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010015546A (ja) * | 2008-05-13 | 2010-01-21 | F Hoffmann La Roche Ag | リアルタイムｐｃｒ蛍光データ内のステップ型不連続部除去用のシステム及び方法 |
-
1995
- 1995-08-22 JP JP7236160A patent/JPH0962646A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010015546A (ja) * | 2008-05-13 | 2010-01-21 | F Hoffmann La Roche Ag | リアルタイムｐｃｒ蛍光データ内のステップ型不連続部除去用のシステム及び方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111130839B (zh) | 一种流量需求矩阵预测方法及其系统 | |
| CN109886498B (zh) | 一种基于特征选择的emd-gru短期电力负荷预测方法 | |
| Wang et al. | A general deep learning framework for history-dependent response prediction based on UA-Seq2Seq model | |
| US6424956B1 (en) | Stochastic encoder/decoder/predictor | |
| CN112365040A (zh) | 一种基于多通道卷积神经网络和时间卷积网络的短期风电功率预测方法 | |
| Tang et al. | Skill comparisons between neural networks and canonical correlation analysis in predicting the equatorial Pacific sea surface temperatures | |
| CN109934375B (zh) | 一种电力负荷预测方法 | |
| US20040019469A1 (en) | Method of generating a multifidelity model of a system | |
| US20230222325A1 (en) | Binary neural network model training method and system, and image processing method and system | |
| Al‐Shehri | Artificial neural network for forecasting residential electrical energy | |
| De et al. | Artificial neural network based prediction of maximum and minimum temperature in the summer monsoon months over India | |
| JP3374476B2 (ja) | ニューラルネットワーク構築方法 | |
| US6922712B2 (en) | Apparatus, methods, and computer program products for accurately determining the coefficients of a function | |
| CN116706907A (zh) | 基于模糊推理的光伏发电预测方法和相关设备 | |
| JPH0962646A (ja) | 関数近似装置 | |
| Tao et al. | A combined model of wavelet and neural network for short term load forecasting | |
| CN116227180A (zh) | 基于数据驱动的机组组合智能决策方法 | |
| CN115775156A (zh) | 基于混合学习模型的矿山经济评价原材料价格预测方法 | |
| Alrubaie | Cascade-Forward neural network for volterra integral equation solution | |
| CN113962431A (zh) | 一种两阶段特征处理的母线负荷预测方法 | |
| Muzdybayeva et al. | A Matrix Factorization-based Collaborative Filtering Framework for Course Recommendations in Higher Education | |
| Bi et al. | Multi-indicator Water Time Series Imputation with Autoregressive Generative Adversarial Networks | |
| Mukesh | Applications of neural computing for process chemists: I. Introduction to neural network | |
| Quero et al. | Neural generalized predictive self-tuning controllers | |
| CN113157895B (zh) | 智能对话分析方法、系统、计算机设备和存储介质 |