JPH06243273A - ニューラルネットワークの学習方式 - Google Patents
ニューラルネットワークの学習方式Info
- Publication number
- JPH06243273A JPH06243273A JP5052879A JP5287993A JPH06243273A JP H06243273 A JPH06243273 A JP H06243273A JP 5052879 A JP5052879 A JP 5052879A JP 5287993 A JP5287993 A JP 5287993A JP H06243273 A JPH06243273 A JP H06243273A
- Authority
- JP
- Japan
- Prior art keywords
- signal vector
- learning
- neural network
- vector
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 ニューラルネットワークの学習方式におい
て、教師信号ベクトルが誤差を含んでいる場合にも、正
しく、かつ高速の学習を行わせる学習方式を提供する。 【構成】 差分計算部５において、出力信号ベクトル４
（ＯＰ）と教師信号ベクトル２（ＴＰ）との差が計算さ
れ、誤差比較部６でこの差が誤差範囲ベクトル７の範囲
内であるかが判定される。範囲内である場合には学習指
示部８は学習指示を出さず、範囲内でない場合には学習
指示部８は入力信号ベクトル１（ＯＰ）と教師信号ベク
トル２（ＴＰ）の組の学習指示を出す。教師信号ベクト
ルの誤差範囲が既知である場合に、出力信号が教師信号
の誤差範囲内にあるときは学習を行わないから、学習に
要する時間を短縮できる。
て、教師信号ベクトルが誤差を含んでいる場合にも、正
しく、かつ高速の学習を行わせる学習方式を提供する。 【構成】 差分計算部５において、出力信号ベクトル４
（ＯＰ）と教師信号ベクトル２（ＴＰ）との差が計算さ
れ、誤差比較部６でこの差が誤差範囲ベクトル７の範囲
内であるかが判定される。範囲内である場合には学習指
示部８は学習指示を出さず、範囲内でない場合には学習
指示部８は入力信号ベクトル１（ＯＰ）と教師信号ベク
トル２（ＴＰ）の組の学習指示を出す。教師信号ベクト
ルの誤差範囲が既知である場合に、出力信号が教師信号
の誤差範囲内にあるときは学習を行わないから、学習に
要する時間を短縮できる。
Description
【０００１】
【産業上の利用分野】本発明は、入力信号ベクトルと教
師信号ベクトルを入力とし、出力信号ベクトルを出力と
するニューラルネットワークの学習方式に関する。
師信号ベクトルを入力とし、出力信号ベクトルを出力と
するニューラルネットワークの学習方式に関する。
【０００２】
【従来の技術】入力信号ベクトルと教師信号ベクトルを
入力とし、出力信号ベクトルを出力とするニューラルネ
ットワークは、パターン分類、関数同定に基づく予測等
を低コストで実現することが可能な実用的手法である。
入力信号ベクトルとは、ニューラルネットワークに入力
される、一般に多次元の信号のベクトルであり、出力信
号ベクトルとは、入力信号ベクトルをニューラルネット
ワークに入力した時にニューラルネットワークから出力
される、一般に多次元の信号のベクトルである。また、
教師信号ベクトルとは、ある入力信号ベクトルをニュー
ラルネットワークに入力したときの出力信号ベクトルと
して望ましい信号、すなわち模範値とでもいうべき信号
のベクトルである。
入力とし、出力信号ベクトルを出力とするニューラルネ
ットワークは、パターン分類、関数同定に基づく予測等
を低コストで実現することが可能な実用的手法である。
入力信号ベクトルとは、ニューラルネットワークに入力
される、一般に多次元の信号のベクトルであり、出力信
号ベクトルとは、入力信号ベクトルをニューラルネット
ワークに入力した時にニューラルネットワークから出力
される、一般に多次元の信号のベクトルである。また、
教師信号ベクトルとは、ある入力信号ベクトルをニュー
ラルネットワークに入力したときの出力信号ベクトルと
して望ましい信号、すなわち模範値とでもいうべき信号
のベクトルである。
【０００３】さて、ニューラルネットワークにパターン
分類、予測等を行わせる場合は、それに先立ち、ニュー
ラルネットワークに学習用データセットの学習を行わせ
ておく必要がある。学習用データセットは、入力信号ベ
クトルと教師信号ベクトルとの組のサンプルの集合で、
個々のデータを人為的に作成する場合と、実際の物理
的、化学的プロセスから計測によって得る場合とがあ
る。前者の例としては、文字分類を行わせるニューラル
ネットワークの学習用データセットを作成する場合で、
文字とその分類先は操作者が与える。後者の例として
は、ある物理系の伝達関数を同定するためのニューラル
ネットワークの学習用データセットを作成する場合で、
系の入力信号および出力信号を計測して、それらをそれ
ぞれ入力信号ベクトルおよび教師信号ベクトルとする。
分類、予測等を行わせる場合は、それに先立ち、ニュー
ラルネットワークに学習用データセットの学習を行わせ
ておく必要がある。学習用データセットは、入力信号ベ
クトルと教師信号ベクトルとの組のサンプルの集合で、
個々のデータを人為的に作成する場合と、実際の物理
的、化学的プロセスから計測によって得る場合とがあ
る。前者の例としては、文字分類を行わせるニューラル
ネットワークの学習用データセットを作成する場合で、
文字とその分類先は操作者が与える。後者の例として
は、ある物理系の伝達関数を同定するためのニューラル
ネットワークの学習用データセットを作成する場合で、
系の入力信号および出力信号を計測して、それらをそれ
ぞれ入力信号ベクトルおよび教師信号ベクトルとする。
【０００４】パターン分類、関数同定による予測等が可
能なニューラルネットワークとしては、パーセプトロ
ン、(M)ADALINE、バックプロパゲーションネットワーク
等が挙げられる。中でもバックプロパゲーションネット
ワークは、理論的には任意の関数を近似できることが知
られており、応用範囲の広いモデルである。これらのモ
デルの学習方式は、学習用データセットの中のある入力
信号ベクトルをニューラルネットワークに入力した時の
ニューラルネットワークの出力信号ベクトルとそれに対
する教師信号ベクトルとの差の、学習用データセットす
べてについての自乗和を最小化する方向（最急降下方
向）に内部構造を少しずつ変更することで学習を行うと
いうもので、通常はこのような動作を何回も繰り返すこ
とで出力信号ベクトルの精度を徐々に高めていく。学習
がうまく収束すれば、学習用データセットの中の任意の
入力信号ベクトルをニューラルネットワークに与える
と、ニューラルネットワークはそれに対する教師信号ベ
クトルに（限りなく）近い出力信号ベクトルを出力す
る。
能なニューラルネットワークとしては、パーセプトロ
ン、(M)ADALINE、バックプロパゲーションネットワーク
等が挙げられる。中でもバックプロパゲーションネット
ワークは、理論的には任意の関数を近似できることが知
られており、応用範囲の広いモデルである。これらのモ
デルの学習方式は、学習用データセットの中のある入力
信号ベクトルをニューラルネットワークに入力した時の
ニューラルネットワークの出力信号ベクトルとそれに対
する教師信号ベクトルとの差の、学習用データセットす
べてについての自乗和を最小化する方向（最急降下方
向）に内部構造を少しずつ変更することで学習を行うと
いうもので、通常はこのような動作を何回も繰り返すこ
とで出力信号ベクトルの精度を徐々に高めていく。学習
がうまく収束すれば、学習用データセットの中の任意の
入力信号ベクトルをニューラルネットワークに与える
と、ニューラルネットワークはそれに対する教師信号ベ
クトルに（限りなく）近い出力信号ベクトルを出力す
る。
【０００５】特に、バックプロパゲーションネットワー
クにおける学習方式は、 D. E. Rumelhart, G. E. Hint
on, R. J. Williamsによる "Learning Internal Repres
entations by Error Propagation" ( Parallel Distrib
uted Processing, D. E. Rumelhart, J.L.McClelland,
and the PDP Research Group, MIT Press, 1986)に示さ
れている。
クにおける学習方式は、 D. E. Rumelhart, G. E. Hint
on, R. J. Williamsによる "Learning Internal Repres
entations by Error Propagation" ( Parallel Distrib
uted Processing, D. E. Rumelhart, J.L.McClelland,
and the PDP Research Group, MIT Press, 1986)に示さ
れている。
【０００６】
【発明が解決しようとする課題】入力信号ベクトルと教
師信号ベクトルを入力とし、出力信号ベクトルを出力と
するニューラルネットワークの学習に用いる教師信号ベ
クトルを、物理的計測手段、または化学的計測手段、あ
るいはその他の計測手段によって得る場合、多くの場合
は計測値には定量的計測誤差が含まれている。したがっ
て、入力信号ベクトルが同一であっても、それに対する
教師信号ベクトルは計測誤差のため一般には一致しな
い。このような信号について従来の学習方式を適用した
場合、教師信号ベクトルの含んでいる計測誤差に影響を
受け、正しい学習を行わせるのが困難であるという問題
点があった。
師信号ベクトルを入力とし、出力信号ベクトルを出力と
するニューラルネットワークの学習に用いる教師信号ベ
クトルを、物理的計測手段、または化学的計測手段、あ
るいはその他の計測手段によって得る場合、多くの場合
は計測値には定量的計測誤差が含まれている。したがっ
て、入力信号ベクトルが同一であっても、それに対する
教師信号ベクトルは計測誤差のため一般には一致しな
い。このような信号について従来の学習方式を適用した
場合、教師信号ベクトルの含んでいる計測誤差に影響を
受け、正しい学習を行わせるのが困難であるという問題
点があった。
【０００７】本発明は、かかる従来の学習方式の問題点
に鑑み、教師信号ベクトルが誤差を含んでいる場合にお
いても、正しく、かつ高速にニューラルネットワークに
学習を行わせる学習方式を提供することを目的とする。
に鑑み、教師信号ベクトルが誤差を含んでいる場合にお
いても、正しく、かつ高速にニューラルネットワークに
学習を行わせる学習方式を提供することを目的とする。
【０００８】
【課題を解決するための手段】上記目的を達成するた
め、本発明による学習方式は、教師信号ベクトルが含ん
でいる誤差を考慮した学習をさせることにより、正しい
学習を高速に行わせるようにするもので、入力信号ベク
トルと教師信号ベクトルを入力とし、出力信号ベクトル
を出力とするニューラルネットワークの学習方式におい
て、出力信号ベクトルと教師信号ベクトルの差を計算す
る差分計算手段と、差分計算手段からの出力が教師信号
ベクトルの誤差範囲を示す誤差範囲ベクトルの範囲内に
入っている場合は「真」を出力し、差分計算手段の出力
値が教師信号ベクトルの誤差範囲を示す誤差範囲ベクト
ルの範囲内に入っていない場合は「偽」を出力する誤差
比較手段と、誤差比較手段の出力値が「真」のときには
ニューラルネットワークに入力信号ベクトルと教師信号
ベクトルの組を学習しないことを指示し、誤差比較手段
の出力値が「偽」のときにはニューラルネットワークに
入力信号ベクトルと教師信号ベクトルの組を学習するこ
とを指示する学習指示手段を有するものである。
め、本発明による学習方式は、教師信号ベクトルが含ん
でいる誤差を考慮した学習をさせることにより、正しい
学習を高速に行わせるようにするもので、入力信号ベク
トルと教師信号ベクトルを入力とし、出力信号ベクトル
を出力とするニューラルネットワークの学習方式におい
て、出力信号ベクトルと教師信号ベクトルの差を計算す
る差分計算手段と、差分計算手段からの出力が教師信号
ベクトルの誤差範囲を示す誤差範囲ベクトルの範囲内に
入っている場合は「真」を出力し、差分計算手段の出力
値が教師信号ベクトルの誤差範囲を示す誤差範囲ベクト
ルの範囲内に入っていない場合は「偽」を出力する誤差
比較手段と、誤差比較手段の出力値が「真」のときには
ニューラルネットワークに入力信号ベクトルと教師信号
ベクトルの組を学習しないことを指示し、誤差比較手段
の出力値が「偽」のときにはニューラルネットワークに
入力信号ベクトルと教師信号ベクトルの組を学習するこ
とを指示する学習指示手段を有するものである。
【０００９】
【作用】本発明の構成および作用を図を用いて詳細に説
明する。図１において、Ｊ次元の入力信号ベクトルとＫ
次元の教師信号ベクトルの組Ｎ個からなる学習用データ
セットのＰ番目（1 ≦Ｐ≦Ｎ）の入力信号ベクトル１
（IP）をニューラルネットワーク３に入力し、Ｋ次元の
出力信号ベクトル４（OP）を得る。
明する。図１において、Ｊ次元の入力信号ベクトルとＫ
次元の教師信号ベクトルの組Ｎ個からなる学習用データ
セットのＰ番目（1 ≦Ｐ≦Ｎ）の入力信号ベクトル１
（IP）をニューラルネットワーク３に入力し、Ｋ次元の
出力信号ベクトル４（OP）を得る。
【００１０】次に、差分計算部５にて、出力信号ベクト
ル４（OP）から教師信号ベクトル２（TP）を減算する。
この結果得られる差分ベクトルＤのｉ番目の要素をDi、
出力信号ベクトル４（OP）及び教師信号ベクトル２（T
P）のｉ番目の要素をそれぞれOPi 、TPi とすると、 Di = OPi - TPi (1 ≦ i ≦ K) である。
ル４（OP）から教師信号ベクトル２（TP）を減算する。
この結果得られる差分ベクトルＤのｉ番目の要素をDi、
出力信号ベクトル４（OP）及び教師信号ベクトル２（T
P）のｉ番目の要素をそれぞれOPi 、TPi とすると、 Di = OPi - TPi (1 ≦ i ≦ K) である。
【００１１】このようにして得られた差分ベクトルが、
計測誤差の範囲を示す誤差範囲ベクトル７の範囲内に入
っているか否かの判定を誤差比較部６にて行う。この比
較は次のように行う。何らかの計測手段によって得られ
た教師信号ベクトルのｉ番目（1 ≦ｉ≦Ｋ）の値Tiの真
の値がViであるとき、Tiの誤差範囲が、 Ai ≦ Vi - Ti ≦ Bi であるとすると、誤差比較部６は、差分ベクトルＤのｉ
番目の要素Diにおいて、 Ai ≦ Di ≦ Bi がすべてのi （1 ≦ｉ≦Ｋ）について成り立つか否かの
判定を行う。判定結果は「真」または「偽」のいずれか
で、これが学習指示部８に渡される。
計測誤差の範囲を示す誤差範囲ベクトル７の範囲内に入
っているか否かの判定を誤差比較部６にて行う。この比
較は次のように行う。何らかの計測手段によって得られ
た教師信号ベクトルのｉ番目（1 ≦ｉ≦Ｋ）の値Tiの真
の値がViであるとき、Tiの誤差範囲が、 Ai ≦ Vi - Ti ≦ Bi であるとすると、誤差比較部６は、差分ベクトルＤのｉ
番目の要素Diにおいて、 Ai ≦ Di ≦ Bi がすべてのi （1 ≦ｉ≦Ｋ）について成り立つか否かの
判定を行う。判定結果は「真」または「偽」のいずれか
で、これが学習指示部８に渡される。
【００１２】学習指示部８は、誤差比較部６から渡され
た値が「偽」であるときには、ニューラルネットワーク
３に対し、入力信号１（IP）と教師信号２（TP）の組を
学習する指示を出す。ニューラルネットワーク３はそれ
本来の学習方式で学習を行う。一方、誤差比較部６から
渡された値が「真」であるときには、学習指示部８はニ
ューラルネットワーク３に対して学習指示を出さない。
ニューラルネットワーク３は、入力信号１（IP）と教師
信号２（IP）の組については学習しない。
た値が「偽」であるときには、ニューラルネットワーク
３に対し、入力信号１（IP）と教師信号２（TP）の組を
学習する指示を出す。ニューラルネットワーク３はそれ
本来の学習方式で学習を行う。一方、誤差比較部６から
渡された値が「真」であるときには、学習指示部８はニ
ューラルネットワーク３に対して学習指示を出さない。
ニューラルネットワーク３は、入力信号１（IP）と教師
信号２（IP）の組については学習しない。
【００１３】以上の処理をすべてのＰに対して行うこと
を１サイクルとし、これをある所定のサイクル数だけ繰
り返し行うか、または、あるサイクルにおいて、すべて
のＰについて誤差比較部８の出力が１度も「偽」となら
なかった場合に、ニューラルネットワーク３の学習を終
了する。
を１サイクルとし、これをある所定のサイクル数だけ繰
り返し行うか、または、あるサイクルにおいて、すべて
のＰについて誤差比較部８の出力が１度も「偽」となら
なかった場合に、ニューラルネットワーク３の学習を終
了する。
【００１４】この方式により、教師信号ベクトルに誤差
が含まれている場合も正しい学習を実行できる。しか
も、学習用データセットのすべての要素について常に学
習計算を行うわけではないので、学習に要する時間が短
縮される。
が含まれている場合も正しい学習を実行できる。しか
も、学習用データセットのすべての要素について常に学
習計算を行うわけではないので、学習に要する時間が短
縮される。
【００１５】
【実施例】次に、本発明の具体的な実施例を図面を用い
て説明する。ここでは、３層バックプロパゲーションネ
ットワークを用いて、入出力系の入力と出力の関係を示
す関数を同定する場合を例として説明する。対象となっ
ている系は２入力１出力で、２個の入力信号ｘ、ｙは、 ｚ= 0.8sin( ｘ＋ｙ) ＋0.1 (1) という関数で１個の出力信号ｚに変換されているものと
する。
て説明する。ここでは、３層バックプロパゲーションネ
ットワークを用いて、入出力系の入力と出力の関係を示
す関数を同定する場合を例として説明する。対象となっ
ている系は２入力１出力で、２個の入力信号ｘ、ｙは、 ｚ= 0.8sin( ｘ＋ｙ) ＋0.1 (1) という関数で１個の出力信号ｚに変換されているものと
する。
【００１６】ところが、何らかの計測手段によって得ら
れる出力信号ｚは、[-0.05, 0.05]に一様分布する計測
誤差を含んでいるものとする。すなわち、あるｘとｙに
対する系の出力信号の計測値ｕは、 ｕ= ｚ+ ｗ である。ｗは真の出力信号値ｚに含まれる計測誤差で、
[-0.05, 0.05] の一様乱数である。結局、「あるｘとｙ
を入力したらｕという出力が観測された」ということだ
けが、対象の系について外部から知り得るすべてである
とする。
れる出力信号ｚは、[-0.05, 0.05]に一様分布する計測
誤差を含んでいるものとする。すなわち、あるｘとｙに
対する系の出力信号の計測値ｕは、 ｕ= ｚ+ ｗ である。ｗは真の出力信号値ｚに含まれる計測誤差で、
[-0.05, 0.05] の一様乱数である。結局、「あるｘとｙ
を入力したらｕという出力が観測された」ということだ
けが、対象の系について外部から知り得るすべてである
とする。
【００１７】さて、ある入力信号(x, y)とそれに対する
出力信号の計測値(u) の組につき、２次元ベクトル(x,
y)をニューラルネットワークの入力信号ベクトル、１次
元ベクトル(u) を教師信号ベクトルとして、このような
サンプルの組を多数集めたものを学習用データセットと
する。これをニューラルネットワークに学習させること
によって、対象としている系の入出力関係を同定する。
出力信号の計測値(u) の組につき、２次元ベクトル(x,
y)をニューラルネットワークの入力信号ベクトル、１次
元ベクトル(u) を教師信号ベクトルとして、このような
サンプルの組を多数集めたものを学習用データセットと
する。これをニューラルネットワークに学習させること
によって、対象としている系の入出力関係を同定する。
【００１８】このような目的に本発明を適用した場合の
動作の様子を図２に示す。図２において、学習用データ
セットの１番目が与える入力信号ベクトル１のｘ、ｙの
値はそれぞれ0.125 、0.084 である。これをニューラル
ネットワーク３に入力し、ニューラルネットワーク３の
演算を行って得られた出力信号ベクトル４の値は0.332
である。次に、出力信号ベクトル４の値から教師信号ベ
クトル２の値である0.255 を減算した差分ベクトルの値
0.077 が、差分計算部５にて算出される。誤差比較部６
では、差分算出部５の演算結果である0.077 が、誤差範
囲ベクトル７が与える[-0.05, 0.05] に入っているか否
かをチェックする。
動作の様子を図２に示す。図２において、学習用データ
セットの１番目が与える入力信号ベクトル１のｘ、ｙの
値はそれぞれ0.125 、0.084 である。これをニューラル
ネットワーク３に入力し、ニューラルネットワーク３の
演算を行って得られた出力信号ベクトル４の値は0.332
である。次に、出力信号ベクトル４の値から教師信号ベ
クトル２の値である0.255 を減算した差分ベクトルの値
0.077 が、差分計算部５にて算出される。誤差比較部６
では、差分算出部５の演算結果である0.077 が、誤差範
囲ベクトル７が与える[-0.05, 0.05] に入っているか否
かをチェックする。
【００１９】0.077 ＞0.05であり、0.077 は誤差範囲[-
0.05, 0.05] に入っていないので、誤差比較部６は
「偽」という値を学習指示部８に渡す。「偽」という値
を受けた学習指示部８は、ニューラルネット３に対し、
入力信号ベクトル１と教師信号ベクトル２の組を学習す
るよう指示を出す。ニューラルネットワーク３は入力信
号ベクトル１と教師信号ベクトル２の組について学習演
算を行う。
0.05, 0.05] に入っていないので、誤差比較部６は
「偽」という値を学習指示部８に渡す。「偽」という値
を受けた学習指示部８は、ニューラルネット３に対し、
入力信号ベクトル１と教師信号ベクトル２の組を学習す
るよう指示を出す。ニューラルネットワーク３は入力信
号ベクトル１と教師信号ベクトル２の組について学習演
算を行う。
【００２０】また、図２において、学習用データセット
の２番目が与える入力信号ベクトル１のｘ、ｙの値はそ
れぞれ0.535 、0.948 である。これをニューラルネット
ワーク３に入力し、ニューラルネットワーク３の演算を
行って得られた出力信号ベクトル４の値は0.885 であ
る。次に、出力信号ベクトル４の値から教師信号ベクト
ル２の値である0.864 を減算した差分ベクトルの値0.02
1 が、差分計算部５にて算出される。誤差比較部６で
は、差分算出部５の演算結果である0.021 が、誤差範囲
ベクトル７が与える[-0.05, 0.05] に入っているか否か
をチェックする。-0.05 ≦ 0.021 ≦ 0.05 であり、0.
021 は誤差範囲[-0.05, 0.05] に入っているので、誤差
比較部６は「真」という値を学習指示部８に渡す。
「真」という値を受けた学習指示部８は、ニューラルネ
ット３に対し、入力信号ベクトル１と教師信号ベクトル
２の組を学習する指示を出さない。この結果、ニューラ
ルネットワーク３は入力信号ベクトル１と教師信号ベク
トル２の組について学習演算を行わない。
の２番目が与える入力信号ベクトル１のｘ、ｙの値はそ
れぞれ0.535 、0.948 である。これをニューラルネット
ワーク３に入力し、ニューラルネットワーク３の演算を
行って得られた出力信号ベクトル４の値は0.885 であ
る。次に、出力信号ベクトル４の値から教師信号ベクト
ル２の値である0.864 を減算した差分ベクトルの値0.02
1 が、差分計算部５にて算出される。誤差比較部６で
は、差分算出部５の演算結果である0.021 が、誤差範囲
ベクトル７が与える[-0.05, 0.05] に入っているか否か
をチェックする。-0.05 ≦ 0.021 ≦ 0.05 であり、0.
021 は誤差範囲[-0.05, 0.05] に入っているので、誤差
比較部６は「真」という値を学習指示部８に渡す。
「真」という値を受けた学習指示部８は、ニューラルネ
ット３に対し、入力信号ベクトル１と教師信号ベクトル
２の組を学習する指示を出さない。この結果、ニューラ
ルネットワーク３は入力信号ベクトル１と教師信号ベク
トル２の組について学習演算を行わない。
【００２１】このような動作を学習用データセットすべ
て（図２では 100個）に対して適用する。この動作を１
サイクルとすると、これを 100サイクル繰り返した結果
と、従来の学習方式（入力信号ベクトルと教師信号ベク
トルを毎回必ず学習する方式）を 100サイクル繰り返し
た場合の結果とを比較したものを図３に示す。図３は、
ニューラルネットワークの学習を開始してからの経過時
間と、
て（図２では 100個）に対して適用する。この動作を１
サイクルとすると、これを 100サイクル繰り返した結果
と、従来の学習方式（入力信号ベクトルと教師信号ベク
トルを毎回必ず学習する方式）を 100サイクル繰り返し
た場合の結果とを比較したものを図３に示す。図３は、
ニューラルネットワークの学習を開始してからの経過時
間と、
【００２２】
【数１】
【００２３】で定義される学習誤差Ｅとの関係をプロッ
トしたグラフである。
トしたグラフである。
【００２４】これより、本発明による方式が、従来方式
よりも学習誤差が早い時期に小さくなることがわかる。
例えば、学習誤差が1.0 に達するまでに要する時間は、
従来方式によると3.0 秒であるのに対し、本発明による
と2.4 秒である。
よりも学習誤差が早い時期に小さくなることがわかる。
例えば、学習誤差が1.0 に達するまでに要する時間は、
従来方式によると3.0 秒であるのに対し、本発明による
と2.4 秒である。
【００２５】また、100 回の繰り返し学習をするのに要
する時間は、従来方式によれば15.9秒であるのに対し、
本発明によれば11.5秒であり、従来方式よりも短い時間
で学習が終了していることがわかる。
する時間は、従来方式によれば15.9秒であるのに対し、
本発明によれば11.5秒であり、従来方式よりも短い時間
で学習が終了していることがわかる。
【００２６】図４は、学習用データセットの 100個の要
素について、入力信号ベクトル（２次元）の２個の値の
和を横軸に、それに対する教師信号ベクトル（１次元）
の値を縦軸にとってプロットしたグラフである。また、
グラフ中の３本の曲線は、(1) 式で与えられる曲線と、
それから±0.05だけ離れた曲線のグラフである。これよ
り、教師信号ベクトルの値は、(1) 式で与えられるｚを
中心に±0.05の範囲内を振れていることが分かる。
素について、入力信号ベクトル（２次元）の２個の値の
和を横軸に、それに対する教師信号ベクトル（１次元）
の値を縦軸にとってプロットしたグラフである。また、
グラフ中の３本の曲線は、(1) 式で与えられる曲線と、
それから±0.05だけ離れた曲線のグラフである。これよ
り、教師信号ベクトルの値は、(1) 式で与えられるｚを
中心に±0.05の範囲内を振れていることが分かる。
【００２７】図５は、本発明による方法で学習を行った
ニューラルネットワークに、学習用データセットの 100
個すべての入力信号ベクトル（２次元）を与えた場合に
ついて、グラフの横軸にニューラルネットワークに入力
した入力信号ベクトルの要素の和を、縦軸にニューラル
ネットワークの出力信号ベクトルの値をプロットしたグ
ラフである。グラフ中の３本の曲線は、図４と同様に
(1) 式で与えられる曲線と、それから±0.05だけ離れた
曲線のグラフである。ニューラルネットワークの出力信
号値の大部分が、(1) で与えれらるｚの±0.05の範囲内
に入っていることが分かる。
ニューラルネットワークに、学習用データセットの 100
個すべての入力信号ベクトル（２次元）を与えた場合に
ついて、グラフの横軸にニューラルネットワークに入力
した入力信号ベクトルの要素の和を、縦軸にニューラル
ネットワークの出力信号ベクトルの値をプロットしたグ
ラフである。グラフ中の３本の曲線は、図４と同様に
(1) 式で与えられる曲線と、それから±0.05だけ離れた
曲線のグラフである。ニューラルネットワークの出力信
号値の大部分が、(1) で与えれらるｚの±0.05の範囲内
に入っていることが分かる。
【００２８】図３、図５より、本発明による方法でニュ
ーラルネットの学習を行うことで関数の同定を行った場
合、入力信号ベクトルと誤差を含んだ教師信号ベクトル
からもとの関数をよく近似した関数を、短時間で同定で
きることが分かる。
ーラルネットの学習を行うことで関数の同定を行った場
合、入力信号ベクトルと誤差を含んだ教師信号ベクトル
からもとの関数をよく近似した関数を、短時間で同定で
きることが分かる。
【００２９】
【発明の効果】本発明によれば、教師信号ベクトルの誤
差範囲が既知である場合に、ニューラルネットワークの
学習計算においてニューラルネットワークの出力信号ベ
クトルが教師信号の誤差内にあるときは学習計算を行わ
ないようにしているから、教師信号に誤差が含まれてい
る場合も正しい学習を実行でき、かつ、学習に要する時
間が短縮される。
差範囲が既知である場合に、ニューラルネットワークの
学習計算においてニューラルネットワークの出力信号ベ
クトルが教師信号の誤差内にあるときは学習計算を行わ
ないようにしているから、教師信号に誤差が含まれてい
る場合も正しい学習を実行でき、かつ、学習に要する時
間が短縮される。
【図１】本発明の構成を示すブロック図である。
【図２】本発明の一実施例における信号値を示す図であ
る。
る。
【図３】本発明と従来方式の学習誤差の減少速度を比較
した図である。
した図である。
【図４】学習用データセットの入力信号ベクトルと教師
信号ベクトルの関係を示す図である。
信号ベクトルの関係を示す図である。
【図５】本発明による方式で学習を終えたニューラルネ
ットワークにおける学習用データセットの入力信号ベク
トルと、出力信号ベクトルの関係を示す図である。
ットワークにおける学習用データセットの入力信号ベク
トルと、出力信号ベクトルの関係を示す図である。
１ 入力信号ベクトル ２ 教師信号ベクトル ３ ニューラルネットワーク ４ 出力信号ベクトル ５ 差分計算部 ６ 誤差比較部 ７ 誤差範囲ベクトル ８ 学習指示部
Claims (3)
- 【請求項１】 入力信号ベクトルと教師信号ベクトルを
入力とし、出力信号ベクトルを出力とするニューラルネ
ットワークの学習方式において、 前記出力信号ベクトルと前記教師信号ベクトルの差を計
算する差分計算手段と、 前記差分計算手段からの出力と誤差範囲ベクトルとを比
較する誤差比較手段と、 前記誤差比較手段からの出力により、ニューラルネット
ワークに入力信号ベクトルおよび教師信号ベクトルの組
を学習するか否かを指示する学習指示手段とを有するこ
とを特徴とするニューラルネットワークの学習方式。 - 【請求項２】 前記誤差範囲ベクトルは、前記教師信号
ベクトルの誤差範囲を示すことを特徴とする請求項１に
記載のニューラルネットワークの学習方式。 - 【請求項３】 前記誤差比較部は、前記差分計算手段か
らの出力が前記誤差範囲ベクトルの範囲内に入っている
場合は「真」を出力し、前記誤差範囲ベクトルの範囲内
に入っていない場合は「偽」を出力し、 前記学習指示手段は、前記誤差比較手段の出力が「真」
のときにはニューラルネットワークに入力信号ベクトル
と教師信号ベクトルの組を学習しないことを指示し、前
記誤差比較手段の出力が「偽」のときにはニューラルネ
ットワークに入力信号ベクトルと教師信号ベクトルの組
を学習することを指示することを特徴とする請求項１ま
たは２に記載のニューラルネットワークの学習方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05287993A JP3751982B2 (ja) | 1993-02-18 | 1993-02-18 | ニューラルネットワークの学習方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05287993A JP3751982B2 (ja) | 1993-02-18 | 1993-02-18 | ニューラルネットワークの学習方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06243273A true JPH06243273A (ja) | 1994-09-02 |
| JP3751982B2 JP3751982B2 (ja) | 2006-03-08 |
Family
ID=12927174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05287993A Expired - Fee Related JP3751982B2 (ja) | 1993-02-18 | 1993-02-18 | ニューラルネットワークの学習方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3751982B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6593015B1 (en) | 1999-11-18 | 2003-07-15 | Kennametal Pc Inc. | Tool with a hard coating containing an aluminum-nitrogen compound and a boron-nitrogen compound and method of making the same |
| US7953683B2 (en) | 2006-04-06 | 2011-05-31 | Sony Corporation | Learning apparatus, learning method, and program for efficiently learning dynamics |
| CN112782232A (zh) * | 2020-12-30 | 2021-05-11 | 浙江大学 | 基于人工神经网络的农污设施出水总磷软测量方法及装置 |
| WO2022004039A1 (ja) * | 2020-06-30 | 2022-01-06 | 三菱重工業株式会社 | 予測モデルの学習方法、予測モデルの学習装置、及び、プラント制御システム |
-
1993
- 1993-02-18 JP JP05287993A patent/JP3751982B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6593015B1 (en) | 1999-11-18 | 2003-07-15 | Kennametal Pc Inc. | Tool with a hard coating containing an aluminum-nitrogen compound and a boron-nitrogen compound and method of making the same |
| US7953683B2 (en) | 2006-04-06 | 2011-05-31 | Sony Corporation | Learning apparatus, learning method, and program for efficiently learning dynamics |
| WO2022004039A1 (ja) * | 2020-06-30 | 2022-01-06 | 三菱重工業株式会社 | 予測モデルの学習方法、予測モデルの学習装置、及び、プラント制御システム |
| JP2022011858A (ja) * | 2020-06-30 | 2022-01-17 | 三菱重工業株式会社 | 予測モデルの学習方法、予測モデルの学習装置、及び、プラント制御システム |
| CN112782232A (zh) * | 2020-12-30 | 2021-05-11 | 浙江大学 | 基于人工神经网络的农污设施出水总磷软测量方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3751982B2 (ja) | 2006-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111130839B (zh) | 一种流量需求矩阵预测方法及其系统 | |
| White | Learning in artificial neural networks: A statistical perspective | |
| CN110807469B (zh) | 融合长短时记忆与贝叶斯网络的知识追踪方法及系统 | |
| Derks et al. | Robustness analysis of radial base function and multi-layered feed-forward neural network models | |
| US20230367934A1 (en) | Method and apparatus for constructing vehicle dynamics model and method and apparatus for predicting vehicle state information | |
| Rovithakis et al. | High-order neural network structure selection for function approximation applications using genetic algorithms | |
| Nagao et al. | Structural evolution of neural networks having arbitrary connections by a genetic method | |
| JPH06243273A (ja) | ニューラルネットワークの学習方式 | |
| Gomm et al. | A new model structure selection method for non-linear systems in neural modelling | |
| Billings et al. | Identification of NARMAX and related models | |
| Thibault | Feedforward neural networks for the identification of dynamic processes | |
| Looney | Neural networks as expert systems | |
| CN115204350A (zh) | 脉冲神经网络的训练方法和训练装置 | |
| Jang et al. | Ensemble learning using observational learning theory | |
| CN111612226A (zh) | 基于混合模型的群体日均到达人数的预测方法及装置 | |
| JPH02231670A (ja) | ニューラル・ネットワークの学習装置 | |
| Rohwer | The time dimension of neural network models | |
| JPH0490076A (ja) | 医用画像特徴抽出方法 | |
| Ji et al. | Learning the dynamics of autonomous nonlinear delay systems | |
| JPH05128082A (ja) | 階層ネツトワーク構成データ処理装置とその学習処理方法 | |
| Godjevac et al. | Adaptive neuro-fuzzy controller for navigation of mobile robot | |
| JPH11259445A (ja) | 学習装置 | |
| Hwang et al. | Fast learning neural network with modified neurons | |
| Hazen et al. | Sonar sensitivity analysis using a neural network acoustic model emulator | |
| JPH0336659A (ja) | 階層型ニューラルネットワークの学習制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20021126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051209 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |