JP3515267B2 - 多層神経回路網学習装置 - Google Patents

多層神経回路網学習装置

Info

Publication number
JP3515267B2
JP3515267B2 JP04366596A JP4366596A JP3515267B2 JP 3515267 B2 JP3515267 B2 JP 3515267B2 JP 04366596 A JP04366596 A JP 04366596A JP 4366596 A JP4366596 A JP 4366596A JP 3515267 B2 JP3515267 B2 JP 3515267B2
Authority
JP
Japan
Prior art keywords
error
layer
learning
neural network
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04366596A
Other languages
English (en)
Other versions
JPH09237260A (ja
Inventor
誠 加納
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP04366596A priority Critical patent/JP3515267B2/ja
Priority to US08/807,160 priority patent/US5909676A/en
Publication of JPH09237260A publication Critical patent/JPH09237260A/ja
Application granted granted Critical
Publication of JP3515267B2 publication Critical patent/JP3515267B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、例えば、制御、認
識、診断などに利用できる多層神経回路網の学習装置に
関する。
【０００２】
【従来の技術】従来、多層神経回路網の学習方法とし
て、誤差逆伝播学習法（バックプロパゲーション・アル
ゴリズム）が一般的に利用されている。
【０００３】誤差逆伝播学習法では、入力信号ｐn ＝
（ｐ1 n ，ｐ2 n ，…，ｐm1 n ）（ｍｌは入力信号の次
元数）と、入力信号ｐn が多層神経回路網に入力された
時の、多層神経回路網の望ましい出力信号である教師信
号ｔn ＝（ｔ1 n ，ｔ2 n ，…，ｔm3 n ）（ｍ３は出力
信号の次元数）との対からなる複数の学習データ
（ｐn，ｔn ）（ｎ＝１，２，…，Ｎ）（Νは学習デー
タ数）に対して、多層神経回路網に入力信号ｐn が入力
され多層神経回路網の順方向計算によって出力された出
力信号ｏn ＝（ｏ1 n ，ｏ2 n ，…，ｏm3 n ）と教師信
号ｔn との偏差の二乗和に１／２をかけたものがｎ番目
の学習データの誤差関数Ｅn 、この全学習データについ
ての平均が誤差関数Ｅとして定義される。
【０００４】
【数１】 この誤差関数Ｅの値が減少するように多層神経回路網の
結合荷重値が繰り返し修正される。また、学習計算の停
止条件として、誤差関数値が所定の値以下に減少すると
停止するのが一般的な条件である。
【０００５】
【発明が解決しようとする課題】多層神経回路網の学習
課題を分類すると、 学習課題１） 出力信号の各要素に各々許容誤差が設定
されており、出力層の各神経素子の誤差値が、設定され
た許容誤差内に減少しなければならない課題 学習課題２） 複数の出力層神経素子のうち、１つの神
経素子の誤差値が設定された許容誤差内に減少すれば、
その他の出力層神経素子に対しては誤差が許容誤差以上
でも良い課題 学習課題３） 出力層の全神経素子が均一に学習し、出
力層の各神経素子の誤差が設定された許容誤差内に減少
しなければならない課題に分かれる。
【０００６】しかし、従来の学習方法では出力層の各神
経素子の誤差を区別することなく、前記誤差関数値だけ
を評価し、誤差関数値が所定の値以下に減少すると、十
分学習できたとして停止することにしている。そのた
め、学習課題１については、許容誤差が大きく異なる出
力層神経素子があった場合に、学習が停止しても許容誤
差が小さい出力層神経素子ではその条件が満たされない
ことや、また、学習停止条件の所定の値を小さくし、全
出力層神経素子で許容誤差より小さくなるようにすると
許容誤差が大きな出力層神経素子についても誤差が小さ
くなるまで学習が行われ、学習回数が増えてしまう問題
がある。
【０００７】学習課題２については、１つの出力層神経
素子の誤差が十分小さく、許容誤差内に減少しているの
に、他の出力層神経素子の誤差が大きいために停止条件
が満たされず、無駄に多くの回数の学習が行われたり、
他の誤差の大きな出力層神経素子の誤差を減少させよう
とする学習計算によって、結合荷重値が変化し続け、誤
差の小さな出力層神経素子の誤差がなかなか減少しなく
なる問題がある。
【０００８】学習課題３については、全ての出力層神経
素子が同じ速度で学習されていくとは限らず、速く誤差
が減少する出力層神経素子となかなか誤差が減少しない
出力層神経素子ができる。そのため、学習が停止して
も、誤差が大きい神経素子と小さい神経素子ができてし
まい、均一な学習ができない問題がある。
【０００９】従来、このような課題に対処するものとし
て次のような公知例が挙げられる。 １）特開平４−３０２８０号公報 この公知例は、ニューラルネットワークの出力層の各出
力ノードの出力データＯとそれに対応する教師データＴ
との誤差Ｅの絶対値を閾値ａと比較し、誤差Ｅの絶対値
が閾値ａより小さい場合はその出力ノードに係る誤差Ｅ
の値を“０”に再設定し、誤差Ｅの絶対値が閾値ａより
大きい場合はその出力ノードに係る誤差Ｅの値をそのま
ま用いることで、既に小さい出力値を出力している出力
ノードに係る不必要な学習を防止すると言うものであ
る。
【００１０】２）特開平４−３６０２９１号公報 この公知例は、ニューラルネットワークの出力層の各出
力ノードの出力ｙk oと類似度（教師データ）ｙ’k と
の誤差に類似度の大小により増減する項（類似度あるい
は類似度の２乗値）を乗じてこれを誤差関数Ｅとし、こ
の誤差関数Ｅを最小化するようにニューラルネットを学
習すると言うものである。つまり、類似度あるいは類似
度の２乗値を誤差関数の係数として用いている。この方
式では、類似度が高い場合には出力ｙk o と類似度ｙ’
k との誤差を大きくし、類似度が小さい場合には誤差を
小さくすることで、高い類似度を出すのに関与したニュ
ーラルネットワーク中の結合荷重の変化量を大きくし、
低い類似度を出すのに関与したニューラルネットワーク
中の結合荷重の変化量を小さくする。
【００１１】本発明は、これら公知例とは異なる面から
上記問題を解決するためのものであり、その目的とする
ところは、無駄な学習を無くし、少ない学習回数で課題
に応じた学習を可能にする多層神経回路網学習装置を提
供することにある。
【００１２】
【課題を解決するための手段】上記した目的を達成する
ために、本発明の多層神経回路網学習装置は、生体の脳
を構成する神経細胞の特性を工学的に実現した神経素子
を、外部からの入力信号を受け取る入力層と１層以上の
中間層と外部に出力信号を送り出す出力層とに区分して
各層毎に各々１つ以上並べ、前記中間層の第１層の前記
神経素子は前記入力層の前記神経素子と結合され、その
他の前記中間層の前記神経素子は前層の前記神経素子と
結合され、前記出力層の前記神経素子は前記中間層の最
終層の前記神経素子と結合されてなる多層神経回路網
の、各層間の結合荷重値を調整することによって出力信
号を学習データの教師信号に近付けるように学習を行う
多層神経回路網学習装置において、前記学習データの教
師信号と前記多層神経回路網から出力された出力信号と
の誤差を算出する誤差算出手段と、前記出力信号毎に設
定された許容誤差値に基づいて、前記学習データの全て
に共通な誤差係数を設定する誤差係数決定手段と、前記
誤差算出手段により算出された誤差の二乗に前記誤差係
数を乗じた誤差関数を求め、この誤差関数の値が減少す
るように前記多層神経回路網の学習計算を行う学習手段
とを具備して構成される。
【００１３】誤差係数設定手段は、許容誤差値の逆数に
比例した値を学習データの全てに共通な誤差係数として
設定するであってよい。
【００１４】また、別の発明である多層神経回路網学習
装置は、生体の脳を構成する神経細胞の特性を工学的に
実現した神経素子を、外部からの入力信号を受け取る入
力層と１層以上の中間層と外部に出力信号を送り出す出
力層とに区分して各層毎に各々１つ以上並べ、前記中間
層の第１層の前記神経素子は前記入力層の前記神経素子
と結合され、その他の前記中間層の前記神経素子は前層
の前記神経素子と結合され、前記出力層の前記神経素子
は前記中間層の最終層の前記神経素子と結合されてなる
多層神経回路網の、各層間の結合荷重値を調整すること
によって出力信号を学習データの教師信号に近付けるよ
うに学習を行う多層神経回路網学習装置において、前記
学習データの教師信号と前記多層神経回路網の前記出力
層の各神経素子から出力された出力信号との各々の誤差
を算出する誤差算出手段と、前記誤差算出手段により算
出された各々の誤差の値を用いて、前記学習データの全
てに共通な誤差係数を設定する誤差係数設定手段と、前
記誤差算出手段により算出された誤差の値の二乗に前記
誤差係数を乗じた誤差関数を求め、この誤差関数の値が
減少するように前記多層神経回路網の学習計算を行う学
習手段とを具備して構成される。
【００１５】この発明において、誤差係数設定手段は、
誤差算出手段により算出された各々の誤差の絶対値の和
に比例した値を誤差係数として設定するものであってよ
い。また、各々の誤差の二乗値の和に比例した値を誤差
係数として設定してもよく、さらには、各々の誤差の絶
対値の和の逆数、あるいは、各々の誤差の二乗値の和の
逆数に比例した値を誤差係数として設定してもよい。
【００１６】さらに、別の発明である多層神経回路網学
習装置は、生体の脳を構成する神経細胞の特性を工学的
に実現した神経素子を、外部からの入力信号を受け取る
入力層と１層以上の中間層と外部に出力信号を送り出す
出力層とに区分して各層毎に各々１つ以上並べ、前記中
間層の第１層の前記神経素子は前記入力層の前記神経素
子と結合され、その他の前記中間層の前記神経素子は前
層の前記神経素子と結合され、前記出力層の前記神経素
子は前記中間層の最終層の前記神経素子と結合されてな
る多層神経回路網の、各層間の結合荷重値を調整するこ
とによって出力信号を学習データの教師信号に近付ける
ように学習を行う多層神経回路網学習装置において、前
記学習データの教師信号と前記多層神経回路網から出力
された出力信号との誤差を算出する誤差算出手段と、前
記多層神経回路網学習装置の出力信号の各要素に設けら
れた許容誤差値の逆数に比例した値を誤差係数として設
定する誤差係数決定手段と、前記誤差算出手段により算
出された誤差の値を二乗したものに、前記誤差係数設定
手段により設定された誤差係数を乗じた関数を誤差関数
とし、この誤差関数の値が減少するように前記多層神経
回路網の学習計算を行う学習手段とを具備して構成され
る。また、さらに別の発明である多層神経回路網学習装
置は、生体の脳を構成する神経細胞の特性を工学的に実
現した神経素子を、外部からの入力信号を受け取る入力
層と１層以上の中間層と外部に出力信号を送り出す出力
層とに区分して各層毎に各々１つ以上並べ、前記中間層
の第１層の前記神経素子は前記入力層の前記神経素子と
結合され、その他の前記中間層の前記神経素子は前層の
前記神経素子と結合され、前記出力層の前記神経素子は
前記中間層の最終層の前記神経素子と結合されてなる多
層神経回路網の、各層間の結合荷重値を調整することに
よって出力信号を学習データの教師信号に近付けるよう
に学習を行う多層神経回路網学習装置において、前記学
習データの教師信号と前記多層神経回路網から出力され
た出力信号との誤差を算出する誤差算出手段と、前記誤
差算出手段により算出された誤差の値を二乗したものの
逆数に比例した値を誤差係数として設定する誤差係数設
定手段と、前記誤差算出手段により算出された誤差の値
を二乗したものに、前記誤差係数設定手段により設定さ
れた誤差係数を乗じた関数を誤差関数とし、この誤差関
数の値が減少するように前記多層神経回路網の学習計算
を行う学習手段とを具備して構成されるものである。さ
らに、別の発明である多層神経回路網学習装置は、生体
の脳を構成する神経細胞の特性を工学的に実現した神経
素子を、外部からの入力信号を受け取る入力層と１層以
上の中間層と外部に出力信号を送り出す出力層とに区分
して各層毎に各々１つ以上並べ、前記中間層の第１層の
前記神経素子は前記入力層の前記神経素子と結合され、
その他の前記中間層の前記神経素子は前層の前記神経素
子と結合され、前記出力層の前記神経素子は前記中間層
の最終層の前記神経素子と結合されてなる多層神経回路
網の、各層間の結合荷重値を調整することによって出力
信号を学習データの教師信号に近付けるように学習を行
う多層神経回路網学習装置において、前記学習データの
教師信号と前記多層神経回路網から出力された出力信号
との誤差を算出する誤差算出手段と、前記誤差算出手段
により算出された誤差の絶対値の逆数に比例した値を前
記誤差係数として設定する誤差係数設定手段と、 前記
誤差算出手段により算出された誤差の値を二乗したもの
に、前記誤差係数設定手段により設定された誤差係数を
乗じた関数を誤差関数とし、この誤差関数の値が減少す
るように前記多層神経回路網の学習計算を行う学習手段
とを具備して構成されるものである。
【００１７】このように構成することで、本発明は、無
駄な学習を無くし、少ない学習回数で課題に応じた学習
を可能にする多層神経回路網学習装置を実現することが
できる。
【００１８】
【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。
【００１９】図１は本実施形態である多層神経回路網学
習装置の構成を示すブロック図である。
【００２０】同図において、多層神経回路網１は、入力
信号と教師信号の対からなる学習データ（ｐn ，ｔn ）
（ｎ＝１，２，…，Ν）（Νは学習データ数を表す）の
うち入力信号ｐn を入力し、入力信号ｐn と多層神経回
路網１が持つ結合荷重値ｗ、閾値θに基づき、順方向計
算によって出力信号ｏn を算出して減算器２に出力す
る。
【００２１】減算器２は、多層神経回路網１の出力信号
ｏn と学習データのうちの教師信号ｔn を入力して、教
師信号ｔn から出力信号ｏn を減算した誤差信号ｅn ＝
ｔn−ｏn を学習部４に出力する。
【００２２】誤差係数設定部３は、誤差係数ｓの値を決
定して学習部４に出力する。
【００２３】学習部４は、誤差係数設定部３から出力さ
れた誤差係数ｓと、全学習データについて減算器２から
出力された誤差信号（ｅ1 ，ｅ2 ，…，ｅN ）と、多層
神経回路網１から出力された結合荷重値ｗ、閾値θに基
づき、学習計算によって多層神経回路網１の結合荷重値
の修正量Δｗ及び閾値の修正量Δθを各々算出し、多層
神経回路網１に出力する。
【００２４】多層神経回路網１は、学習部４から出力さ
れた結合荷重値の修正量Δｗ及び閾値の修正量Δθによ
って結合荷重値ｗ、閾値θを修正する。
【００２５】このように多層神経回路網１の結合荷重値
ｗ、閾値θの修正が繰り返され、教師信号ｔn に近い出
力信号ｏn を出力するように多層神経回路網１が学習す
る。また、図２は他の実施形態である多層神経回路網学
習装置の構成を示すブロック図である。この多層神経回
路網学習装置においては、減算器２から出力される誤差
信号（ｅ1 ，ｅ2 ，…，ｅN ）に基づき、誤差係数設定
部３が誤差係数ｓの値を決定し、学習部４に出力する。
その他の構成は図１のものと同じである。
【００２６】次に、多層神経回路網１が図３に示すよう
な３層型神経回路網である場合を例にとり、本発明にか
かる多層神経回路網学習装置を説明する。
【００２７】多層神経回路網１は３層構造であり、入力
層５はｍ１個、中間層６はｍ２個、出力層７はｍ３個の
神経素子８から構成されるとする（但しｍ１，ｍ２，ｍ
３は正の整数）。
【００２８】学習データの入力信号ｐn はｍ１個の要素
からなるベクトルである。 ｐn ＝（ｐ1 n ，ｐ2 n ，…，ｐm1 n ） また、学習データの教師信号ｔn はｍ３個の要素からな
るベクトルである。 ｔn ＝（ｔ1 n ，ｔ2 n ，…，ｔm3 n ） 学習データの入力信号ｐn は多層神経回路網１に入力さ
れ、多層神経回路網１で順方向計算が行われる。
【００２９】多層神経回路網１の中間層６の神経素子の
入出力関数はシグモイド関数ｆ（ｘ）＝１／（１＋ｅｘ
ｐ（−ｘ））、入力層５及び出力層７の神経素子８の入
出力関数は恒等関数とする。すると、ｎ番目の学習デー
タの入力信号ｐn が多層神経回路網１に入力された場合
の多層神経回路網１の順方向計算は以下のように表され
る。
【００３０】
【数２】 ｘ１i n はｎ番目の学習データの入力信号が入力された
時の入力層ｉ番神経素子入力値、ｙ１i n はｎ番目の学
習データの入力信号が入力された時の入力層ｉ番神経素
子出力値、ｘ２j n はｎ番目の学習データの入力信号が
入力された時の中間層ｊ番神経素子入力値、θ２j は中
間層ｊ番神経素子の閾値、ｗ１２j,i は入力層ｉ番神経
素子と中間層ｊ番神経素子間の結合荷重値、ｙ２j n は
ｎ番目の学習データの入力信号が入力された時の中間層
ｊ番神経素子出力値、ｘ３k n はｎ番目の学習データの
入力信号が入力された時の出力層ｋ番神経素子入力値、
θ３k は出力層ｋ番神経素子の閾値、ｗ２３k,j は中間
層ｊ番神経素子と出力層ｋ番神経素子間の結合荷重値、
ｙ３k n はｎ番目の学習データの入力信号が入力された
時の出力層ｋ番神経素子出力値、ｏk n はｎ番目の学習
データの入力信号が入力された時の出力信号のｋ番目の
要素を表す。
【００３１】減算器２は、多層神経回路網１が算出した
出力信号ｏn と学習データの教師信号ｔn を入力し、教
師信号ｔn から出力信号ｏn を減算した誤差信号ｅn を
出力する。 ｅn ＝（ｅ1 n ，ｅ2 n ｎ２，…，ｅm3 n ），ｅk n ＝
ｔk n −ｏk n （ｋ＝１，２，…，ｍ３）． 誤差係数設定部３は誤差係数ｓ＝（ｓ1 ，ｓ2 ，…，ｓ
m3）を設定する。この具体的な方法については後で説明
する。
【００３２】学習部４は、全学習データについて減算器
２から出力される誤差信号（ｅ1 ，ｅ2 ，…，ｅN ）
と、誤差係数設定部３から出力される誤差係数ｓに基づ
き、学習計算によって多層神経回路網１の結合荷重値の
修正値Δｗと閾値の修正量Δθを計算する。まず、誤差
関数Ｅを次のように定義する。
【００３３】
【数３】 この誤差関数Ｅを減少させるように、結合荷重値の修正
値Δｗと閾値の修正量Δθが求められる。この計算方法
は誤差逆伝播学習法と同様であるが、誤差関数の定義が
異なるため、学習の結果の多層神経回路網１の状態も異
なる。以下に学習計算式を示す。
【００３４】
【数４】 Δｗ２３k,j は中間層ｊ番神経素子と出力層ｋ番神経素
子間の結合荷重値修正量、Δθ３k は出力層ｋ番神経素
子の閾値修正量、Δｗ１２j,i は入力層ｉ番神経素子と
中間層ｊ番神経素子間の結合荷重値修正量、Δθ２j は
中間層ｊ番神経素子の閾値修正量、εは学習係数で、正
の小さな値である。これらの修正量が多層神経回路網１
に出力され、多層神経回路網１では元の結合荷重値、閾
値に加算される。
【００３５】次に、誤差係数設定部３で行われる誤差係
数設定方法を前述した三つの学習課題各々に対して説明
する。
【００３６】学習課題１のように、多層神経回路網の出
力信号の各要素に許容誤差η＝（η1 ，η2 ，…，
ηm3）が設定されており、出力層の各神経素子の誤差が
設定された許容誤差内に減少しなければならない場合に
は、許容誤差の逆数に比例した値を誤差係数の値にす
る。
【００３７】ｓ＝（ｓ1 ，ｓ2 ，…，ｓm3） ｓk ＝α（１／ηk ）（ｋ＝１，２，…，ｍ３） αは正の定数である。
【００３８】学習課題２のように、複数の出力層神経素
子のうち、１つの神経素子の誤差が設定された許容誤差
内に減少すれば、その他の出力層神経素子に対しては誤
差が残ったままでもよい場合には、多層神経回路網の出
力層の各神経素子の誤差信号の二乗の値を比較し、誤差
信号の二乗の値が小さい神経素子ほど、誤差係数の値を
大きく設定する。
【００３９】すなわち、出力層の各神経素子の誤差信号
の二乗の値
【数５】 の逆数に比例させて誤差係数値を設定する。
【００４０】ｓ＝（ｓ1 ，ｓ2 ，…，ｓm3） ｓk ＝α（１／ｅk ）（ｋ＝１，２，…，ｍ３） αは正の定数である。
【００４１】または、出力層の各神経素子の誤差信号の
絶対値
【数６】 の逆数に比例させて誤差係数値を設定する。
【００４２】ｓ＝（ｓ1 ，ｓ2 ，…，ｓm3） ｓｋ＝α（１／ｅk ）（ｋ＝１，２，…，ｍ３） αは正の定数である。
【００４３】または、誤差信号の絶対値の小さい所定の
数の神経素子の誤差係数値を１．０、その他の誤差係数
値を０．０にしてもよい。
【００４４】学習課題３のように、出力層の神経素子が
均一に学習し、全神経素子の誤差が設定された許容誤差
内に減少しなければならない場合には、多層神経回路網
の出力層の各神経素子の誤差信号の二乗の値を比較し、
誤差信号の二乗の値が大きい神経素子ほど、誤差係数の
値を大きく設定する。
【００４５】すなわち、出力層の各神経素子の誤差信号
の二乗の値
【数７】 に比例させ、誤差係数値を設定する。
【００４６】ｓ＝（ｓ1 ，ｓ2 ，…，ｓm3） ｓk ＝αｅk （ｋ＝１，２，…，ｍ３） αは正の定数である。
【００４７】または、出力層の各神経素子の誤差信号の
絶対値
【数８】 に比例させ、誤差係数値を設定する。
【００４８】ｓ＝（ｓ1 ，ｓ2 ，…，ｓm3） ｓk ＝αｅk （ｋ＝１，２，…，ｍ３） αは正の定数である。
【００４９】または、誤差信号の絶対値の大きい所定の
数の神経素子の誤差係数値を１．０、その他の誤差係数
値を０．０にしてもよい。
【００５０】次に、学習装置全体の計算手順を図４、図
５に示す流れ図を参照して説明する。図４は学習課題１
に対する場合の流れ図である。
【００５１】（ａ）誤差係数設定部３が多層神経回路網
１の出力信号の各要素に設定された許容誤差η＝
（η1 ，η2 ，…，ηm3）に基づき、誤差係数ｓ＝（ｓ
1 ，ｓ2 ，…，ｓm3）を設定する。
【００５２】（ｂ）学習データ番号を表す変数ｎに１が
代入される。
【００５３】（ｃ）多層神経回路網１がｎ番目の学習デ
ータ入力信号ｐn に基づき、多層神経回路網１の順方向
計算によって出力信号ｏn を算出する。
【００５４】（ｄ）減算器２が教師信号ｔn と出力信号
ｏn に基づき、教師信号ｔn から出力信号ｏn を減算し
た誤差信号ｅn を学習部４に出力する。
【００５５】（ｅ）変数ｎに１が加算される。
【００５６】（ｆ）（ｃ）から（ｅ）がｎ＞Νになるま
で繰り返され、全学習データについての誤差信号ｅn が
計算される。
【００５７】（ｇ）学習部４が誤差係数η、誤差信号
（ｅ1 ，ｅ2 ，…，ｅN ）、多層神経回路網１の結合荷
重値ｗ、閾値θに基づき、学習計算によって結合荷重
値、閾値の修正量を算出する。
【００５８】（ｈ）（ｇ）で計算された結合荷重値、閾
値の修正量によって、多層神経回路網１の結合荷重値、
閾値が更新される。
【００５９】（ｉ）学習終了条件が満たされるまで
（ｂ）から（ｈ）が繰り返され、学習終了条件が満たさ
れれば学習を終了する。
【００６０】ここで言う学習終了条件は、例えば、誤差
関数値Ｅが所定の値Ｅ0 以下になることである。この誤
差関数は従来手法の誤差関数とは定義が異なり、誤差係
数によって重み付けされた誤差関数になっている。従っ
て学習課題に適した誤差関数で、この誤差関数の値が所
定の値Ｅ0 以下になることは、課題を満たす学習ができ
たことを表している。
【００６１】図５は学習課題２、学習課題３に対する場
合の流れ図である。誤差信号に基づき、誤差係数設定部
３が誤差係数ｓを決定する。誤差係数ｓは全学習データ
に関する誤差信号ｅn が計算される毎に、この誤差信号
ｅn に基づき設定される（図４の（ａ）がなくなり、
（ｆ´）が追加されている）。誤差関数Ｅの定義の仕方
は上記のものに限らず、例えば、
【数９】 と定義してもよい。この場合の学習計算式は、
【数１０】
【００６２】
【実施例】第１の実施例として、本発明を移動ロボット
の同定モデル学習に適用した実施例について説明する。
【００６３】図６はＸＹ平面上を移動する移動ロボット
９の図である。ロボット上に固定された座標系のΧｓ方
向の力ｆｘ、Ｙｓ方向の力ｆｙ、回転トルクｆθが操作
量としてロボット９に与えられ、ロボットの位置（ｘ，
ｙ）、方向θとその速度成分（ｘ，ｙ）、θが制御量と
して観測される。この移動ロボット９の同定モデルに多
層神経回路網を応用する。
【００６４】図７は移動ロボット９の同定モデルとして
働く多層神経回路網の一構成例である。ある時刻ｔの制
御量と操作量が入力されると、１単位時間後の時刻ｔ＋
Δｔの制御量が出力されるモデルである。
【００６５】多層神経回路網の出力信号である制御量に
は、位置、方向、速度、角速度といった単位の異なる数
値が含まれ、許容誤差の値も出力信号の種類によって大
きく異なる。そのため、従来手法では許容誤差の小さな
出力に対して十分が学習ができないか、あるいは、許容
誤差の大きな出力に対して必要以上に無駄な学習を行う
ことになってしまう。
【００６６】出力層の各素子に設定された許容誤差を
【数１１】 とする。誤差係数設定部３では誤差係数ｓを
【数１２】 のように許容誤差の逆数に設定し、学習することによっ
て、許容誤差の大きさに応じた学習ができる。
【００６７】学習を終えた多層神経回路網を制御系に組
み込み、制御シミュレーションした結果を示す。図８は
本発明で提案した方法に従い、多層神経回路網の出力信
号の許容誤差をη＝（４．１１，１．１１，０．０４０
７，０．２１６，０．２１４，０．００１３）に設定
（誤差係数をｓ＝（０．２４３，０．９０１，２４．
６，４．６３，４．６７，７６９．２）に設定）して３
０００回の学習を行った多層神経回路網を使って制御の
計算機シミュレーションした結果である。図９は従来の
誤差逆伝播学習法によって同じ３０００回の学習を行
い、学習し終えた多層神経回路網を使って制御の計算機
シミュレーションした結果である。図８、図９の上２段
は制御量、下１段は操作量のグラフで横軸は時間０から
１，０００秒間を示している。制御量（上２段）の破線
は目標軌道、実線は実現軌道、一点鎖線は多層神経回路
網が出力した予測値を表している。操作量（下１段）の
破線はフィードバック制御器によって計算された操作量
（フィードバック操作量）で、実線は多層神経回路網が
組み込まれた制御器によってフィードバック操作量を修
正した操作量で、この操作量によって移動ロボットは制
御されている。
【００６８】従来の学習方法によって学習した多層神経
回路網を使って制御した結果は、方向、角速度が振動し
ているが、本発明で提案した方法によって学習した多層
神経回路網を使って制御した結果は、方向、角速度の振
動は無くなり、滑らかに制御できていることが分かる。
これは誤差係数を許容誤差の逆数に比例した値にするこ
とにより、許容誤差の小さな方向、角速度の誤差が誤差
関数内で大きく評価され、その結果、出力信号のうち、
方向、角速度の学習が速められ、従来の学習方法よりも
正確な方向、角速度が出力されるように学習できたこと
を示している。第２の実施例として、本発明を下水処理
プロセスの曝気槽内溶存酸素濃度予測モデル学習に応用
した実施例について説明する。
【００６９】図１０は曝気槽の概略図である。曝気槽１
０ではブロア１１により下水内に空気が送られ、下水中
の汚泥が撹拌されるとともに汚泥内の微生物が活性化さ
れ、下水中の無機、有機性物質の吸着、吸収が行われ
る。汚泥内の微生物を活性化させるため、下水の溶存酸
素濃度を一定値に保持する制御が行われる。ここでは、
溶存酸素濃度一定制御に利用される溶存酸素濃度予測モ
デルを多層神経回路網で構築し、学習によって特性を獲
得する。
【００７０】溶存酸素濃度ＤＯには曝気槽１０に与えら
れる曝気風量Ｑａｅｒと、下水流入量Ｑｉｎｆが大きく
関係するので、現在と過去の曝気風量（Ｑａｅｒn ，Ｑ
ａｅｒn-1 …，Ｑａｅｒn-h ）、下水流入量（Ｑｉｎｆ
n ，Ｑｉｎｆn-1 ，…，Ｑｉｎｆn-h ）、溶存酸素濃度
（ＤＯn ，ＤＯn-1 ，…，ＤＯn-h ）（ｈは正の整数）
を入力信号、将来の溶存酸素濃度を出力信号とするモデ
ルを構築する。ただし、下水処理プロセスの動特性は未
知であり、現在と過去の曝気風量、下水流入量、溶存酸
素濃度から何分先の溶存酸素濃度が正確に予測できるか
は分かっていない。そこで、図１１のように、将来の複
数時点の溶存酸素濃度（ＤＯn+1 ，ＤＯn+2 ，…，ＤＯ
n+m ）（ｍは正の整数）を予測する構造の多層神経回路
網を構築し、この複数時点の溶存酸素濃度のうち、１時
点の溶存酸素濃度が正確に出力できれば、その予測溶存
酸素濃度が目標の値に一定になるように制御すればよい
ことになる。 すなわち、複数ある出力素子のうち、１
つの出力素子が正確な出力値を出力するように学習でき
れば、他の出力素子が学習できなくてもよいことにな
る。このような課題の学習に対して、本発明では誤差信
号の二乗の大きさを各出力素子間で比較し、誤差信号の
二乗の値の小さい出力素子ほど誤差係数の値を大きく設
定する。このことにより、更に、誤差信号の二乗の値が
小さい素子の学習が速められ、少ない学習回数で一つ、
あるいは一部の出力素子が正確な出力をするようにな
る。
【００７１】第３の実施例として、本発明を文字認識用
多層神経回路網の学習に応用した実施例を説明する。
【００７２】図１２は文字認識用多層神経回路網の一例
を示している。多層神経回路網の入力層５の素子は文字
入力部１３のメッシュ１４に一対一に対応しており、対
応しているメッシュ１４内の、文字の線で塗りつぶされ
ている面積比が入力層素子に入力される（例えばメッシ
ュ全体が塗りつぶされていれば１．０が入力され、全く
線が通っていなければ０．０が入力される）。
【００７３】出力層は１０素子から構成され、各々
‘０’から‘９’の文字に対応していて、例えば、文字
入力部に‘０’が書かれると‘０’に対応する素子が
１、その他の出力素子は０を出力するように学習する。
ただし、認識時には入力された文字に対して、出力値が
最大の出力素子に対応している文字が認識されたと解釈
する。 すると、例えば、出力層素子の中に、全く学習
が行われず、どのような文字が入力されても常に１より
大きな値を出力するものがあれば、認識結果はその出力
素子に対応する文字が選ばれ、いくら他の出力素子が正
確に学習でき、対応する文字が入力されると１、その他
の文字の場合は０を出力しても、正確な認識はできなく
なる。
【００７４】そこで、このような課題の場合には、出力
層の全素子でバランスのとれた学習が必要になる。本発
明の方法では、誤差信号の二乗の大きさを各出力素子間
で比較し、誤差信号の二乗の値の大きい出力素子ほど誤
差係数の値を大きく設定することにより、誤差信号の二
乗の値が大きい素子の学習が速められ、出力層の全素子
を均一に学習することができる。
【００７５】
【発明の効果】以上説明したように、本発明の多層神経
回路網学習装置によれば、出力信号の各要素に許容誤差
が設定されており、出力層の各神経素子の誤差が設定さ
れた許容誤差内に減少しなければならない課題に対して
は、出力信号の各要素に設けられた許容誤差に基づき誤
差係数の値を設定する（その一例としては、許容誤差の
逆数に比例した値を誤差係数の値にする）ことにより、
許容誤差が小さい出力層神経素子の誤差の、誤差関数で
の評価が大きくなり、全出力層神経素子の誤差が許容誤
差より小さくなるように学習が行われる。
【００７６】また、複数の出力層神経素子のうち、１つ
の神経素子の誤差が許容誤差内に減少すれば、その他の
出力層神経素子に対しては誤差が残ったままでもよい課
題に対しては、誤差信号の二乗の値が小さい神経素子ほ
ど、誤差係数の値を大きく設定する（誤差の値を二乗し
たものの逆数に比例した値を誤差係数とする、或いは、
誤差の絶対値の逆数に比例した値を誤差係数とする）こ
とにより、誤差信号の二乗の値が小さい神経素子の学習
が益々進み、少ない学習回数で課題が満たされる。 さ
らに、出力層の神経素子が均一に学習し、全神経素子の
誤差が設定された許容誤差内に減少しなければならない
課題に対して、誤差信号の二乗の値が大きい神経素子ほ
ど、誤差係数の値を大きく設定する（誤差を二乗した値
に比例した値を誤差係数とする、或いは、誤差の絶対値
に比例した値を誤差係数とする）ことにより、誤差信号
の二乗の値が大きい神経素子の学習が速められ、その結
果、出力層の全神経素子が均一に学習することになる。
【００７７】このようにすることで、課題に適した学習
を行うことができ、その結果、無駄な学習を無くし、少
ない学習回数で課題に応じた学習が可能になる。
【図面の簡単な説明】
【図１】本発明の実施形態である多層神経回路網学習装
置の構成を示すブロック図
【図２】本発明の他の実施形態である多層神経回路網学
習装置の構成を示すブロック図
【図３】３層型神経回路網を示す図
【図４】図１の多層神経回路網学習装置の計算手順を示
す流れ図
【図５】図２の多層神経回路網学習装置の計算手順を示
す流れ図
【図６】本発明に係る第１の実施例を説明するためのＸ
Ｙ平面上を移動する移動ロボットを示す図
【図７】図６の移動ロボットの同定モデルとして働く多
層神経回路網の構成例を示す図
【図８】第１の実施例において本発明の学習装置を用い
て学習した多層神経回路網を使って制御の計算機シミュ
レーションを行った結果を示す図
【図９】従来の誤差逆伝播学習法に従って学習した多層
神経回路網を使って制御の計算機シミュレーションを行
った結果を示す図
【図１０】本発明に係る第２の実施例を説明するための
下水処理プロセスの曝気槽の概略図
【図１１】多層神経回路網で構築された溶存酸素濃度予
測モデルの構成例を示す図
【図１２】本発明に係る第３の実施例を説明するための
文字認識用多層神経回路網の構成例を示す図
【符号の説明】
１………多層神経回路網 ２………減算器 ３………誤差係数設定部 ４………学習部 ５………入力層 ６………中問層 ７………出力層 ８………神経素子 ９………移動ロボット １０………曝気槽 １１………ブロア １２………流入量計 １３………文字入力部 １４………メッシュ
フロントページの続き (56)参考文献 特開 平９−138786（ＪＰ，Ａ) 阪上茂生・他，「バックプロパゲーシ ョン学習に必要な演算精度の削減」，電 子情報通信学会技術研究報告，日本，社 団法人電子情報通信学会，1991年 ９月 20日，Ｖｏｌ．91， Ｎｏ．231（ＮＣ 91−30〜47），ｐｐ．17−24 香田敏行・他，「ニューラルネットに よる英数字認識」，電子情報通信学会技 術研究報告，日本，社団法人電子情報通 信学会，1989年 ３月24日，Ｖｏｌ. 88， Ｎｏ．490（ＩＥ88−126〜138）, ｐ．33−40 阪上茂生・他，「精度が限定されたニ ューラルネットワークによる文字認 識」，電子情報通信学会技術研究報告, 日本，社団法人電子情報通信学会，1990 年10月19日，Ｖｏｌ．90， Ｎｏ．262 （ＮＣ90−30〜41），ｐｐ．21−28 渡辺栄治，「パターン分類問題に対す る階層型ニューラルネットワークの内部 表現と汎化能力の関係」，電子情報通信 学会技術研究報告，日本，社団法人電子 情報通信学会，1995年10月28日，Ｖｏ ｌ．95， Ｎｏ．346（ＮＣ95−49〜 64），ｐｐ．79−86 又吉光邦・他，「Ｂ．Ｐ．法を用いた パターン認識における動的教師信号法の 有効性」，電子情報通信学会技術研究報 告，日本，社団法人電子情報通信学会, 1990年 ７月12日，Ｖｏｌ．90， Ｎ ｏ．121（ＡＩ90−34〜46），ｐｐ．41 −46 喜屋武盛基・他「バックプロパゲーシ ョンの学習率改良による学習の高速 化」，琉球大学工学部紀要，日本，琉球 大学工学部，1991年 ３月15日，Ｎｏ. 41，ｐｐ．11−16，ＪＳＴ資料番号：Ｚ 0656Ｂ (58)調査した分野(Int.Cl.7，ＤＢ名) G06N 1/00 - 7/08 G06G 7/60 ＪＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項１】生体の脳を構成する神経細胞の特性を工学
    的に実現した神経素子を、外部からの入力信号を受け取
    る入力層と１層以上の中間層と外部に出力信号を送り出
    す出力層とに区分して各層毎に各々１つ以上並べ、前記
    中間層の第１層の前記神経素子は前記入力層の前記神経
    素子と結合され、その他の前記中間層の前記神経素子は
    前層の前記神経素子と結合され、前記出力層の前記神経
    素子は前記中間層の最終層の前記神経素子と結合されて
    なる多層神経回路網の、各層間の結合荷重値を調整する
    ことによって出力信号を学習データの教師信号に近付け
    るように学習を行う多層神経回路網学習装置において、前記 学習データの教師信号と前記多層神経回路網から出
    力された出力信号との誤差を算出する誤差算出手段と、前記出力信号毎に設定された 許容誤差値に基づいて、前
    記学習データの全てに共通な誤差係数を設定する誤差係
    数決定手段と、 前記誤差算出手段により算出された誤差の二乗に前記誤
    差係数を乗じた誤差関数を求め、この誤差関数の値が減
    少するように前記多層神経回路網の学習計算を行う学習
    手段とを具備することを特徴とする多層神経回路網学習
    装置。
  2. 【請求項２】前記誤差係数設定手段は、前記許容誤差値
    の逆数に比例した値を前記学習データの全てに共通な誤
    差係数として設定することを特徴とする請求項１に記載
    の多層神経回路網学習装置。
  3. 【請求項３】生体の脳を構成する神経細胞の特性を工学
    的に実現した神経素子を、外部からの入力信号を受け取
    る入力層と１層以上の中間層と外部に出力信号を送り出
    す出力層とに区分して各層毎に各々１つ以上並べ、前記
    中間層の第１層の前記神経素子は前記入力層の前記神経
    素子と結合され、その他の前記中間層の前記神経素子は
    前層の前記神経素子と結合され、前記出力層の前記神経
    素子は前記中間層の最終層の前記神経素子と結合されて
    なる多層神経回路網の、各層間の結合荷重値を調整する
    ことによって出力信号を学習データの教師信号に近付け
    るように学習を行う多層神経回路網学習装置において、前記 学習データの教師信号と前記多層神経回路網の前記
    出力層の各神経素子から出力された出力信号との各々の
    誤差を算出する誤差算出手段と、 前記誤差算出手段により算出された各々の誤差の値を用
    いて、前記学習データの全てに共通な誤差係数を設定す
    る誤差係数設定手段と、 前記誤差算出手段により算出された誤差の値の二乗に前
    記誤差係数を乗じた誤差関数を求め、この誤差関数の値
    が減少するように前記多層神経回路網の学習計算を行う
    学習手段とを具備することを特徴とする多層神経回路網
    学習装置。
  4. 【請求項４】前記誤差係数設定手段は、前記誤差算出手
    段により算出された各々の誤差の絶対値の和に比例した
    値を前記誤差係数として設定することを特徴とする請求
    項３に記載の多層神経回路網学習装置。
  5. 【請求項５】前記誤差係数設定手段は、前記誤差算出手
    段により算出された各々の誤差の二乗値の和に比例した
    値を前記誤差係数として設定することを特徴とする請求
    項３に記載の多層神経回路網学習装置。
  6. 【請求項６】前記誤差係数設定手段は、前記誤差算出手
    段により算出された各々の誤差の絶対値の和の逆数に比
    例した値を前記誤差係数として設定することを特徴とす
    る請求項３に記載の多層神経回路網学習装置。
  7. 【請求項７】前記誤差係数設定手段は、前記誤差算出手
    段により算出された各々の誤差の二乗値の和 の逆数に比
    例した値を前記誤差係数として設定することを特徴とす
    る請求項３に記載の多層神経回路網学習装置。
  8. 【請求項８】生体の脳を構成する神経細胞の特性を工学
    的に実現した神経素子を、外部からの入力信号を受け取
    る入力層と１層以上の中間層と外部に出力信号を送り出
    す出力層とに区分して各層毎に各々１つ以上並べ、前記
    中間層の第１層の前記神経素子は前記入力層の前記神経
    素子と結合され、その他の前記中間層の前記神経素子は
    前層の前記神経素子と結合され、前記出力層の前記神経
    素子は前記中間層の最終層の前記神経素子と結合されて
    なる多層神経回路網の、各層間の結合荷重値を調整する
    ことによって出力信号を学習データの教師信号に近付け
    るように学習を行う多層神経回路網学習装置において、 前記学習データの教師信号と前記多層神経回路網から出
    力された出力信号との誤差を算出する誤差算出手段と、 前記多層神経回路網学習装置の出力信号の各要素に設け
    られた許容誤差値の逆数に比例した値を誤差係数として
    設定する誤差係数決定手段と、 前記誤差算出手段により算出された誤差の値を二乗した
    ものに、前記誤差係数設定手段により設定された誤差係
    数を乗じた関数を誤差関数とし、この誤差関数の値が減
    少するように前記多層神経回路網の学習計算を行う学習
    手段とを具備することを特徴とする多層神経回路網学習
    装置。
  9. 【請求項９】生体の脳を構成する神経細胞の特性を工学
    的に実現した神経素子を、外部からの入力信号を受け取
    る入力層と１層以上の中間層と外部に出力信号を送り出
    す出力層とに区分して各層毎に各々１つ以上並べ、前記
    中間層の第１層の前記神経素子は前記入力層の前記神経
    素子と結合され、その他の前記中間層の前記神経素子は
    前層の前記神経素子と結合され、前記出力層の前記神経
    素子は前記中間層の最終層の前記神経素子と結合されて
    なる多層神経回路網の、各層間の結合荷重値を調整する
    ことによって出力信号を学習データの教師信号に近付け
    るように学習を行う多層神経回路網学習装置において、 前記学習データの教師信号と前記多層神経回路網から出
    力された出力信号との誤差を算出する誤差算出手段と、 前記誤差算出手段により算出された誤差の値を二乗した
    ものの逆数に比例した値を誤差係数として設定する誤差
    係数設定手段と、 前記誤差算出手段により算出された誤差の値を二乗した
    ものに、前記誤差係数設定手段により設定された誤差係
    数を乗じた関数を誤差関数とし、この誤差関数の値が減
    少するように前記多層神経回路網の学習計算を行う学習
    手段とを具備することを特徴とする多層神経回路網学習
    装置。
  10. 【請求項１０】生体の脳を構成する神経細胞の特性を工
    学的に実現した神経素子を、外部からの入力信号を受け
    取る入力層と１層以上の中間層と外部に出力信号を送り
    出す出力層とに区分して各層毎に各々１つ以上並べ、前
    記中間層の第１層の前記神経素子は前記入力層の前記神
    経素子と結合され、その他の前記中間層の前記神経素子
    は前層の前記神経素子と結合され、前記出力層の前記神
    経素子は前記中間層の最終層の前記神経素子と結合され
    てなる多層神経回路網の、各層間の結合荷重値を調整す
    ることによって出力信号を学習データの教師信号に近付
    けるように学習を行う多層神経回路網学習装置におい
    て、 前記学習データの教師信号と前記多層神経回路網から出
    力された出力信号との誤差を算出する誤差算出手段と、 前記誤差算出手段により算出された誤差の絶対値の逆数
    に比例した値を前記誤差係数として設定する誤差係数設
    定手段と、 前記誤差算出手段により算出された誤差の値を二乗した
    ものに、前記誤差係数設定手段により設定された誤差係
    数を乗じた関数を誤差関数とし、この誤差関数の値が減
    少するように前記多層神経回路網の学習計算を行う学習
    手段と を具備することを特徴とする多層神経回路網学習
    装置。
JP04366596A 1996-02-29 1996-02-29 多層神経回路網学習装置 Expired - Fee Related JP3515267B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP04366596A JP3515267B2 (ja) 1996-02-29 1996-02-29 多層神経回路網学習装置
US08/807,160 US5909676A (en) 1996-02-29 1997-02-27 System for controlling an object and medium using neural networks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04366596A JP3515267B2 (ja) 1996-02-29 1996-02-29 多層神経回路網学習装置

Publications (2)

Publication Number Publication Date
JPH09237260A JPH09237260A (ja) 1997-09-09
JP3515267B2 true JP3515267B2 (ja) 2004-04-05

Family

ID=12670156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04366596A Expired - Fee Related JP3515267B2 (ja) 1996-02-29 1996-02-29 多層神経回路網学習装置

Country Status (2)

Country Link
US (1) US5909676A (ja)
JP (1) JP3515267B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6185470B1 (en) * 1997-11-07 2001-02-06 Mcdonnell Douglas Corporation Neural network predictive control method and system
JP2001166804A (ja) * 1999-12-10 2001-06-22 Sony Corp 学習式動作制御装置およびその方法、並びに提供媒体
JP4093858B2 (ja) * 2000-10-13 2008-06-04 フラウンホーファー−ゲゼルシャフト・ツア・フォルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ リカレントニューラルネットワーク
DE102007001024B4 (de) * 2007-01-02 2008-10-02 Siemens Ag Verfahren zur rechnergestützten Regelung und/oder Steuerung eines technischen Systems insbesondere einer Gasturbine
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
JP5963320B2 (ja) * 2014-03-27 2016-08-03 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 情報処理装置、情報処理方法、及び、プログラム
JP7051749B2 (ja) * 2019-06-03 2022-04-11 株式会社東芝 信号処理装置、信号処理システム、信号処理方法、およびプログラム
WO2021263193A1 (en) * 2020-06-27 2021-12-30 Unicorn Labs Llc Smart sensor

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0384709B1 (en) * 1989-02-23 1994-11-02 Matsushita Electric Industrial Co., Ltd. Learning Machine
FR2648251B1 (fr) * 1989-06-09 1991-09-13 Labo Electronique Physique Methode d'apprentissage et structure de reseau de neurones
JPH0430280A (ja) * 1990-05-25 1992-02-03 Sharp Corp ニューラルネットワークの学習方法
JPH04360291A (ja) * 1991-06-06 1992-12-14 Nippon Telegr & Teleph Corp <Ntt> ニューラルネットの学習方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
又吉光邦・他，「Ｂ．Ｐ．法を用いたパターン認識における動的教師信号法の有効性」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，１９９０年 ７月１２日，Ｖｏｌ．９０， Ｎｏ．１２１（ＡＩ９０−３４〜４６），ｐｐ．４１−４６
喜屋武盛基・他「バックプロパゲーションの学習率改良による学習の高速化」，琉球大学工学部紀要，日本，琉球大学工学部，１９９１年 ３月１５日，Ｎｏ．４１，ｐｐ．１１−１６，ＪＳＴ資料番号：Ｚ０６５６Ｂ
渡辺栄治，「パターン分類問題に対する階層型ニューラルネットワークの内部表現と汎化能力の関係」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，１９９５年１０月２８日，Ｖｏｌ．９５， Ｎｏ．３４６（ＮＣ９５−４９〜６４），ｐｐ．７９−８６
阪上茂生・他，「バックプロパゲーション学習に必要な演算精度の削減」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，１９９１年 ９月２０日，Ｖｏｌ．９１， Ｎｏ．２３１（ＮＣ９１−３０〜４７），ｐｐ．１７−２４
阪上茂生・他，「精度が限定されたニューラルネットワークによる文字認識」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，１９９０年１０月１９日，Ｖｏｌ．９０， Ｎｏ．２６２（ＮＣ９０−３０〜４１），ｐｐ．２１−２８
香田敏行・他，「ニューラルネットによる英数字認識」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，１９８９年 ３月２４日，Ｖｏｌ．８８， Ｎｏ．４９０（ＩＥ８８−１２６〜１３８），ｐ．３３−４０

Also Published As

Publication number Publication date
JPH09237260A (ja) 1997-09-09
US5909676A (en) 1999-06-01

Similar Documents

Publication Publication Date Title
Yoo et al. Stable predictive control of chaotic systems using self-recurrent wavelet neural network
Yang et al. Investigation of neural networks for function approximation
Sanner et al. Stable adaptive control and recursive identification using radial gaussian networks
CN112698572B (zh) 一种基于强化学习的结构振动控制方法、介质及设备
JP3515267B2 (ja) 多層神経回路網学習装置
CN113792874A (zh) 基于先天知识的持续学习方法及装置
CN113015982A (zh) 具有竞争性奖励调节脉冲时间依赖的可塑性的人工神经网络及其训练方法
CN113885324A (zh) 一种建筑智能用电控制方法及系统
JPH07282168A (ja) カオスリカレント神経回路網とその学習方法
Yen Identification and control of large structures using neural networks
Chen Structural vibration suppression by using neural classifier with genetic algorithm
Lin et al. A wavelet-based neuro-fuzzy system and its applications
JP3168204B2 (ja) ネットワーク構成データ処理装置
Petrova et al. Neural network modelling of fermentation processes. Microorganisms cultivation model
Bird et al. Evolving minimally creative robots
Kazemy et al. Second order diagonal recurrent neural network
Dadios et al. Application of neural networks to the flexible pole-cart balancing problem
Hovakimyan et al. A novel observer based adaptive output feedback approach for control of uncertain systems
Yerramalla et al. Lyapunov stability analysis of the quantization error for DCS neural networks
Lv et al. An improved backpropagation algorithm using absolute error function
Venayagamoorthy Teaching neural networks concepts and their learning techniques
Schaefer et al. The Recurrent Control Neural Network.
CN115648227B (zh) 一种机器人运动轨迹神经网络模糊控制优化方法
JP3523325B2 (ja) ニューラルネットワーク及びこれを用いた信号処理装置、自律システム、自律型ロボット並びに移動システム
Arif et al. Generalization of iterative learning control for multiple desired trajectories in robotic systems

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040115

LAPS Cancellation because of no payment of annual fees