JP3515267B2 - 多層神経回路網学習装置 - Google Patents
多層神経回路網学習装置Info
- Publication number
- JP3515267B2 JP3515267B2 JP04366596A JP4366596A JP3515267B2 JP 3515267 B2 JP3515267 B2 JP 3515267B2 JP 04366596 A JP04366596 A JP 04366596A JP 4366596 A JP4366596 A JP 4366596A JP 3515267 B2 JP3515267 B2 JP 3515267B2
- Authority
- JP
- Japan
- Prior art keywords
- error
- layer
- learning
- neural network
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】本発明は、例えば、制御、認
識、診断などに利用できる多層神経回路網の学習装置に
関する。
識、診断などに利用できる多層神経回路網の学習装置に
関する。
【0002】
【従来の技術】従来、多層神経回路網の学習方法とし
て、誤差逆伝播学習法(バックプロパゲーション・アル
ゴリズム)が一般的に利用されている。
て、誤差逆伝播学習法(バックプロパゲーション・アル
ゴリズム)が一般的に利用されている。
【0003】誤差逆伝播学習法では、入力信号pn =
(p1 n ,p2 n ,…,pm1 n )(mlは入力信号の次
元数)と、入力信号pn が多層神経回路網に入力された
時の、多層神経回路網の望ましい出力信号である教師信
号tn =(t1 n ,t2 n ,…,tm3 n )(m3は出力
信号の次元数)との対からなる複数の学習データ
(pn,tn )(n=1,2,…,N)(Νは学習デー
タ数)に対して、多層神経回路網に入力信号pn が入力
され多層神経回路網の順方向計算によって出力された出
力信号on =(o1 n ,o2 n ,…,om3 n )と教師信
号tn との偏差の二乗和に1/2をかけたものがn番目
の学習データの誤差関数En 、この全学習データについ
ての平均が誤差関数Eとして定義される。
(p1 n ,p2 n ,…,pm1 n )(mlは入力信号の次
元数)と、入力信号pn が多層神経回路網に入力された
時の、多層神経回路網の望ましい出力信号である教師信
号tn =(t1 n ,t2 n ,…,tm3 n )(m3は出力
信号の次元数)との対からなる複数の学習データ
(pn,tn )(n=1,2,…,N)(Νは学習デー
タ数)に対して、多層神経回路網に入力信号pn が入力
され多層神経回路網の順方向計算によって出力された出
力信号on =(o1 n ,o2 n ,…,om3 n )と教師信
号tn との偏差の二乗和に1/2をかけたものがn番目
の学習データの誤差関数En 、この全学習データについ
ての平均が誤差関数Eとして定義される。
【0004】
【数1】
この誤差関数Eの値が減少するように多層神経回路網の
結合荷重値が繰り返し修正される。また、学習計算の停
止条件として、誤差関数値が所定の値以下に減少すると
停止するのが一般的な条件である。
結合荷重値が繰り返し修正される。また、学習計算の停
止条件として、誤差関数値が所定の値以下に減少すると
停止するのが一般的な条件である。
【0005】
【発明が解決しようとする課題】多層神経回路網の学習
課題を分類すると、 学習課題1) 出力信号の各要素に各々許容誤差が設定
されており、出力層の各神経素子の誤差値が、設定され
た許容誤差内に減少しなければならない課題 学習課題2) 複数の出力層神経素子のうち、1つの神
経素子の誤差値が設定された許容誤差内に減少すれば、
その他の出力層神経素子に対しては誤差が許容誤差以上
でも良い課題 学習課題3) 出力層の全神経素子が均一に学習し、出
力層の各神経素子の誤差が設定された許容誤差内に減少
しなければならない課題に分かれる。
課題を分類すると、 学習課題1) 出力信号の各要素に各々許容誤差が設定
されており、出力層の各神経素子の誤差値が、設定され
た許容誤差内に減少しなければならない課題 学習課題2) 複数の出力層神経素子のうち、1つの神
経素子の誤差値が設定された許容誤差内に減少すれば、
その他の出力層神経素子に対しては誤差が許容誤差以上
でも良い課題 学習課題3) 出力層の全神経素子が均一に学習し、出
力層の各神経素子の誤差が設定された許容誤差内に減少
しなければならない課題に分かれる。
【0006】しかし、従来の学習方法では出力層の各神
経素子の誤差を区別することなく、前記誤差関数値だけ
を評価し、誤差関数値が所定の値以下に減少すると、十
分学習できたとして停止することにしている。そのた
め、学習課題1については、許容誤差が大きく異なる出
力層神経素子があった場合に、学習が停止しても許容誤
差が小さい出力層神経素子ではその条件が満たされない
ことや、また、学習停止条件の所定の値を小さくし、全
出力層神経素子で許容誤差より小さくなるようにすると
許容誤差が大きな出力層神経素子についても誤差が小さ
くなるまで学習が行われ、学習回数が増えてしまう問題
がある。
経素子の誤差を区別することなく、前記誤差関数値だけ
を評価し、誤差関数値が所定の値以下に減少すると、十
分学習できたとして停止することにしている。そのた
め、学習課題1については、許容誤差が大きく異なる出
力層神経素子があった場合に、学習が停止しても許容誤
差が小さい出力層神経素子ではその条件が満たされない
ことや、また、学習停止条件の所定の値を小さくし、全
出力層神経素子で許容誤差より小さくなるようにすると
許容誤差が大きな出力層神経素子についても誤差が小さ
くなるまで学習が行われ、学習回数が増えてしまう問題
がある。
【0007】学習課題2については、1つの出力層神経
素子の誤差が十分小さく、許容誤差内に減少しているの
に、他の出力層神経素子の誤差が大きいために停止条件
が満たされず、無駄に多くの回数の学習が行われたり、
他の誤差の大きな出力層神経素子の誤差を減少させよう
とする学習計算によって、結合荷重値が変化し続け、誤
差の小さな出力層神経素子の誤差がなかなか減少しなく
なる問題がある。
素子の誤差が十分小さく、許容誤差内に減少しているの
に、他の出力層神経素子の誤差が大きいために停止条件
が満たされず、無駄に多くの回数の学習が行われたり、
他の誤差の大きな出力層神経素子の誤差を減少させよう
とする学習計算によって、結合荷重値が変化し続け、誤
差の小さな出力層神経素子の誤差がなかなか減少しなく
なる問題がある。
【0008】学習課題3については、全ての出力層神経
素子が同じ速度で学習されていくとは限らず、速く誤差
が減少する出力層神経素子となかなか誤差が減少しない
出力層神経素子ができる。そのため、学習が停止して
も、誤差が大きい神経素子と小さい神経素子ができてし
まい、均一な学習ができない問題がある。
素子が同じ速度で学習されていくとは限らず、速く誤差
が減少する出力層神経素子となかなか誤差が減少しない
出力層神経素子ができる。そのため、学習が停止して
も、誤差が大きい神経素子と小さい神経素子ができてし
まい、均一な学習ができない問題がある。
【0009】従来、このような課題に対処するものとし
て次のような公知例が挙げられる。 1)特開平4−30280号公報 この公知例は、ニューラルネットワークの出力層の各出
力ノードの出力データOとそれに対応する教師データT
との誤差Eの絶対値を閾値aと比較し、誤差Eの絶対値
が閾値aより小さい場合はその出力ノードに係る誤差E
の値を“0”に再設定し、誤差Eの絶対値が閾値aより
大きい場合はその出力ノードに係る誤差Eの値をそのま
ま用いることで、既に小さい出力値を出力している出力
ノードに係る不必要な学習を防止すると言うものであ
る。
て次のような公知例が挙げられる。 1)特開平4−30280号公報 この公知例は、ニューラルネットワークの出力層の各出
力ノードの出力データOとそれに対応する教師データT
との誤差Eの絶対値を閾値aと比較し、誤差Eの絶対値
が閾値aより小さい場合はその出力ノードに係る誤差E
の値を“0”に再設定し、誤差Eの絶対値が閾値aより
大きい場合はその出力ノードに係る誤差Eの値をそのま
ま用いることで、既に小さい出力値を出力している出力
ノードに係る不必要な学習を防止すると言うものであ
る。
【0010】2)特開平4−360291号公報
この公知例は、ニューラルネットワークの出力層の各出
力ノードの出力yk oと類似度(教師データ)y’k と
の誤差に類似度の大小により増減する項(類似度あるい
は類似度の2乗値)を乗じてこれを誤差関数Eとし、こ
の誤差関数Eを最小化するようにニューラルネットを学
習すると言うものである。つまり、類似度あるいは類似
度の2乗値を誤差関数の係数として用いている。この方
式では、類似度が高い場合には出力yk o と類似度y’
k との誤差を大きくし、類似度が小さい場合には誤差を
小さくすることで、高い類似度を出すのに関与したニュ
ーラルネットワーク中の結合荷重の変化量を大きくし、
低い類似度を出すのに関与したニューラルネットワーク
中の結合荷重の変化量を小さくする。
力ノードの出力yk oと類似度(教師データ)y’k と
の誤差に類似度の大小により増減する項(類似度あるい
は類似度の2乗値)を乗じてこれを誤差関数Eとし、こ
の誤差関数Eを最小化するようにニューラルネットを学
習すると言うものである。つまり、類似度あるいは類似
度の2乗値を誤差関数の係数として用いている。この方
式では、類似度が高い場合には出力yk o と類似度y’
k との誤差を大きくし、類似度が小さい場合には誤差を
小さくすることで、高い類似度を出すのに関与したニュ
ーラルネットワーク中の結合荷重の変化量を大きくし、
低い類似度を出すのに関与したニューラルネットワーク
中の結合荷重の変化量を小さくする。
【0011】本発明は、これら公知例とは異なる面から
上記問題を解決するためのものであり、その目的とする
ところは、無駄な学習を無くし、少ない学習回数で課題
に応じた学習を可能にする多層神経回路網学習装置を提
供することにある。
上記問題を解決するためのものであり、その目的とする
ところは、無駄な学習を無くし、少ない学習回数で課題
に応じた学習を可能にする多層神経回路網学習装置を提
供することにある。
【0012】
【課題を解決するための手段】上記した目的を達成する
ために、本発明の多層神経回路網学習装置は、生体の脳
を構成する神経細胞の特性を工学的に実現した神経素子
を、外部からの入力信号を受け取る入力層と1層以上の
中間層と外部に出力信号を送り出す出力層とに区分して
各層毎に各々1つ以上並べ、前記中間層の第1層の前記
神経素子は前記入力層の前記神経素子と結合され、その
他の前記中間層の前記神経素子は前層の前記神経素子と
結合され、前記出力層の前記神経素子は前記中間層の最
終層の前記神経素子と結合されてなる多層神経回路網
の、各層間の結合荷重値を調整することによって出力信
号を学習データの教師信号に近付けるように学習を行う
多層神経回路網学習装置において、前記学習データの教
師信号と前記多層神経回路網から出力された出力信号と
の誤差を算出する誤差算出手段と、前記出力信号毎に設
定された許容誤差値に基づいて、前記学習データの全て
に共通な誤差係数を設定する誤差係数決定手段と、前記
誤差算出手段により算出された誤差の二乗に前記誤差係
数を乗じた誤差関数を求め、この誤差関数の値が減少す
るように前記多層神経回路網の学習計算を行う学習手段
とを具備して構成される。
ために、本発明の多層神経回路網学習装置は、生体の脳
を構成する神経細胞の特性を工学的に実現した神経素子
を、外部からの入力信号を受け取る入力層と1層以上の
中間層と外部に出力信号を送り出す出力層とに区分して
各層毎に各々1つ以上並べ、前記中間層の第1層の前記
神経素子は前記入力層の前記神経素子と結合され、その
他の前記中間層の前記神経素子は前層の前記神経素子と
結合され、前記出力層の前記神経素子は前記中間層の最
終層の前記神経素子と結合されてなる多層神経回路網
の、各層間の結合荷重値を調整することによって出力信
号を学習データの教師信号に近付けるように学習を行う
多層神経回路網学習装置において、前記学習データの教
師信号と前記多層神経回路網から出力された出力信号と
の誤差を算出する誤差算出手段と、前記出力信号毎に設
定された許容誤差値に基づいて、前記学習データの全て
に共通な誤差係数を設定する誤差係数決定手段と、前記
誤差算出手段により算出された誤差の二乗に前記誤差係
数を乗じた誤差関数を求め、この誤差関数の値が減少す
るように前記多層神経回路網の学習計算を行う学習手段
とを具備して構成される。
【0013】誤差係数設定手段は、許容誤差値の逆数に
比例した値を学習データの全てに共通な誤差係数として
設定するであってよい。
比例した値を学習データの全てに共通な誤差係数として
設定するであってよい。
【0014】また、別の発明である多層神経回路網学習
装置は、生体の脳を構成する神経細胞の特性を工学的に
実現した神経素子を、外部からの入力信号を受け取る入
力層と1層以上の中間層と外部に出力信号を送り出す出
力層とに区分して各層毎に各々1つ以上並べ、前記中間
層の第1層の前記神経素子は前記入力層の前記神経素子
と結合され、その他の前記中間層の前記神経素子は前層
の前記神経素子と結合され、前記出力層の前記神経素子
は前記中間層の最終層の前記神経素子と結合されてなる
多層神経回路網の、各層間の結合荷重値を調整すること
によって出力信号を学習データの教師信号に近付けるよ
うに学習を行う多層神経回路網学習装置において、前記
学習データの教師信号と前記多層神経回路網の前記出力
層の各神経素子から出力された出力信号との各々の誤差
を算出する誤差算出手段と、前記誤差算出手段により算
出された各々の誤差の値を用いて、前記学習データの全
てに共通な誤差係数を設定する誤差係数設定手段と、前
記誤差算出手段により算出された誤差の値の二乗に前記
誤差係数を乗じた誤差関数を求め、この誤差関数の値が
減少するように前記多層神経回路網の学習計算を行う学
習手段とを具備して構成される。
装置は、生体の脳を構成する神経細胞の特性を工学的に
実現した神経素子を、外部からの入力信号を受け取る入
力層と1層以上の中間層と外部に出力信号を送り出す出
力層とに区分して各層毎に各々1つ以上並べ、前記中間
層の第1層の前記神経素子は前記入力層の前記神経素子
と結合され、その他の前記中間層の前記神経素子は前層
の前記神経素子と結合され、前記出力層の前記神経素子
は前記中間層の最終層の前記神経素子と結合されてなる
多層神経回路網の、各層間の結合荷重値を調整すること
によって出力信号を学習データの教師信号に近付けるよ
うに学習を行う多層神経回路網学習装置において、前記
学習データの教師信号と前記多層神経回路網の前記出力
層の各神経素子から出力された出力信号との各々の誤差
を算出する誤差算出手段と、前記誤差算出手段により算
出された各々の誤差の値を用いて、前記学習データの全
てに共通な誤差係数を設定する誤差係数設定手段と、前
記誤差算出手段により算出された誤差の値の二乗に前記
誤差係数を乗じた誤差関数を求め、この誤差関数の値が
減少するように前記多層神経回路網の学習計算を行う学
習手段とを具備して構成される。
【0015】この発明において、誤差係数設定手段は、
誤差算出手段により算出された各々の誤差の絶対値の和
に比例した値を誤差係数として設定するものであってよ
い。また、各々の誤差の二乗値の和に比例した値を誤差
係数として設定してもよく、さらには、各々の誤差の絶
対値の和の逆数、あるいは、各々の誤差の二乗値の和の
逆数に比例した値を誤差係数として設定してもよい。
誤差算出手段により算出された各々の誤差の絶対値の和
に比例した値を誤差係数として設定するものであってよ
い。また、各々の誤差の二乗値の和に比例した値を誤差
係数として設定してもよく、さらには、各々の誤差の絶
対値の和の逆数、あるいは、各々の誤差の二乗値の和の
逆数に比例した値を誤差係数として設定してもよい。
【0016】さらに、別の発明である多層神経回路網学
習装置は、生体の脳を構成する神経細胞の特性を工学的
に実現した神経素子を、外部からの入力信号を受け取る
入力層と1層以上の中間層と外部に出力信号を送り出す
出力層とに区分して各層毎に各々1つ以上並べ、前記中
間層の第1層の前記神経素子は前記入力層の前記神経素
子と結合され、その他の前記中間層の前記神経素子は前
層の前記神経素子と結合され、前記出力層の前記神経素
子は前記中間層の最終層の前記神経素子と結合されてな
る多層神経回路網の、各層間の結合荷重値を調整するこ
とによって出力信号を学習データの教師信号に近付ける
ように学習を行う多層神経回路網学習装置において、前
記学習データの教師信号と前記多層神経回路網から出力
された出力信号との誤差を算出する誤差算出手段と、前
記多層神経回路網学習装置の出力信号の各要素に設けら
れた許容誤差値の逆数に比例した値を誤差係数として設
定する誤差係数決定手段と、前記誤差算出手段により算
出された誤差の値を二乗したものに、前記誤差係数設定
手段により設定された誤差係数を乗じた関数を誤差関数
とし、この誤差関数の値が減少するように前記多層神経
回路網の学習計算を行う学習手段とを具備して構成され
る。また、さらに別の発明である多層神経回路網学習装
置は、生体の脳を構成する神経細胞の特性を工学的に実
現した神経素子を、外部からの入力信号を受け取る入力
層と1層以上の中間層と外部に出力信号を送り出す出力
層とに区分して各層毎に各々1つ以上並べ、前記中間層
の第1層の前記神経素子は前記入力層の前記神経素子と
結合され、その他の前記中間層の前記神経素子は前層の
前記神経素子と結合され、前記出力層の前記神経素子は
前記中間層の最終層の前記神経素子と結合されてなる多
層神経回路網の、各層間の結合荷重値を調整することに
よって出力信号を学習データの教師信号に近付けるよう
に学習を行う多層神経回路網学習装置において、前記学
習データの教師信号と前記多層神経回路網から出力され
た出力信号との誤差を算出する誤差算出手段と、前記誤
差算出手段により算出された誤差の値を二乗したものの
逆数に比例した値を誤差係数として設定する誤差係数設
定手段と、前記誤差算出手段により算出された誤差の値
を二乗したものに、前記誤差係数設定手段により設定さ
れた誤差係数を乗じた関数を誤差関数とし、この誤差関
数の値が減少するように前記多層神経回路網の学習計算
を行う学習手段とを具備して構成されるものである。さ
らに、別の発明である多層神経回路網学習装置は、生体
の脳を構成する神経細胞の特性を工学的に実現した神経
素子を、外部からの入力信号を受け取る入力層と1層以
上の中間層と外部に出力信号を送り出す出力層とに区分
して各層毎に各々1つ以上並べ、前記中間層の第1層の
前記神経素子は前記入力層の前記神経素子と結合され、
その他の前記中間層の前記神経素子は前層の前記神経素
子と結合され、前記出力層の前記神経素子は前記中間層
の最終層の前記神経素子と結合されてなる多層神経回路
網の、各層間の結合荷重値を調整することによって出力
信号を学習データの教師信号に近付けるように学習を行
う多層神経回路網学習装置において、前記学習データの
教師信号と前記多層神経回路網から出力された出力信号
との誤差を算出する誤差算出手段と、前記誤差算出手段
により算出された誤差の絶対値の逆数に比例した値を前
記誤差係数として設定する誤差係数設定手段と、 前記
誤差算出手段により算出された誤差の値を二乗したもの
に、前記誤差係数設定手段により設定された誤差係数を
乗じた関数を誤差関数とし、この誤差関数の値が減少す
るように前記多層神経回路網の学習計算を行う学習手段
とを具備して構成されるものである。
習装置は、生体の脳を構成する神経細胞の特性を工学的
に実現した神経素子を、外部からの入力信号を受け取る
入力層と1層以上の中間層と外部に出力信号を送り出す
出力層とに区分して各層毎に各々1つ以上並べ、前記中
間層の第1層の前記神経素子は前記入力層の前記神経素
子と結合され、その他の前記中間層の前記神経素子は前
層の前記神経素子と結合され、前記出力層の前記神経素
子は前記中間層の最終層の前記神経素子と結合されてな
る多層神経回路網の、各層間の結合荷重値を調整するこ
とによって出力信号を学習データの教師信号に近付ける
ように学習を行う多層神経回路網学習装置において、前
記学習データの教師信号と前記多層神経回路網から出力
された出力信号との誤差を算出する誤差算出手段と、前
記多層神経回路網学習装置の出力信号の各要素に設けら
れた許容誤差値の逆数に比例した値を誤差係数として設
定する誤差係数決定手段と、前記誤差算出手段により算
出された誤差の値を二乗したものに、前記誤差係数設定
手段により設定された誤差係数を乗じた関数を誤差関数
とし、この誤差関数の値が減少するように前記多層神経
回路網の学習計算を行う学習手段とを具備して構成され
る。また、さらに別の発明である多層神経回路網学習装
置は、生体の脳を構成する神経細胞の特性を工学的に実
現した神経素子を、外部からの入力信号を受け取る入力
層と1層以上の中間層と外部に出力信号を送り出す出力
層とに区分して各層毎に各々1つ以上並べ、前記中間層
の第1層の前記神経素子は前記入力層の前記神経素子と
結合され、その他の前記中間層の前記神経素子は前層の
前記神経素子と結合され、前記出力層の前記神経素子は
前記中間層の最終層の前記神経素子と結合されてなる多
層神経回路網の、各層間の結合荷重値を調整することに
よって出力信号を学習データの教師信号に近付けるよう
に学習を行う多層神経回路網学習装置において、前記学
習データの教師信号と前記多層神経回路網から出力され
た出力信号との誤差を算出する誤差算出手段と、前記誤
差算出手段により算出された誤差の値を二乗したものの
逆数に比例した値を誤差係数として設定する誤差係数設
定手段と、前記誤差算出手段により算出された誤差の値
を二乗したものに、前記誤差係数設定手段により設定さ
れた誤差係数を乗じた関数を誤差関数とし、この誤差関
数の値が減少するように前記多層神経回路網の学習計算
を行う学習手段とを具備して構成されるものである。さ
らに、別の発明である多層神経回路網学習装置は、生体
の脳を構成する神経細胞の特性を工学的に実現した神経
素子を、外部からの入力信号を受け取る入力層と1層以
上の中間層と外部に出力信号を送り出す出力層とに区分
して各層毎に各々1つ以上並べ、前記中間層の第1層の
前記神経素子は前記入力層の前記神経素子と結合され、
その他の前記中間層の前記神経素子は前層の前記神経素
子と結合され、前記出力層の前記神経素子は前記中間層
の最終層の前記神経素子と結合されてなる多層神経回路
網の、各層間の結合荷重値を調整することによって出力
信号を学習データの教師信号に近付けるように学習を行
う多層神経回路網学習装置において、前記学習データの
教師信号と前記多層神経回路網から出力された出力信号
との誤差を算出する誤差算出手段と、前記誤差算出手段
により算出された誤差の絶対値の逆数に比例した値を前
記誤差係数として設定する誤差係数設定手段と、 前記
誤差算出手段により算出された誤差の値を二乗したもの
に、前記誤差係数設定手段により設定された誤差係数を
乗じた関数を誤差関数とし、この誤差関数の値が減少す
るように前記多層神経回路網の学習計算を行う学習手段
とを具備して構成されるものである。
【0017】このように構成することで、本発明は、無
駄な学習を無くし、少ない学習回数で課題に応じた学習
を可能にする多層神経回路網学習装置を実現することが
できる。
駄な学習を無くし、少ない学習回数で課題に応じた学習
を可能にする多層神経回路網学習装置を実現することが
できる。
【0018】
【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。
て説明する。
【0019】図1は本実施形態である多層神経回路網学
習装置の構成を示すブロック図である。
習装置の構成を示すブロック図である。
【0020】同図において、多層神経回路網1は、入力
信号と教師信号の対からなる学習データ(pn ,tn )
(n=1,2,…,Ν)(Νは学習データ数を表す)の
うち入力信号pn を入力し、入力信号pn と多層神経回
路網1が持つ結合荷重値w、閾値θに基づき、順方向計
算によって出力信号on を算出して減算器2に出力す
る。
信号と教師信号の対からなる学習データ(pn ,tn )
(n=1,2,…,Ν)(Νは学習データ数を表す)の
うち入力信号pn を入力し、入力信号pn と多層神経回
路網1が持つ結合荷重値w、閾値θに基づき、順方向計
算によって出力信号on を算出して減算器2に出力す
る。
【0021】減算器2は、多層神経回路網1の出力信号
on と学習データのうちの教師信号tn を入力して、教
師信号tn から出力信号on を減算した誤差信号en =
tn−on を学習部4に出力する。
on と学習データのうちの教師信号tn を入力して、教
師信号tn から出力信号on を減算した誤差信号en =
tn−on を学習部4に出力する。
【0022】誤差係数設定部3は、誤差係数sの値を決
定して学習部4に出力する。
定して学習部4に出力する。
【0023】学習部4は、誤差係数設定部3から出力さ
れた誤差係数sと、全学習データについて減算器2から
出力された誤差信号(e1 ,e2 ,…,eN )と、多層
神経回路網1から出力された結合荷重値w、閾値θに基
づき、学習計算によって多層神経回路網1の結合荷重値
の修正量Δw及び閾値の修正量Δθを各々算出し、多層
神経回路網1に出力する。
れた誤差係数sと、全学習データについて減算器2から
出力された誤差信号(e1 ,e2 ,…,eN )と、多層
神経回路網1から出力された結合荷重値w、閾値θに基
づき、学習計算によって多層神経回路網1の結合荷重値
の修正量Δw及び閾値の修正量Δθを各々算出し、多層
神経回路網1に出力する。
【0024】多層神経回路網1は、学習部4から出力さ
れた結合荷重値の修正量Δw及び閾値の修正量Δθによ
って結合荷重値w、閾値θを修正する。
れた結合荷重値の修正量Δw及び閾値の修正量Δθによ
って結合荷重値w、閾値θを修正する。
【0025】このように多層神経回路網1の結合荷重値
w、閾値θの修正が繰り返され、教師信号tn に近い出
力信号on を出力するように多層神経回路網1が学習す
る。また、図2は他の実施形態である多層神経回路網学
習装置の構成を示すブロック図である。この多層神経回
路網学習装置においては、減算器2から出力される誤差
信号(e1 ,e2 ,…,eN )に基づき、誤差係数設定
部3が誤差係数sの値を決定し、学習部4に出力する。
その他の構成は図1のものと同じである。
w、閾値θの修正が繰り返され、教師信号tn に近い出
力信号on を出力するように多層神経回路網1が学習す
る。また、図2は他の実施形態である多層神経回路網学
習装置の構成を示すブロック図である。この多層神経回
路網学習装置においては、減算器2から出力される誤差
信号(e1 ,e2 ,…,eN )に基づき、誤差係数設定
部3が誤差係数sの値を決定し、学習部4に出力する。
その他の構成は図1のものと同じである。
【0026】次に、多層神経回路網1が図3に示すよう
な3層型神経回路網である場合を例にとり、本発明にか
かる多層神経回路網学習装置を説明する。
な3層型神経回路網である場合を例にとり、本発明にか
かる多層神経回路網学習装置を説明する。
【0027】多層神経回路網1は3層構造であり、入力
層5はm1個、中間層6はm2個、出力層7はm3個の
神経素子8から構成されるとする(但しm1,m2,m
3は正の整数)。
層5はm1個、中間層6はm2個、出力層7はm3個の
神経素子8から構成されるとする(但しm1,m2,m
3は正の整数)。
【0028】学習データの入力信号pn はm1個の要素
からなるベクトルである。 pn =(p1 n ,p2 n ,…,pm1 n ) また、学習データの教師信号tn はm3個の要素からな
るベクトルである。 tn =(t1 n ,t2 n ,…,tm3 n ) 学習データの入力信号pn は多層神経回路網1に入力さ
れ、多層神経回路網1で順方向計算が行われる。
からなるベクトルである。 pn =(p1 n ,p2 n ,…,pm1 n ) また、学習データの教師信号tn はm3個の要素からな
るベクトルである。 tn =(t1 n ,t2 n ,…,tm3 n ) 学習データの入力信号pn は多層神経回路網1に入力さ
れ、多層神経回路網1で順方向計算が行われる。
【0029】多層神経回路網1の中間層6の神経素子の
入出力関数はシグモイド関数f(x)=1/(1+ex
p(−x))、入力層5及び出力層7の神経素子8の入
出力関数は恒等関数とする。すると、n番目の学習デー
タの入力信号pn が多層神経回路網1に入力された場合
の多層神経回路網1の順方向計算は以下のように表され
る。
入出力関数はシグモイド関数f(x)=1/(1+ex
p(−x))、入力層5及び出力層7の神経素子8の入
出力関数は恒等関数とする。すると、n番目の学習デー
タの入力信号pn が多層神経回路網1に入力された場合
の多層神経回路網1の順方向計算は以下のように表され
る。
【0030】
【数2】
x1i n はn番目の学習データの入力信号が入力された
時の入力層i番神経素子入力値、y1i n はn番目の学
習データの入力信号が入力された時の入力層i番神経素
子出力値、x2j n はn番目の学習データの入力信号が
入力された時の中間層j番神経素子入力値、θ2j は中
間層j番神経素子の閾値、w12j,i は入力層i番神経
素子と中間層j番神経素子間の結合荷重値、y2j n は
n番目の学習データの入力信号が入力された時の中間層
j番神経素子出力値、x3k n はn番目の学習データの
入力信号が入力された時の出力層k番神経素子入力値、
θ3k は出力層k番神経素子の閾値、w23k,j は中間
層j番神経素子と出力層k番神経素子間の結合荷重値、
y3k n はn番目の学習データの入力信号が入力された
時の出力層k番神経素子出力値、ok n はn番目の学習
データの入力信号が入力された時の出力信号のk番目の
要素を表す。
時の入力層i番神経素子入力値、y1i n はn番目の学
習データの入力信号が入力された時の入力層i番神経素
子出力値、x2j n はn番目の学習データの入力信号が
入力された時の中間層j番神経素子入力値、θ2j は中
間層j番神経素子の閾値、w12j,i は入力層i番神経
素子と中間層j番神経素子間の結合荷重値、y2j n は
n番目の学習データの入力信号が入力された時の中間層
j番神経素子出力値、x3k n はn番目の学習データの
入力信号が入力された時の出力層k番神経素子入力値、
θ3k は出力層k番神経素子の閾値、w23k,j は中間
層j番神経素子と出力層k番神経素子間の結合荷重値、
y3k n はn番目の学習データの入力信号が入力された
時の出力層k番神経素子出力値、ok n はn番目の学習
データの入力信号が入力された時の出力信号のk番目の
要素を表す。
【0031】減算器2は、多層神経回路網1が算出した
出力信号on と学習データの教師信号tn を入力し、教
師信号tn から出力信号on を減算した誤差信号en を
出力する。 en =(e1 n ,e2 n n2,…,em3 n ),ek n =
tk n −ok n (k=1,2,…,m3). 誤差係数設定部3は誤差係数s=(s1 ,s2 ,…,s
m3)を設定する。この具体的な方法については後で説明
する。
出力信号on と学習データの教師信号tn を入力し、教
師信号tn から出力信号on を減算した誤差信号en を
出力する。 en =(e1 n ,e2 n n2,…,em3 n ),ek n =
tk n −ok n (k=1,2,…,m3). 誤差係数設定部3は誤差係数s=(s1 ,s2 ,…,s
m3)を設定する。この具体的な方法については後で説明
する。
【0032】学習部4は、全学習データについて減算器
2から出力される誤差信号(e1 ,e2 ,…,eN )
と、誤差係数設定部3から出力される誤差係数sに基づ
き、学習計算によって多層神経回路網1の結合荷重値の
修正値Δwと閾値の修正量Δθを計算する。まず、誤差
関数Eを次のように定義する。
2から出力される誤差信号(e1 ,e2 ,…,eN )
と、誤差係数設定部3から出力される誤差係数sに基づ
き、学習計算によって多層神経回路網1の結合荷重値の
修正値Δwと閾値の修正量Δθを計算する。まず、誤差
関数Eを次のように定義する。
【0033】
【数3】
この誤差関数Eを減少させるように、結合荷重値の修正
値Δwと閾値の修正量Δθが求められる。この計算方法
は誤差逆伝播学習法と同様であるが、誤差関数の定義が
異なるため、学習の結果の多層神経回路網1の状態も異
なる。以下に学習計算式を示す。
値Δwと閾値の修正量Δθが求められる。この計算方法
は誤差逆伝播学習法と同様であるが、誤差関数の定義が
異なるため、学習の結果の多層神経回路網1の状態も異
なる。以下に学習計算式を示す。
【0034】
【数4】
Δw23k,j は中間層j番神経素子と出力層k番神経素
子間の結合荷重値修正量、Δθ3k は出力層k番神経素
子の閾値修正量、Δw12j,i は入力層i番神経素子と
中間層j番神経素子間の結合荷重値修正量、Δθ2j は
中間層j番神経素子の閾値修正量、εは学習係数で、正
の小さな値である。これらの修正量が多層神経回路網1
に出力され、多層神経回路網1では元の結合荷重値、閾
値に加算される。
子間の結合荷重値修正量、Δθ3k は出力層k番神経素
子の閾値修正量、Δw12j,i は入力層i番神経素子と
中間層j番神経素子間の結合荷重値修正量、Δθ2j は
中間層j番神経素子の閾値修正量、εは学習係数で、正
の小さな値である。これらの修正量が多層神経回路網1
に出力され、多層神経回路網1では元の結合荷重値、閾
値に加算される。
【0035】次に、誤差係数設定部3で行われる誤差係
数設定方法を前述した三つの学習課題各々に対して説明
する。
数設定方法を前述した三つの学習課題各々に対して説明
する。
【0036】学習課題1のように、多層神経回路網の出
力信号の各要素に許容誤差η=(η1 ,η2 ,…,
ηm3)が設定されており、出力層の各神経素子の誤差が
設定された許容誤差内に減少しなければならない場合に
は、許容誤差の逆数に比例した値を誤差係数の値にす
る。
力信号の各要素に許容誤差η=(η1 ,η2 ,…,
ηm3)が設定されており、出力層の各神経素子の誤差が
設定された許容誤差内に減少しなければならない場合に
は、許容誤差の逆数に比例した値を誤差係数の値にす
る。
【0037】s=(s1 ,s2 ,…,sm3)
sk =α(1/ηk )(k=1,2,…,m3)
αは正の定数である。
【0038】学習課題2のように、複数の出力層神経素
子のうち、1つの神経素子の誤差が設定された許容誤差
内に減少すれば、その他の出力層神経素子に対しては誤
差が残ったままでもよい場合には、多層神経回路網の出
力層の各神経素子の誤差信号の二乗の値を比較し、誤差
信号の二乗の値が小さい神経素子ほど、誤差係数の値を
大きく設定する。
子のうち、1つの神経素子の誤差が設定された許容誤差
内に減少すれば、その他の出力層神経素子に対しては誤
差が残ったままでもよい場合には、多層神経回路網の出
力層の各神経素子の誤差信号の二乗の値を比較し、誤差
信号の二乗の値が小さい神経素子ほど、誤差係数の値を
大きく設定する。
【0039】すなわち、出力層の各神経素子の誤差信号
の二乗の値
の二乗の値
【数5】
の逆数に比例させて誤差係数値を設定する。
【0040】s=(s1 ,s2 ,…,sm3)
sk =α(1/ek )(k=1,2,…,m3)
αは正の定数である。
【0041】または、出力層の各神経素子の誤差信号の
絶対値
絶対値
【数6】
の逆数に比例させて誤差係数値を設定する。
【0042】s=(s1 ,s2 ,…,sm3)
sk=α(1/ek )(k=1,2,…,m3)
αは正の定数である。
【0043】または、誤差信号の絶対値の小さい所定の
数の神経素子の誤差係数値を1.0、その他の誤差係数
値を0.0にしてもよい。
数の神経素子の誤差係数値を1.0、その他の誤差係数
値を0.0にしてもよい。
【0044】学習課題3のように、出力層の神経素子が
均一に学習し、全神経素子の誤差が設定された許容誤差
内に減少しなければならない場合には、多層神経回路網
の出力層の各神経素子の誤差信号の二乗の値を比較し、
誤差信号の二乗の値が大きい神経素子ほど、誤差係数の
値を大きく設定する。
均一に学習し、全神経素子の誤差が設定された許容誤差
内に減少しなければならない場合には、多層神経回路網
の出力層の各神経素子の誤差信号の二乗の値を比較し、
誤差信号の二乗の値が大きい神経素子ほど、誤差係数の
値を大きく設定する。
【0045】すなわち、出力層の各神経素子の誤差信号
の二乗の値
の二乗の値
【数7】
に比例させ、誤差係数値を設定する。
【0046】s=(s1 ,s2 ,…,sm3)
sk =αek (k=1,2,…,m3)
αは正の定数である。
【0047】または、出力層の各神経素子の誤差信号の
絶対値
絶対値
【数8】
に比例させ、誤差係数値を設定する。
【0048】s=(s1 ,s2 ,…,sm3)
sk =αek (k=1,2,…,m3)
αは正の定数である。
【0049】または、誤差信号の絶対値の大きい所定の
数の神経素子の誤差係数値を1.0、その他の誤差係数
値を0.0にしてもよい。
数の神経素子の誤差係数値を1.0、その他の誤差係数
値を0.0にしてもよい。
【0050】次に、学習装置全体の計算手順を図4、図
5に示す流れ図を参照して説明する。図4は学習課題1
に対する場合の流れ図である。
5に示す流れ図を参照して説明する。図4は学習課題1
に対する場合の流れ図である。
【0051】(a)誤差係数設定部3が多層神経回路網
1の出力信号の各要素に設定された許容誤差η=
(η1 ,η2 ,…,ηm3)に基づき、誤差係数s=(s
1 ,s2 ,…,sm3)を設定する。
1の出力信号の各要素に設定された許容誤差η=
(η1 ,η2 ,…,ηm3)に基づき、誤差係数s=(s
1 ,s2 ,…,sm3)を設定する。
【0052】(b)学習データ番号を表す変数nに1が
代入される。
代入される。
【0053】(c)多層神経回路網1がn番目の学習デ
ータ入力信号pn に基づき、多層神経回路網1の順方向
計算によって出力信号on を算出する。
ータ入力信号pn に基づき、多層神経回路網1の順方向
計算によって出力信号on を算出する。
【0054】(d)減算器2が教師信号tn と出力信号
on に基づき、教師信号tn から出力信号on を減算し
た誤差信号en を学習部4に出力する。
on に基づき、教師信号tn から出力信号on を減算し
た誤差信号en を学習部4に出力する。
【0055】(e)変数nに1が加算される。
【0056】(f)(c)から(e)がn>Νになるま
で繰り返され、全学習データについての誤差信号en が
計算される。
で繰り返され、全学習データについての誤差信号en が
計算される。
【0057】(g)学習部4が誤差係数η、誤差信号
(e1 ,e2 ,…,eN )、多層神経回路網1の結合荷
重値w、閾値θに基づき、学習計算によって結合荷重
値、閾値の修正量を算出する。
(e1 ,e2 ,…,eN )、多層神経回路網1の結合荷
重値w、閾値θに基づき、学習計算によって結合荷重
値、閾値の修正量を算出する。
【0058】(h)(g)で計算された結合荷重値、閾
値の修正量によって、多層神経回路網1の結合荷重値、
閾値が更新される。
値の修正量によって、多層神経回路網1の結合荷重値、
閾値が更新される。
【0059】(i)学習終了条件が満たされるまで
(b)から(h)が繰り返され、学習終了条件が満たさ
れれば学習を終了する。
(b)から(h)が繰り返され、学習終了条件が満たさ
れれば学習を終了する。
【0060】ここで言う学習終了条件は、例えば、誤差
関数値Eが所定の値E0 以下になることである。この誤
差関数は従来手法の誤差関数とは定義が異なり、誤差係
数によって重み付けされた誤差関数になっている。従っ
て学習課題に適した誤差関数で、この誤差関数の値が所
定の値E0 以下になることは、課題を満たす学習ができ
たことを表している。
関数値Eが所定の値E0 以下になることである。この誤
差関数は従来手法の誤差関数とは定義が異なり、誤差係
数によって重み付けされた誤差関数になっている。従っ
て学習課題に適した誤差関数で、この誤差関数の値が所
定の値E0 以下になることは、課題を満たす学習ができ
たことを表している。
【0061】図5は学習課題2、学習課題3に対する場
合の流れ図である。誤差信号に基づき、誤差係数設定部
3が誤差係数sを決定する。誤差係数sは全学習データ
に関する誤差信号en が計算される毎に、この誤差信号
en に基づき設定される(図4の(a)がなくなり、
(f´)が追加されている)。誤差関数Eの定義の仕方
は上記のものに限らず、例えば、
合の流れ図である。誤差信号に基づき、誤差係数設定部
3が誤差係数sを決定する。誤差係数sは全学習データ
に関する誤差信号en が計算される毎に、この誤差信号
en に基づき設定される(図4の(a)がなくなり、
(f´)が追加されている)。誤差関数Eの定義の仕方
は上記のものに限らず、例えば、
【数9】
と定義してもよい。この場合の学習計算式は、
【数10】
【0062】
【実施例】第1の実施例として、本発明を移動ロボット
の同定モデル学習に適用した実施例について説明する。
の同定モデル学習に適用した実施例について説明する。
【0063】図6はXY平面上を移動する移動ロボット
9の図である。ロボット上に固定された座標系のΧs方
向の力fx、Ys方向の力fy、回転トルクfθが操作
量としてロボット9に与えられ、ロボットの位置(x,
y)、方向θとその速度成分(x,y)、θが制御量と
して観測される。この移動ロボット9の同定モデルに多
層神経回路網を応用する。
9の図である。ロボット上に固定された座標系のΧs方
向の力fx、Ys方向の力fy、回転トルクfθが操作
量としてロボット9に与えられ、ロボットの位置(x,
y)、方向θとその速度成分(x,y)、θが制御量と
して観測される。この移動ロボット9の同定モデルに多
層神経回路網を応用する。
【0064】図7は移動ロボット9の同定モデルとして
働く多層神経回路網の一構成例である。ある時刻tの制
御量と操作量が入力されると、1単位時間後の時刻t+
Δtの制御量が出力されるモデルである。
働く多層神経回路網の一構成例である。ある時刻tの制
御量と操作量が入力されると、1単位時間後の時刻t+
Δtの制御量が出力されるモデルである。
【0065】多層神経回路網の出力信号である制御量に
は、位置、方向、速度、角速度といった単位の異なる数
値が含まれ、許容誤差の値も出力信号の種類によって大
きく異なる。そのため、従来手法では許容誤差の小さな
出力に対して十分が学習ができないか、あるいは、許容
誤差の大きな出力に対して必要以上に無駄な学習を行う
ことになってしまう。
は、位置、方向、速度、角速度といった単位の異なる数
値が含まれ、許容誤差の値も出力信号の種類によって大
きく異なる。そのため、従来手法では許容誤差の小さな
出力に対して十分が学習ができないか、あるいは、許容
誤差の大きな出力に対して必要以上に無駄な学習を行う
ことになってしまう。
【0066】出力層の各素子に設定された許容誤差を
【数11】
とする。誤差係数設定部3では誤差係数sを
【数12】
のように許容誤差の逆数に設定し、学習することによっ
て、許容誤差の大きさに応じた学習ができる。
て、許容誤差の大きさに応じた学習ができる。
【0067】学習を終えた多層神経回路網を制御系に組
み込み、制御シミュレーションした結果を示す。図8は
本発明で提案した方法に従い、多層神経回路網の出力信
号の許容誤差をη=(4.11,1.11,0.040
7,0.216,0.214,0.0013)に設定
(誤差係数をs=(0.243,0.901,24.
6,4.63,4.67,769.2)に設定)して3
000回の学習を行った多層神経回路網を使って制御の
計算機シミュレーションした結果である。図9は従来の
誤差逆伝播学習法によって同じ3000回の学習を行
い、学習し終えた多層神経回路網を使って制御の計算機
シミュレーションした結果である。図8、図9の上2段
は制御量、下1段は操作量のグラフで横軸は時間0から
1,000秒間を示している。制御量(上2段)の破線
は目標軌道、実線は実現軌道、一点鎖線は多層神経回路
網が出力した予測値を表している。操作量(下1段)の
破線はフィードバック制御器によって計算された操作量
(フィードバック操作量)で、実線は多層神経回路網が
組み込まれた制御器によってフィードバック操作量を修
正した操作量で、この操作量によって移動ロボットは制
御されている。
み込み、制御シミュレーションした結果を示す。図8は
本発明で提案した方法に従い、多層神経回路網の出力信
号の許容誤差をη=(4.11,1.11,0.040
7,0.216,0.214,0.0013)に設定
(誤差係数をs=(0.243,0.901,24.
6,4.63,4.67,769.2)に設定)して3
000回の学習を行った多層神経回路網を使って制御の
計算機シミュレーションした結果である。図9は従来の
誤差逆伝播学習法によって同じ3000回の学習を行
い、学習し終えた多層神経回路網を使って制御の計算機
シミュレーションした結果である。図8、図9の上2段
は制御量、下1段は操作量のグラフで横軸は時間0から
1,000秒間を示している。制御量(上2段)の破線
は目標軌道、実線は実現軌道、一点鎖線は多層神経回路
網が出力した予測値を表している。操作量(下1段)の
破線はフィードバック制御器によって計算された操作量
(フィードバック操作量)で、実線は多層神経回路網が
組み込まれた制御器によってフィードバック操作量を修
正した操作量で、この操作量によって移動ロボットは制
御されている。
【0068】従来の学習方法によって学習した多層神経
回路網を使って制御した結果は、方向、角速度が振動し
ているが、本発明で提案した方法によって学習した多層
神経回路網を使って制御した結果は、方向、角速度の振
動は無くなり、滑らかに制御できていることが分かる。
これは誤差係数を許容誤差の逆数に比例した値にするこ
とにより、許容誤差の小さな方向、角速度の誤差が誤差
関数内で大きく評価され、その結果、出力信号のうち、
方向、角速度の学習が速められ、従来の学習方法よりも
正確な方向、角速度が出力されるように学習できたこと
を示している。第2の実施例として、本発明を下水処理
プロセスの曝気槽内溶存酸素濃度予測モデル学習に応用
した実施例について説明する。
回路網を使って制御した結果は、方向、角速度が振動し
ているが、本発明で提案した方法によって学習した多層
神経回路網を使って制御した結果は、方向、角速度の振
動は無くなり、滑らかに制御できていることが分かる。
これは誤差係数を許容誤差の逆数に比例した値にするこ
とにより、許容誤差の小さな方向、角速度の誤差が誤差
関数内で大きく評価され、その結果、出力信号のうち、
方向、角速度の学習が速められ、従来の学習方法よりも
正確な方向、角速度が出力されるように学習できたこと
を示している。第2の実施例として、本発明を下水処理
プロセスの曝気槽内溶存酸素濃度予測モデル学習に応用
した実施例について説明する。
【0069】図10は曝気槽の概略図である。曝気槽1
0ではブロア11により下水内に空気が送られ、下水中
の汚泥が撹拌されるとともに汚泥内の微生物が活性化さ
れ、下水中の無機、有機性物質の吸着、吸収が行われ
る。汚泥内の微生物を活性化させるため、下水の溶存酸
素濃度を一定値に保持する制御が行われる。ここでは、
溶存酸素濃度一定制御に利用される溶存酸素濃度予測モ
デルを多層神経回路網で構築し、学習によって特性を獲
得する。
0ではブロア11により下水内に空気が送られ、下水中
の汚泥が撹拌されるとともに汚泥内の微生物が活性化さ
れ、下水中の無機、有機性物質の吸着、吸収が行われ
る。汚泥内の微生物を活性化させるため、下水の溶存酸
素濃度を一定値に保持する制御が行われる。ここでは、
溶存酸素濃度一定制御に利用される溶存酸素濃度予測モ
デルを多層神経回路網で構築し、学習によって特性を獲
得する。
【0070】溶存酸素濃度DOには曝気槽10に与えら
れる曝気風量Qaerと、下水流入量Qinfが大きく
関係するので、現在と過去の曝気風量(Qaern ,Q
aern-1 …,Qaern-h )、下水流入量(Qinf
n ,Qinfn-1 ,…,Qinfn-h )、溶存酸素濃度
(DOn ,DOn-1 ,…,DOn-h )(hは正の整数)
を入力信号、将来の溶存酸素濃度を出力信号とするモデ
ルを構築する。ただし、下水処理プロセスの動特性は未
知であり、現在と過去の曝気風量、下水流入量、溶存酸
素濃度から何分先の溶存酸素濃度が正確に予測できるか
は分かっていない。そこで、図11のように、将来の複
数時点の溶存酸素濃度(DOn+1 ,DOn+2 ,…,DO
n+m )(mは正の整数)を予測する構造の多層神経回路
網を構築し、この複数時点の溶存酸素濃度のうち、1時
点の溶存酸素濃度が正確に出力できれば、その予測溶存
酸素濃度が目標の値に一定になるように制御すればよい
ことになる。 すなわち、複数ある出力素子のうち、1
つの出力素子が正確な出力値を出力するように学習でき
れば、他の出力素子が学習できなくてもよいことにな
る。このような課題の学習に対して、本発明では誤差信
号の二乗の大きさを各出力素子間で比較し、誤差信号の
二乗の値の小さい出力素子ほど誤差係数の値を大きく設
定する。このことにより、更に、誤差信号の二乗の値が
小さい素子の学習が速められ、少ない学習回数で一つ、
あるいは一部の出力素子が正確な出力をするようにな
る。
れる曝気風量Qaerと、下水流入量Qinfが大きく
関係するので、現在と過去の曝気風量(Qaern ,Q
aern-1 …,Qaern-h )、下水流入量(Qinf
n ,Qinfn-1 ,…,Qinfn-h )、溶存酸素濃度
(DOn ,DOn-1 ,…,DOn-h )(hは正の整数)
を入力信号、将来の溶存酸素濃度を出力信号とするモデ
ルを構築する。ただし、下水処理プロセスの動特性は未
知であり、現在と過去の曝気風量、下水流入量、溶存酸
素濃度から何分先の溶存酸素濃度が正確に予測できるか
は分かっていない。そこで、図11のように、将来の複
数時点の溶存酸素濃度(DOn+1 ,DOn+2 ,…,DO
n+m )(mは正の整数)を予測する構造の多層神経回路
網を構築し、この複数時点の溶存酸素濃度のうち、1時
点の溶存酸素濃度が正確に出力できれば、その予測溶存
酸素濃度が目標の値に一定になるように制御すればよい
ことになる。 すなわち、複数ある出力素子のうち、1
つの出力素子が正確な出力値を出力するように学習でき
れば、他の出力素子が学習できなくてもよいことにな
る。このような課題の学習に対して、本発明では誤差信
号の二乗の大きさを各出力素子間で比較し、誤差信号の
二乗の値の小さい出力素子ほど誤差係数の値を大きく設
定する。このことにより、更に、誤差信号の二乗の値が
小さい素子の学習が速められ、少ない学習回数で一つ、
あるいは一部の出力素子が正確な出力をするようにな
る。
【0071】第3の実施例として、本発明を文字認識用
多層神経回路網の学習に応用した実施例を説明する。
多層神経回路網の学習に応用した実施例を説明する。
【0072】図12は文字認識用多層神経回路網の一例
を示している。多層神経回路網の入力層5の素子は文字
入力部13のメッシュ14に一対一に対応しており、対
応しているメッシュ14内の、文字の線で塗りつぶされ
ている面積比が入力層素子に入力される(例えばメッシ
ュ全体が塗りつぶされていれば1.0が入力され、全く
線が通っていなければ0.0が入力される)。
を示している。多層神経回路網の入力層5の素子は文字
入力部13のメッシュ14に一対一に対応しており、対
応しているメッシュ14内の、文字の線で塗りつぶされ
ている面積比が入力層素子に入力される(例えばメッシ
ュ全体が塗りつぶされていれば1.0が入力され、全く
線が通っていなければ0.0が入力される)。
【0073】出力層は10素子から構成され、各々
‘0’から‘9’の文字に対応していて、例えば、文字
入力部に‘0’が書かれると‘0’に対応する素子が
1、その他の出力素子は0を出力するように学習する。
ただし、認識時には入力された文字に対して、出力値が
最大の出力素子に対応している文字が認識されたと解釈
する。 すると、例えば、出力層素子の中に、全く学習
が行われず、どのような文字が入力されても常に1より
大きな値を出力するものがあれば、認識結果はその出力
素子に対応する文字が選ばれ、いくら他の出力素子が正
確に学習でき、対応する文字が入力されると1、その他
の文字の場合は0を出力しても、正確な認識はできなく
なる。
‘0’から‘9’の文字に対応していて、例えば、文字
入力部に‘0’が書かれると‘0’に対応する素子が
1、その他の出力素子は0を出力するように学習する。
ただし、認識時には入力された文字に対して、出力値が
最大の出力素子に対応している文字が認識されたと解釈
する。 すると、例えば、出力層素子の中に、全く学習
が行われず、どのような文字が入力されても常に1より
大きな値を出力するものがあれば、認識結果はその出力
素子に対応する文字が選ばれ、いくら他の出力素子が正
確に学習でき、対応する文字が入力されると1、その他
の文字の場合は0を出力しても、正確な認識はできなく
なる。
【0074】そこで、このような課題の場合には、出力
層の全素子でバランスのとれた学習が必要になる。本発
明の方法では、誤差信号の二乗の大きさを各出力素子間
で比較し、誤差信号の二乗の値の大きい出力素子ほど誤
差係数の値を大きく設定することにより、誤差信号の二
乗の値が大きい素子の学習が速められ、出力層の全素子
を均一に学習することができる。
層の全素子でバランスのとれた学習が必要になる。本発
明の方法では、誤差信号の二乗の大きさを各出力素子間
で比較し、誤差信号の二乗の値の大きい出力素子ほど誤
差係数の値を大きく設定することにより、誤差信号の二
乗の値が大きい素子の学習が速められ、出力層の全素子
を均一に学習することができる。
【0075】
【発明の効果】以上説明したように、本発明の多層神経
回路網学習装置によれば、出力信号の各要素に許容誤差
が設定されており、出力層の各神経素子の誤差が設定さ
れた許容誤差内に減少しなければならない課題に対して
は、出力信号の各要素に設けられた許容誤差に基づき誤
差係数の値を設定する(その一例としては、許容誤差の
逆数に比例した値を誤差係数の値にする)ことにより、
許容誤差が小さい出力層神経素子の誤差の、誤差関数で
の評価が大きくなり、全出力層神経素子の誤差が許容誤
差より小さくなるように学習が行われる。
回路網学習装置によれば、出力信号の各要素に許容誤差
が設定されており、出力層の各神経素子の誤差が設定さ
れた許容誤差内に減少しなければならない課題に対して
は、出力信号の各要素に設けられた許容誤差に基づき誤
差係数の値を設定する(その一例としては、許容誤差の
逆数に比例した値を誤差係数の値にする)ことにより、
許容誤差が小さい出力層神経素子の誤差の、誤差関数で
の評価が大きくなり、全出力層神経素子の誤差が許容誤
差より小さくなるように学習が行われる。
【0076】また、複数の出力層神経素子のうち、1つ
の神経素子の誤差が許容誤差内に減少すれば、その他の
出力層神経素子に対しては誤差が残ったままでもよい課
題に対しては、誤差信号の二乗の値が小さい神経素子ほ
ど、誤差係数の値を大きく設定する(誤差の値を二乗し
たものの逆数に比例した値を誤差係数とする、或いは、
誤差の絶対値の逆数に比例した値を誤差係数とする)こ
とにより、誤差信号の二乗の値が小さい神経素子の学習
が益々進み、少ない学習回数で課題が満たされる。 さ
らに、出力層の神経素子が均一に学習し、全神経素子の
誤差が設定された許容誤差内に減少しなければならない
課題に対して、誤差信号の二乗の値が大きい神経素子ほ
ど、誤差係数の値を大きく設定する(誤差を二乗した値
に比例した値を誤差係数とする、或いは、誤差の絶対値
に比例した値を誤差係数とする)ことにより、誤差信号
の二乗の値が大きい神経素子の学習が速められ、その結
果、出力層の全神経素子が均一に学習することになる。
の神経素子の誤差が許容誤差内に減少すれば、その他の
出力層神経素子に対しては誤差が残ったままでもよい課
題に対しては、誤差信号の二乗の値が小さい神経素子ほ
ど、誤差係数の値を大きく設定する(誤差の値を二乗し
たものの逆数に比例した値を誤差係数とする、或いは、
誤差の絶対値の逆数に比例した値を誤差係数とする)こ
とにより、誤差信号の二乗の値が小さい神経素子の学習
が益々進み、少ない学習回数で課題が満たされる。 さ
らに、出力層の神経素子が均一に学習し、全神経素子の
誤差が設定された許容誤差内に減少しなければならない
課題に対して、誤差信号の二乗の値が大きい神経素子ほ
ど、誤差係数の値を大きく設定する(誤差を二乗した値
に比例した値を誤差係数とする、或いは、誤差の絶対値
に比例した値を誤差係数とする)ことにより、誤差信号
の二乗の値が大きい神経素子の学習が速められ、その結
果、出力層の全神経素子が均一に学習することになる。
【0077】このようにすることで、課題に適した学習
を行うことができ、その結果、無駄な学習を無くし、少
ない学習回数で課題に応じた学習が可能になる。
を行うことができ、その結果、無駄な学習を無くし、少
ない学習回数で課題に応じた学習が可能になる。
【図1】本発明の実施形態である多層神経回路網学習装
置の構成を示すブロック図
置の構成を示すブロック図
【図2】本発明の他の実施形態である多層神経回路網学
習装置の構成を示すブロック図
習装置の構成を示すブロック図
【図3】3層型神経回路網を示す図
【図4】図1の多層神経回路網学習装置の計算手順を示
す流れ図
す流れ図
【図5】図2の多層神経回路網学習装置の計算手順を示
す流れ図
す流れ図
【図6】本発明に係る第1の実施例を説明するためのX
Y平面上を移動する移動ロボットを示す図
Y平面上を移動する移動ロボットを示す図
【図7】図6の移動ロボットの同定モデルとして働く多
層神経回路網の構成例を示す図
層神経回路網の構成例を示す図
【図8】第1の実施例において本発明の学習装置を用い
て学習した多層神経回路網を使って制御の計算機シミュ
レーションを行った結果を示す図
て学習した多層神経回路網を使って制御の計算機シミュ
レーションを行った結果を示す図
【図9】従来の誤差逆伝播学習法に従って学習した多層
神経回路網を使って制御の計算機シミュレーションを行
った結果を示す図
神経回路網を使って制御の計算機シミュレーションを行
った結果を示す図
【図10】本発明に係る第2の実施例を説明するための
下水処理プロセスの曝気槽の概略図
下水処理プロセスの曝気槽の概略図
【図11】多層神経回路網で構築された溶存酸素濃度予
測モデルの構成例を示す図
測モデルの構成例を示す図
【図12】本発明に係る第3の実施例を説明するための
文字認識用多層神経回路網の構成例を示す図
文字認識用多層神経回路網の構成例を示す図
1………多層神経回路網
2………減算器
3………誤差係数設定部
4………学習部
5………入力層
6………中問層
7………出力層
8………神経素子
9………移動ロボット
10………曝気槽
11………ブロア
12………流入量計
13………文字入力部
14………メッシュ
フロントページの続き
(56)参考文献 特開 平9−138786(JP,A)
阪上茂生・他,「バックプロパゲーシ
ョン学習に必要な演算精度の削減」,電
子情報通信学会技術研究報告,日本,社
団法人電子情報通信学会,1991年 9月
20日,Vol.91, No.231(NC
91−30〜47),pp.17−24
香田敏行・他,「ニューラルネットに
よる英数字認識」,電子情報通信学会技
術研究報告,日本,社団法人電子情報通
信学会,1989年 3月24日,Vol.
88, No.490(IE88−126〜138),
p.33−40
阪上茂生・他,「精度が限定されたニ
ューラルネットワークによる文字認
識」,電子情報通信学会技術研究報告,
日本,社団法人電子情報通信学会,1990
年10月19日,Vol.90, No.262
(NC90−30〜41),pp.21−28
渡辺栄治,「パターン分類問題に対す
る階層型ニューラルネットワークの内部
表現と汎化能力の関係」,電子情報通信
学会技術研究報告,日本,社団法人電子
情報通信学会,1995年10月28日,Vo
l.95, No.346(NC95−49〜
64),pp.79−86
又吉光邦・他,「B.P.法を用いた
パターン認識における動的教師信号法の
有効性」,電子情報通信学会技術研究報
告,日本,社団法人電子情報通信学会,
1990年 7月12日,Vol.90, N
o.121(AI90−34〜46),pp.41
−46
喜屋武盛基・他「バックプロパゲーシ
ョンの学習率改良による学習の高速
化」,琉球大学工学部紀要,日本,琉球
大学工学部,1991年 3月15日,No.
41,pp.11−16,JST資料番号:Z
0656B
(58)調査した分野(Int.Cl.7,DB名)
G06N 1/00 - 7/08
G06G 7/60
JSTファイル(JOIS)
CSDB(日本国特許庁)
Claims (10)
- 【請求項1】生体の脳を構成する神経細胞の特性を工学
的に実現した神経素子を、外部からの入力信号を受け取
る入力層と1層以上の中間層と外部に出力信号を送り出
す出力層とに区分して各層毎に各々1つ以上並べ、前記
中間層の第1層の前記神経素子は前記入力層の前記神経
素子と結合され、その他の前記中間層の前記神経素子は
前層の前記神経素子と結合され、前記出力層の前記神経
素子は前記中間層の最終層の前記神経素子と結合されて
なる多層神経回路網の、各層間の結合荷重値を調整する
ことによって出力信号を学習データの教師信号に近付け
るように学習を行う多層神経回路網学習装置において、前記 学習データの教師信号と前記多層神経回路網から出
力された出力信号との誤差を算出する誤差算出手段と、前記出力信号毎に設定された 許容誤差値に基づいて、前
記学習データの全てに共通な誤差係数を設定する誤差係
数決定手段と、 前記誤差算出手段により算出された誤差の二乗に前記誤
差係数を乗じた誤差関数を求め、この誤差関数の値が減
少するように前記多層神経回路網の学習計算を行う学習
手段とを具備することを特徴とする多層神経回路網学習
装置。 - 【請求項2】前記誤差係数設定手段は、前記許容誤差値
の逆数に比例した値を前記学習データの全てに共通な誤
差係数として設定することを特徴とする請求項1に記載
の多層神経回路網学習装置。 - 【請求項3】生体の脳を構成する神経細胞の特性を工学
的に実現した神経素子を、外部からの入力信号を受け取
る入力層と1層以上の中間層と外部に出力信号を送り出
す出力層とに区分して各層毎に各々1つ以上並べ、前記
中間層の第1層の前記神経素子は前記入力層の前記神経
素子と結合され、その他の前記中間層の前記神経素子は
前層の前記神経素子と結合され、前記出力層の前記神経
素子は前記中間層の最終層の前記神経素子と結合されて
なる多層神経回路網の、各層間の結合荷重値を調整する
ことによって出力信号を学習データの教師信号に近付け
るように学習を行う多層神経回路網学習装置において、前記 学習データの教師信号と前記多層神経回路網の前記
出力層の各神経素子から出力された出力信号との各々の
誤差を算出する誤差算出手段と、 前記誤差算出手段により算出された各々の誤差の値を用
いて、前記学習データの全てに共通な誤差係数を設定す
る誤差係数設定手段と、 前記誤差算出手段により算出された誤差の値の二乗に前
記誤差係数を乗じた誤差関数を求め、この誤差関数の値
が減少するように前記多層神経回路網の学習計算を行う
学習手段とを具備することを特徴とする多層神経回路網
学習装置。 - 【請求項4】前記誤差係数設定手段は、前記誤差算出手
段により算出された各々の誤差の絶対値の和に比例した
値を前記誤差係数として設定することを特徴とする請求
項3に記載の多層神経回路網学習装置。 - 【請求項5】前記誤差係数設定手段は、前記誤差算出手
段により算出された各々の誤差の二乗値の和に比例した
値を前記誤差係数として設定することを特徴とする請求
項3に記載の多層神経回路網学習装置。 - 【請求項6】前記誤差係数設定手段は、前記誤差算出手
段により算出された各々の誤差の絶対値の和の逆数に比
例した値を前記誤差係数として設定することを特徴とす
る請求項3に記載の多層神経回路網学習装置。 - 【請求項7】前記誤差係数設定手段は、前記誤差算出手
段により算出された各々の誤差の二乗値の和 の逆数に比
例した値を前記誤差係数として設定することを特徴とす
る請求項3に記載の多層神経回路網学習装置。 - 【請求項8】生体の脳を構成する神経細胞の特性を工学
的に実現した神経素子を、外部からの入力信号を受け取
る入力層と1層以上の中間層と外部に出力信号を送り出
す出力層とに区分して各層毎に各々1つ以上並べ、前記
中間層の第1層の前記神経素子は前記入力層の前記神経
素子と結合され、その他の前記中間層の前記神経素子は
前層の前記神経素子と結合され、前記出力層の前記神経
素子は前記中間層の最終層の前記神経素子と結合されて
なる多層神経回路網の、各層間の結合荷重値を調整する
ことによって出力信号を学習データの教師信号に近付け
るように学習を行う多層神経回路網学習装置において、 前記学習データの教師信号と前記多層神経回路網から出
力された出力信号との誤差を算出する誤差算出手段と、 前記多層神経回路網学習装置の出力信号の各要素に設け
られた許容誤差値の逆数に比例した値を誤差係数として
設定する誤差係数決定手段と、 前記誤差算出手段により算出された誤差の値を二乗した
ものに、前記誤差係数設定手段により設定された誤差係
数を乗じた関数を誤差関数とし、この誤差関数の値が減
少するように前記多層神経回路網の学習計算を行う学習
手段とを具備することを特徴とする多層神経回路網学習
装置。 - 【請求項9】生体の脳を構成する神経細胞の特性を工学
的に実現した神経素子を、外部からの入力信号を受け取
る入力層と1層以上の中間層と外部に出力信号を送り出
す出力層とに区分して各層毎に各々1つ以上並べ、前記
中間層の第1層の前記神経素子は前記入力層の前記神経
素子と結合され、その他の前記中間層の前記神経素子は
前層の前記神経素子と結合され、前記出力層の前記神経
素子は前記中間層の最終層の前記神経素子と結合されて
なる多層神経回路網の、各層間の結合荷重値を調整する
ことによって出力信号を学習データの教師信号に近付け
るように学習を行う多層神経回路網学習装置において、 前記学習データの教師信号と前記多層神経回路網から出
力された出力信号との誤差を算出する誤差算出手段と、 前記誤差算出手段により算出された誤差の値を二乗した
ものの逆数に比例した値を誤差係数として設定する誤差
係数設定手段と、 前記誤差算出手段により算出された誤差の値を二乗した
ものに、前記誤差係数設定手段により設定された誤差係
数を乗じた関数を誤差関数とし、この誤差関数の値が減
少するように前記多層神経回路網の学習計算を行う学習
手段とを具備することを特徴とする多層神経回路網学習
装置。 - 【請求項10】生体の脳を構成する神経細胞の特性を工
学的に実現した神経素子を、外部からの入力信号を受け
取る入力層と1層以上の中間層と外部に出力信号を送り
出す出力層とに区分して各層毎に各々1つ以上並べ、前
記中間層の第1層の前記神経素子は前記入力層の前記神
経素子と結合され、その他の前記中間層の前記神経素子
は前層の前記神経素子と結合され、前記出力層の前記神
経素子は前記中間層の最終層の前記神経素子と結合され
てなる多層神経回路網の、各層間の結合荷重値を調整す
ることによって出力信号を学習データの教師信号に近付
けるように学習を行う多層神経回路網学習装置におい
て、 前記学習データの教師信号と前記多層神経回路網から出
力された出力信号との誤差を算出する誤差算出手段と、 前記誤差算出手段により算出された誤差の絶対値の逆数
に比例した値を前記誤差係数として設定する誤差係数設
定手段と、 前記誤差算出手段により算出された誤差の値を二乗した
ものに、前記誤差係数設定手段により設定された誤差係
数を乗じた関数を誤差関数とし、この誤差関数の値が減
少するように前記多層神経回路網の学習計算を行う学習
手段と を具備することを特徴とする多層神経回路網学習
装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04366596A JP3515267B2 (ja) | 1996-02-29 | 1996-02-29 | 多層神経回路網学習装置 |
US08/807,160 US5909676A (en) | 1996-02-29 | 1997-02-27 | System for controlling an object and medium using neural networks |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04366596A JP3515267B2 (ja) | 1996-02-29 | 1996-02-29 | 多層神経回路網学習装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09237260A JPH09237260A (ja) | 1997-09-09 |
JP3515267B2 true JP3515267B2 (ja) | 2004-04-05 |
Family
ID=12670156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04366596A Expired - Fee Related JP3515267B2 (ja) | 1996-02-29 | 1996-02-29 | 多層神経回路網学習装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5909676A (ja) |
JP (1) | JP3515267B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6185470B1 (en) * | 1997-11-07 | 2001-02-06 | Mcdonnell Douglas Corporation | Neural network predictive control method and system |
JP2001166804A (ja) * | 1999-12-10 | 2001-06-22 | Sony Corp | 学習式動作制御装置およびその方法、並びに提供媒体 |
JP4093858B2 (ja) * | 2000-10-13 | 2008-06-04 | フラウンホーファー−ゲゼルシャフト・ツア・フォルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ | リカレントニューラルネットワーク |
DE102007001024B4 (de) * | 2007-01-02 | 2008-10-02 | Siemens Ag | Verfahren zur rechnergestützten Regelung und/oder Steuerung eines technischen Systems insbesondere einer Gasturbine |
US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
JP5963320B2 (ja) * | 2014-03-27 | 2016-08-03 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 情報処理装置、情報処理方法、及び、プログラム |
JP7051749B2 (ja) * | 2019-06-03 | 2022-04-11 | 株式会社東芝 | 信号処理装置、信号処理システム、信号処理方法、およびプログラム |
WO2021263193A1 (en) * | 2020-06-27 | 2021-12-30 | Unicorn Labs Llc | Smart sensor |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0384709B1 (en) * | 1989-02-23 | 1994-11-02 | Matsushita Electric Industrial Co., Ltd. | Learning Machine |
FR2648251B1 (fr) * | 1989-06-09 | 1991-09-13 | Labo Electronique Physique | Methode d'apprentissage et structure de reseau de neurones |
JPH0430280A (ja) * | 1990-05-25 | 1992-02-03 | Sharp Corp | ニューラルネットワークの学習方法 |
JPH04360291A (ja) * | 1991-06-06 | 1992-12-14 | Nippon Telegr & Teleph Corp <Ntt> | ニューラルネットの学習方法 |
-
1996
- 1996-02-29 JP JP04366596A patent/JP3515267B2/ja not_active Expired - Fee Related
-
1997
- 1997-02-27 US US08/807,160 patent/US5909676A/en not_active Expired - Fee Related
Non-Patent Citations (6)
Title |
---|
又吉光邦・他,「B.P.法を用いたパターン認識における動的教師信号法の有効性」,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,1990年 7月12日,Vol.90, No.121(AI90−34〜46),pp.41−46 |
喜屋武盛基・他「バックプロパゲーションの学習率改良による学習の高速化」,琉球大学工学部紀要,日本,琉球大学工学部,1991年 3月15日,No.41,pp.11−16,JST資料番号:Z0656B |
渡辺栄治,「パターン分類問題に対する階層型ニューラルネットワークの内部表現と汎化能力の関係」,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,1995年10月28日,Vol.95, No.346(NC95−49〜64),pp.79−86 |
阪上茂生・他,「バックプロパゲーション学習に必要な演算精度の削減」,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,1991年 9月20日,Vol.91, No.231(NC91−30〜47),pp.17−24 |
阪上茂生・他,「精度が限定されたニューラルネットワークによる文字認識」,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,1990年10月19日,Vol.90, No.262(NC90−30〜41),pp.21−28 |
香田敏行・他,「ニューラルネットによる英数字認識」,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,1989年 3月24日,Vol.88, No.490(IE88−126〜138),p.33−40 |
Also Published As
Publication number | Publication date |
---|---|
JPH09237260A (ja) | 1997-09-09 |
US5909676A (en) | 1999-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yoo et al. | Stable predictive control of chaotic systems using self-recurrent wavelet neural network | |
Yang et al. | Investigation of neural networks for function approximation | |
Sanner et al. | Stable adaptive control and recursive identification using radial gaussian networks | |
CN112698572B (zh) | 一种基于强化学习的结构振动控制方法、介质及设备 | |
JP3515267B2 (ja) | 多層神経回路網学習装置 | |
CN113792874A (zh) | 基于先天知识的持续学习方法及装置 | |
CN113015982A (zh) | 具有竞争性奖励调节脉冲时间依赖的可塑性的人工神经网络及其训练方法 | |
CN113885324A (zh) | 一种建筑智能用电控制方法及系统 | |
JPH07282168A (ja) | カオスリカレント神経回路網とその学習方法 | |
Yen | Identification and control of large structures using neural networks | |
Chen | Structural vibration suppression by using neural classifier with genetic algorithm | |
Lin et al. | A wavelet-based neuro-fuzzy system and its applications | |
JP3168204B2 (ja) | ネットワーク構成データ処理装置 | |
Petrova et al. | Neural network modelling of fermentation processes. Microorganisms cultivation model | |
Bird et al. | Evolving minimally creative robots | |
Kazemy et al. | Second order diagonal recurrent neural network | |
Dadios et al. | Application of neural networks to the flexible pole-cart balancing problem | |
Hovakimyan et al. | A novel observer based adaptive output feedback approach for control of uncertain systems | |
Yerramalla et al. | Lyapunov stability analysis of the quantization error for DCS neural networks | |
Lv et al. | An improved backpropagation algorithm using absolute error function | |
Venayagamoorthy | Teaching neural networks concepts and their learning techniques | |
Schaefer et al. | The Recurrent Control Neural Network. | |
CN115648227B (zh) | 一种机器人运动轨迹神经网络模糊控制优化方法 | |
JP3523325B2 (ja) | ニューラルネットワーク及びこれを用いた信号処理装置、自律システム、自律型ロボット並びに移動システム | |
Arif et al. | Generalization of iterative learning control for multiple desired trajectories in robotic systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040115 |
|
LAPS | Cancellation because of no payment of annual fees |