JPH0954763A - 多値ニューラルネットワーク学習方式 - Google Patents
多値ニューラルネットワーク学習方式Info
- Publication number
- JPH0954763A JPH0954763A JP7227014A JP22701495A JPH0954763A JP H0954763 A JPH0954763 A JP H0954763A JP 7227014 A JP7227014 A JP 7227014A JP 22701495 A JP22701495 A JP 22701495A JP H0954763 A JPH0954763 A JP H0954763A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- output unit
- error signal
- neural network
- weight coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】 （修正有）
【課題】 不正解の出力ユニットにおける誤差の絶対値
の最小値から、最適な重み係数更新誤差信号を生成し
て、重み係数を更新する学習方式により、高速且つ安定
に所望の出力信号を得る。 【解決手段】 ２値教師信号を用いて学習する２値ニュ
ーラルネットワークにおいて、該２値教師信号に等しい
２値出力ユニット信号を送出する出力ユニットに対し、
該２値教師信号から出力ユニット信号を差し引いて得た
誤差信号の絶対値が第１のスレショルドより小さいとき
は、該誤差信号と逆極性の、誤差信号に反比例する重み
係数更新誤差信号を生成し、一方該誤差信号の絶対値が
該第１のスレショルドよりも大きいときは、該誤差信号
より小さい振幅の同極性の重み係数更新誤差信号を生成
する重み係数更新誤差信号生成器１０と、該振幅あるい
は更に該第１のスレショルドを制御する為のローカルミ
ニマム捕獲状態検出器１５とを少なくとも用いて、重み
係数更新誤差信号を元に重み係数を更新する。
の最小値から、最適な重み係数更新誤差信号を生成し
て、重み係数を更新する学習方式により、高速且つ安定
に所望の出力信号を得る。 【解決手段】 ２値教師信号を用いて学習する２値ニュ
ーラルネットワークにおいて、該２値教師信号に等しい
２値出力ユニット信号を送出する出力ユニットに対し、
該２値教師信号から出力ユニット信号を差し引いて得た
誤差信号の絶対値が第１のスレショルドより小さいとき
は、該誤差信号と逆極性の、誤差信号に反比例する重み
係数更新誤差信号を生成し、一方該誤差信号の絶対値が
該第１のスレショルドよりも大きいときは、該誤差信号
より小さい振幅の同極性の重み係数更新誤差信号を生成
する重み係数更新誤差信号生成器１０と、該振幅あるい
は更に該第１のスレショルドを制御する為のローカルミ
ニマム捕獲状態検出器１５とを少なくとも用いて、重み
係数更新誤差信号を元に重み係数を更新する。
Description
【０００１】
【発明の属する技術分野】本発明は、大規模論理回路、
パターン認識、連想メモリ、データ変換及び画像処理な
どの分野に適用可能なニューラルネットワークにおい
て、ローカルミニマム捕獲状態を検出することにより高
速かつ安定に所望の出力信号を得ることができる多値ニ
ューラルネットワークの学習方式に関するものである。
本発明は特に特願平７−７７１６８（平成７年３月９日
出願）の改良に関する。
パターン認識、連想メモリ、データ変換及び画像処理な
どの分野に適用可能なニューラルネットワークにおい
て、ローカルミニマム捕獲状態を検出することにより高
速かつ安定に所望の出力信号を得ることができる多値ニ
ューラルネットワークの学習方式に関するものである。
本発明は特に特願平７−７７１６８（平成７年３月９日
出願）の改良に関する。
【０００２】
【従来の技術】ニューラルネットワークの１つとして、
多層（階層）ニューラルネットワークがあるが、このニ
ューラルネットワークの教師信号を用いた学習方法とし
て、バック・プロパゲーション・アルゴリズムが幅広く
使用されている。本アルゴリズムを用いた学習過程で
は、重み係数を初期設定した後、予め用意された教師信
号Ｔ（教師信号エレメント、Ｔ1 、Ｔ2 、... 、ＴM ）
から、入力層に入力された学習用入力信号に対する出力
層からの出力ユニット信号を減算器を介して差し引き誤
差信号を求め、各層の出力ユニット信号と誤差信号とを
基に誤差信号の電力を最小にするように各層間の重み係
数の更新を行い学習を行うものである。この重み係数適
応制御からなる学習をすべての学習用入力信号に対して
実行し、収束するまで繰り返す。
多層（階層）ニューラルネットワークがあるが、このニ
ューラルネットワークの教師信号を用いた学習方法とし
て、バック・プロパゲーション・アルゴリズムが幅広く
使用されている。本アルゴリズムを用いた学習過程で
は、重み係数を初期設定した後、予め用意された教師信
号Ｔ（教師信号エレメント、Ｔ1 、Ｔ2 、... 、ＴM ）
から、入力層に入力された学習用入力信号に対する出力
層からの出力ユニット信号を減算器を介して差し引き誤
差信号を求め、各層の出力ユニット信号と誤差信号とを
基に誤差信号の電力を最小にするように各層間の重み係
数の更新を行い学習を行うものである。この重み係数適
応制御からなる学習をすべての学習用入力信号に対して
実行し、収束するまで繰り返す。
【０００３】この学習過程に於て誤差電力が最小となる
と完全に収束し、学習用入力信号に対する多値出力ユニ
ット信号が多値教師信号と一致する。しかしながら、誤
差電力が局部極小（ローカルミニマム）となる所に一旦
落ち込むと、それが非常に安定な場合はそれ以降は学習
が進まず最小とならないこと、また、最小の状態になる
ためには学習回数が著しく増加することや、収束特性に
重み係数の初期値依存性があるなどの問題がある。
と完全に収束し、学習用入力信号に対する多値出力ユニ
ット信号が多値教師信号と一致する。しかしながら、誤
差電力が局部極小（ローカルミニマム）となる所に一旦
落ち込むと、それが非常に安定な場合はそれ以降は学習
が進まず最小とならないこと、また、最小の状態になる
ためには学習回数が著しく増加することや、収束特性に
重み係数の初期値依存性があるなどの問題がある。
【０００４】一方、０および１の２値教師信号Ｔに対し
て学習速度を改善するために"Parallel Distributed Pr
ocessing" D.E. Rumelhart, MIT Press. では、図１に
示す従来方式の学習を用いた多層ニューラルネットワー
クにおいて、それぞれのエレメントに対して０．１及び
０. ９の新たな教師信号Ｔ’を設定し、動作モード制御
器９からの制御信号により夫々初期設定を行った後、学
習を開始する。端子３からの教師信号Ｔ’から、端子２
からの学習用入力信号に対する多層ニューラルネットワ
ーク１の出力ユニット信号を減算器４を介して差し引き
誤差信号を求め、これを重み係数制御器５に入力し、バ
ックプロパゲーションアルゴリズムにより重み係数更新
を行い、多層ニューラルネットワーク１に再度設定する
処理を繰り返し学習する。２値スレショルド回路６を介
して出力ユニット信号から２値出力ユニット信号を得、
また、２値スレショルド回路７を介して教師信号Ｔ’か
ら２値教師信号Ｔを得、一致検出器８にてこれらが完全
に一致する状態を検出することにより、多層ニューラル
ネットワーク１が収束したとして動作モード制御器９を
介して学習が終了する。
て学習速度を改善するために"Parallel Distributed Pr
ocessing" D.E. Rumelhart, MIT Press. では、図１に
示す従来方式の学習を用いた多層ニューラルネットワー
クにおいて、それぞれのエレメントに対して０．１及び
０. ９の新たな教師信号Ｔ’を設定し、動作モード制御
器９からの制御信号により夫々初期設定を行った後、学
習を開始する。端子３からの教師信号Ｔ’から、端子２
からの学習用入力信号に対する多層ニューラルネットワ
ーク１の出力ユニット信号を減算器４を介して差し引き
誤差信号を求め、これを重み係数制御器５に入力し、バ
ックプロパゲーションアルゴリズムにより重み係数更新
を行い、多層ニューラルネットワーク１に再度設定する
処理を繰り返し学習する。２値スレショルド回路６を介
して出力ユニット信号から２値出力ユニット信号を得、
また、２値スレショルド回路７を介して教師信号Ｔ’か
ら２値教師信号Ｔを得、一致検出器８にてこれらが完全
に一致する状態を検出することにより、多層ニューラル
ネットワーク１が収束したとして動作モード制御器９を
介して学習が終了する。
【０００５】このように教師信号を０．１及び０. ９に
設定することにより、０及び１の２値教師信号の場合に
比較して収束するための学習回数が削減されることが述
べられている。これは、シグモイド関数において、入力
が０あるいは１に近づくと、勾配が非常に小さくなるこ
とにより、重み係数の更新速度が小さくなることの理由
による。このため、教師信号を０．１及び０. ９に設定
し、勾配を大きくすることにより、学習速度を改善して
いる。しかしながら、同様に安定したローカルミニマム
に落ち込むと学習が進展しない。
設定することにより、０及び１の２値教師信号の場合に
比較して収束するための学習回数が削減されることが述
べられている。これは、シグモイド関数において、入力
が０あるいは１に近づくと、勾配が非常に小さくなるこ
とにより、重み係数の更新速度が小さくなることの理由
による。このため、教師信号を０．１及び０. ９に設定
し、勾配を大きくすることにより、学習速度を改善して
いる。しかしながら、同様に安定したローカルミニマム
に落ち込むと学習が進展しない。
【０００６】これらの従来の学習方式では、上記の説明
のごとくローカルミニマムの状態に落ち込みやすく、ま
た、なかなか抜け出せないことから、完全な収束状態が
簡単には到達できないなどの欠点がある。特に、入力ユ
ニット数の多い３層あるいは多層ニューラルネットワー
クにおいて、多値教師信号に対して確実に収束させる設
計手法は明らかになっておらず、初期値依存性の為に重
み係数の初期値を変更したり、隠れユニット（中間ユニ
ット）数を増やすなどの試行錯誤を行っている。また、
安定なローカルミニマムへの捕獲状態を簡単に検出する
手段はこれまでない。
のごとくローカルミニマムの状態に落ち込みやすく、ま
た、なかなか抜け出せないことから、完全な収束状態が
簡単には到達できないなどの欠点がある。特に、入力ユ
ニット数の多い３層あるいは多層ニューラルネットワー
クにおいて、多値教師信号に対して確実に収束させる設
計手法は明らかになっておらず、初期値依存性の為に重
み係数の初期値を変更したり、隠れユニット（中間ユニ
ット）数を増やすなどの試行錯誤を行っている。また、
安定なローカルミニマムへの捕獲状態を簡単に検出する
手段はこれまでない。
【０００７】
【発明が解決しようとする課題】上記の説明のごとく、
多値教師信号を用いた多層ニューラルネットワークの従
来の学習処理において、多層ニューラルネットワークが
学習用入力信号に対応した所望の多値出力ユニット信号
を送出するよう重み係数を更新する際に、所望の多値出
力ユニット信号を送出する収束した状態になるまでの学
習回数即ち学習繰り返し回数が非常に多くなる場合や、
学習しても収束しない状態即ち非常に安定したローカル
ミニマムの状態に落ち込み所望の多値出力ユニット信号
が送出されないなど重み係数の初期値依存性があるなど
の欠点を有している。特に、入力層のユニット数が多
く、出力ユニット数が少なく、而も分布型の表現形式を
持った教師信号の場合には、学習による収束が非常に困
難となり、所望の多値出力ユニット信号を送出する多層
ニューラルネットワークを自由に設計する方法が確立さ
れていない。また、収束しやすくするために中間ユニッ
ト数を大幅に増やす方法があるが、汎化能力が劣化する
と共に当然のことながらそれぞれの演算量が増し、非常
に大きいハードウェア能力あるいは演算能力が要求され
る。
多値教師信号を用いた多層ニューラルネットワークの従
来の学習処理において、多層ニューラルネットワークが
学習用入力信号に対応した所望の多値出力ユニット信号
を送出するよう重み係数を更新する際に、所望の多値出
力ユニット信号を送出する収束した状態になるまでの学
習回数即ち学習繰り返し回数が非常に多くなる場合や、
学習しても収束しない状態即ち非常に安定したローカル
ミニマムの状態に落ち込み所望の多値出力ユニット信号
が送出されないなど重み係数の初期値依存性があるなど
の欠点を有している。特に、入力層のユニット数が多
く、出力ユニット数が少なく、而も分布型の表現形式を
持った教師信号の場合には、学習による収束が非常に困
難となり、所望の多値出力ユニット信号を送出する多層
ニューラルネットワークを自由に設計する方法が確立さ
れていない。また、収束しやすくするために中間ユニッ
ト数を大幅に増やす方法があるが、汎化能力が劣化する
と共に当然のことながらそれぞれの演算量が増し、非常
に大きいハードウェア能力あるいは演算能力が要求され
る。
【０００８】本発明の目的は、上記の問題を解決し、多
値ニューラルネットワークの従来の学習方式などに比べ
て、非常に少ない学習回数で収束し、１０倍から１００
倍の高速度で安定に学習を完了させることが出来、学習
用入力信号に対して所望の多値出力ユニット信号を容易
に得ることができるローカルミニマム捕獲状態検出機能
を有した多値ニューラルネットワークの新たな学習方式
を提供することにある。
値ニューラルネットワークの従来の学習方式などに比べ
て、非常に少ない学習回数で収束し、１０倍から１００
倍の高速度で安定に学習を完了させることが出来、学習
用入力信号に対して所望の多値出力ユニット信号を容易
に得ることができるローカルミニマム捕獲状態検出機能
を有した多値ニューラルネットワークの新たな学習方式
を提供することにある。
【０００９】
【課題を解決するための手段】上記の問題点を解決する
ために、多値教師信号を用いて学習させる多値ニューラ
ルネットワークにおいて、該多値教師信号から正解の出
力ユニットの出力ユニット信号を差し引いて得た誤差信
号の絶対値が第１のスレショルドより小さいと、該誤差
信号と逆極性を持ち該多値教師信号から離れるに従い振
幅が小さくなる重み係数更新誤差信号を、該誤差信号の
絶対値が該第１のスレショルドより大きいと、該誤差信
号より小さい振幅を持った同極性の重み係数更新誤差信
号を、不正解の出力ユニットでは該誤差信号より小さい
振幅を持った重み係数更新誤差信号を生成し、該重み係
数更新誤差信号を用いて重み係数を更新し、不正解の出
力ユニットにおける該誤差信号の絶対値の最小値を少な
くとも用いてローカルミニマム捕獲状態を検出し、該重
み係数更新誤差信号の振幅あるいは更に該第１のスレシ
ョルドを調整し重み係数を更新することを特徴としたニ
ューラルネットワーク学習方式を構成する。
ために、多値教師信号を用いて学習させる多値ニューラ
ルネットワークにおいて、該多値教師信号から正解の出
力ユニットの出力ユニット信号を差し引いて得た誤差信
号の絶対値が第１のスレショルドより小さいと、該誤差
信号と逆極性を持ち該多値教師信号から離れるに従い振
幅が小さくなる重み係数更新誤差信号を、該誤差信号の
絶対値が該第１のスレショルドより大きいと、該誤差信
号より小さい振幅を持った同極性の重み係数更新誤差信
号を、不正解の出力ユニットでは該誤差信号より小さい
振幅を持った重み係数更新誤差信号を生成し、該重み係
数更新誤差信号を用いて重み係数を更新し、不正解の出
力ユニットにおける該誤差信号の絶対値の最小値を少な
くとも用いてローカルミニマム捕獲状態を検出し、該重
み係数更新誤差信号の振幅あるいは更に該第１のスレシ
ョルドを調整し重み係数を更新することを特徴としたニ
ューラルネットワーク学習方式を構成する。
【００１０】本発明の多値ニューラルネットワークの学
習方式においては、教師信号から大きくずれた不正解の
多値出力ユニット信号を与えている出力ユニットに対し
ては、多値教師信号から差し引いて得られる誤差信号よ
り小さな振幅を持った重み係数更新誤差信号を用い、一
方、誤差信号が多値教師信号に非常に近く第１のスレシ
ョルド以下で正解の多値出力ユニット信号を与えている
出力ユニットにおいては、誤差信号とは逆極性を持った
該教師信号から離れるに従い振幅が小さくなる重み係数
更新誤差信号を用い、更に誤差信号が第１のスレショル
ド以上で多値教師信号から比較的近い正解の多値出力ユ
ニット信号を与えている出力ユニットにおいては、誤差
信号と同一極性の若干小さめの振幅を持った重み係数更
新誤差信号を用いて、それぞれ重み係数の修正を行う
際、不正解の出力ユニットの内、誤差信号の絶対値が最
小である出力ユニット最小誤差を検出し、与えられたス
レショルドとの比較結果から安定したローカルミニマム
捕獲状態を簡単に検出でき、検出結果に従って重み係数
更新誤差信号の振幅あるいは更に第１のスレショルドを
制御し、学習させることにより安定したローカルミニマ
ムからも抜け出し易く、少ない学習回数で最適状態に素
早く近付ける働きを持っている。このような極性と振幅
を制御された重み係数更新誤差信号を用いることによ
り、重み係数の初期値依存性もなく学習回数を著しく短
縮することが出来、学習回数や中間ユニット（隠れユニ
ット）数あるいは中間層数を大幅に削減できる。
習方式においては、教師信号から大きくずれた不正解の
多値出力ユニット信号を与えている出力ユニットに対し
ては、多値教師信号から差し引いて得られる誤差信号よ
り小さな振幅を持った重み係数更新誤差信号を用い、一
方、誤差信号が多値教師信号に非常に近く第１のスレシ
ョルド以下で正解の多値出力ユニット信号を与えている
出力ユニットにおいては、誤差信号とは逆極性を持った
該教師信号から離れるに従い振幅が小さくなる重み係数
更新誤差信号を用い、更に誤差信号が第１のスレショル
ド以上で多値教師信号から比較的近い正解の多値出力ユ
ニット信号を与えている出力ユニットにおいては、誤差
信号と同一極性の若干小さめの振幅を持った重み係数更
新誤差信号を用いて、それぞれ重み係数の修正を行う
際、不正解の出力ユニットの内、誤差信号の絶対値が最
小である出力ユニット最小誤差を検出し、与えられたス
レショルドとの比較結果から安定したローカルミニマム
捕獲状態を簡単に検出でき、検出結果に従って重み係数
更新誤差信号の振幅あるいは更に第１のスレショルドを
制御し、学習させることにより安定したローカルミニマ
ムからも抜け出し易く、少ない学習回数で最適状態に素
早く近付ける働きを持っている。このような極性と振幅
を制御された重み係数更新誤差信号を用いることによ
り、重み係数の初期値依存性もなく学習回数を著しく短
縮することが出来、学習回数や中間ユニット（隠れユニ
ット）数あるいは中間層数を大幅に削減できる。
【００１１】上記説明のごとく本発明の学習方式は、非
常に安定したローカルミニマム捕獲状態を簡単に検出で
きることから多値ニューラルネットワークのローカルミ
ニマムから抜け出させ易く、従来方式に比べて重み係数
の初期値依存性もなく非常に高速に且つ確実に収束さ
せ、所望の多値出力ユニット信号を容易に得ることがで
きることから、大規模な多値ニューラルネットワークを
自由に設計できる。また、実時間で学習をやり直す必要
のある学習機能を持った論理システムや、非常に多くの
入力信号エレメント数を持った入力信号やユニット数の
多い多層ニューラルネットワークを用いた多値論理シス
テムを実現できる。更に、従来方式では安定で高速に収
束させることができず所望の出力信号を得ることが困難
であったパターン認識や画像処理など、更には、データ
変換なども容易に設計し実現することが可能となる。
常に安定したローカルミニマム捕獲状態を簡単に検出で
きることから多値ニューラルネットワークのローカルミ
ニマムから抜け出させ易く、従来方式に比べて重み係数
の初期値依存性もなく非常に高速に且つ確実に収束さ
せ、所望の多値出力ユニット信号を容易に得ることがで
きることから、大規模な多値ニューラルネットワークを
自由に設計できる。また、実時間で学習をやり直す必要
のある学習機能を持った論理システムや、非常に多くの
入力信号エレメント数を持った入力信号やユニット数の
多い多層ニューラルネットワークを用いた多値論理シス
テムを実現できる。更に、従来方式では安定で高速に収
束させることができず所望の出力信号を得ることが困難
であったパターン認識や画像処理など、更には、データ
変換なども容易に設計し実現することが可能となる。
【００１２】
【発明の実施の形態】以下に本発明の学習方式を用いた
多値ニューラルネットワークの実施例をあげ、その構成
及びその動作について、２値教師信号を用いた場合につ
いて詳細に説明する。
多値ニューラルネットワークの実施例をあげ、その構成
及びその動作について、２値教師信号を用いた場合につ
いて詳細に説明する。
【００１３】本発明の学習方式を用いた多値ニューラル
ネットワークの学習過程の１実施例を図２に示す。端子
２から入力信号が入力層の入力ユニットに入力され、出
力層の出力ユニットから出力ユニット信号を送出する多
層ニューラルネットワーク１、２値教師信号と出力ユニ
ット信号と出力正誤判定器１１からの正誤判定信号とを
入力とし、重み係数更新誤差信号を出力する重み係数更
新誤差信号生成器１０、出力ユニット信号を２値化し２
値出力ユニット信号を得る２値スレショルド回路６、入
力された重み係数更新誤差信号を用いて多層ニューラル
ネットワーク１の重み係数を更新し設定する重み係数制
御器５、２値教師信号と２値出力ユニット信号とを入力
とし、２値教師信号と２値出力ユニット信号とを比較し
出力ユニット内の正解、不正解を検出し正誤判定信号を
送出する出力正誤判定器１１、出力正誤判定器１１から
の正誤判定信号と２値教師信号と出力ユニット信号とを
入力し、不正解の出力ユニットにおいて出力ユニット信
号と２値教師信号との差の絶対値の最小値、即ち不正解
出力ユニット最小誤差を検出する不正解出力ユニット最
小誤差検出器１３と、正解の出力ユニットにおいて出力
ユニット信号と２値スレショルド回路６の閾値との差の
絶対値の最小値、即ち正解出力ユニット最小余裕を検出
する正解出力ユニット最小余裕検出器１４と、不正解出
力ユニット最小誤差及び正解出力ユニット最小余裕とを
用いてローカルミニマム捕獲状態を検出するローカルミ
ニマム捕獲状態検出器１５、多層ニューラルネットワー
ク１と重み係数制御器５と出力正誤判定器１１、不正解
出力ユニット最小誤差検出器１３、正解出力ユニット最
小余裕検出器１４及びローカルミニマム捕獲状態検出器
１５の各初期設定、更に学習の開始及び終了を制御する
動作モード制御器１２とから構成される。
ネットワークの学習過程の１実施例を図２に示す。端子
２から入力信号が入力層の入力ユニットに入力され、出
力層の出力ユニットから出力ユニット信号を送出する多
層ニューラルネットワーク１、２値教師信号と出力ユニ
ット信号と出力正誤判定器１１からの正誤判定信号とを
入力とし、重み係数更新誤差信号を出力する重み係数更
新誤差信号生成器１０、出力ユニット信号を２値化し２
値出力ユニット信号を得る２値スレショルド回路６、入
力された重み係数更新誤差信号を用いて多層ニューラル
ネットワーク１の重み係数を更新し設定する重み係数制
御器５、２値教師信号と２値出力ユニット信号とを入力
とし、２値教師信号と２値出力ユニット信号とを比較し
出力ユニット内の正解、不正解を検出し正誤判定信号を
送出する出力正誤判定器１１、出力正誤判定器１１から
の正誤判定信号と２値教師信号と出力ユニット信号とを
入力し、不正解の出力ユニットにおいて出力ユニット信
号と２値教師信号との差の絶対値の最小値、即ち不正解
出力ユニット最小誤差を検出する不正解出力ユニット最
小誤差検出器１３と、正解の出力ユニットにおいて出力
ユニット信号と２値スレショルド回路６の閾値との差の
絶対値の最小値、即ち正解出力ユニット最小余裕を検出
する正解出力ユニット最小余裕検出器１４と、不正解出
力ユニット最小誤差及び正解出力ユニット最小余裕とを
用いてローカルミニマム捕獲状態を検出するローカルミ
ニマム捕獲状態検出器１５、多層ニューラルネットワー
ク１と重み係数制御器５と出力正誤判定器１１、不正解
出力ユニット最小誤差検出器１３、正解出力ユニット最
小余裕検出器１４及びローカルミニマム捕獲状態検出器
１５の各初期設定、更に学習の開始及び終了を制御する
動作モード制御器１２とから構成される。
【００１４】次に学習過程における動作を説明する。多
層ニューラルネットワーク１は端子２からの学習用入力
信号と端子３からの２値教師信号とを用いて学習を行
う。重み係数更新誤差信号生成器１０において、出力正
誤判定器１１からの正誤判定信号により不正解の２値出
力ユニット信号が検出された出力ユニットに対しては、
２値教師信号からその出力ユニット信号を差し引いて得
られた誤差信号を式（３）のごとく振幅をＤｍ３程小さ
くして重み係数更新誤差信号として出力させ、一方、正
解の出力ユニット信号を与えている出力ユニットにおい
ては、その誤差信号の絶対値が与えられた第１のスレシ
ョルド値ｄｍより小さいと、逆極性で該教師信号から離
れるに従い振幅が定数Ｄｍ１（但し≧０）より小さくな
る重み係数更新誤差信号を生成し出力させ、誤差信号の
絶対値が前記スレショルド以上であると、同一極性でＤ
ｍ２程小さい振幅を持った重み係数更新誤差信号を生成
し出力させる。
層ニューラルネットワーク１は端子２からの学習用入力
信号と端子３からの２値教師信号とを用いて学習を行
う。重み係数更新誤差信号生成器１０において、出力正
誤判定器１１からの正誤判定信号により不正解の２値出
力ユニット信号が検出された出力ユニットに対しては、
２値教師信号からその出力ユニット信号を差し引いて得
られた誤差信号を式（３）のごとく振幅をＤｍ３程小さ
くして重み係数更新誤差信号として出力させ、一方、正
解の出力ユニット信号を与えている出力ユニットにおい
ては、その誤差信号の絶対値が与えられた第１のスレシ
ョルド値ｄｍより小さいと、逆極性で該教師信号から離
れるに従い振幅が定数Ｄｍ１（但し≧０）より小さくな
る重み係数更新誤差信号を生成し出力させ、誤差信号の
絶対値が前記スレショルド以上であると、同一極性でＤ
ｍ２程小さい振幅を持った重み係数更新誤差信号を生成
し出力させる。
【００１５】ここで、２値あるいは多値教師信号を用い
た場合の重み係数更新誤差信号の１生成方法を式を用い
て以下に示す。
た場合の重み係数更新誤差信号の１生成方法を式を用い
て以下に示す。
【００１６】出力ユニットの多値出力ユニット信号が正
解の場合、 ｜Ｔｍ−Ｙｍ｜≦ｄｍの時、 Ｅｍ＝Ｔｍ−Ｙｍ−Ｄｍ１・ｓｇｎ（Ｔｍ−Ｙｍ） （１） ｜Ｔｍ−Ｙｍ｜＞ｄｍの時、 Ｅｍ＝Ｔｍ−Ｙｍ−Ｄｍ２・ｓｇｎ（Ｔｍ−Ｙｍ） （２） 出力ユニットの多値出力ユニット信号が不正解の場合、 Ｅｍ＝Ｔｍ−Ｙｍ−Ｄｍ３・ｓｇｎ（Ｔｍ−Ｙｍ） （３） ここで、 ｓｎｇ（ｘ）＝ １：ｘ≧０ ＝−１：ｘ＜０、 （４）
解の場合、 ｜Ｔｍ−Ｙｍ｜≦ｄｍの時、 Ｅｍ＝Ｔｍ−Ｙｍ−Ｄｍ１・ｓｇｎ（Ｔｍ−Ｙｍ） （１） ｜Ｔｍ−Ｙｍ｜＞ｄｍの時、 Ｅｍ＝Ｔｍ−Ｙｍ−Ｄｍ２・ｓｇｎ（Ｔｍ−Ｙｍ） （２） 出力ユニットの多値出力ユニット信号が不正解の場合、 Ｅｍ＝Ｔｍ−Ｙｍ−Ｄｍ３・ｓｇｎ（Ｔｍ−Ｙｍ） （３） ここで、 ｓｎｇ（ｘ）＝ １：ｘ≧０ ＝−１：ｘ＜０、 （４）
【００１７】ｍは出力ユニット番号（１≦ｍ≦Ｍ）、Ｅ
ｍは出力ユニットｍの重み係数更新誤差信号、Ｔｍは出
力ユニットｍの多値教師信号（２値の場合は、０または
１）、Ｙｍは出力ユニットｍの出力ユニット信号、ｄｍ
は出力ユニットｍに対する正の定数、Ｄｍ１は出力ユニ
ットｍに対する正の定数、Ｄｍ２は出力ユニットｍに対
する正の定数、Ｄｍ３は出力ユニットｍに対する正の定
数である。
ｍは出力ユニットｍの重み係数更新誤差信号、Ｔｍは出
力ユニットｍの多値教師信号（２値の場合は、０または
１）、Ｙｍは出力ユニットｍの出力ユニット信号、ｄｍ
は出力ユニットｍに対する正の定数、Ｄｍ１は出力ユニ
ットｍに対する正の定数、Ｄｍ２は出力ユニットｍに対
する正の定数、Ｄｍ３は出力ユニットｍに対する正の定
数である。
【００１８】ここで、ｄｍを第１のスレショルドとし、
第１のスレショルドを収束領域と定めれば、連続量を扱
うニューラルネットワークにも同様に適用出来る。重み
係数制御器５では、この重み係数更新誤差信号を用いて
バックプロパゲーションアルゴリズムにより重み係数修
正を行い、誤差信号の電力が最小となるよう学習を繰り
返す。
第１のスレショルドを収束領域と定めれば、連続量を扱
うニューラルネットワークにも同様に適用出来る。重み
係数制御器５では、この重み係数更新誤差信号を用いて
バックプロパゲーションアルゴリズムにより重み係数修
正を行い、誤差信号の電力が最小となるよう学習を繰り
返す。
【００１９】また、学習を進める過程で、ローカルミニ
マム捕獲状態検出器１５において、不正解出力ユニット
最小誤差検出器１３からの出力である不正解出力ユニッ
ト最小誤差が与えられた第２のスレショルドより大きく
なると、非常に安定したローカルミニマムと見做しロー
カルミニマム捕獲状態として出力端子１６に検出出力を
送出する。この時、検出出力に従って重み係数更新誤差
信号生成器１０内のＤｍ１及びＤｍ３を、あるいは更に
Ｄｍ２やｄｍを大きくすれば、非常に安定したローカル
ミニマムからも容易に逃れられる。
マム捕獲状態検出器１５において、不正解出力ユニット
最小誤差検出器１３からの出力である不正解出力ユニッ
ト最小誤差が与えられた第２のスレショルドより大きく
なると、非常に安定したローカルミニマムと見做しロー
カルミニマム捕獲状態として出力端子１６に検出出力を
送出する。この時、検出出力に従って重み係数更新誤差
信号生成器１０内のＤｍ１及びＤｍ３を、あるいは更に
Ｄｍ２やｄｍを大きくすれば、非常に安定したローカル
ミニマムからも容易に逃れられる。
【００２０】また、ローカルミニマム捕獲状態検出器１
５において、不正解出力ユニット最小誤差検出器１３か
らの出力である不正解出力ユニット最小誤差あるいは正
解出力ユニット最小余裕検出器１４からの出力である正
解出力ユニット最小余裕が、与えられた第２のスレショ
ルドを越えた状態から一旦スレショルド以下となり、再
びスレショルドを急激に越えた場合には、異なる安定な
ローカルミニマム捕獲状態に移ったと見做す。
５において、不正解出力ユニット最小誤差検出器１３か
らの出力である不正解出力ユニット最小誤差あるいは正
解出力ユニット最小余裕検出器１４からの出力である正
解出力ユニット最小余裕が、与えられた第２のスレショ
ルドを越えた状態から一旦スレショルド以下となり、再
びスレショルドを急激に越えた場合には、異なる安定な
ローカルミニマム捕獲状態に移ったと見做す。
【００２１】更に、不正解出力ユニット最小誤差検出器
１３からの出力である不正解出力ユニット最小誤差が、
学習回数と共に第３のスレショルドを越えた状態から徐
々に小さくなり、多値識別スレショルドに近づくと、安
定したローカルミニマム捕獲状態から放れ、収束過程に
あるとみなし、ｄｍ、Ｄｍ１、Ｄｍ２及びＤｍ３の値を
小さくしても良い。
１３からの出力である不正解出力ユニット最小誤差が、
学習回数と共に第３のスレショルドを越えた状態から徐
々に小さくなり、多値識別スレショルドに近づくと、安
定したローカルミニマム捕獲状態から放れ、収束過程に
あるとみなし、ｄｍ、Ｄｍ１、Ｄｍ２及びＤｍ３の値を
小さくしても良い。
【００２２】出力正誤判定器１１内において、誤りがな
くなり多値教師信号と多値出力ユニット信号とが一致し
た収束状態を一旦達成した後は、重み係数更新誤差信号
生成器１０において誤差信号をそのまま重み係数更新誤
差信号として用いて、重み係数制御器５にて重み係数を
更新してもよい。また、正解出力ユニット最小余裕検出
器１４の出力信号が予め与えられた第３のスレショルド
を越えると、動作モード制御器１２から学習終了信号を
送出し、多層ニューラルネットワーク１の学習を終了さ
せてもよい。これにより、不必要な学習を避けるととも
に汎化性を大きく出来る。
くなり多値教師信号と多値出力ユニット信号とが一致し
た収束状態を一旦達成した後は、重み係数更新誤差信号
生成器１０において誤差信号をそのまま重み係数更新誤
差信号として用いて、重み係数制御器５にて重み係数を
更新してもよい。また、正解出力ユニット最小余裕検出
器１４の出力信号が予め与えられた第３のスレショルド
を越えると、動作モード制御器１２から学習終了信号を
送出し、多層ニューラルネットワーク１の学習を終了さ
せてもよい。これにより、不必要な学習を避けるととも
に汎化性を大きく出来る。
【００２３】尚、本発明の学習方式は、多値ニューラル
ネットワークの他に連続量を扱うニューラルネットワー
クにおいても、教師信号に収束し正解とみなす領域を設
けることにより、上記と同様な方式を適用でき一般の教
師信号を用いたニューラルネットワークの学習に対して
も幅広く適用できる。
ネットワークの他に連続量を扱うニューラルネットワー
クにおいても、教師信号に収束し正解とみなす領域を設
けることにより、上記と同様な方式を適用でき一般の教
師信号を用いたニューラルネットワークの学習に対して
も幅広く適用できる。
【００２４】以上の実施例において、多層ニューラルネ
ットワークを前提に説明したが、教師信号を利用して学
習させるニューラルネットワークであれば、上記以外の
ニューラルネットワークを用いても良い。また、ここで
は、２値ニューラルネットワークを例にあげ説明した
が、説明は省略するが連続量の教師信号を持ったニュー
ラルネットワークでも本学習方式は適用できる。
ットワークを前提に説明したが、教師信号を利用して学
習させるニューラルネットワークであれば、上記以外の
ニューラルネットワークを用いても良い。また、ここで
は、２値ニューラルネットワークを例にあげ説明した
が、説明は省略するが連続量の教師信号を持ったニュー
ラルネットワークでも本学習方式は適用できる。
【００２５】
【発明の効果】以上述べたように、本発明のニューラル
ネットワークの学習方式において、学習を進めても多値
教師信号と多値出力ユニット信号との間の誤りが変化し
ない非常に安定したローカルミニマムに陥っている場合
には、不正解出力ユニット最小誤差検出あるいは更に正
解出力ユニット最小余裕検出とを用いたローカルミニマ
ム捕獲状態検出器１５を介してこれを検出し、正解を与
える出力ユニットにおける重み係数更新誤差信号の振幅
あるいは更に極性を調整すること、更に不正解の出力ユ
ニットにおける重み係数更新誤差信号の振幅を調整する
ことにより、簡単にこのような安定したローカルミニマ
ムからも出ることが出来る。従って、従来方式より学習
回数が１０倍から１００倍程度著しく短縮される。ま
た、必要最小限の中間ユニット数あるいは中間層数を用
いて安定に最適状態に収束させることが出来ることか
ら、ハードウェア規模や演算量を少なく出来る。
ネットワークの学習方式において、学習を進めても多値
教師信号と多値出力ユニット信号との間の誤りが変化し
ない非常に安定したローカルミニマムに陥っている場合
には、不正解出力ユニット最小誤差検出あるいは更に正
解出力ユニット最小余裕検出とを用いたローカルミニマ
ム捕獲状態検出器１５を介してこれを検出し、正解を与
える出力ユニットにおける重み係数更新誤差信号の振幅
あるいは更に極性を調整すること、更に不正解の出力ユ
ニットにおける重み係数更新誤差信号の振幅を調整する
ことにより、簡単にこのような安定したローカルミニマ
ムからも出ることが出来る。従って、従来方式より学習
回数が１０倍から１００倍程度著しく短縮される。ま
た、必要最小限の中間ユニット数あるいは中間層数を用
いて安定に最適状態に収束させることが出来ることか
ら、ハードウェア規模や演算量を少なく出来る。
【００２６】本発明の学習方式を用いた多値ニューラル
ネットワークは、従来方式に比べて少ない中間層ユニッ
ト数あるいは中間層を用い、初期依存性もなく且つ低い
演算精度を持った重み係数で重み係数が高速かつ安定に
収束し、所望の多値出力信号を送出することができる。
このことから、従来技術では実現が困難な大規模な多値
論理回路などを本発明を用いた多値ニューラルネットワ
ークにより短時間で自由に設計し実現することや、これ
まで迅速な学習が必要で、且つ完全な収束が要求される
人口知能システムや検索システム、パターン認識、デー
タ変換、データ圧縮、多値画像処理さらには通信システ
ムなどへの幅広い応用ができるなどの非常に幅広い効果
を有している。
ネットワークは、従来方式に比べて少ない中間層ユニッ
ト数あるいは中間層を用い、初期依存性もなく且つ低い
演算精度を持った重み係数で重み係数が高速かつ安定に
収束し、所望の多値出力信号を送出することができる。
このことから、従来技術では実現が困難な大規模な多値
論理回路などを本発明を用いた多値ニューラルネットワ
ークにより短時間で自由に設計し実現することや、これ
まで迅速な学習が必要で、且つ完全な収束が要求される
人口知能システムや検索システム、パターン認識、デー
タ変換、データ圧縮、多値画像処理さらには通信システ
ムなどへの幅広い応用ができるなどの非常に幅広い効果
を有している。
【図１】従来の学習方式による多層ニューラルネットワ
ークにおける学習処理の１構成例である。
ークにおける学習処理の１構成例である。
【図２】実施例における本発明の学習方式を用いた多層
ニューラルネットワークの学習処理の１構成例である。
ニューラルネットワークの学習処理の１構成例である。
１ 多層ニューラルネットワーク ２ 入力信号入力端子 ２1 、２2 、２N 入力信号ユニット入力端子 ３ ２値教師信号入力端子 ３1 、３2 、３M 教師信号ユニット入力端子 ４、４1 、４2 、４M 減算器 ５ 重み係数制御器 ６、６1 、６2 、６M 、７、７1 、７2 、７M ２値ス
レショルド回路 ８ 一致検出器 ９ 動作モード制御器 １０、１０1 、１０2 、１０M 重み係数更新誤差信号
生成器 １１ 学習判定器 １２ 動作モード制御器 １３ 不正解出力ユニット最小誤差検出 １４ 正解出力ユニット最小余裕検出 １５ ローカルミニマム捕獲状態検出器 １６ ローカルミニマム捕獲状態検出器出力端子
レショルド回路 ８ 一致検出器 ９ 動作モード制御器 １０、１０1 、１０2 、１０M 重み係数更新誤差信号
生成器 １１ 学習判定器 １２ 動作モード制御器 １３ 不正解出力ユニット最小誤差検出 １４ 正解出力ユニット最小余裕検出 １５ ローカルミニマム捕獲状態検出器 １６ ローカルミニマム捕獲状態検出器出力端子
Claims (4)
- 【請求項１】 多値教師信号を用いて学習させる多値ニ
ューラルネットワークにおいて、不正解の出力ユニット
に対して該多値教師信号から出力ユニット信号を差し引
いて得た誤差信号の絶対値の最小値を用いてローカルミ
ニマム捕獲状態を検出し、重み係数を更新させることを
特徴としたニューラルネットワーク学習方式。 - 【請求項２】 請求項１記載の多値ニューラルネットワ
ークにおいて、正解の出力ユニットに対して多値識別ス
レショルドから出力ユニット信号を差し引いて得た差の
絶対値の最小値もローカルミニマム捕獲状態検出に用
い、重み係数を更新させることを特徴としたニューラル
ネットワーク学習方式。 - 【請求項３】 請求項１−２記載の多値ニューラルネッ
トワークにおいて、正解の出力ユニットに対して該多値
教師信号から出力ユニット信号を差し引いて得た誤差信
号の絶対値が用意されたスレショルドより小さいと、該
誤差信号と逆極性を持った該教師信号から離れるに従い
振幅が小さくなる重み係数更新誤差信号を、該誤差信号
の絶対値が該スレショルドより大きいと、該誤差信号よ
り小さい振幅を持った同極性の重み係数更新誤差信号
を、不正解の出力ユニットに対して該誤差信号より小さ
い振幅を持った重み係数更新誤差信号を生成し、該重み
係数更新誤差信号を用いて重み係数を更新し、ローカル
ミニマム捕獲状態検出によって該重み係数更新誤差信号
の該振幅あるいは更に該スレショルドを制御することを
特徴としたニューラルネットワーク学習方式。 - 【請求項４】 請求項２−３記載の多値ニューラルネッ
トワークにおいて、多値出力ユニット信号が該多値教師
信号と全て一致した後、該正解の出力ユニットに対する
該最小値が予め用意されたスレショルドより大きくなる
と、学習を終了させることを特徴としたニューラルネッ
トワーク学習方式。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22701495A JP3367295B2 (ja) | 1995-08-14 | 1995-08-14 | 多値ニューラルネットワーク学習方式 |
| US08/923,333 US5764860A (en) | 1995-03-09 | 1997-09-04 | Learning method for multi-level neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22701495A JP3367295B2 (ja) | 1995-08-14 | 1995-08-14 | 多値ニューラルネットワーク学習方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0954763A true JPH0954763A (ja) | 1997-02-25 |
| JP3367295B2 JP3367295B2 (ja) | 2003-01-14 |
Family
ID=16854171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22701495A Expired - Fee Related JP3367295B2 (ja) | 1995-03-09 | 1995-08-14 | 多値ニューラルネットワーク学習方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3367295B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378712A (zh) * | 2021-06-10 | 2021-09-10 | 北京百度网讯科技有限公司 | 物体检测模型的训练方法、图像检测方法及其装置 |
-
1995
- 1995-08-14 JP JP22701495A patent/JP3367295B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378712A (zh) * | 2021-06-10 | 2021-09-10 | 北京百度网讯科技有限公司 | 物体检测模型的训练方法、图像检测方法及其装置 |
| CN113378712B (zh) * | 2021-06-10 | 2023-07-04 | 北京百度网讯科技有限公司 | 物体检测模型的训练方法、图像检测方法及其装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3367295B2 (ja) | 2003-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Combined genetic algorithm optimization and regularized orthogonal least squares learning for radial basis function networks | |
| US5943659A (en) | Deterministic encoding of fuzzy finite state automata in continuous recurrent neural networks | |
| JP3328935B2 (ja) | 並列多値ニューラルネットワーク | |
| US5764860A (en) | Learning method for multi-level neural network | |
| Ng et al. | Fast convergent generalized back-propagation algorithm with constant learning rate | |
| Lin et al. | A wavelet-based neuro-fuzzy system and its applications | |
| JP3367295B2 (ja) | 多値ニューラルネットワーク学習方式 | |
| US5870728A (en) | Learning procedure for multi-level neural network | |
| JP3367264B2 (ja) | ニューラルネットワーク学習方式 | |
| Looney | Neural networks as expert systems | |
| JP3368774B2 (ja) | ニューラルネットワーク | |
| Al-Nima et al. | Design a technology based on the fusion of genetic algorithm, neural network and fuzzy logic | |
| JP3277648B2 (ja) | 並列ニューラルネットワーク | |
| KR102642528B1 (ko) | 인공 지능 시스템의 그것의 인공 신경망 학습 방법 | |
| Umano et al. | Acquisition of fuzzy rules using fuzzy neural networks with forgetting | |
| Majewski et al. | Extracting symbolic function expressions by means of neural networks | |
| JPH1049509A (ja) | ニューラルネットワーク学習方式 | |
| JP4258268B2 (ja) | 多層ニューラルネットワーク学習方法 | |
| JPH0991264A (ja) | ニューラルネットワーク構造最適化装置ならびに方法 | |
| JP2001175636A (ja) | 多層ニューラルネットワークユニット数最適化方法及び装置 | |
| Inoue et al. | On-line learning of non-monotonic rules by simple perceptron | |
| Nakao et al. | CT image reconstruction by back-propagation | |
| International Neural Network Society (INNS), the IEEE Neural Network Council Cooperating Societies et al. | Convergence of the vectors in Kohonen’s learning vector quantization | |
| Papageorgiou et al. | Learning algorithms for fuzzy cognitive maps. | |
| Ansari et al. | Noise Cancellation in Hand Free Cellphone Using Neurofuzzy Filter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021008 |
|
| LAPS | Cancellation because of no payment of annual fees |