JP3329202B2 - ニューラルネットワーク学習方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パターン認識、連
想メモリ、データ変換、画像処理及び通信処理などの分
野に適用可能な教師付きニューラルネットワークにおい
て、教師信号との対応が明かとなっている大量の入力信
号に対して高速かつ安定に所望の出力信号を得ることが
できるニューラルネットワークの学習方式に関するもの
である。

【０００２】

【従来の技術】従来技術について２値多層ニューラルネ
ットワークを例にとり説明する。２値多層ニューラルネ
ットワークの学習方式の１構成例を図２に示す。２値教
師信号との対応関係が明らかとなっている入力信号を学
習用入力信号とテスト用入力信号とに分け、対応した教
師信号と共にそれぞれを学習用入出力信号記憶装置１６
及びテスト用入出力信号記憶装置１７とに格納する。学
習モードでは学習用入出力信号記憶装置１６を、テスト
モードではテスト用入出力信号記憶装置１７を選択接続
する入力選択制御器１８、端子２を介して学習用入力信
号あるいはテスト用入力信号が入力層の入力ユニットに
入力され、出力層の出力ユニットから出力ユニット信号
を送出する多層ニューラルネットワーク１、２値教師信
号Ｔから出力ユニット信号を差し引き誤差信号を得る減
算器４、誤差信号を用いて重み係数を更新する重み係数
制御器５、出力ユニット信号から２値出力ユニット信号
を得、出力信号として送出する２値スレショルド回路
６、学習モードでは２値教師信号と２値出力ユニットと
の一致を検出し、テストモードでは誤りを検出する正誤
検出器８と、入力選択制御器１８、重み係数制御器５及
び正誤検出器８を制御する動作制御器９とから構成され
る。

【０００３】ここで、これらの基本動作と問題点を詳細
に説明する。動作制御器９の制御のもとに学習モードが
設定されると、重み係数制御器５からの重み係数を多層
ニューラルネットワーク１へ初期設定した後、入力選択
制御器１８を制御し、学習用入出力信号記憶装置１６か
ら端子２を介して入力層に学習用入力信号を入力する。
学習用入出力信号記憶装置１６から端子３を介して与え
られる２値教師信号Ｔ（教師信号エレメント、Ｔ_１、Ｔ
_２、．．．、Ｔ_Ｍ）から学習用入力信号に対する出力ユ
ニット信号を減算器４を介して差し引き誤差信号を求
め、誤差信号と重み係数更新の為の情報を基に重み係数
制御器５にて、誤差信号の電力を最小にするように各層
間の重み係数の更新を学習処理として行う。

【０００４】この多層ニューラルネットワーク１の教師
信号を用いた学習方法として、例えば、バック・プロパ
ゲーション・アルゴリズムが幅広く使用されている。こ
の重み係数適応制御からなる学習をすべての学習用入力
信号に対して実行し、その後、一致検出器８において２
値教師信号と２値出力ユニットとの一致検出を行い、検
出されると２値空間で完全に収束したとして学習を終了
させる為、動作制御器９へ学習収束信号を送出する。こ
のほか、出力ユニットの誤差信号電力の総和が与えられ
たスレショルド以下になるか、または予め定められた規
定の学習回数になるまで繰り返すか、いずれかにより学
習を終了させている。

【０００５】上記のいずれかの条件が満たされ学習が終
了すると、動作制御器９は学習モードをテストモードに
切り替え、学習によって得られた重み係数を多層ニュー
ラルネットワーク１に設定し、入力選択制御器１８を制
御してテスト用入出力信号記憶装置１７から端子２を介
してテスト用入力信号を入力層に入力し、正誤検出器８
においてその２値出力ユニット信号と２値教師信号との
比較から、出力誤りを検出し汎化特性を評価する。

【０００６】このような従来の学習過程に於て、誤差電
力が局部極小（ローカルミニマム）となる所に一旦落ち
込むと、それが非常に安定な場合はそれ以降は学習が進
まず２値空間で２値教師信号Ｔと２値出力ユニット信号
が一致する状態が必ずしも得られないこと、即ち、２値
空間で収束しないなどの問題がある。一致が検出されな
い場合には、正しい入出力関係が全ては得られていない
ことを意味し、従って、テストモードにおいても、高い
汎化能力を達成することができず、多くの誤った２値出
力ユニット信号が送出される。

【０００７】特に、教師信号と対応付けられた入力信号
の学習用入力信号とテスト用入力信号への明確かつ最適
な分け方はこれまで明かとなっておらず、分け方によっ
ては、上記の説明の如く２値空間での不完全収束が発生
する場合や、２値空間で完全収束したものの、過学習や
オーバーフィッティングが発生し、テスト用入力信号に
対する汎化特性が非常に悪く多くの誤った２値出力ユニ
ット信号を送出する場合がある。

【０００８】また、これまで、データベースなどの利用
により教師信号との対応が明かとなった、例えば１０万
個以上の大量の種類の入力信号が準備された場合に、学
習用入力信号及びテスト用入力信号の両入力信号に対し
て全て正しい２値出力ユニット信号を出させ、２値空間
で完全収束を達成し、テスト用入力信号に対しても１０
０％の汎化能力を持った２値多層ニューラルネットワー
クを確実に学習させることは、不可能であった。

【０００９】また、特願平０７−７７１６８（ニューラ
ルネットワーク学習方式）の２値３層ニューラルネット
ワーク学習方式の誤差摂動型重み係数更新方式を用い
て、これら全ての膨大な入力信号を直接学習させ、２値
空間での完全収束を達成させることもできるが、学習用
入力信号数が非常に多く而も学習回数も一般に多くな
り、演算量が膨大となる欠点がある。

【００１０】

【発明が解決しようとする課題】上記の説明のごとく、
教師信号との対応関係が明かな大量の入力信号からなる
学習用入力信号とテスト用入力信号に対して、従来方式
では、これらの最適な分割方法が明かとなっておらず、
学習用入力信号の選択の仕方によっては、学習が収束す
るもののテスト用入力信号に対して十分に正しい２値出
力ユニット信号が得られず汎化特性が非常に悪い場合
や、学習しても結局収束しない状態即ち非常に安定した
ローカルミニマムの状態に落ち込み所望の２値出力ユニ
ット信号が得られず、而もこれにより汎化特性が非常に
劣化する場合などがある。従って、非常に高い汎化能力
を得る為には、大量の入力信号を全て学習用入力信号と
して直接学習する必要があるが、この場合には一般に収
束が困難で、例え収束したとしても、学習回数が非常に
多くなり、膨大な演算量を必要とし現実的ではない。こ
のように教師信号との対応関係が明かな大量の入力信号
に対して少ない演算量で且つ学習を高速に収束させると
ともに非常に高い汎化能力を達成させることができる実
用的な学習方式がこれまでない。

【００１１】本発明の目的は、上記の問題を解決し、教
師信号との対応関係が与えられた大量の入力信号に於
て、従来の学習方式に比べて、非常に少ない学習用入力
信号を用いて高速収束させ、学習用入力信号のみなら
ず、テスト用入力信号に対しても、全て正しい出力信号
を送出することができ、汎化能力に非常に優れた学習用
入力信号追加型反復学習方式を提供することにある。

【００１２】

【課題を解決するための手段】上記の問題点を解決する
ために、教師信号を用いて学習させるニューラルネット
ワークに対して、学習モードにおいて、教師信号との対
応関係が与えられた入力信号の内、初期に代表的入力信
号を学習用入力信号として選択し、重み係数更新を行う
学習処理を実行し、与えられた学習一時停止条件を満た
すまで該学習処理を繰り返し、該条件を満たすと該学習
モードを一時停止し、引き続き、汎化テストモードにお
いて、該学習用入力信号以外の残りの全ての該入力信号
からなるテスト用入力信号に対する該ニューラルネット
ワークの出力信号を得、対応した該教師信号との正誤を
判定し、誤った出力信号を送出しているテスト用入力信
号を新たな学習用入力信号として該学習用入力信号に移
し追加し、再度、該学習モードと該汎化テストモードと
から構成される一連の反復学習を繰り返し、残りの該テ
スト用入力信号に対する出力信号の、前記教師信号に対
する誤り個数が与えられた条件を満たすと、該反復学習
を終了するニューラルネットワーク反復学習において、
前記学習モードを実行し、前記学習一時停止条件を満た
した際、前記教師信号に対して正しい出力信号を送出し
ている前記学習用入力信号の内、与えられたスレショル
ド以上の正解を出力する余裕を持っている学習用入力信
号を、前記テスト用入力信号に移し追加し、前記反復学
習を行うことを特徴とした第１のニューラルネットワー
ク反復学習方式を構成する。

【００１３】或は、教師信号を用いて学習させるニュー
ラルネットワークに対して、学習モードにおいて、教師
信号との対応関係が与えられた入力信号の内、初期に代
表的入力信号を学習用入力信号として選択し、重み係数
更新を行う学習処理を実行し、与えられた学習一時停止
条件を満たすまで該学習処理を繰り返し、該条件を満た
すと該学習モードを一時停止し、引き続き、汎化テスト
モードにおいて、該学習用入力信号以外の残りの全ての
該入力信号からなるテスト用入力信号に対する該ニュー
ラルネットワークの出力信号を得、対応した該教師信号
との正誤を判定し、誤った出力信号を送出しているテス
ト用入力信号を新たな学習用入力信号として該学習用入
力信号に移し追加し、再度、該学習モードと該汎化テス
トモードとから構成される一連の反復学習を繰り返し、
残りの該テスト用入力信号に対する出力信号の、前記教
師信号に対する誤り個数が与えられた条件を満たすと、
該反復学習を終了するニューラルネットワーク反復学習
において、前記学習モードを実行し、前記学習一時停止
条件を満たした際、前記教師信号に対して正しい出力信
号を送出している前記学習用入力信号の内、与えられた
スレショルド以上の正解を出力する余裕を持っている学
習用入力信号を、それ以降の前記反復学習から除去する
ことを特徴とした第２のニューラルネットワーク反復学
習方式を構成する。

【００１４】上記の第１及び２のニューラルネットワー
ク反復学習方式において、前記汎化テストモードを実行
した際、前記教師信号に対して正しい出力信号を送出し
ている前記テスト用入力信号の内、与えられたスレショ
ルド以上の正解を出力する余裕を持っているテスト用入
力信号を、それ以降の前記反復学習から除去することを
特徴とした第３のニューラルネットワーク反復学習方式
を構成する。

【００１５】上記第１、２及び３のニューラルネットワ
ーク反復学習方式において、前記学習一時停止条件とし
て、正解の出力信号数が与えられたスレショルド以上と
なると、前記学習モードを一時停止させることを特徴と
した第４のニューラルネットワーク反復学習方式を構成
する。

【００１６】上記第１、２及び３のニューラルネットワ
ーク反復学習方式において、前記学習一時停止条件とし
て、正解の出力信号数が与えられたスレショルド以上
で、且つ全学習用入力信号に対する正解を与える出力ユ
ニットの間での最小余裕値が与えられたスレショルドを
越えると、前記学習モードを一時停止させることを特徴
とした第５のニューラルネットワーク反復学習方式を構
成する。

【００１７】上記説明のごとく本発明の反復学習方式
は、教師信号との対応関係が与えられた大量の入力信号
の内、例えば入力信号区分領域の中心的位置を形成する
コアー入力信号と区分境界領域に関係した学習用入力信
号が反復学習を繰り返すことにより自動的収集されるこ
とから、非常に少ない数の学習用入力信号を構成できる
為、少ない演算量で高速に収束させられる。而も区分境
界領域に関係した学習用入力信号が用いられることから
テスト用入力信号に対しても非常に高い汎化能力を持た
せることができる。

【００１８】ここで、例えば、２値の教師信号を用いた
ニューラルネットワークを２値空間で完全に学習するこ
とを学習一時停止条件とし、更に汎化テストにおけるテ
スト用入力信号に対して全て正解となるまで反復学習を
繰り返すことにより、２値教師信号との対応関係が与え
られた大量の入力信号に対して１００％正しい２値出力
を送出できるよう２値多層ニューラルネットワークを非
常に少ない学習用入力信号で学習させることが出来る。

【００１９】また、大量の入力信号が、学習用入力信号
とテスト用入力信号とに自動的に割り振られ、非常に少
ない学習用入力信号で収束させることができ、演算量の
大幅な削減が可能となると共に、割り振りに起因した過
学習やオーバーフィッティングが無くなり、非常に高い
汎化能力を持ったニューラルネットワークを実現でき
る。

【００２０】従って、従来方式では、大量の入力信号に
対して安定且つ高速に収束させることができず、所望の
出力信号を得ることが困難であったが、パターン認識や
画像処理などの領域に於て、本発明により完全に正しい
所望の出力を出すことができ、これまでの問題を解決で
きる。また、大規模なデータ変換や連想メモリなども容
易に適用することが可能となる。

【００２１】

【発明の実施の形態】以下に本発明の学習方式を用いた
多層ニューラルネットワークの実施例１及び２をあげ、
その構成及びその動作について、詳細に説明する。但
し、ニューラルネットワークは多層ニューラルネットワ
ークをまた、２値教師信号を用いた場合についてのみ例
をあげる。また、学習の際に用いられる重み係数更新方
式の１例として、高速収束が可能で高い汎化能力を与え
るバック・プロパゲーションを用いた誤差摂動切り替え
型重み係数更新方式（特願平０７−７７１６８（ニュー
ラルネットワーク学習方式））を前提に説明する。尚、
本発明の学習及び汎化テストからなる反復学習方式は、
２値教師信号だけに適用されるものではなく、具体的説
明は省略するが、多値あるいは連続値の教師信号に対し
ても適用できる。また、教師信号を用いるニューラルネ
ットワークであれば、多層ニューラルネットワークに限
らない。

【００２２】（実施例１） 本発明の学習方式を用いた多層ニューラルネットワーク
の反復学習の１実施例の構成を図１に示す。教師信号と
の対応関係が与えられた入力信号の一部を、学習用入力
信号として記憶する学習用入出力信号記憶装置１６、初
期設定では残り全てをテスト用入力信号として記憶する
テスト用入出力信号記憶装置１７、学習モードでは学習
用入出力信号記憶装置１６を、テストモードではテスト
用入出力信号記憶装置１７を選択接続し、端子２を介し
て入力信号を、また、端子３を介して２値教師信号Ｔを
それぞれ多層ニューラルネットワーク１へ入力する入力
選択制御器１８、入力信号に対して出力層の出力ユニッ
トから出力ユニット信号を送出する多層ニューラルネッ
トワーク１、２値教師信号Ｔ、出力ユニット信号及び出
力ユニット正誤検出信号の下に誤差信号を生成する誤差
信号生成器１０、出力ユニット信号を２値化し２値出力
ユニット信号を出力する２値スレショルド回路６、学習
モードの時、誤差信号及び重み係数更新情報を用いて多
層ニューラルネットワーク１の重み係数を更新し設定す
る重み係数制御器５、学習モードでは２値教師信号Ｔ及
び２値出力ユニット信号間の各出力ユニットにおける正
誤を示す出力ユニット正誤検出信号を出力すると共に、
全ての学習用入力信号に対応した２値出力ユニット信号
と２値教師信号との一致を示す学習収束検出信号（２値
空間での収束を意味する）を出力し、また、不一致の際
には学習未収束検出信号（未収束を意味する）を出力
し、テストモードでは、全てのテスト用入力信号に対応
した２値出力ユニット信号と２値教師信号との一致を示
すテスト収束検出信号を、或いは、不一致を示すテスト
未収束検出信号を送出する正誤検出器１１、学習モード
の時、学習収束検出信号が入力されると、各出力ユニッ
トに於て２値教師信号に対する出力ユニット信号の余裕
を求め、出力ユニット間でその最小値を出力ユニット最
小余裕とし、更に、全学習用入力信号間での出力ユニッ
ト最小余裕の最小値を最小余裕値として検出し出力する
最小余裕検出器１３、学習モードの時、最初の学習収束
検出信号が入力されると、誤差摂動切り替え信号を誤差
信号生成器１０へ送出し、その後、再び学習収束検出信
号が入力されると、その時の入力された最小余裕値が与
えられたスレショルドを越えれば、学習モードを一時停
止させ、越えなければ学習モードを継続させる判断を行
う学習状態判定器１４、多層ニューラルネットワーク
１、誤差信号生成器１０、重み係数制御器５、入力選択
制御器１８、学習状態判定器１４、最小余裕検出器１
３、学習用入出力信号記憶装置１６及びテスト用入出力
信号記憶装置１７に対して必要に応じてパラメータ設定
を行うと共に制御し、学習モードとテストモードとをそ
れぞれ実行させる動作制御器１２とから構成される。

【００２３】次に、これらの動作を順に説明する。先
ず、学習モードが設定された際の動作を説明する。動作
制御器１２からの制御の下に、入力選択制御器１８を介
して学習用入出力信号記憶装置１６を端子２に接続し、
学習用入力信号を多層ニューラルネットワーク１に入力
し出力ユニット信号を送出させ、正誤検出器１１で２値
スレショルド回路６を介して得られた２値出力ユニット
信号と端子３からの２値教師信号Ｔとを比較し、２値出
力ユニット信号の出力ユニット毎の正誤検出を行い、出
力ユニット正誤検出信号を誤差信号生成器１０へ送出す
る。

【００２４】誤差信号生成器１０では、摂動領域と呼ば
れる２値教師信号Ｔから摂動レベル程離れた領域が予め
設けられており、出力ユニット正誤検出信号をもとに、
正しい２値出力ユニット信号を出力している出力ユニッ
トにおいて、出力ユニット信号がこの摂動領域内に入っ
ていると、２値教師信号Ｔから出力ユニット信号を差し
引いて得られた誤差の極性とは逆極性で、且つ出力ユニ
ット信号と摂動レベルとの差からなる振幅を持った誤差
信号を生成し重み係数制御器５へ出力する。一方、出力
ユニット信号が摂動領域外の場合には、摂動レベルから
出力ユニット信号を差し引いて得られた誤差を誤差信号
とする。また、誤った出力ユニット信号を出力している
出力ユニットにおいては、２値教師信号からその出力ユ
ニット信号を差し引いて得られた誤差を誤差信号として
重み係数制御器５へ出力させる。

【００２５】重み係数制御器５では、この誤差摂動型誤
差信号を用いて、例えば、バック・プロパゲーション・
アルゴリズムにより重み係数修正を行い、誤差信号の電
力が最小となるよう学習を繰り返す。正しい２値出力ユ
ニット信号を送出している出力ユニットでの出力ユニッ
ト信号が２値教師信号に非常に近いと、その誤差信号の
極性を逆にし、一方、大きく離れている場合は、誤差信
号の極性はそのままで振幅を小さくして、重み係数を更
新することから、安定したローカルミニマムに落ち込み
にくく、初期値依存性も非常に小さくなり、少ない学習
回数で完全に正しい２値出力ユニット信号を送出し、素
早く２値空間で収束状態になると共に、更に、２値空間
収束が一旦得られると摂動レベルを零に切り替え、通常
の誤差信号を用いて重み係数修正を継続させることによ
り、非常に高い汎化能力を実現できる。

【００２６】上記の如く学習モードにおいて重み係数更
新を繰り返し、正誤検出器１１において、全ての学習入
力信号に対応した２値出力ユニット信号が２値教師信号
と一致していることが検出されると、２値空間で収束し
ていることから学習収束検出信号を学習状態判定器１４
へ送出する。収束していない場合には、動作制御器１２
へ学習未収束検出信号を送り、重み係数更新を更に行わ
せる為、学習を継続実行させる。

【００２７】一旦収束すると、学習状態判定器１４は、
正誤検出器１１からの学習収束信号に従い誤差信号生成
器１０に誤差摂動切り替え信号を送り、誤差摂動機能を
停止させる為、摂動レベルを零に切り替えて誤差信号を
求めて重み係数制御器５へ渡し重み係数更新を継続実行
させる。

【００２８】その後、再び収束すると学習収束検出信号
が正誤検出器１１から最小余裕検出器１３及び学習状態
判定器１４へ入力される。最小余裕検出器１３では、全
ての学習用入力信号に於ける最小余裕値を求め学習状態
判定器１４へ送出する。学習状態判定器１４では、２値
空間で収束した状態のもとで、この最小余裕値が与えら
れたスレショルドより大きければ、高い汎化能力が得ら
れたとみなして学習モードの一時停止要求を動作制御器
１２へ送り、動作制御器１２に学習モードをテストモー
ドに切り替えさせる。

【００２９】次に、動作制御器１２により学習モードが
一時停止されると、テストモードにし、個々のテスト用
入力信号に対する２値出力ユニット信号と２値教師信号
とを比較し、汎化特性を調べる。この為、動作制御器１
２の制御の下に、入力選択制御器１８を制御してテスト
用入出力信号記憶装置１７を接続し、テスト用入力信号
を端子２を介して多層ニューラルネットワーク１に入力
する。正誤検出器１１において、教師信号に対する２値
出力ユニット信号の正誤検出を行い、２値出力ユニット
信号に誤りがある場合には、動作制御器１２にテスト用
入力信号の移植要求を送り、その時のテスト用入力信号
をテスト用入出力信号記憶装置１７から学習用入出力信
号記憶装置１６へ移し学習用入力信号として追加するよ
う制御させる。全てのテスト用入力信号に対する２値出
力ユニット信号の正誤検出が完了し、それまでに誤りが
検出されておれば動作制御器１２へテスト未収束検出信
号を送出し、再度学習を実行するよう動作制御器１２に
要求する。動作制御器１２は学習モードを設定し、新た
に設定された学習用入力信号を用いて上記の学習過程を
再度繰り返えさせる。一方、正誤検出器１１において、
全てのテスト用入力信号に対する２値出力ユニット信号
が２値教師信号と一致した状態が検出されると、テスト
収束検出信号を動作制御器１２に送出する。

【００３０】上記のように構成し動作させることによ
り、汎化能力の不足により誤りを発生しているテスト用
入力信号はその２値出力ユニット信号の区分けの境界領
域にあり、２値空間での収束に大きく影響を与えてい
る。このことから、これを学習用入力信号として、追加
して２値空間で収束するよう学習させることにより、多
層ニューラルネットワーク１の区分け境界領域が正しく
生成されることになる。尚、初期設定として、教師信号
との対応関係が与えられた入力信号の一部を学習用入力
信号として割り当てる際に、２値出力ユニット信号が表
し得るすべての出力パターンを教師信号として用意し、
それぞれに少なくとも１つの学習入力信号をコアーとし
て割り当てることにより、各反復学習で発生する誤りが
少なくなり、而も繰り返し回数を減すことができる。ま
た、反復学習終了後の汎化能力も高くできる。

【００３１】上記の説明の如くこの一連の学習及び汎化
テストからなる反復学習を繰り返し実行することによ
り、正しい区分け境界領域を形成する入力信号が自動的
に学習用入力信号として収集され、従来のように学習用
入力信号とテスト用入力信号の不適切な切り分けは無く
なる。また、テストモードで誤りが無くなると、反復学
習を終了させることにより、教師信号との対応関係が与
えられた全ての入力信号に対して１００％正しい２値出
力ユニット信号を出力でき、２値空間で完全に収束させ
ることが出来る。この時、全入力信号に対する学習用入
力信号の割合は２値出力ユニット信号の区分けの境界領
域に関係したものだけで良く、シミュレーションによる
と数％である。

【００３２】従って、学習の為の必要演算量を大幅に削
減することができる。而も、境界領域の入力信号に対し
て高速に収束しており、未知の入力信号に対しても非常
に高い汎化特性を与えることができる。このことから、
教師信号との対応が明らかな大量の入力信号がデータベ
ースから得られる場合に、非常に有効な学習方式が提供
できることを意味する。これにより、従来、ニューラル
ネットワークで実現が困難であった高精度の大規模パタ
ーン認識や完全な精度が要求される各種エキスパートシ
ステムやデータ変換などを容易に実現できる。

【００３３】（実施例２） 本発明の学習方式を用いた多層ニューラルネットワーク
の反復学習の第２の実施例の構成を図３に示す。２値教
師信号との対応関係が与えられた入力信号の一部を、学
習用入力信号として記憶する学習用入出力信号記憶装置
１６、初期設定では残り全てをテスト用入力信号として
記憶するテスト用入出力信号記憶装置１７、学習モード
では学習用入出力信号記憶装置１６を、テストモードで
はテスト用入出力信号記憶装置１７を選択接続し、端子
２を介して入力信号を、また、端子３を介して２値教師
信号Ｔをそれぞれ多層ニューラルネットワーク１へ入力
する入力選択制御器１８、入力信号に対して出力層の出
力ユニットから出力ユニット信号を送出する多層ニュー
ラルネットワーク１、２値教師信号Ｔ、出力ユニット信
号、出力ユニット正誤検出信号の下に誤差信号を生成す
る誤差信号生成器１０、出力ユニット信号を２値化し２
値出力ユニット信号を出力する２値スレショルド回路
６、学習モードの時、誤差信号及び重み係数更新の為の
情報を用いて多層ニューラルネットワーク１の重み係数
を更新し設定する重み係数制御器５、学習モードでは２
値教師信号Ｔ及び２値出力ユニット信号間の各出力ユニ
ットにおける正誤を示す出力ユニット正誤検出信号を誤
差信号生成器１０へ出力すると共に、全ての学習用入力
信号に対応した２値出力ユニット信号と２値教師信号と
の一致を示す学習収束検出信号（２値空間での収束を意
味する）を出力し、不一致の場合には学習未収束検出信
号（未収束を意味する）を出力し、テストモードでは、
テスト用入力信号に対する２値出力ユニット信号の正誤
を示す正誤信号を送出する正誤検出器１９、学習モード
時には学習収束検出信号が入力されると、各出力ユニッ
トに於て２値教師信号に対する出力ユニット信号の余裕
を求め、出力ユニット間でのその最小値を出力ユニット
最小余裕とし、全学習用入力信号に対する出力ユニット
最小余裕とそれらの出力ユニット最小余裕の最小値を最
小余裕値として検出し出力し、テストモード時には入力
された正誤信号の従って正解の出力ユニット信号の出力
ユニット最小余裕を送出する最小余裕検出器２０、学習
モードの時、最初の学習収束検出信号が入力されると、
誤差摂動切り替え信号を誤差信号生成器１０へ送出し、
その後、再び学習収束検出信号が入力されると、その時
入力された最小余裕値が与えられたスレショルドを越え
れば、出力ユニット最小余裕が設定されたスレショルド
を越えている学習用入力信号を全て余裕入出力信号記憶
装置２３へ移し記憶させた後、学習モードを一時停止さ
せる制御信号を送出し、最小余裕値が越えてなければ学
習モードを継続させる制御信号を出力し、テストモード
の時には、テスト用入力信号に対する出力ユニット信号
の出力ユニット最小余裕がスレショルドを越えておれ
ば、そのテスト用入力信号をテスト用入出力信号記憶装
置１７から余裕入出力信号記憶装置２３へ移し記憶さ
せ、入力された正誤検出信号から２値出力ユニット信号
に誤りがないことが明かとなると、反復学習を終了させ
る制御信号を送出し、あれば反復学習を継続させる制御
信号を送出する学習状態判定器２１、多層ニューラルネ
ットワーク１、誤差信号生成器１０、重み係数制御器
５、入力選択制御器１８、学習状態判定器２１、最小余
裕検出器２０、学習用入出力信号記憶装置１６テスト用
入出力信号記憶装置１７及び余裕入出力信号記憶装置２
３に対して必要に応じてパラメータ設定を行うと共にそ
れぞれ制御し、学習モードとテストモードとを実行させ
る動作制御器２２とから構成される。

【００３４】次に、これらの動作を順に説明する。先
ず、学習モードにおける動作を説明する。動作制御器２
２からの制御の下に、入力選択制御器１８を介して学習
用入出力信号記憶装置１６を端子２に接続し、学習用入
力信号を多層ニューラルネットワーク１に入力し出力ユ
ニット信号を送出させ、正誤検出器１９で２値スレショ
ルド回路６を介して得られた２値出力ユニット信号と端
子３からの２値教師信号Ｔと比較し２値出力ユニット信
号の出力ユニット毎の正誤検出を行い、出力ユニット正
誤検出信号を誤差信号生成器１０へ送出する。

【００３５】誤差信号生成器１０では、摂動領域と呼ば
れる２値教師信号Ｔから摂動レベル程離れた領域が予め
設けられており、出力ユニット正誤検出信号をもとに、
正しい２値出力ユニット信号が検出された出力ユニット
において、出力ユニット信号がこの摂動領域内に入って
いると、２値教師信号Ｔから出力ユニット信号を差し引
いて得られた誤差の極性とは逆極性で、且つ出力ユニッ
ト信号と摂動レベルとの差からなる振幅を持った誤差信
号を生成し重み係数制御器５へ出力させる。一方、出力
ユニット信号が摂動領域外の場合には摂動レベルから出
力ユニット信号を差し引いて得られた誤差を誤差信号と
する。また、誤った出力ユニット信号を出力している出
力ユニットにおいては、２値教師信号からその出力ユニ
ット信号を差し引いて得られた誤差を誤差信号として重
み係数制御器５へ出力させ、重み係数を更新する。

【００３６】正誤検出器１９において、全ての学習入力
信号に対応した出力ユニット信号が２値教師信号と一致
していることが検出されると、２値空間で収束している
ことから学習収束検出信号を学習状態判定器２１へ送出
する。収束していない場合には、動作制御器２２へ学習
未収束検出信号を送り、重み係数更新を行わせる為学習
を継続実行させる。

【００３７】学習状態判定器１４は、正誤検出器１９か
ら入力された初回の学習収束信号に従い、誤差信号生成
器１０に誤差摂動切り替え信号を送り、誤差摂動機能を
停止させる為、摂動レベルを零に切り替えて誤差信号を
求めて重み係数制御器５へ渡し重み係数更新を継続実行
させる。その後、再び収束すると正誤検出器１９から学
習収束検出信号が最小余裕検出器２０及び学習状態判定
器２１へ入力される。最小余裕検出器２０では、全学習
用入力信号毎の出力ユニット最小余裕とこの中での最小
値である最小余裕値とを求め、学習状態判定器２１へ送
出する。学習状態判定器２１では、２値空間で収束した
状態のもとでこの最小余裕値が与えられたスレショルド
より大きければ、出力ユニット最小余裕が設定されたス
レショルドを越えている学習用入出力信号を余裕入出力
信号記憶装置２３へ移し記憶させるよう制御信号を送出
した後、学習モードを一時停止させる制御信号を動作制
御器２２へ送り、学習モードをテストモードに切り替え
させる。最小余裕値がスレショルドを越えてなければ、
そのまま学習モードを継続し学習させる為の制御信号を
動作制御器２２へ送出する。

【００３８】次に、動作制御器１２により学習モードが
一時停止されると、テストモードにし、個々のテスト用
入力信号に対する２値出力ユニット信号と２値教師信号
とを比較し、汎化特性を調べる。この為、動作制御器１
２の制御の下に、入力選択制御器１８を制御してテスト
用入出力信号記憶装置１７を接続し、テスト用入力信号
を端子２を介して多層ニューラルネットワーク１に入力
する。正誤検出器１９において、２値出力ユニット信号
の正誤検出を行い、２値出力ユニット信号に誤りがある
場合には、そのテスト用入力信号をテスト用入出力記憶
装置１７から学習用入出力記憶装置１６へ移植し学習用
入力信号として追加するよう制御信号を動作制御器２２
に送る。更に、正誤検出器１９は最小余裕検出器２０及
び学習状態検出器２１に正誤検出信号を送り、最小余裕
検出器２０では、全テスト用入力信号に対応した２値出
力ユニット信号の内、正しい２値出力ユニット信号に対
して出力ユニット最小余裕を求め学習状態検出器２１へ
送出する。学習状態検出器２１では、出力ユニット信号
最小余裕がスレショルドを越えているテスト用入出力信
号をテスト用入出力記憶装置１７から余裕入出力記憶装
置２３へ移し記憶させるよう制御信号を動作制御器２２
へ送出する。

【００３９】その後、正誤検出信号によって誤りが検出
されておれば、動作制御器１２へテスト未収束検出信号
を送出し、学習及び汎化テストからなる反復学習を再度
実行するよう動作制御器２２に要求する。これに従い動
作制御器２２は学習モードを設定し、新たに設定された
学習用入力信号を用いて、汎化テストに対しても新たに
設定されたテスト用入力信号に対して汎化テストを実行
し上記の反復学習過程を繰り返えさせる。一方、学習状
態判定器２１において、全てのテスト用入力信号に対す
る２値出力ユニット信号が２値教師信号と一致した状態
を正誤検出信号をもとに検出すると、動作制御器２２に
テスト収束検出信号を送出し、反復学習過程を全て終了
させる。

【００４０】上記のように構成し動作させることによ
り、汎化能力の不足により誤りを発生しているテスト用
入力信号は、その２値出力ユニット信号の区分けの境界
領域にあり２値空間での収束に大きく影響を与えてい
る。このことから、これを学習用入力信号として、追加
して２値空間で収束するよう学習させることにより、多
層ニューラルネットワーク１の区分け境界領域が正しく
生成される。また、学習用入力信号及びテスト用入力信
号の中でその出力ユニット信号が正しく而も出力ユニッ
ト余裕がそれぞれスレショルドを越えておれば、正しく
区分けするために十分な余裕があることから、これらを
余裕入出力記憶装置２３へ移し記憶させ、学習用入出力
記憶装置１６及びテスト用入出力記憶装置１７から削除
することにより、区分けの境界領域に関係した学習用及
びテスト用入出力信号のみを用いて学習と汎化テストを
実施することができ、演算量の更なる動作制御器２２に
大幅な削減ができる。

【００４１】上記の説明の如くこの学習及び汎化テスト
からなる反復学習を繰り返し実行することにより、正し
い区分け境界領域を形成するに必要な入力信号が自動に
学習用入力信号及びテスト用入力信号として収集され、
従来のように学習用入力信号とテスト用入力信号の不適
切な切り分けは無くなると共に、学習や汎化テストの際
に十分正しく余裕をもった出力ユニットを削除すること
ができ、より大幅な演算量の削減の下で、テストモード
での誤りが完全に無くなると、反復学習を終了すること
により、全て正しい２値出力ユニット信号が得られるよ
う学習させることができる。従って、学習及び汎化テス
トの為の必要演算量の大幅な削減のもとに大量の入力信
号に対して２値空間で完全に収束させることが出来る。

【００４２】ここでは、学習用及びテスト用入力信号の
内、正しい出力ユニット信号を送出するに十分な余裕を
持った（出力ユニット最小余裕が大きい）入力信号を余
裕入出力記憶装置２３に移し、学習用及びテスト用入出
力信号記憶装置１６及び１７から削除したが、何れかの
入出力記憶装置１６、１７における削除だけでもよい。
また、十分な余裕を持った学習用入力信号をテスト用入
出力信号記憶装置１７へ移しテスト用入力信号として使
用してもよい。つまり、学習を実行し、学習停止条件を
満たした際、教師信号に対して正しい出力信号を送出し
ている学習用入力信号の内、与えられたスレショルド以
上の正解を出力する余裕を持っている学習用入力信号
を、テスト用入力信号に追加する為移し、反復学習を行
うことができる。

【００４３】尚、ここでは、全出力ユニット信号間での
出力ユニットの最小余裕値を用いて学習の一時停止を行
ったが、この代わりに全出力ユニット信号間での出力ユ
ニット信号の誤差電力あるいは誤差絶対値和を用いても
良い。また、誤差摂動切り替え型重み係数更新方式を用
いたが、通常の方式やその他の更新方式も当然適用でき
る。また、重み係数更新器５において、重み係数を更新
する際、バック・プロパゲーションの学習係数や慣性係
数を反復学習の繰り返し状態に応じて調整してもよい。
例えば、反復学習が繰り返されるに従って、学習係数を
小さくし、慣性係数を大きくし、学習係数と慣性係数と
の合計が１となるように調整する。

【００４４】実施例１及び２において、各反復学習の学
習モードでは全ての２値出力ユニット信号が教師信号と
一致し、２値空間での正解率が１００％と完全収束する
ことを学習モードの一時停止条件としたが、これより低
い正解率を学習の一時停止条件とし、全テスト用入力信
号に対する正解率が設定されたスレショルドを越える
と、それ以降の反復学習での学習モードで２値空間での
完全収束を学習一時停止の条件としてもよい。

【００４５】また、実施例１及び２において説明した本
発明の学習方式は、多層ニューラルネットワークを前提
に説明したが、教師信号を利用して学習させるニューラ
ルネットワークであれば、上記以外のニューラルネット
ワークを用いても良い。また、２値ニューラルネットワ
ークを例にあげ説明したが、多値や連続量の教師信号を
扱うニューラルネットワークにおいても、教師信号に収
束させる際に、正解とみなす領域を設けることにより、
上記と同様な方式を適用でき一般の教師信号を用いたニ
ューラルネットワークの学習に対しても幅広く適用でき
る。

【００４６】高速に収束し、未知の入力信号に対しても
非常に高い汎化特性を与えることができ、教師信号との
対応が明らかな大量の入力信号がデータベースから得ら
れる場合に、非常に有効な学習方式として提供できるこ
とを意味する。従って、本発明の方式は、従来実現が困
難であったニューラルネットワークを用いた高精度の大
規模パターン認識や完全な精度が要求される各種エキス
パートシステムやデータ変換などに幅広く適用できる。

【００４７】

【発明の効果】以上述べたように、本発明のニューラル
ネットワークの学習方式において、非常に安定したロー
カルミニマムにも陥ることがなく、確実に２値空間で高
速に収束し、学習用入力信号に対して全て正しい出力信
号を送出する。更に、学習状態検出器２６にて最小余裕
が最小余裕スレショルド値を越えると学習を停止させる
ことにより、過学習やオーバーフィッティングも非常に
小さく高い汎化特性を得ることができ、誤った２値出力
ユニット信号を送出するテスト用入力信号は少ない。こ
の誤りを発生しているテスト用入力信号を学習用入力信
号に移し追加して、再学習と再汎化テストを行う反復学
習を繰り返すことにより、テスト用入力信号に対する誤
った２値出力ユニット信号の数を次第に少なくでき、最
終的には零とすることができる。

【００４８】この時、学習用入力信号はコアーの入力信
号と出力を区分けする境界領域の入力信号のみから構成
され、その総数は非常に少なく、２値教師信号との対応
が与えられている全入力信号の数％程度である。従っ
て、高速に収束することと学習用入力信号数が少ないこ
とから、学習の為の演算量を大幅に削減でき、而も大量
の入力信号に対して１００％正しい２値出力ユニット信
号を送出させることが出来る。

【００４９】更に、正しい２値出力ユニット信号を送出
するのに十分な余裕を持った学習用入力信号及びテスト
用入力信号を反復学習が進むと共に削除し、学習用及び
テスト用入力信号とも区分けに関連した境界領域の入力
信号のみとすることにより、一段と演算量の削減ができ
る。

【００５０】従来方式では大量の入力信号に対して２値
空間で全て正しく出力させることが不可能であったが、
本発明の学習方式を用いた多層ニューラルネットワーク
は、これを可能として、而も非常に少ない学習用入力信
号で、初期依存性もなく且つ高速かつ安定に収束し、大
幅な演算量の削減と共に全て所望の出力信号を送出する
ことができ、而も未知の入力信号に対する汎化能力も非
常に高い。

【００５１】上記の説明の如く本発明のニューラルネッ
トワーク反復学習方式は極めて優れており、これを適用
することにより、従来技術では実現が困難であった２値
空間での迅速且つ完全な収束と高い汎化能力が要求され
るパターン認識や、エキスパートシステムなどの人口知
能システム、検索システム、データ変換、連想メモリー
などを容易に実現することができる。また、データ圧
縮、画像処理さらには通信システムなどへの応用もで
き、非常に幅広い応用と効果を与えることができる。

【図面の簡単な説明】

【図１】実施例１における本発明の学習方式を用いた２
値多層ニューラルネットワークの反復学習処理の１構成
例である。

【図２】従来の学習方式による２値多層ニューラルネッ
トワークにおける学習処理の１構成例である。

【図３】実施例２における本発明の学習方式を用いた２
値多層ニューラルネットワークの反復学習処理の１構成
例である。

【符号の説明】

１ 多層ニューラルネットワーク ２ 入力信号入力端子 ２_１ 入力信号ユニット入力端子 ２_２ 入力信号ユニット入力端子 ２_Ｎ 入力信号ユニット入力端子 ３ ２値教師信号入力端子 ３_１ 教師信号ユニット入力端子 ３_２ 教師信号ユニット入力端子 ３_Ｍ 教師信号ユニット入力端子 ４ 減算器 ４_１ 減算器 ４_２ 減算器 ４_Ｍ 減算器 ５ 重み係数制御器 ６ ２値スレショルド回路 ６_１ ２値スレショルド回路 ６_２ ２値スレショルド回路 ６_Ｍ ２値スレショルド回路 ７ ２値出力信号出力端子 ７_１ ２値出力ユニット信号出力端子 ７_２ ２値出力ユニット信号出力端子 ７_Ｍ ２値出力ユニット信号出力端子 ８ 正誤検出器 ９ 動作制御器 １０ 誤差信号生成器 １０_１ 誤差信号生成器 １０_２ 誤差信号生成器 １０_Ｍ 誤差信号生成器 １１ 正誤検出器 １２ 動作制御器 １３ 最小余裕検出器 １４ 学習状態判定器 １６ 学習用入出力信号記憶装置 １７ テスト用入出力信号記憶装置 １８ 入力選択制御器 １９ 正誤検出器 ２０ 最小余裕検出器 ２１ 学習状態判定器 ２２ 動作制御器 ２３ 余裕入出力信号記憶装置

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平７−219921（ＪＰ，Ａ) 特開 平３−157697（ＪＰ，Ａ) 「ＯＳ ＩＶ／ＭＳＰ ＮＥＵＲＯＬ ＩＢ／Ｌ説明書 Ｖ10用 79ＳＰ−4620 −１」，日本，富士通株式会社，1991年 ３月，初版，ｐｐ．12−15，特許庁Ｃ ＳＤＢ文献番号：マニュアル1999− 00536−001 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/08 G06G 7/60 G06K 9/00 - 9/82 G06T 1/40 G06T 7/00 ＪＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 教師信号を用いて学習させるニューラル
   ネットワークに対して、 学習モードでは、教師信号との対応関係が与えられた入
   力信号の内、初期に代表的入力信号を学習用入力信号と
   して選択し、重み係数更新を行う学習処理を実行し、与
   えられた学習一時停止条件を満たすまで該学習処理を繰
   り返し、該条件を満たすと該学習モードを一時停止し、 引き続き、汎化テストモードでは、該学習用入力信号以
   外の残りの全ての該入力信号からなるテスト用入力信号
   に対する該ニューラルネットワークの出力信号を得、 対応した該教師信号との正誤を判定し、誤った出力信号
   を送出しているテスト用入力信号を新たな学習用入力信
   号として該学習用入力信号に移し追加し、 再度、該学習モードと該汎化テストモードとから構成さ
   れる一連の反復学習を繰り返し、 残りの該テスト用入力信号に対する出力信号の、該教師
   信号に対する誤り個数が与えられた条件を満たすと、該
   反復学習を終了するニューラルネットワーク反復学習方
   式において、 前記学習モードを実行し、前記学習一時停止条件を満た
   した際、前記教師信号に対して正しい出力信号を送出し
   ている前記学習用入力信号の内、与えられたスレショル
   ド以上の正解を出力する余裕を持っている前記学習用入
   力信号を、前記テスト用入力信号に移し追加し、前記反
   復学習を行うことを特徴としたニューラルネットワーク
   反復学習方式。
2. 【請求項２】 教師信号を用いて学習させるニューラル
   ネットワークに対して、 学習モードでは、教師信号との対応関係が与えられた入
   力信号の内、初期に代表的入力信号を学習用入力信号と
   して選択し、重み係数更新を行う学習処理を実行し、与
   えられた学習一時停止条件を満たすまで該学習処理を繰
   り返し、該条件を満たすと該学習モードを一時停止し、 引き続き、汎化テストモードでは、該学習用入力信号以
   外の残りの全ての該入力信号からなるテスト用入力信号
   に対する該ニューラルネットワークの出力信号を得、 対応した該教師信号との正誤を判定し、誤った出力信号
   を送出しているテスト用入力信号を新たな学習用入力信
   号として該学習用入力信号に移し追加し、 再度、該学習モードと該汎化テストモードとから構成さ
   れる一連の反復学習を繰り返し、 残りの該テスト用入力信号に対する出力信号の、該教師
   信号に対する誤り個数が与えられた条件を満たすと、該
   反復学習を終了するニューラルネットワーク反復学習方
   式において、 前記学習モードを実行し、前記学習一時停止条件を満た
   した際、前記教師信号に対して正しい出力信号を送出し
   ている前記学習用入力信号の内、与えられたスレショル
   ド以上の正解を出力する余裕を持っている前記学習用入
   力信号を、それ以降の前記反復学習から除去することを
   特徴としたニューラルネットワーク反復学習方式。
3. 【請求項３】 請求項１又は２記載のニューラルネット
   ワーク反復学習方式において、前記汎化テストモードを
   実行した際、前記教師信号に対して正しい出力信号を送
   出している前記テスト用入力信号の内、与えられたスレ
   ショルド以上の正解を出力する余裕を持っているテスト
   用入力信号を、それ以降の前記反復学習から除去するこ
   とを特徴としたニューラルネットワーク反復学習方式。
4. 【請求項４】 請求項１、２又は３記載のニューラルネ
   ットワーク反復学習方式において、前記学習一時停止条
   件として、正解の出力信号数が与えられたスレショルド
   以上となると、前記学習モードを一時停止させることを
   特徴としたニューラルネットワーク反復学習方式。
5. 【請求項５】 請求項１、２又は３記載のニューラルネ
   ットワーク反復学習方式において、前記学習一時停止条
   件として、正解の出力信号数が与えられたスレショルド
   以上で、且つ全学習用入力信号に対する正解を与える出
   力ユニットの間での最小余裕値が与えられたスレショル
   ドを越えると、前記学習モードを一時停止させることを
   特徴としたニューラルネットワーク反復学習方式。
6. 【請求項６】 請求項４記載のニューラルネットワーク
   反復学習方式における汎化テストモードにおいて、正解
   の出力信号を送出するテスト用入力信号数が前記与えら
   れたスレショルド以上となると、それ以降の前記反復学
   習において前記学習用入力信号に対して全て正しい出力
   信号が得られることを前記学習一時停止条件として変更
   し動作させることを特徴としたニューラルネットワーク
   反復学習方式。
7. 【請求項７】 請求項１から６のひとつに記載のニュー
   ラルネットワーク反復学習方式において、ニューラルネ
   ットワークとして多値ニューラルネットワークを用い、
   初期設定として、前記教師信号との対応関係が与えられ
   た入力信号の一部を前記学習用入力信号として割り当て
   る際に、多値出力ユニット信号が表し得るすべての出力
   パターンを該教師信号として用意し、それぞれに少なく
   とも１つの該学習入力信号を割り当て、前記反復学習を
   行うことを特徴としたニューラルネットワーク反復学習
   方式。