JPH0451354A - ニューラルネットワーク学習装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［概要］ 入力パターンとこれに対する教師信号きしての学習比カ
バターンを使用し、教師信号に一致する出力パターンが
得られるようにネットワークの結合の重みを計算して更
新するニューラルネットワーク学習装置に関し、 学習を効率良く終らせることを目的とし、学習の進行状
況を見ながら自動的に学習用の入出力パターンを新たに
生成追加したり、削除したりするように構成する。

［産業上の利用分野］ 本発明は、学習パターンを使用してニューラルネットワ
ークを学習させるニューラルネットワーク学習装置に関
する。

ニューラルネットワークの学習は、入力パターンとこれ
に対する教師信号としての出力パターンを準備し、学習
用の入出力パターンをネットワークに与えて教師信号に
一致する出力パターンが得られるようにネットワークの
結合の重みを計算して更新する。しかし、ニューラルネ
ットワークの学習では、学習パターンの数やパターン種
類が学習の結果が大きく影響するが、学習を終了してみ
なければパターン数の不足やパターンが適切でなかった
ことがわからず、学習終了後に学習パターンを修正して
再学習する必要がある。従って、学習の終了を待たずに
途中で学習の進行状況を調べて適切な学習パターンを提
供できるようにすることが望まれる。

［従来の技術］ 第６図は従来のニューラルネットワーク学習装置の説明
図である。

第６図において、ニューラルネットワーク学習装置は学
習パターン保持部１０と重み更新部１６で構成される。

即ち、学習パターン保持部１０は、入力パターンＩ、と
、この入力パターンＩ、に対する教師信号としての出力
パターンＴ、を保持している。学習実行部１４はニュー
ラルネッＩ・ワーク１２を含み、学習パターン保持部１
０の入力パターン■。

をニューラルネットワーク１２に入力してネッＩ・ワー
クの出力パターンＯ１及び重みを求める。更に重み更新
部１Ｇは、ネットワーク出力パターンＯ２と学習用の出
力パターン（教師信号）ＴＰとに基づき、例えばパック
プロパゲーション法等に従って両者が一致するようにニ
ューラルネットワーク１２の結合の重みを計算して更新
する。

［発明が解決しようとする課題］ このような従来のニューラルネットワーク学習装置にあ
っては、学習を始める際に入力パターンと教師信号とし
ての出力パターンを学習パターン保持部１０に与えると
、学習の途中でその入出力パターンを変えることができ
ない。ところが、ニューラルネットワークによる学習で
は、学習パターンが他のパターンとは全く異なるような
パターンは収束しに＜（、類似例を増やすと収束が早く
なったり、そのパターンを削除しなければ収束しなかっ
たりする場合が多い。また、学習させたパターンについ
ては対応する結果を得ることができるが、学習パターン
数が少ないと、学習させたパターンとパターンの間に普
通良く使われるバタンか存在した場合、この間のパター
ンについての保証がなくなる。

このように、ニューラルネットワークによる学習では、
学習させるパターン数やパターンの種類によって学習の
結果が大きく左右するが、従来装置では学習が終了して
みて初めて学習のパターン数が少ないことや、学習パタ
ーンがよくないことに気が付き、学習パターンを修正し
て再学習しなければならず、学習効率が悪いという問題
があった。

本発明は、このような従来の問題点に鑑みてなされたも
ので、学習を効率良く終らせることのできるニューラル
ネットワーク学習装置を提供することを目的とする。

［課題を解決するための手段］ 第１図は本発明の原理説明図である。

まず本発明は、第１図（ａ）に示すように、入力パター
ンとこれに対する教師信号としての学習用カバターンを
格納した学習パターン保持部１０と、学習パターン保持
部１０の入力パターンをニューラルネッ）・ワーク１．
２に入力し、ネットワークの出力パターンとネッＩ・ワ
ークの結合の重みを求める学習実行部１−４と、ネット
ワークへの入力パターンに対応した学習用カバターンと
ネットワーク出力パターン及び重みに基づき所定の学習
規則、例えばパックプロパゲーション法に従ってネット
ワーク１−２の重みを計算して更新する重み更新部１６
とを備えたニューラルネットワーク学習装置を対象とす
る。

このようなニューラルネットワーク学習装置につき本発
明にあっては、第１図（ｂ）に示すように、ニューラル
・ネットワーク１．２の学習途中で学習の進行状態を見
ながら自動的に入力パターンと出力パターンを新たに生
成して学習パターン保持部１−Ｏに追加する学習パター
ン制御部１８−１を設けたことを特徴とする。

ここで学習パターン制御部１８−１は、第１図（ｂ）に
示すように、 学習パターン保持部１０の出力パターンと学習実行部１
４から得られたネッＩ・ワーク出力パターンとを比較し
て学習の進行状態を調べる出力データ検査部２０と 出力データ検査部２０の検査結果に基づいて学習用の入
出力パターンを生成する入出力データ生成部２２と； 入出力データ生成部２２で新たに生成された学習用の入
出力パターンを学習パターン保持部１０に追加する学習
データ追加部２４と； を備える。

具体的な生成追加の例としては、出力データ検査部２０
より全パターンについてある程度の収束状況が得られた
際に、入出力データ生成部２２において学習パターン保
持部１−０から隣接する２つの入出力パターン（ｈａ、
Ｔｅ１）（ｉｔ、Ｔｌ）を取り出して線形補間した新た
な入出力パターン（１２，Ｉ２）を生成し、新たに生成
した入力パターン（Ｉ２）を学習実行部１４に入力して
ネットワークの出力パターン（０２）を算出し、新たに
生成した出力パターン（Ｉ２）と一致しない場合には、
学習データ追加部２４により新たに生成した入出力パタ
ーン（Ｉ２，Ｔ２）を学習パターン保持部１０に追加さ
せる。

また他の生成追加の例としては、出力データ生成部２２
において学習パターン保持部］０から任意の学習入出力
パターン（ＩＰ、ＴＰ）を取り手出して入力パターン（
■、）に所定のゆらぎ（例えば−０，１〜０．１程度）
を加えた新たな入力パターン（■ｐ−）を生成し、新た
に生成した入力パターン（■ｐ　−）を学習実行部１−
４に入力してネットワークの出力パターン（ｏｐ−）を
算出し、この出力パターン（０，＝）が学習用の出力パ
ターン（Ｔ、）に一致しない場合に、新たに生成した学
習入出力パターン（ｉ、−、Ｔ、）を学習データ追加部
２４により学習パターン保持部１０に追加する。

更に追加生成の他の例としては、出力データ検査部２０
により学習途中で収束の進まない学習用の入出力パター
ンを検出し、この検出パターンと同じ学習入出力パター
ンを入出力データ生成部２２で生成して学習データ追加
部２４により学習パターン保持部１０に追加する。

また本発明にあっては、ニューラルネットワーク学習装
置につき、第１−図（ｃ）に示すように、学習途中で学
習の進行状態を見ながら自動的に学習入出力パターンを
学習パターン保持部１０から削除する学習パターン制御
部１８−２を設けたことを特徴とする。

ここで学習パターン制御部１８−２は、学習パターン保
持部１０の出力パターンと学習実行部１４から得られた
ネットワーク出力パターンとを比較して学習の進行状態
を調べる出力データ検査部２０と： 出力データ検査部２０の検査結果に基づいて学習パター
ン保持部１０から入出力パターンを削除する学習データ
削除部２６と； を備える。

パターン削除の具体例としては、学習パターン保持部１
−０に格納された中から入出力パターンの差が少ないも
のを検出して学習データ削除部２６から削除する。

またパターン削除の他の例として、学習パターン保持部
１０に格納された中から学習途中で収束の進まない入出
力パターンを検出して学習データ削除部２６から削除す
る。

更にパターン削除の他の例として、学習パターン保持部
１０に格納された全パターンの内の数パーセントが学習
を繰り返しても収束しないことを検出した際に、収束し
ない数パーセントの学習入出力パターンを学習データ削
除部２６から削除するように構成する。

［作用］ このような構成を備えた本発明のニューラルネットワー
ク学習装置によれば次の作用が得られる。

まず入力パターンがニューラルネットワークに入力され
、ネットワークの出力値と、ネットワークの結合の重み
が計算される。重み更新部ではネットワークの出力と教
師信号の誤差が少なくなるように、パックプロパゲーシ
ョン法等の学習規則に基づいて重みを更新させる。

学習パターン制御部１８では、１回の学習毎にネットワ
ークの出力と教師信号の誤差を計算して学習の収束状態
を調べる。学習を繰り返しても、全学習パターン中の数
パーセントが収束しないような場合は、同じ学習パター
ンを生成して追加、あるいは削除する。また学習がある
程度まで進んだと判断された段階で、線形補間等により
新たに入出力パターンを生成して学習の成果を調べ、学
習が済んでいないものを新たな学習パターンとして追加
する。

［実施例］ 第２図は本発明の一実施例を示した実施例構成図であり
、学習の途中で学習の進行状況を見ながら自動的に学習
用の入出力パターンを生成追加する場合を例にとってい
る。

第２図において、まず基本的なニューラルネットワーク
学習装置は、学習パターン保持部１０、ニューラルネッ
トワーク１２を備えた学習実行部１４及び重み更新部１
６で構成され、これに加えて本発明にあっては新たに学
習パターン制御部１゜８−１が設けられる。

学習パターン保持部Ｊ−０には学習用の入力パターンＩ
、と、入力パターンＩ、に対する教師信号としての出力
パターン（以下「教師パターン」という）Ｔｐが格納さ
れている。ここでＩ）＝１，２゜・・・、ｎでパターン
の数を示す。

学習実行部］４は学習パターン保持部１０から取り出さ
れた学習用の入力パターン■、をニューラルネットワー
ク］−２に入力し、ニューラルネットワーク１２の出力
パターンＯｒとニューラルネットワーク１２の結合の重
みを求める。

重み更新部１６は現在学習実行部１４に与えられている
入力パターン■、に対応する教師パターンＴ２を学習パ
ターン保持部１０から取り込むと共に、学習実行部１４
で求めたネットワーク出力パターンＯ２及びネットワー
クの結合の重みを受け、これらを学習パラメータとして
所定の学習規則、例えはパックプロパゲーション法に従
ってネットワーク出力パターンＯ４と教師パターンＴ。

との誤差を最小にするネットワークの重みを計算して更
新する。この重み更新部１−６の学習規則となるパック
プロパゲーション法は例えば特願昭６２−３３３４８４
号に示される。即ち、パックプロパゲーション法にあっ
ては階層構造をもつニューラルネットワーク１２のユニ
ットに対する入力結線の重みとユニットの閾値とを教師
パターンとネットワーク出力パターンの誤差のフィード
バックにより適応的に自動調整して学習する。

ここでパックプロパゲーション法によるニューラルネッ
トワークの学習原理を説明するとつぎのようになる。

パックプロパゲーション法を適用するネットワークは、
第５図に示すように多層ネットワークであり、各層は多
くのユニットで構成されており、各ユニットは互いにあ
る重みで結合されている。

このネットワークに入力パターンと、望ましい出力パタ
ーンの組を与えることによって、ネットワ−クの重みを
学習させることができる。

学習は以下のように進められる。ネットワークに成る入
力パターンを与え、出力を得る。その出力が正しくなけ
れば、正しい又は望ましい出力値教師信号）をネットワ
ークに教える。すると、ネットワークは正しい出力と実
際の出力値の差が減少するように、ネットワークの内部
構造（結合の重み）を調整する。これを何度も繰り返す
ことによって、ネットワークは成る入出力関係を満たす
ような重みを、自動的に学習していくのである。

この学習アルゴリズムをパックプロパゲーション法とい
う。

このようにして学習したネットワークを用いると、学習
させた入力パターンについては教示した正しい出力を返
すが、更に学習させていない人カバターンについても学
習した入出力パターンを補間した出力パターンを返す。

これが、ニューラルネットの大きな特徴となっている。

以下に、この学習原理を詳細に説明する。

まず学習対象となるニューラルネットワークは多層ネッ
トワーク構造になっている。各層は多（のユニットで構
成されており、各ユニット間には、各々結合の重みＷが
定義される。各ユニットは以下に示すようにしてネット
ワークの出力値を計算する。

第４図に示すように、あるユニットが複数のユニットか
ら入力を受けた場合、その総和に各ユニットの閾値θを
加えたものが、入力値ｎｅｔになる。

ｎｅｔ−ΣＷ　ＩＨ０１十〇 Ｗ＋、：ユニットＵ、からユニットＵ１への結合の重み ０、：ユニッｌ−Ｕ　＋の出力 ユニットの出力値はこの入力の総和ｎ　ｅ　ｔ　ニ、活
性化関数を適用して計算される。活性化関数には微分可
能な非線型関数であるシグモイド関数を用いると、ユニ
ットＵ、の出力値０、は０＋　＝　１．／　（１＋ｅｘ
ｐ（ｎｅｌｌ）　）になる。

パックプロパゲーション法で用いるネットワーク１ りは、−船釣には多層のネッ）・ワーつてあるが、ここ
では通常よく用いられる、第５図に示すような３層のネ
ットワークの場合について述べる。３つの層は入力層２
２、隠れ層２４、出力層２６と呼ばれており、各層は多
くのユニットで構成される。隠れ層２４の各ユニットは
、入力層２２の全てのユニットと結合している。出力層
２６の各ユニットは、隠れ層２４の全てのユニットと結
合している。各層内での結合は無い。

入力層２２の各ユニットには、ネットワークへの入力デ
ータが与えられる。

従って、隠れ層２４の各ユニットの出力値１１は、ｎｅ
　ｔ、−ΣＷＩ　Ｉｔ　ｄ　ｈ　４−θ、　　　　　　
（１）１１　＋　−１−／　（ｉ　−１−ｅｘｐ（−ｎ
ｅｔｔ　）　）　　　　　（２）ｄｈ：に番目の入カニ
ニットの出力 り、：ｊ番目の隠れユニットの出力値 Ｖｉ７１．；ｌ（番目の入カニニットと、ｊ番目の隠れ
ユニット間の結合の重み θ、　　ｊ番目の隠れユニットの閾値 になる。

また、出力層の各ユニットの出力値Ｏは、前記（１）、
　　（２）式より ｎｅ　ｔ＋−ΣＷ　＋　ｖ　ｄ　ｖ＋ΣＷＩ＋１〕１＋
θ、（３）ド ０、　＝１／　（ｉ−＋ｅｘｐ（−ｎｅｔｌ）　）　　
　　　（４）１〕１　　ｊ番目の隠れユニットの出力値
０、・ｉ番目の出カニニットの出力値 ｗ、、：ｊ番目の隠れユニットと、ｉ番目の出カニニッ
ト間の結合の重み θＩ　：ｊ番目の出カニニットの閾値 次にネットワークの出力が、望ましい出力になるように
、ネットワークの重みを変える。あるパターンｐを与え
た時の実際の出力値（ｏｐ、）と、望ましい出力値（ｔ
□）の平均２乗誤差をとる。

Ｅｐ　−（ｔ□−０，、）　２／２　　　　　（５）学
習させるためには、この誤差を減らすように、次の学習
規則に従ってネットワーク中の全ての重みを変える。

［出力層についての学習規則］ ■隠れ層のユニット−出力層のユニットの間の重みの変
化 △Ｗ＋＋　（ｎ）　　−ηΣδｐ１１１　ｎｌ　＋　α
△ｗｚ（ｎ、−：＋−）■入力層のユニッ）・−出力層
のユニットの間の重みの変化 ΔＷｌｋ　（ｎ）　−７７Σδ、ｌｈｌ、に＋αΔＷ、
ｋ（ｎ　−１）但し、ｎ：学習回数　　　　　　　　　
（７）α：モーメンタム δ、、−（ｔ　ｐ＋　　０−ｔ）Σδ、、Ｗ、□　　　
　　（８）［隠れ層についての学習規則コ 入力層のユニット−隠れ層のユニットの間の重みの変化 △Ｗ）ｈ　（ｎ）　−’７ΣδｐＨｌｎｌ＋αΔＷ、（
ｎ　　］、）δ０．−ｈ、、ＣＪ、　　ｂｙ）Σδ、、
ＷＩ＋（１０）再び第２図を参照するに、このような学
習パターン保持部１−０、学習実行部１４及び重み更新
部１６で成る基本的なニューラルネットワーク学習装置
に対し、本発明で新たに設けられた学習パターン制御部
Ｊ８は、ニューラルネットワーク１−２の学習の途中で
学習の進行状況を見ながら自動的に学習用の入出力パタ
ーンを生成して学習パターン保持部１−０に追加する機
能を有する。

具体的には、学習パターン制御部１８−１−は出力デー
タ検査部２０と入出力データ生成部２２と学習データ追
加部２４で構成される。

即ち、出力データ検査部２０は所定の検査規則を備え、
学習パターン保持部１０から得られた教師パターンＴＰ
七学習実行部１４で求められたニューラルネットワーク
１２のネットワーク出力パターンＯ１との比較を行い、
どの学習パターンがどれくらいの学習進行状態にあるか
を調べる。この学習の進行状態は学習用の教師パターン
Ｔ、とネットワーク出力パターンＯ１との誤差に基づき
ネットワーク出力パターンＯＰの教師パターンＴｐに対
する収束の度合いとして調べることができる。また、出
力データ検査部２０は入出力ブタ生成部２２で新たに生
成された学習用の入力パターンを学習実行部１４に与え
たときのネットワーク出力パターンについての評価も行
う。

学習データ生成部２２は後の説明で明らかにする生成規
則に従って学習パターン保持部１０に格納されている入
力パターンＩＰ、教師パターンＴ、以外の学習用の入出
力パターンを既に学習パターン保持部１０に保持してい
る学習用の入力パターンＩ、及び教師パターンＴ、に基
づいて生成する。

更に、学習データ追加部２４は入出力データ生成部２２
で新たに生成された入出力パターンのうち、学習実行部
］４に入力パターンを与えることで出力データ検査部２
０で特定の検査結果が得られたものについてのみ学習パ
ターン保持部１０に新たな入力パターン及び教師パター
ンとして追加格納する。

次に、入出力データ生成部２２に設定された生成規則に
従った新たな学習用の入出力パターンの生成追加を説明
する。

［生成規則１．］ まず、学習パターン制御部１８−　］、の出力データ検
査部２０にあっては、学習パターン保持部１０の入力パ
ターン■、を使用した学習実行部１４によるニューラル
ネットワーク１２の学習毎にネットワーク出力パターン
Ｏ２と教師パターンＴ。

の誤差を計算し、学習による収束状態を調べる。

このような出力データ検査部２０における１−回の学習
毎の収束状態の算出による検査について、学習ハターン
保持部１０の全パターンについて、ある程度収束した状
態、即ち全パターンのネットワーク出力パターンと教師
パターンの誤差が規定値以下となった状態で入出力デー
タ生成部２２が生成規則１に従った新たな入力パターン
の生成追加を行う。

この生成規則１は入出力生成部２２が学習パターン保持
部１−０の中から隣接する２つの入出力パターン（ｌｏ
、Ｔｏ）と（Ｉ＋、Ｔ＋）を取込み、この２つの入出力
パターンの間に位置する入出力パターン（Ｉ２，Ｔ２）
を線形補間により算出する。このように、線形補間によ
り新たに算出された入出力パターン（Ｉ２，Ｔ２）につ
き、入力パターンＩ２を学習実行部１４のニューラルネ
ットワーク１−２に与え、入力パターン■２に対するネ
ットワーク出力０２を学習実行部１４で算出する。

学習実行部１４で算出されたネットワーク出力パターン
０２は出力データ検査部２０で対応する教師パターンＴ
２と比較される。

この新たに生成した教師パターンＴ２とネットワーク出
力パターン０２との間に Ｔまた０２　　　（任意の精度） の関係があれば、新たに生成した入出力パターン（１２
，Ｉ２）を学習パターン保持部１０に追加することなく
、そのまま学習を続ける。一方、教師パターンＴ２とネ
ットワーク出力パターン０２の間に Ｔ２≠０２ の関係があった場合には、学習データ追加部２４は線形
補間で生成された入出力パターン（Ｉ２゜Ｉ２）を新た
な学習パターンとして学習パターン保持部１０に追加格
納する。

［生成規則２］ 生成規則］の場合と同様、１回の学習毎にネットワーク
出力０．と教師パターンＴ、との誤差を出力データ検査
部２０で算出して学習の収束状態を調べている。

出力データ検査部２０による学習の進行状態の検査結果
が学習パターン保持部１０の全パターンについて、ある
程度収束した状態で入出力データ生成部２２が起動し、
学習パターン保持部１０に格納されている、ある入出力
パターン（１，、Ｔ、）を取出し、その入力パターンＩ
、に所定のゆらぎを加えた入力パターンＩｐ　′を生成
する。入力パターン■、に加えるゆらぎとしては、例え
ば０．１〜０．１の範囲の小さな値を加える。このよう
にしてゆらぎを加えた入力パターン■。

は学習実行部１４のニューラルネットワーク１２に与え
られ、ネットワークの出力パターンＯ１を算出する。続
いて、出力データ検査部２０で入力パターン■１の教師
パターンＴ、とゆらぎを加えた入力パターンＩｐ−によ
り得られたネットワーク出力パターンＯ６′の差を調べ
る。

’ｒｐ　”ＯＰ　−（任意の精度） であれば、学習パターン保持部１０に新たに生成した入
出力パターンを追加することなく、そのまま学習を続け
る。

Ｔ、　ｆ＝ｏｒ の場合には、学習データ追加部２４が入出力パターン（
１，−、’ｒ、）を新たな学習パターンとして学習パタ
ーン保持部１０に追加する。

［生成規則３］ この生成規則３においても、生成規則１の場合と同様、
１回の学習毎に学習パターン制御部１８１の出力データ
検査部２０でネットワーク出力パターン０．と教師パタ
ーンＴｐの誤差を計算して学習の収束状態を調べている
。

出力データ検査部２０による学習の進行状態の検査から
学習パターン保持部１０に格納された全パターンのうち
の数パーセントのパターンが収束しにくい状態のとき、
この数パーセントの収束しにくいパターンと同じパター
ンを入出力データ生成部２２で新たに生成し、学習パタ
ーン保持部１０に追加する。その結果、全パターンのう
ちの数パーセントの収束しにくいパターンについては学
習パターン保持部１０に二重に学習パターンが格納され
ることとなり、収束しにくい状態にある学習パターンに
よるニューラルネッ）・ワーク１２に対する学習実行部
１４の学習頻度が増加し、その分だけ学習進行を促進す
ることができる。

第３図は本発明の第２実施例を示した実施例構成図であ
り、この実施例にあっては学習の途中で学習の進行状態
を見ながら自動的に学習パターンを削除することを特徴
とする。

第３図において、学習パターン保持部１０、学習実行部
１−４及び重み更新部１６については第２図の実施例と
同じであり、これに加えて学習の進行状態を見ながら学
習パターン保持部１０に格納された入出力パターンを削
除する学習パターン制御部１−８−２が設けられる。

学習パターン制御部１−８−２は出力データ検査部２０
と学習データ削除部２６で構成される。出力データ検査
部２０は第２図の学習パターン制御部１８−１と同様、
１回の学習毎に学習パターン保持部１０の教師パターン
Ｔ、と学習実行部１４３１゜ で求められたネットワーク出力パターンＯ１との誤差を
計算して学習の進行状態を調べる検査機能を有するが、
第３図の実施例にあっては、この検査規則に加えて学習
パターンを削除する検査規則、即ち削除規則を実行する
機能を併せて有する。学習データ削除部２６は出力デー
タ検査部２０で実行された削除規則に従って、対応する
学習パターンを学習パターン保持部１−０から削除する
。

次に、第３図の実施例における削除規則を詳細に説明す
る。

［削除規則１］ ニューラルネットワーク１２の学習に先立ち、そのとき
学習パターン保持部１４に格納されている学習用の入出
力パターンのうち、入力パターンと出力パターン（教師
パターン）の差の少ないものを検出し、学習データ削除
部２６により学習パターン保持部」Ｏから削除する。即
ち、差の少ない入力パターンと出力パターン（教師パタ
ーン）でニューラルネットワーク１−２を学習しても、
もともと差が少ないことから、収束の如何に拘らずネッ
トワークの結合の重み更新の度合いは制限され、このよ
うな入出力パターンは、元来、学習パターンとしては適
切でないことから、不要な学習パターンとして削除する
。

［削除規則２］ １、回の学習毎に学習パターン制御部１８−２の出力デ
ータ検査部２０でネットワーク出力パターンＯ１と教師
パターンＴ、の誤差を計算して学習の収束状態を調べ、
全パターンのうちの数パーセントが収束しにくい状態の
とき、この数パーセントの収束しに（い学習パターンを
学習データ削除部２６に通知して学習パターン保持部１
０より削除させる。即ち、学習の進行に対し９０数パー
セントが収束しているのに、残り数パーセントが収束し
にくい状態にあるときには、この収束しにくい数パーセ
ントの学習パターンは学習パターンとして不適切なもの
と見做すことができ、従って、このような不適切な学習
パターンを使用しても学習に時間がかかるだけで必ずし
も収束状態が得られず、従って削除することにより適切
な学習パタ−ンによる学習の進行状態とすることができ
、学習を速やかに終わらせることが可能となる。

尚、上記の実施例は３つの生成規則及び２つの削除規則
を個別に説明したが、必要に応じてこれら生成規則及び
削除規則を適宜に組み合わせた学習パターンの追加、削
除を行なうようにしてもよいことは勿論である。

［発明の効果］ 以上説明してきたように本発明によれば、学習の途中で
学習の結果を考慮した学習パターンを自動的に追加、削
除できるため、不要の学習パターンを除くと共に必要な
パターンを新たに加えた質の高い学習ができる。更に、
学習の終了を待って学習の成果を調べ、成果が不十分で
あった場合に更に学習パターンを変更して再学習する手
間が不要となり、学習の時間を大幅に短縮することがで
きる。

【図面の簡単な説明】

第１図は本発明の原理説明図； 第２図は本発明の第１実施例構成図： 第３図は本発明の第２実施例構成図； 第４図はニューラルネットワークのユニッ）・説明図； 第５図はニューラルネットワーク構成図：第６図は従来
のニューラルネットワーク学習装置構成図である。 ２６：学習データ削除部

Claims (10)

【特許請求の範囲】
1. （１）学習用の入力パターンと該入力パターンに対する
   教師パターンとしての出力パターンを格納した学習パタ
   ーン保持部（１０）と、該学習パターン保持部（１０）
   の入力パターンをニューラルネットワーク（１２）に入
   力し、ネットワークの出力パターンとネットワークの結
   合の重みを求める学習実行部（１４）と、前記学習パタ
   ーン格納部（１０）の出力パターンとネットワーク出力
   パターン及び重みに基づき所定の学習規則に従って前記
   ネットワーク（１２）の重みを計算して更新する重み更
   新部（１６）とを備えたニューラルネットワーク学習装
   置に於いて、前記ニューラル・ネットワーク（１２）の
   学習途中で学習の進行状態を見ながら自動的に入力パタ
   ーンと出力パターンを新たに生成して前記学習パターン
   保持部（１０）に追加する学習パターン制御部（１８−
   １）を設けたことを特徴とするニューラル・ワークの学
   習装置。
2. （２）請求項１記載のニューラルネットワーク学習装置
   に於いて、 前記学習パターン制御部（１８−１）は、 前記学習パターン保持部（１０）の出力パターンと前記
   学習実行部（１４）から得られたネットワーク出力パタ
   ーンとを比較して学習の進行状態を調べる出力データ検
   査部（２０）と； 該出力データ検査部（２０）の検査結果に基づいて新た
   な学習用の入出力パターンを生成する入出力データ生成
   部（２２）と； 該入出力データ生成部（２２）で新たに生成された学習
   用の入出力パターンを前記学習パターン保持部（１０）
   に追加する学習データ追加部（２４）と；を備えたこと
   を特徴とするニューラルネットワーク学習装置。
3. （３）請求項２記載のニューラルネットワーク学習装置
   に於いて、 前記出力データ検査部（２０）より全パターンについて
   ある程度の収束状況が得られた際に、前記入出力データ
   生成部（２２）において前記学習パターン保持部（１０
   ）から隣接する２つの入出力パターン（Ｉ＿０，Ｔ＿０
   ）（Ｉ＿１，Ｔ＿１）を取り出して線形補間した新たな
   学習入出力パターン（Ｉ＿２，Ｔ＿２）を生成し、該新
   たに生成した入力パターン（Ｉ＿２）を前記学習実行部
   （１４）に入力してネットワークの出力パターン（Ｏ＿
   ２）を算出し、前記新たに生成した学習用の出力パター
   ン（Ｔ＿２）と一致しない場合には、前記学習データ追
   加部（２４）により新たに生成した入出力パターン（Ｉ
   ＿２，Ｔ＿２）を前記学習パターン保持部（１０）に追
   加することを特徴とするニューラルネットワーク学習装
   置。
4. （４）請求項２記載のニューラルネットワーク学習装置
   に於いて、 前記出力データ検査部（２０）より全パターンについて
   ある程度の収束状況が得られた際に、前記入出力データ
   生成部（２２）において前記学習パターン保持部（１０
   ）から任意の入出力パターン（Ｉ＿Ｐ，Ｔ＿Ｐ）を取り
   出して所定のゆらぎを加えた新たな入力パターン（Ｉ＿
   Ｐ′）を生成し、該新たに生成した入力パターン（Ｉ＿
   Ｐ′）を前記学習実行部（１４）に入力してネットワー
   クの出力パターン（Ｏ＿Ｐ′）を求め、該出力パターン
   （Ｏ＿Ｐ′）が前記新たに生成した出力パターン（Ｔ＿
   Ｐ）に一致しない場合に、前記学習データ追加部（２４
   ）により新たに生成した入出力パターン（Ｉ＿Ｐ′，Ｔ
   ＿Ｐ）を前記学習パターン保持部（１０）に追加するこ
   とを特徴とするニューラルネットワーク学習装置。
5. （５）請求項２記載のニューラルネットワーク学習装置
   に於いて、 前記出力データ検査部（２０）により学習途中で収束の
   進まない入出力パターンを検出し、該検出パターンと同
   じ出力パターンを前記入出力データ生成部（２２）で生
   成して前記学習データ追加部（２４）により前記学習パ
   ターン保持部（１０）に追加することを特徴とすニュー
   ラルネットワーク学習装置。
6. （６）学習用の入力パターンと該入力パターンに対する
   教師パターンとしての出力パターンを格納した学習パタ
   ーン保持部（１０）と、該学習パターン保持部（１０）
   の入力パターンをニューラルネットワーク（１２）に入
   力し、ネットワークの出力パターンとネットワークの結
   合の重みを求める学習実行部（１４）と、前記学習パタ
   ーン格納部（１０）の出力パターンとネットワーク出力
   パターン及び重みに基づき所定の学習規則に従って前記
   ネットワーク（１２）の重みを計算して更新する重み更
   新部（１６）とを備えたニューラルネットワーク学習装
   置に於いて、学習途中で学習の進行状態を見ながら自動
   的に前記学習パターン保持部（１０）に格納された入出
   力パターンを削除する学習パターン制御部（１８−２）
   を設けたことを特徴とするニューラルネットワーク学習
   装置。
7. （７）請求項１記載のニューラルネットワーク学習装置
   に於いて、 前記学習パターン制御部（１８−２）は、 前記学習パターン保持部（１０）の出力パターンと前記
   学習実行部（１４）から得られたネットワークの出力パ
   ターンとを比較して学習の進行状態を調べる出力データ
   検査部（２０）と； 該出力データ検査部（２０）の検査結果に基づいて前記
   学習パターン保持部（１０）の入出力パターンを削除す
   る学習データ削除部（２６）と； を備えたことを特徴とするニューラルネットワーク学習
   装置。
8. （８）請求項７記載のニューラルネットワーク学習装置
   に於いて、 前記学習パターン保持部（１０）に格納された中から入
   出力パターンの差が少ないものを検出して前記学習デー
   タ削除部（２６）により削除することを特徴とするニュ
   ーラルネットワーク学習装置。
9. （９）請求項７記載のニューラルネットワーク学習装置
   に於いて、 前記学習パターン保持部（１０）に格納された中から学
   習途中で収束の進まない入出力パターンを検出して前記
   学習データ削除部（２６）により削除することを特徴と
   するニューラルネットワーク学習装置。
10. （１０）請求項７記載のニューラルネットワーク学習装
    置に於いて、 前記学習パターン保持部（１０）に格納された全パター
    ンの内の数パーセントが学習を繰り返しても収束しない
    ことを検出した際に、該収束しない数パーセントの入出
    力パターンを前記学習データ削除部（２６）により削除
    することを特徴とするニューラルネットワーク学習装置
    。