JP2825939B2 - ニューラルネットワーク学習装置 - Google Patents

Description

【発明の詳細な説明】 ［概要］ 入力パターンとこれに対する教師信号としての学習出
力パターンを使用し、教師信号に一致する出力パターン
が得られるようにネットワークの結合の重みを計算して
更新するニューラルネットワーク学習装置に関し、 学習を効率良く終らせることを目的とし、 学習の進行状況を見ながら自動的に学習用の入出力パタ
ーンを新たに生成追加したり、削除したりするように構
成する。

［産業上の利用分野］ 本発明は、学習パターンを使用してニューラルネット
ワークを学習させるニューラルネットワーク学習装置に
関する。

ニューラルネットワークの学習は、入力パターンとこ
れに対する教師信号としての出力パターンを準備し、学
習用の入出力パターンをネットワークに与えて教師信号
に一致する出力パターンが得られるようにネットワーク
の結合の重みを計算して更新する。しかし、ニューラル
ネットワークの学習では、学習パターンの数やパターン
種類が学習の結果が大きく影響するが、学習を終了して
みなければパターン数の不足やパターンが適切でなかっ
たことがわからず、学習終了後に学習パターンを修正し
て再学習する必要がある。従って、学習の終了を待たず
に途中で学習の進行状況を調べて適切な学習パターンを
提供できるようにすることが望まれる。

［従来の技術］ 第６図は従来のニューラルネットワーク学習装置の説
明図である。

第６図において、ニューラルネットワーク学習装置は
学習パターン保持部10と重み更新部16で構成される。

即ち、学習パターン保持部10は、入力パターンI_Pに対
する教師信号としての出力パターンT_Pを保持している。
学習実行部14はニューラルネットワーク12を含み、学習
パターン保持部10の入力パターンI_Pをニューラルネット
ワーク12に入力してネットワークの出力パターンO_P及び
重みを求める。更に重み更新部16は、ネットワーク出力
パターンO_Pと学習用の出力パターン（教師信号）T_Pとに
基づき、例えばバックプロパゲーション法等に従って両
者が一致するようにニューラルネットワーク12の結合の
重みを計算して更新する。

［発明が解決しようとする課題］ このように従来のニューラルネットワーク学習装置に
あっては、学習を始める際に入力パターンと教師信号と
しての出力パターンを学習パターン保持部10に与える
と、学習の途中でその入出力パターンを変えることがで
きない。ところが、ニューラルネットワークによる学習
では、学習パターンが他のパターンとは全く異なるよう
なパターンは収束しにくく、疑似例を増やすと収束が早
くなったり、そのパターンを削除しなければ収束しなか
ったりする場合が多い。また、学習させたパターンにつ
いては対応する結果を得ることができるが、学習パター
ン数が少ないと、学習させたパターンとパターンの間に
普通良く使われるパターンが存在した場合、この間のパ
ターンについての保証がなくなる。

このように、ニューラルネットワークによる学習で
は、学習させるパターン数やパターンの種類によって学
習の結果が大きく左右するが、従来装置では学習が終了
してみて初めて学習のパターン数が少ないことや、学習
パターンがよくないことに気が付き、学習パターンを修
正して再学習しなければならず、学習効率が悪いという
問題があった。

本発明は、このような従来の問題点に鑑みてなされた
もので、学習を効率良く終らせることのできるニューラ
ルネットワーク学習装置を提供することを目的とする。

［課題を解決するための手段］ 第１図は本発明の原理説明図である。

まず本発明は、第１図（ａ）に示すように、入力パタ
ーンとこれに対する教師信号としての学習出力パターン
を格納した学習パターン保持部10と、学習パターン保持
部10の入力パターンをニューラルネットワーク12に入力
し、ネットワークの出力パターンとネットワークの結合
の重みを求める学習実行部14と、ネットワークへの入力
パターンに対応した学習出力パターンとネットワーク出
力パターン及び重みに基づき所定の学習規則、例えばバ
ックプロパゲーション法に従ってネットワーク12の重み
を計算して更新する重み更新部16とを備えたニューラル
ネットワーク学習装置を対象とする。

このようなニューラルネットワーク学習装置につき本
発明にあっては、第１図（ｂ）に示すように、ニューラ
ル・ネットワーク12の学習途中で学習の進行状態を見な
がら自動的に入力パターンと出力パターンを新たに生成
して学習パターン保持部10に追加する学習パターン制御
部18−１を設けたことを特徴とする。

ここで学習パターン制御部18−１は、第１図（ｂ）に
示すように、 学習パターン保持部10の出力パターンと学習実行部14
から得られたネットワーク出力パターンとを比較して学
習の進行状態を調べる出力データ検査部20と； 出力データ検査部20の検査検査に基づいて学習用の入
出力パターンを生成する入出力データ生成部22と； 入出力データ生成部22で新たな生成された学習用の入
出力パターンを学習パターン保持部10に追加する学習デ
ータ追加部24と； を備える。

具体的な生成追加の例としては、出力データ検査部20
より全パターンについてある程度の収束状況が得られた
際に、入出力データ生成部22において学習パターン保持
部10から隣接する２つの入出力パターン（I₀,T₀）（I₁,
T₁）を取り出して線形補間した新たな入出力パターン
（I₂,T₂）を生成し、新たに生成した入力パターン
（I₂）を学習実行部14に入力してネットワークの出力パ
ターン（O₂）を算出し、新たに生成した出力パターン
（T₂）と一致しない場合には、学習データ追加部24によ
り新たに生成した入出力パターン（I₂,T₂）を学習パタ
ーン保持部10に追加させる。

また他の生成追加の例としては、出力データ生成部22
において学習パターン保持部10から任意の学習入出力パ
ターン（I_P,T_P）を取り手出して入力パターン（I_P）に
所定のゆらぎ（例えば−0.1〜0.1程度）を加えた新たな
入力パターン（I_P′）を生成し、新たに生成した入力パ
ターン（I_P′）を学習実行部14に入力してネットワーク
の出力パターン（O_p′）を算出し、この出力パターン
（O_P′）が学習用の出力パターン（T_P）に一致しない場
合に、新たに生成した学習入出力パターン（I_P′,T_P）
を学習データ追加部24により学習パターン保持部10に追
加する。

更に追加生成の他の例としては、出力データ検査部20
により学習途中で収束の進まない学習用の入出力パター
ンを検出し、この検出パターンと同じ学習入出力パター
ンを入出力データ生成部22で生成して学習データ追加部
24により学習パターン保持部10に追加する。

また本発明にあっては、ニューラルネットワーク学習
装置につき、第１図（ｃ）に示すように、学習途中で学
習の進行状態を見ながら自動的に学習入出力パターンを
学習パターン保持部10から削除する学習パターン制御部
18−２を設けたことを特徴とする。

ここで学習パターン制御部18−２は、 学習パターン保持部10の出力パターンと学習実行部14
から得られたネットワーク出力パターンとを比較して学
習の進行状態を調べる出力データ検査部20と； 出力データ検査部20の検査結果に基づいて学習パター
ン保持部10から入出力パターンを削除する学習データ削
除部26と； を備える。

パターン削除の具体例としては、学習パターン保持部
10に格納された中から入出力パターンの差が少ないもの
を検出して学習データ削除部26から削除する。

またパターン削除の他の例として、学習パターン保持
部10に格納された中から学習途中で収束の進まない入出
力パターンを検出して学習データ削除部26から削除す
る。

更にパターン削除の他の例として、学習パターン保持
部10に格納された全パターンの内の数パーセントが学習
を繰り返して収束しないことを検出した際に、収束しな
い数パーセントの学習入出力パターンを学習データ削除
部26から削除するように構成する。

［作用］ このような構成を備えた本発明のニューラルネットワ
ーク学習装置によれば次の作用が得られる。

まず入力パターンがニューラルネットワークに入力さ
れ、ネットワークの出力値と、ネットワークの結合の重
みが計算される。重み更新部ではネットワークの出力と
教師信号の誤差が少なくなるように、バックプロパゲー
ション法等の学習規則に基づいて重みを更新させる。

学習パターン制御部18では、１回の学習毎にネットワ
ークの出力と教師信号の誤差を計算して学習の収束状態
を調べる。学習を繰り返しても、全学習パターン中の数
パーセントが収束しないような場合は、同じ学習パター
ンを生成して追加、あるいは削除する。また学習がある
程度まで進んだと判断された段階で、線形補間等により
新たに入出力パターンを生成して学習の成果を調べ、学
習が済んでいないものを新たな学習パターンとして追加
する。

［実施例］ 第２図は本発明の一実施例を示した実施例構成図であ
り、学習の途中で学習の進行状況を見ながら自動的に学
習用の入出力パターンを生成追加する場合を例にとって
いる。

第２図において、まず基本的なニューラルネットワー
ク学習装置は、学習パターン保持部10、ニューラルネッ
トワーク12を備えた学習実行部14及び重み更新部16で構
成され、これに加えて本発明にあっては新たに学習パタ
ーン制御部18−１が設けられる。

学習パターン保持部10には学習用の入力パターンI
_Pと、入力パターンI_Pに対する教師信号としての出力パ
ターン（以下「教師パターン」という）T_Pが格納されて
いる。ここでｐ＝1,2,・・・,nでパターンの数を示す。

学習実行部14は学習パターン保持部10から取り出され
た学習用の入力パターンI_Pをニューラルネットワーク12
に入力し、ニューラルネットワーク12の出力パターンO_P
とニューラルネットワーク12の結合の重みを求める。

重み更新部16は現在学習実行部14に与えられている入
力パターンI_Pに対応する教師パターンT_Pを学習パターン
保持部10から取り込むと共に、学習実行部14で求めたネ
ットワーク出力パターンO_P及びネットワークの結合の重
みを受け、これらを学習パラメータとして所定の学習規
則、例えばバックプロパゲーション法に従ってネットワ
ーク出力パターンO_Pと教師パターンT_Pとの誤差を最小に
するネットワークの重みを計算して更新する。この重み
更新部16の学習規則となるバックプロパゲーション法は
例えば特願昭62−333484号に示される。即ち、バックプ
ロパゲーション法にあっては階層構造をもつニューラル
ネットワーク12のユニットに対する入力結線の重みとユ
ニットの閾値とを教師パターンとネットワーク出力パタ
ーンの誤差のフィードバックにより適応的に自動調整し
て学習する。

ここでバックプロパゲーション法によるニューラルネ
ットワークの学習原理を説明するとつぎのようになる。

バックプロパゲージョン法を適用するネットワーク
は、第５図に示すように多層ネットワークであり、各層
は多くのユニットで構成されており、各ユニットは互い
にある重みで結合されている。このネットワークに入力
パターンと、望ましい出力パターンの組を与えることに
よって、ネットワークの重みを学習させることができ
る。

学習は以下のように進められる。ネットワークに或る
入力パターンを与え、出力を得る。その出力が正しくな
ければ、正しい又は望ましい出力値教師信号）をネット
ワークに教える。すると、ネットワークは正しい出力と
実際の出力値の差が減少するように、ネットワークの内
部構造（結合の重み）を調整する。これを何度も繰り返
すことによって、ネットワークは或る入出力関係を満た
すような重みを、自動的に学習していくのである。この
学習アルゴリズムをバックプロパゲーション法という。

このようにして学習したネットワークを用いると、学
習させた入力パターンについては教示した正しい出力を
返すが、更に学習させていない入力パターンについても
学習した入出力パターンを補間した出力パターンを返
す。これが、ニューラルネットの大きな特徴となってい
る。

以下に、この学習原理を詳細に説明する。

まず学習対象となるニューラルネットワークは多層ネ
ットワーク構造になっている。各層は多くのユニットで
構成されており、各ユニット間には、各々結合の重みｗ
が定義される。各ユニットは以下に示すようにしてネッ
トワークの出力値を計算する。

第４図に示すように、あるユニットが複数のユニット
から入力を受けた場合、その総和に各ユニットの閾値θ
を加えたものが、入力値netになる。

net＝Σw_ijO_j＋θ w_ij:ユニットU_jからユニットU_iへの結合の重み O_j :ユニットU_jの出力 ユニットの出力値はこの入力の総和netに、活性化関
数を適用して計算される。活性化関数には微分可能な非
線型関数であるシグモイド関数を用いると、ユニットU_i
の出力値O_iは O_i＝1/｛１＋exp（−net₁）｝ になる。

バックプロパゲーション法を用いるネットワークは、
一般には多層のネットワークであるが、ここでは通常よ
く用いられる、第５図に示すような３層のネットワーク
の場合について述べる。３つの層は入力層22、隠れ層2
4、出力層26と呼ばれており、各層は多くのユニットで
構成される。隠れ層24の各ユニットは、入力層22の全て
のユニットと結合している。出力層26の各ユニットは、
隠れ層24の全てのユニットと結合している。各層内での
結合は無い。

入力層22の各ユニットには、ネットワークへの入力デ
ータが与えられる。

従って、隠れ層24の各ユニットの出力値ｈは、 h_j＝1/｛１＋exp（−net₁）｝ （２） d_k :k番目の入力ユニットの出力 h_j :j番目の隠れユニットの出力値 w_jk:k番目の入力ユニットと、ｊ番目の隠れユニッ
ト間の結合の重み θ_j :j番目の隠れユニットの閾値 になる。

また、出力層の各ユニットの出力値Ｏは、前記
（１），（２）式より O_j＝1/｛１＋exp（−net₁）｝ （４） h_j :j番目の隠れユニットの出力値 o_i :i番目の出力ユニットの出力値 w_ij:j番目の隠れユニットと、ｉ番目の出力ユニッ
ト間の結合の重み θ_i :i番目の出力ユニットの閾値 次にネットワークの出力が、望ましい出力になるよう
に、ネットワークの重みを変える。あるパターンｐを与
えた時の実際の出力値（o_pi）と、望ましい出力値
（t_pi）の平均２乗誤差をとる。

E_P＝（t_pi−O_pi）²/2 （５） 学習させるためには、この誤差を減らすように、次の
学習規則に従ってネットワーク中の全ての重みを変え
る。

［出力層についての学習規則］ 隠れ層のユニット−出力層のユニットの間の 重みの変化 入力層のユニット−出力層のユニットの間の 重みの変化 δ_pi＝（t_pi−O_pi）Σδ_piW_ij （８） ［隠れ層についての学習規則］ 入力層のユニット−隠れ層のユニットの間の 重みの変化 δ_pi＝h_pi（１−h_pi）Σδ_piW_ij （10） 再び第２図を参照するに、このような学習パターン保
持部10、学習実行部14及び重み更新部16で成る基本的な
ニューラルネットワーク学習装置に対し、本発明で新た
に設けられた学習パターン制御部18は、ニューラルネッ
トワーク12の学習の途中で学習の進行状況を見ながら自
動的に学習用の入出力パターンを生成して学習パターン
保持部10に追加する機能を有する。

具体的には、学習パターン制御部18−１は出力データ
検査部20と入出力データ生成部22と学習データ追加部24
で構成される。

即ち、出力データ検査部20は所定の検査規則を備え、
学習パターン保持部10から得られた教師パターンT_Pと学
習実行部14で求められたニューラルネットワーク12のネ
ットワーク出力パターンO_Pとの比較を行い、どの学習パ
ターンがどれくらいの学習進行状態にあるかを調べる。
この学習の進行状態は学習用の教師パターンT_Pとネット
ワーク出力パターンO_Pとの誤差に基づきネットワーク出
力パターンO_Pの教師パターンT_Pに対する収束の度合いと
して調べることができる。また、出力データ検査部20は
入出力データ生成部22で新たに生成された学習用の入力
パターンを学習実行部14に与えたときのネットワーク出
力パターンについての評価も行う。

学習データ生成部22は後の説明で明らかにする生成規
則に従って学習パターン保持部10に格納されている入力
パターンI_P、教師パターンT_P以外の学習用の入出力パタ
ーンを既に学習パターン保持部10に保持している学習用
の入力パターンI_P及び教師パターンT_Pに基づいて生成す
る。

更に、学習データ追加部24は入出力データ生成部22で
新たに生成された入出力パターンのうち、学習実行部14
に入力パターンを与えること出力データ検査部20で特定
の検査結果が得られたものについてのみ学習パターン保
持部10に新たな入力パターン及び教師パターンとして追
加格納する。

次に、入出力データ生成部22に設定された生成規則に
従った新たな学習用の入出力パターンの生成追加を説明
する。

［生成規則１］ まず、学習パターン制御部18−１の出力データ検査部
20にあっては、学習パターン保持部10の入力パターンI_P
を使用した学習実行部14によるニューラルネットワーク
12の学習毎にネットワーク出力パターンO_Pと教師パター
ンT_Pの誤差を計算し、学習による収束状態を調べる。こ
のような出力データ検査部20における１回の学習毎の収
束状態の算出による検査について、学習パターン保持部
10の全パターンについて、ある程度収束した状態、即ち
全パターンのネットワーク出力パターンと教師パターン
の誤差が規定値以下となった状態で入出力データ生成部
22が生成規則１に従った新たな入力パターンの生成追加
を行う。

この生成規則１は入出力生成部22が学習パターン保持
部10の中から隣接する２つの入出力パターン（I₀,T₀）
と（I₁,T₁）を取込み、この２つの入出力パターンの間
に位置する入出力パターン（I₂,T₂）を線形補間により
算出する。このように、線形補間により新たに算出され
た入出力パターン（I₂,T₂）につき、入力パターンI₂を
学習実行部14のニューラルネットワーク12に与え、入力
パターンI₂に対するネットワーク出力O₂を学習実行部14
で算出する。学習実行部14で算出されたネットワーク出
力パターンO₂は出力データ検査部20で対応する教師パタ
ーンT₂と比較される。

この新たに生成した教師パターンT₂とネットワーク出
力パターンO₂との間に T₂O₂ （任意の精度） の関係があれば、新たに生成した入出力パターン（I₂,T
₂）を学習パターン保持部10に追加することなく、その
まま学習を続ける。一方、教師パターンT₂とネットワー
ク出力パターンO₂の間に T₂≠O₂ の関係があった場合には、学習データ追加部24は線形補
間で生成された入出力パターン（I₂,T₂）を新たな学習
パターンとして学習パターン保持部10に追加格納する。

［生成規則２］ 生成規則１の場合と同様、１回の学習毎にネットワー
ク出力O_Pと教師パターンT_Pとの誤差を出力データ検査部
20で算出して学習の収束状態を調べている。

出力データ検査部20による学習の進行状態の検査結果
が学習パターン保持部10の全パターンについて、ある程
度収束した状態で入出力データ生成部22が起動し、学習
パターン保持部10に格納されている、ある入出力パター
ン（I_P,T_P）を取出し、その入力パターンI_Pに所定のゆ
らぎを加えた入力パターンI_P′を生成する。入力パター
ンI_Pに加えるゆらぎとしては、例えば−0.1〜0.1の範囲
の小さな値を加える。このようにしてゆらぎを加えた入
力パターンI_P′は学習実行部14のニューラルネットワー
ク12に与えられ、ネットワークの出力パターンO_P′を算
出する。続いて、出力データ検査部20で入力パターンI_P
の教師パターンT_Pとゆらぎを加えた入力パターンI_P′に
より得られたネットワーク出力パターンO_P′の差を調べ
る。

T_PO_P′ （任意の精度） であれば、学習パターン保持部10に新たに生成した入出
力パターンを追加することなく、そのまま学習を続け
る。

T_P≠O_P′ の場合には、学習データ追加部24が入出力パターン
（I_P′,T_P）を新たな学習パターンとして学習パターン
を保持部10に追加する。

［生成規則３］ この生成規則３においても、生成規則１の場合と同
様、１回の学習毎に学習パターン制御部18−１の出力デ
ータ検査部20でネットワーク出力パターンO_Pと教師パタ
ーンT_Pの誤差を計算して学習の収束状態を調べている。

出力データ検査部20による学習の進行状態の検査から
学習パターン保持部10に格納された全パターンのうちの
数パーセントのパターンが収束しにくい状態のとき、こ
の数パーセントの収束しにくいパターンと同じパターン
を入出力データ生成部22で新たに生成し、学習パターン
保持部10に追加する。その結果、全パターンのうちの数
パーセントの収束しにくいパターンについては学習パタ
ーン保持部10に二重に学習パターンが格納されることと
なり、収束しにくい状態にある学習パターンによるニュ
ーラルネットワーク12に対する学習実行部14の学習頻度
が増加し、その分だけ学習進行を促進することができ
る。

第３図は本発明の第２実施例を示した実施例構成図で
あり、この実施例にあっては学習の途中で学習の進行状
態を見ながら自動的に学習パターンを削除することを特
徴とする。

第３図において、学習パターン保持部10、学習実行部
14及び重み更新部16については第２図の実施例と同じで
あり、これに加えて学習の進行状態を見ながら学習パタ
ーン保持部10に格納された入出力パターンを削除する学
習パターン制御部18−２が設けられる。

学習パターン制御部18−２は出力データ検査部20と学
習データ削除部26で構成される。出力データ検査部20は
第２図の学習パターン制御部18−１と同様、１回の学習
毎に学習パターン保持部10の教師パターンT_Pと学習実行
部14で求められたネットワーク出力パターンO_Pとの誤差
を計算して学習の進行状態を調べる検査機能を有する
が、第３図の実施例にあっては、この検査規則に加えて
学習パターンを削除する検査規則、即ち削除規則を実行
する機能を併せて有する。学習データ削除部26は出力デ
ータ検査部20で実行された削除規則に従って、対応する
学習パターンを学習パターン保持部10から削除する。

次に、第３図の実施例における削除規則を詳細に説明
する。

［削除規則１］ ニューラルネットワーク12の学習に先立ち、そのとき
学習パターン保持部14に格納されている学習用の入出力
パターンのうち、入力パターンと出力パターン（教師パ
ターン）の差の少ないものを検出し、学習データ削除部
26により学習パターン保持部10から削除する。即ち、差
の少ない入力パターンと出力パターン（教師パターン）
でニューラルネットワーク12を学習しても、もともと差
が少ないことから、収束の如何に拘らずネットワークの
結合の重み更新の度合いは制限され、このような入出力
パターンは、元来、学習パターンとしては適切でないこ
とから、不要な学習パターンとして削除する。

［削除規則２］ １回の学習毎に学習パターン制御部18−２の出力デー
タ検査部20でネットワーク出力パターンO_Pと教師パター
ンT_Pの誤差を計算して学習の収束状態を調べ、全パター
ンのうちの数パーセントが収束しにくい状態のとき、こ
の数パーセントの収束しにくい学習パターンを学習デー
タ削除部26に通知して学習パターン保持部10より削除さ
せる。即ち、学習の進行に対し90数パーセントが収束し
ているのに、残り数パーセントが収束しにくい状態にあ
るときには、この収束しにくい数パーセントの学習パタ
ーンは学習パターンとして不適切なものと見做すことが
でき、従って、このような不適切な学習パターンを使用
しても学習に時間がかかるだけで必ずしも収束状態が得
られず、従って削除することにより適切な学習パターン
による学習の進行状態とすることができ、学習を速やか
に終わらせることが可能となる。

尚、上記の実施例は３つの生成規則及び２つの削除規
則を個別に説明したが、必要に応じてこれら生成規則及
び削除規則を適宜に組み合わせた学習パターンの追加、
削除を行なうようにしてもよいことは勿論である。

［発明の効果］ 以上説明してきたように本発明によれば、学習の途中
で学習の結果を考慮した学習パターンを自動的に追加、
削除できるため、不要の学習パターンを除くと共に必要
なパターンを新たに加えた質の高い学習ができる。更
に、学習の終了を待って学習の成果を調べ、成果が不十
分であった場合に更に学習パターンを変更して再学習す
る手間が不要となり、学習の時間を大幅に短縮すること
ができる。

【図面の簡単な説明】

第１図は本発明の原理説明図； 第２図は本発明の第１実施例構成図； 第３図は本発明の第２実施例構成図； 第４図はニューラルネットワークのユニット説明図； 第５図はニューラルネットワーク構成図； 第６図は従来のニューラルネットワーク学習装置構成図
である。 図中、 10:学習パターン保持部 12:ニューラルネットワーク 14:学習実行部 16:重み更新部 18:学習パターン制御部 18−1:学習パターン制御部（生成追加用） 18−2:学習パターン制御部（削除用） 20:出力データ検査部 22:入出力データ生成部 24:学習データ追加部 26:学習データ削除部

フロントページの続き (56)参考文献 特開 平１−230164（ＪＰ，Ａ) 特開 昭48−71945（ＪＰ，Ａ) 情報処理学会第38回（平成元年前期) 全国大会講演論文集（▲Ｉ▼）益岡，渡 部，木本，川村，浅川，「バックプロパ ゲーションにおける高速アルゴリズムの 研究−追記学習−」，ｐ．492−ｐ．493 （1989) 情報処理学会第39回（平成元年後期) 全国大会講演論文集（▲Ｉ▼）益岡，渡 部，川村，大和田，浅川，「バックプロ パゲーションにおける高速アルゴリズム の研究−補間学習−」，ｐ．383−ｐ. 384（1989) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/18 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】学習用の入力パターンと該入力パターンに
   対する教師パターンとしての出力パターンを格納した学
   習パターン保持部（10）と、該学習パターン保持部（1
   0）の入力パターンをニューラルネットワーク（12）に
   入力し、ネットワークの出力パターンとネットワークの
   結合の重みを求める学習実行部（14）と、前記学習パタ
   ーン格納部（10）の出力パターンとネットワーク出力パ
   ターン及び重みに基づき所定の学習規則に従って前記ネ
   ットワーク（12）の重みを計算して更新する重み更新部
   （16）とを備えたニューラルネットワーク学習装置に於
   いて、 前記ニューラル・ネットワーク（12）の学習途中で学習
   の進行状態を見ながら自動的に入力パターンと出力パタ
   ーンを新たに生成して前記学習パターン保持部（10）に
   追加する学習パターン制御部（18−１）を設けたことを
   特徴とするニューラル・ワークの学習装置。
2. 【請求項２】請求項１記載のニューラルネットワーク学
   習装置に於いて、 前記学習パターン制御部（18−１）は、 前記学習パターン保持部（10）の出力パターンと前記学
   習実行部（14）から得られたネットワーク出力パターン
   とを比較して学習の進行状態を調べる出力データ検査部
   （20）と； 該出力データ検査部（20）の検査結果に基づいて新たな
   学習用の入出力パターンを生成する入出力データ生成部
   （22）と； 該入出力データ生成部（22）で新たに生成された学習用
   の入出力パターンを前記学習パターン保持部（10）に追
   加する学習データ追加部（24）と； を備えたことを特徴とするニューラルネットワーク学習
   装置。
3. 【請求項３】請求項２記載のニューラルネットワーク学
   習装置に於いて、 前記出力データ検査部（20）より全パターンについてあ
   る程度の収束状況が得られた際に、前記入出力データ生
   成部（22）において前記学習パターン保持部（10）から
   隣接する２つの入出力パターン（I₀,T₀）（I₁,T₁）を取
   り出して線形補間した新たな学習入出力パターン（I₂,T
   ₂）を生成し、該新たに生成した入力パターン（I₂）を
   前記学習実行部（14）に入力してネットワークの出力パ
   ターン（O₂）を算出し、前記新たに生成した学習用の出
   力パターン（T₂）と一致しない場合には、前記学習デー
   タ追加部（24）により新たに生成した入出力パターン
   （I₂,T₂）を前記学習パターン保持部（10）に追加する
   ことを特徴とするニューラルネットワーク学習装置。
4. 【請求項４】請求項２記載のニューラルネットワーク学
   習装置に於いて、 前記出力データ検査部（20）より全パターンについてあ
   る程度の収束状況が得られた際に、前記入出力データ生
   成部（22）において前記学習パターン保持部（10）から
   任意の入出力パターン（I_P,T_P）を取り出して所定のゆ
   らぎを加えた新たな入力パターン（I_P′）を生成し、該
   新たに生成した入力パターン（I_P′）を前記学習実行部
   （14）に入力してネットワークの出力パターン（O_P′）
   を求め、該出力パターン（O_P′）が前記新たに生成した
   出力パターン（T_P）に一致しない場合に、前記学習デー
   タ追加部（24）により新たに生成した入出力パターン
   （I_P′,T_P）を前記学習パターン保持部（10）に追加す
   ることを特徴とするニューラルネットワーク学習装置。
5. 【請求項５】請求項２記載のニューラルネットワーク学
   習装置に於いて、 前記出力データ検査部（20）により学習途中で収束の進
   まない入出力パターンを検出し、該検出パターンと同じ
   出力パターンを前記入出力データ生成部（22）で生成し
   て前記学習データ追加部（24）により前記学習パターン
   保持部（10）に追加することを特徴とすニューラルネッ
   トワーク学習装置。
6. 【請求項６】学習用の入力パターンと該入力パターンに
   対する教師パターンとしての出力パターンを格納した学
   習パターン保持部（10）と、該学習パターン保持部（1
   0）の入力パターンをニューラルネットワーク（12）に
   入力し、ネットワークの出力パターンとネットワークの
   結合の重みを求める学習実行部（14）と、前記学習パタ
   ーン格納部（10）の出力パターンとネットワーク出力パ
   ターン及び重みに基づき所定の学習規則に従って前記ネ
   ットワーク（12）の重みを計算して更新する重み更新部
   （16）とを備えたニューラルネットワーク学習装置に於
   いて、 学習途中で学習の進行状態を見ながら自動的に前記学習
   パターン保持部（10）に格納された入出力パターンを削
   除する学習パターン制御部（18−２）を設けたことを特
   徴とすニューラルネットワーク学習装置。
7. 【請求項７】請求項１記載のニューラルネットワーク学
   習装置に於いて、 前記学習パターン制御部（18−２）は、 前記学習パターン保持部（10）の出力パターンと前記学
   習実行部（14）から得られたネットワークの出力パター
   ンとを比較して学習の進行状態を調べる出力データ検査
   部（20）と； 該出力データ検査部（20）の検査結果に基づいて前記学
   習パターン保持部（10）の入出力パターンを削除する学
   習データ削除部（26）と； を備えたことを特徴とするニューラルネットワーク学習
   装置。
8. 【請求項８】請求項７記載のニューラルネットワーク学
   習装置に於いて、 前記学習パターン保持部（10）に格納された中から入出
   力パターンの差が少ないものを検出して前記学習データ
   削除部（26）により削除することを特徴とするニューラ
   ルネットワーク学習装置。
9. 【請求項９】請求項７記載のニューラルネットワーク学
   習装置に於いて、 前記学習パターン保持部（10）に格納された中から学習
   途中で収束の進まない入出力パターンを検出して前記学
   習データ削除部（26）により削除することを特徴とする
   ニューラルネットワーク学習装置。
10. 【請求項１０】請求項７記載のニューラルネットワーク
    学習装置に於いて、 前記学習パターン保持部（10）に格納された全パターン
    の内の数パーセントが学習を繰り返しても収束しないこ
    とを検出した際に、該収束しない数パーセントの入出力
    パターンを前記学習データ削除部（26）により削除する
    ことを特徴とするニューラルネットワーク学習装置。