JPH0554014A - ニユーラルネツトワークの学習装置 - Google Patents
ニユーラルネツトワークの学習装置Info
- Publication number
- JPH0554014A JPH0554014A JP24477491A JP24477491A JPH0554014A JP H0554014 A JPH0554014 A JP H0554014A JP 24477491 A JP24477491 A JP 24477491A JP 24477491 A JP24477491 A JP 24477491A JP H0554014 A JPH0554014 A JP H0554014A
- Authority
- JP
- Japan
- Prior art keywords
- data
- input
- learning
- neural network
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【目的】 ニューラルネットワーク(NN)の更新学習
に際し学習傾向を保存してその入出力特性を不適切に修
正しないようにする。 【構成】 NNの入出力特性を変更するために、新たな
入力データ及び新たな教師データを追加して更新学習さ
せるとき、新たな入力データに対応するNNの出力デー
タと新たな教師データとの差に基づいて新たな教師デー
タの異質度を演算する異質度演算手段(300,302) と、そ
の異質度が更新学習の回数に応じて変化するしきい値よ
り小さい場合には、新たな入力及び教師データを学習の
ためのデータに追加し、異質度がしきい値より大きい場
合には、新たな入力及び教師データを追加しないデータ
更新手段(304,306) とを有し、この更新されたデータに
基づいてNNを更新学習させる。入出力特性が収束状態
のとき大きく修正されない。
に際し学習傾向を保存してその入出力特性を不適切に修
正しないようにする。 【構成】 NNの入出力特性を変更するために、新たな
入力データ及び新たな教師データを追加して更新学習さ
せるとき、新たな入力データに対応するNNの出力デー
タと新たな教師データとの差に基づいて新たな教師デー
タの異質度を演算する異質度演算手段(300,302) と、そ
の異質度が更新学習の回数に応じて変化するしきい値よ
り小さい場合には、新たな入力及び教師データを学習の
ためのデータに追加し、異質度がしきい値より大きい場
合には、新たな入力及び教師データを追加しないデータ
更新手段(304,306) とを有し、この更新されたデータに
基づいてNNを更新学習させる。入出力特性が収束状態
のとき大きく修正されない。
Description
【0001】
【産業上の利用分野】本発明は、ニューラルネットワー
クの更新学習装置に関する。詳しくは、ニューラルネッ
トワークの入出力特性を変更させる必要があった場合
に、新たな入力データ及び新たな教師データの組みを入
出力特性を変更させる学習のためのデータに追加すべき
か否かを評価することにより、入出力特性が更新学習に
より不適切に変更されないようにした学習装置に関す
る。
クの更新学習装置に関する。詳しくは、ニューラルネッ
トワークの入出力特性を変更させる必要があった場合
に、新たな入力データ及び新たな教師データの組みを入
出力特性を変更させる学習のためのデータに追加すべき
か否かを評価することにより、入出力特性が更新学習に
より不適切に変更されないようにした学習装置に関す
る。
【0002】
【従来の技術】ニューラルネットワークは、理論的な解
析が困難な因果関係を結合係数の学習効果により直接的
に実現する回路網として知られている。即ち、ニューラ
ルネットワークは、予め、離散的な複数の入力に対し
て、それぞれの入力に対して最適な出力が得られるよう
に、ニューラルネットワークの結合係数を修正して、任
意の入力に対して妥当な出力が直接的に得られるように
した回路網である。
析が困難な因果関係を結合係数の学習効果により直接的
に実現する回路網として知られている。即ち、ニューラ
ルネットワークは、予め、離散的な複数の入力に対し
て、それぞれの入力に対して最適な出力が得られるよう
に、ニューラルネットワークの結合係数を修正して、任
意の入力に対して妥当な出力が直接的に得られるように
した回路網である。
【0003】このようなニューラルネットワークは多数
の分野で応用されており、工作機械の分野においても、
多くの設定条件から要求された加工に最適な加工条件を
演算する場合に用いられている。
の分野で応用されており、工作機械の分野においても、
多くの設定条件から要求された加工に最適な加工条件を
演算する場合に用いられている。
【0004】このニューラルネットワークは多数の入力
データとその入力データに対応する出力の最適値、即
ち、教師データを用いて学習される。ある入力データと
対応する教師データの1つの組に対して、出力データが
教師データに近づく方向に全結合係数を補正するという
演算を、入力データと教師データの全ての組に対して実
行することにより、1回の学習演算が行われる。
データとその入力データに対応する出力の最適値、即
ち、教師データを用いて学習される。ある入力データと
対応する教師データの1つの組に対して、出力データが
教師データに近づく方向に全結合係数を補正するという
演算を、入力データと教師データの全ての組に対して実
行することにより、1回の学習演算が行われる。
【0005】この学習演算を多数回繰り返し実行するこ
とで、全ての結合係数は全ての入力データに対して対応
する教師データが出力される方向に逐次補正されて、最
終的にある値に漸近する。このような学習の結果、ニュ
ーラルネットワークは所定の入出力特性を示すようにな
る。しかし、このニューラルネットワークを多くの入力
データに対して使用していく過程で、出力結果が適切で
ないという場合が起こり得る。
とで、全ての結合係数は全ての入力データに対して対応
する教師データが出力される方向に逐次補正されて、最
終的にある値に漸近する。このような学習の結果、ニュ
ーラルネットワークは所定の入出力特性を示すようにな
る。しかし、このニューラルネットワークを多くの入力
データに対して使用していく過程で、出力結果が適切で
ないという場合が起こり得る。
【0006】このような場合には、ニューラルネットワ
ークの入出力特性を修正する必要があり、そのために入
出力特性を修正するに必要な新たな入力データと新たな
教師データとの組みが更新学習のためのデータに追加さ
れる。
ークの入出力特性を修正する必要があり、そのために入
出力特性を修正するに必要な新たな入力データと新たな
教師データとの組みが更新学習のためのデータに追加さ
れる。
【0007】
【発明が解決しようとする課題】ところが、新たな入力
データと新たな教師データとを追加することによって、
ニューラルネットワークの入出力特性が大きく変化し
て、入出力特性のうち修正したくない部分も大きく変化
してしまう可能性がある。従って、従来は、作業者が、
新たな入力データと新たな教師データがニューラルネッ
トワークのこれまでの学習傾向又はニューラルネットワ
ークのこれまでの適用傾向に合致しているか否かを経験
的に判別していた。そして、新たな入力データと新たな
教師データとがこれまでの学習傾向や適用傾向に合致し
ている場合に、それらの新たな入力データ及び教師デー
タとを追加して、ニューラルネットワークの更新学習を
行っていた。
データと新たな教師データとを追加することによって、
ニューラルネットワークの入出力特性が大きく変化し
て、入出力特性のうち修正したくない部分も大きく変化
してしまう可能性がある。従って、従来は、作業者が、
新たな入力データと新たな教師データがニューラルネッ
トワークのこれまでの学習傾向又はニューラルネットワ
ークのこれまでの適用傾向に合致しているか否かを経験
的に判別していた。そして、新たな入力データと新たな
教師データとがこれまでの学習傾向や適用傾向に合致し
ている場合に、それらの新たな入力データ及び教師デー
タとを追加して、ニューラルネットワークの更新学習を
行っていた。
【0008】更新学習は、このように作業者の経験や勘
によって、新たな入力データ及び教師データを評価して
行う必要があることから、時間がかかると共に困難な作
業であった。又、その結果、不適切な更新学習が行わ
れ、ニューラルネットワークの入出力特性が使用傾向か
ら外れて不適切に変更されてしまうという問題があっ
た。
によって、新たな入力データ及び教師データを評価して
行う必要があることから、時間がかかると共に困難な作
業であった。又、その結果、不適切な更新学習が行わ
れ、ニューラルネットワークの入出力特性が使用傾向か
ら外れて不適切に変更されてしまうという問題があっ
た。
【0009】本発明は上記課題を解決するために成され
たものであり、その目的は、新たな入力データ及び新た
な教師データを追加してニューラルネットワークの入出
力特性を更新学習させる場合に、ニューラルネットワー
クの使用傾向に合致した更新学習が行なえるようにする
ことである。
たものであり、その目的は、新たな入力データ及び新た
な教師データを追加してニューラルネットワークの入出
力特性を更新学習させる場合に、ニューラルネットワー
クの使用傾向に合致した更新学習が行なえるようにする
ことである。
【0010】
【課題を解決するための手段】本発明は、図8に示すよ
うに、入力データと教師データとに基づいてニューラル
ネットワークに所定の入出力特性を更新学習させる学習
装置において、入力データと教師データの多数の組を記
憶したデータ記憶手段と、多数の入力データに対して、
対応する教師データが出力されるようにニューラルネッ
トワークの結合係数を逐次補正して、ニューラルネット
ワークに所定の入出力特性を学習させる学習手段と、学
習手段により学習されたニューラルネットワークの入出
力特性を変更するために、新たな入力データ及び新たな
教師データをデータ記憶手段に追加して、ニューラルネ
ットワークを更新学習させるとき、新たな入力データを
ニューラルネットワークに入力させて対応する出力デー
タを求め、その出力データと新たな教師データとの差に
基づいて新たな教師データの異質度を演算する異質度演
算手段と、異質度演算手段により演算された異質度と更
新学習の回数に応じて変化するしきい値とを比較して、
異質度がしきい値より小さい場合には、新たな入力デー
タ及び新たな教師データをデータ記憶手段に記憶された
学習のためのデータに追加し、異質度がしきい値より大
きい場合には、新たな入力データ及び新たな教師データ
をデータ記憶手段に追加しないデータ更新手段とを設け
たことである。
うに、入力データと教師データとに基づいてニューラル
ネットワークに所定の入出力特性を更新学習させる学習
装置において、入力データと教師データの多数の組を記
憶したデータ記憶手段と、多数の入力データに対して、
対応する教師データが出力されるようにニューラルネッ
トワークの結合係数を逐次補正して、ニューラルネット
ワークに所定の入出力特性を学習させる学習手段と、学
習手段により学習されたニューラルネットワークの入出
力特性を変更するために、新たな入力データ及び新たな
教師データをデータ記憶手段に追加して、ニューラルネ
ットワークを更新学習させるとき、新たな入力データを
ニューラルネットワークに入力させて対応する出力デー
タを求め、その出力データと新たな教師データとの差に
基づいて新たな教師データの異質度を演算する異質度演
算手段と、異質度演算手段により演算された異質度と更
新学習の回数に応じて変化するしきい値とを比較して、
異質度がしきい値より小さい場合には、新たな入力デー
タ及び新たな教師データをデータ記憶手段に記憶された
学習のためのデータに追加し、異質度がしきい値より大
きい場合には、新たな入力データ及び新たな教師データ
をデータ記憶手段に追加しないデータ更新手段とを設け
たことである。
【0011】
【作用】ニューラルネットワークの入出力特性を変更さ
せる場合には、新たな入力データと新たな教師データと
がデータ記憶手段に追加され、その追加されたデータを
含む入力データ及び教師データを用いてニューラルネッ
トワークの学習が実行される。この更新学習に際し、異
質度演算手段により、新たな入力データをニューラルネ
ットワークに入力させて得られる出力データと新たな教
師データとの差に基づいて異質度が演算される。
せる場合には、新たな入力データと新たな教師データと
がデータ記憶手段に追加され、その追加されたデータを
含む入力データ及び教師データを用いてニューラルネッ
トワークの学習が実行される。この更新学習に際し、異
質度演算手段により、新たな入力データをニューラルネ
ットワークに入力させて得られる出力データと新たな教
師データとの差に基づいて異質度が演算される。
【0012】このとき、新たな入力データに対応する出
力データは既学習済のニューラルネットワークによって
出力されるデータであるので、ニューラルネットワーク
の今までの学習傾向又は使用傾向に合致した値となる。
よって、その出力データと新たな教師データとの差に基
づいて演算される異質度は、新たな教師データのニュー
ラルネットワークの今までの学習傾向又は使用傾向から
離脱した程度を表している。
力データは既学習済のニューラルネットワークによって
出力されるデータであるので、ニューラルネットワーク
の今までの学習傾向又は使用傾向に合致した値となる。
よって、その出力データと新たな教師データとの差に基
づいて演算される異質度は、新たな教師データのニュー
ラルネットワークの今までの学習傾向又は使用傾向から
離脱した程度を表している。
【0013】データ更新手段により、この異質度が学習
の回数に応じて変化するしきい値と比較され、異質度が
しきい値よりも大きい場合には、その新しい教師データ
はニューラルネットワークの今までの学習傾向又は使用
傾向と大きく異なっていると判断され、データ記憶手段
には追加されない。一方、異質度がしきい値よりも小さ
い場合には、その新しい教師データはニューラルネット
ワークの今までの学習傾向又は使用傾向に合致している
と判断され、新しい入力データ及び新しい教師データが
データ記憶手段に追加される。そして、学習手段によ
り、その新しい入力データ及び教師データの追加された
データに基づいて、ニューラルネットワークは新しい入
出力特性が学習される。
の回数に応じて変化するしきい値と比較され、異質度が
しきい値よりも大きい場合には、その新しい教師データ
はニューラルネットワークの今までの学習傾向又は使用
傾向と大きく異なっていると判断され、データ記憶手段
には追加されない。一方、異質度がしきい値よりも小さ
い場合には、その新しい教師データはニューラルネット
ワークの今までの学習傾向又は使用傾向に合致している
と判断され、新しい入力データ及び新しい教師データが
データ記憶手段に追加される。そして、学習手段によ
り、その新しい入力データ及び教師データの追加された
データに基づいて、ニューラルネットワークは新しい入
出力特性が学習される。
【0014】
【発明の効果】このように、異質度演算手段により新し
い教師データの異質度が演算され、データ更新手段によ
り、異質度が学習回数によって変化するしきい値よりも
小さい場合に、いままでの学習傾向や使用傾向と合致し
ているとして、その新しい入力データ及び教師データが
学習のためのデータに追加される。そして、この新しい
入力データ及び教師データを用いてニューラルネットワ
ークは入出力特性が学習されるために、いままでの学習
傾向や使用傾向から大きく外れた入出力特性に設定され
るということが防止される。
い教師データの異質度が演算され、データ更新手段によ
り、異質度が学習回数によって変化するしきい値よりも
小さい場合に、いままでの学習傾向や使用傾向と合致し
ているとして、その新しい入力データ及び教師データが
学習のためのデータに追加される。そして、この新しい
入力データ及び教師データを用いてニューラルネットワ
ークは入出力特性が学習されるために、いままでの学習
傾向や使用傾向から大きく外れた入出力特性に設定され
るということが防止される。
【0015】その結果、作業者の経験や勘を介在させる
ことなく、ニューラルネットワークの効率の良い最適な
更新学習が達成される。
ことなく、ニューラルネットワークの効率の良い最適な
更新学習が達成される。
【0016】
1.学習装置の構成 本装置は、図4に示すように、CPU1、ROM2、R
AM3とから成るコンピュータシステムで構成されてい
る。ROM2には入力データと教師データの更新を管理
するデータ更新プログラムの記憶されたデータ更新プロ
グラム領域21とニューラルネットワークの演算プログ
ラムの記憶されたニューラルネットワーク領域22とニ
ューラルネットワークを学習させるためのプログラムの
記憶された学習プログラム領域23が形成されている。
又、RAM3には蓄積される入力データ及び教師データ
をそれぞれ記憶する入力データ記憶領域31及び教師デ
ータ記憶領域32、ニューラルネットワークの結合係数
を記憶する結合係数領域33とが形成されている。又、
CPU1には入出力インタフェース5を介して各種の指
令を与えるためのキーボード4と異質度及びしきい値と
学習回数との関係を表示するCRT6が接続されてい
る。
AM3とから成るコンピュータシステムで構成されてい
る。ROM2には入力データと教師データの更新を管理
するデータ更新プログラムの記憶されたデータ更新プロ
グラム領域21とニューラルネットワークの演算プログ
ラムの記憶されたニューラルネットワーク領域22とニ
ューラルネットワークを学習させるためのプログラムの
記憶された学習プログラム領域23が形成されている。
又、RAM3には蓄積される入力データ及び教師データ
をそれぞれ記憶する入力データ記憶領域31及び教師デ
ータ記憶領域32、ニューラルネットワークの結合係数
を記憶する結合係数領域33とが形成されている。又、
CPU1には入出力インタフェース5を介して各種の指
令を与えるためのキーボード4と異質度及びしきい値と
学習回数との関係を表示するCRT6が接続されてい
る。
【0017】2.ニューラルネットワーク 本実施例のニューラルネットワーク10は、図1に示す
ように、入力層LI と出力層LO と中間層LM の3層構
造に構成されている。入力層LI はe個の入力素子を有
し、出力層LO はg個の出力素子を有し、中間層LM は
f個の出力素子を有している。多層構造のニューラルネ
ットワークは、一般的に、次の演算を行う装置として定
義される。
ように、入力層LI と出力層LO と中間層LM の3層構
造に構成されている。入力層LI はe個の入力素子を有
し、出力層LO はg個の出力素子を有し、中間層LM は
f個の出力素子を有している。多層構造のニューラルネ
ットワークは、一般的に、次の演算を行う装置として定
義される。
【0018】第i 層の第j 番目の素子の出力Oi j は、次
式で演算される。但し、i ≧2 である。
式で演算される。但し、i ≧2 である。
【数1】 Oi j =f(Ii j) (1)
【数2】 Ii j=ΣWi-1 k, i j・Oi-1 k +Vi j (2) k
【数3】 f(x)=1/{1+exp(-x)} (3)
【0019】但し、Vi j は第i 層の第j 番目の演算素子
のバイアス、Wi-1 k, i jは、第i-1 層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第 j番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層(第1層)の第j 番目の素子の入力値でもある。
のバイアス、Wi-1 k, i jは、第i-1 層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第 j番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層(第1層)の第j 番目の素子の入力値でもある。
【0020】次に、図1に示す3層構造のニューラルネ
ットワーク10の具体的な演算手順について図2を参照
して説明する。各素子の演算は、RAM3の結合係数記
憶領域33に記憶されている結合係数を参照しつつ、R
OM2のニューラルネットワーク領域22に記憶された
プログラムを実行することによって行われる。ステップ
100において、中間層(第2層)の第j 番目の素子
は、入力層(第1層)の各素子からの出力値O1 j (第1
層の入力データ)を入力して、(2)式を層番号と第1
層の素子数を用いて具体化した次式の積和演算を行な
う。
ットワーク10の具体的な演算手順について図2を参照
して説明する。各素子の演算は、RAM3の結合係数記
憶領域33に記憶されている結合係数を参照しつつ、R
OM2のニューラルネットワーク領域22に記憶された
プログラムを実行することによって行われる。ステップ
100において、中間層(第2層)の第j 番目の素子
は、入力層(第1層)の各素子からの出力値O1 j (第1
層の入力データ)を入力して、(2)式を層番号と第1
層の素子数を用いて具体化した次式の積和演算を行な
う。
【0021】
【数4】
【0022】次に、ステップ102において、次式によ
り、(4)式の入力値の積和関数値のシグモイド関数に
より、中間層(第2層)の各素子の出力が演算される。
第2層の第j 番目の素子の出力値は次式で演算される。
り、(4)式の入力値の積和関数値のシグモイド関数に
より、中間層(第2層)の各素子の出力が演算される。
第2層の第j 番目の素子の出力値は次式で演算される。
【0023】
【数5】 O2 j=f(I2 j )=1/{1+exp(-I2 j) } (5) この出力値 O2 j は出力層(第3層)の各素子の入力値
となる。次に、ステップ104において、出力層(第3
層)の各素子の入力値の積和演算が実行される。
となる。次に、ステップ104において、出力層(第3
層)の各素子の入力値の積和演算が実行される。
【0024】
【数6】 次に、ステップ106において、(5)式と同様に、シ
グモイド関数により、出力層の各素子の出力値O3 jが演
算される。
グモイド関数により、出力層の各素子の出力値O3 jが演
算される。
【0025】
【数7】 O3 j=f(I3 j)=1/{1+exp(-I3 j)} (7)
【0026】3.入力データと教師データの構造 ニューラルネットワークの更新学習に使用されるデータ
は、図5に示すようなデータベースに構成されている。
入力データは、D1,…,Dn であり、対応する教師デー
タは、E1,…,En である。このn個の入力データ及び
教師データは、ニューラルネットワークの初期学習又は
初期学習後のニューラルネットワークを現実に使用した
過程で蓄積されたデータである。この入力データは、次
のように定義される。e個の入力素子のそれぞれに与え
るe個のデータを1組のデータとして考える。そして、
任意の第m番目の1組の入力データをDm で表し、その
組に属する第j番目の入力素子に対する入力データをd
mjで表す。Dm はベクトルを表し、dmjはそのベクトル
の成分である。即ち、Dm は次式で定義される。
は、図5に示すようなデータベースに構成されている。
入力データは、D1,…,Dn であり、対応する教師デー
タは、E1,…,En である。このn個の入力データ及び
教師データは、ニューラルネットワークの初期学習又は
初期学習後のニューラルネットワークを現実に使用した
過程で蓄積されたデータである。この入力データは、次
のように定義される。e個の入力素子のそれぞれに与え
るe個のデータを1組のデータとして考える。そして、
任意の第m番目の1組の入力データをDm で表し、その
組に属する第j番目の入力素子に対する入力データをd
mjで表す。Dm はベクトルを表し、dmjはそのベクトル
の成分である。即ち、Dm は次式で定義される。
【0027】
【数8】 Dm =(dm1, dm2, …,dme-1, dme) (8) 又、n組の入力データはD1,D2,…,Dn-1,Dn で表さ
れる。以下、全n組の入力データ群は、入力データ群D
と表記される。尚、入力データDm に対して(4)式を
用いる場合には、(4)式のO1 k に、成分dmk が代入さ
れる。
れる。以下、全n組の入力データ群は、入力データ群D
と表記される。尚、入力データDm に対して(4)式を
用いる場合には、(4)式のO1 k に、成分dmk が代入さ
れる。
【0028】同様に、E1,…, En は、次のように定義
される。出力層LO に関して、g個の出力素子のそれぞ
れからの出力に対する教師データを1組のデータとして
考える。そして、任意の第m番目の1組の教師データを
Em で表し、その組に属する第j番目の出力素子に対す
る教師データをemjで表す。Em はベクトルを表し、e
mjはそのベクトルの成分である。即ち、Em は次式で定
義される。
される。出力層LO に関して、g個の出力素子のそれぞ
れからの出力に対する教師データを1組のデータとして
考える。そして、任意の第m番目の1組の教師データを
Em で表し、その組に属する第j番目の出力素子に対す
る教師データをemjで表す。Em はベクトルを表し、e
mjはそのベクトルの成分である。即ち、Em は次式で定
義される。
【0029】
【数9】 Em =(em1, em2, …,emg-1, emg) (9) 又、n組の教師データはE1,E2,…,En-1,En で表さ
れる。以下、全n組の教師データ群は、教師データ群E
と表記される。
れる。以下、全n組の教師データ群は、教師データ群E
と表記される。
【0030】4.データの更新 ニューラルネットワーク10は初期の所定の入出力特性
が得られるように後述する手順により学習されている。
そして、この初期学習が行われたニューラルネットワー
クが現実に使用される際に、出力が不適切な場合にその
入力データとその入力データに対応する適切な教師デー
タとが新たに学習のためのデータに追加される。そし
て、これらのデータを用いて入出力特性を修正するため
にニューラルネットワークの更新学習が行われる。この
ような更新学習が逐次実施される。この更新学習に際
し、新たな入力データと新たな教師データを更新学習の
ためのデータに追加してもニューラルネットワークのい
ままでの学習傾向に反しないか否かの判断が成された上
でデータの追加が行われ、ニューラルネットワークの更
新学習が実施される。
が得られるように後述する手順により学習されている。
そして、この初期学習が行われたニューラルネットワー
クが現実に使用される際に、出力が不適切な場合にその
入力データとその入力データに対応する適切な教師デー
タとが新たに学習のためのデータに追加される。そし
て、これらのデータを用いて入出力特性を修正するため
にニューラルネットワークの更新学習が行われる。この
ような更新学習が逐次実施される。この更新学習に際
し、新たな入力データと新たな教師データを更新学習の
ためのデータに追加してもニューラルネットワークのい
ままでの学習傾向に反しないか否かの判断が成された上
でデータの追加が行われ、ニューラルネットワークの更
新学習が実施される。
【0031】次にその手順について図6を参照して説明
する。ステップ300において、新らたな入力データD
n をニューラルネットワークに入力させて、出力データ
On が演算される。出力データOn は上述した図2に示
す手順に従って演算される。次に、ステップ302にお
いて、新たな教師データEn の異質度Δn が次式により
演算される。
する。ステップ300において、新らたな入力データD
n をニューラルネットワークに入力させて、出力データ
On が演算される。出力データOn は上述した図2に示
す手順に従って演算される。次に、ステップ302にお
いて、新たな教師データEn の異質度Δn が次式により
演算される。
【0032】
【数10】 Δn =|En −On | (10) 尚、教師データEn 及び出力データOn が出力層の素子
数gを成分数とするベクトルであるので、Δn は両デー
タのユークリッド距離を表している。
数gを成分数とするベクトルであるので、Δn は両デー
タのユークリッド距離を表している。
【0033】出力データOn は、新たな入力データDn
に対応して今までの更新学習によって得られた入出力特
性から予測される値を示している。即ち、出力データO
n はニューラルネットワークのいままでの更新学習傾向
に沿って導かれた値である。よって、この異質度Δn は
新たな教師データEn の今までの更新学習傾向からの離
脱の程度、即ち、教師データEn の異質の程度を表して
いる。
に対応して今までの更新学習によって得られた入出力特
性から予測される値を示している。即ち、出力データO
n はニューラルネットワークのいままでの更新学習傾向
に沿って導かれた値である。よって、この異質度Δn は
新たな教師データEn の今までの更新学習傾向からの離
脱の程度、即ち、教師データEn の異質の程度を表して
いる。
【0034】次に、ステップ304において、異質度Δ
n としきい値f(x)とが比較される。このしきい値f(x)は
図7に示すように更新学習回数x の関数であり、更新学
習回数x が増加するに連れて減少する関数である。ニュ
ーラルネットワークの更新学習が進行するに連れてその
入出力特性は安定しある理想特性に収束する。よって、
ニューラルネットワークの入出力特性が安定している場
合には、更新学習によって、入出力特性を余り大きく変
化させない方が望ましい。一方、入出力特性が収束して
いない場合には、いまだ全ての使用対象の事象に対する
学習が完了していないのであるから、使用対象の事象を
反映している新たな入力データ及び新たな教師データを
用いて入出力特性を修正する方が望ましい。
n としきい値f(x)とが比較される。このしきい値f(x)は
図7に示すように更新学習回数x の関数であり、更新学
習回数x が増加するに連れて減少する関数である。ニュ
ーラルネットワークの更新学習が進行するに連れてその
入出力特性は安定しある理想特性に収束する。よって、
ニューラルネットワークの入出力特性が安定している場
合には、更新学習によって、入出力特性を余り大きく変
化させない方が望ましい。一方、入出力特性が収束して
いない場合には、いまだ全ての使用対象の事象に対する
学習が完了していないのであるから、使用対象の事象を
反映している新たな入力データ及び新たな教師データを
用いて入出力特性を修正する方が望ましい。
【0035】しきい値をこのような関数に設定すること
で、ニューラルネットワークの入出力特性が収束してい
ない場合には、その入出力特性は、異質度Δn が比較的
大きくてもその教師データを反映した入出力特性に修正
され、ニューラルネットワークの入出力特性が収束して
いる場合には、その入出力特性は、異質度Δn がやや大
きい教師データによっては修正されないようにすること
ができる。
で、ニューラルネットワークの入出力特性が収束してい
ない場合には、その入出力特性は、異質度Δn が比較的
大きくてもその教師データを反映した入出力特性に修正
され、ニューラルネットワークの入出力特性が収束して
いる場合には、その入出力特性は、異質度Δn がやや大
きい教師データによっては修正されないようにすること
ができる。
【0036】ステップ304で異質度Δn ≦しきい値f
(x)と判定された場合にはステップ306において、新
しい入力データDn 及び新しい教師データEn が、それ
ぞれ、RAM3の入力データ記憶領域31及び教師デー
タ記憶領域32に追加記憶され、更新学習に使用される
データは図5に示すように構成される。そして、ステッ
プ308において、後述する手順によりその新しい入力
データDn 及び新しい教師データEn を含むデータを用
いてニューラルネットワークに新しい入出力特性を学習
させる。
(x)と判定された場合にはステップ306において、新
しい入力データDn 及び新しい教師データEn が、それ
ぞれ、RAM3の入力データ記憶領域31及び教師デー
タ記憶領域32に追加記憶され、更新学習に使用される
データは図5に示すように構成される。そして、ステッ
プ308において、後述する手順によりその新しい入力
データDn 及び新しい教師データEn を含むデータを用
いてニューラルネットワークに新しい入出力特性を学習
させる。
【0037】一方、異質度Δn ≦しきい値f(x)でないと
判定された場合には、ステップ310において、それら
の新しい入力データDn及び新しい教師データEn を追
加しないことを作業者に警告するために、CRT6にそ
の旨と異質度Δn が表示される。
判定された場合には、ステップ310において、それら
の新しい入力データDn及び新しい教師データEn を追
加しないことを作業者に警告するために、CRT6にそ
の旨と異質度Δn が表示される。
【0038】5.ニューラルネットワークの学習 次に、図6のステップ308におけるニューラルネット
ワークの更新学習の処理手順について説明する。このニ
ューラルネットワークは、ROM2の学習プログラム領
域23に記憶された図3に示す手順のプログラムが実行
されることにより学習される。結合係数の学習は良く知
られたバックプロパーゲーション法により実行される。
この学習は、各種の事象に関する多数の入力データに対
して、それぞれの出力が、それぞれの最適な教師データ
となるように、繰り返し実行される。これらの入力デー
タ及び教師データは、それぞれ、入力データ記憶領域3
1及び教師データ記憶領域32に記憶されている。
ワークの更新学習の処理手順について説明する。このニ
ューラルネットワークは、ROM2の学習プログラム領
域23に記憶された図3に示す手順のプログラムが実行
されることにより学習される。結合係数の学習は良く知
られたバックプロパーゲーション法により実行される。
この学習は、各種の事象に関する多数の入力データに対
して、それぞれの出力が、それぞれの最適な教師データ
となるように、繰り返し実行される。これらの入力デー
タ及び教師データは、それぞれ、入力データ記憶領域3
1及び教師データ記憶領域32に記憶されている。
【0039】図3のステップ200において、データ番
号iが初期値の1に設定され、出力素子の番号j(教師
データの成分番号j)が初期値の1に設定される。次
に、ステップ202へ移行して、第i番目の入力データ
Di と第i番目の教師データEi が入力データ記憶領域
31と教師データ記憶領域32から抽出される。次に、
ステップ204において、次式により出力層のその成分
に対応した素子の学習データY が演算される。
号iが初期値の1に設定され、出力素子の番号j(教師
データの成分番号j)が初期値の1に設定される。次
に、ステップ202へ移行して、第i番目の入力データ
Di と第i番目の教師データEi が入力データ記憶領域
31と教師データ記憶領域32から抽出される。次に、
ステップ204において、次式により出力層のその成分
に対応した素子の学習データY が演算される。
【0040】
【数11】 Y3 j=(eij- O3 j)・f'(I3 j) (11) 但し、Y3 j,O3 j,I3 jでは、データ番号iは省略されて
いる。f'(x) はジグモイド関数の導関数である。又、I3
j は、入力データDi の各成分を(4)式のO1 kに代入
して、中間層の全ての素子に関しI2 k を求め、I2 k を
(5)に代入して中間層の全ての素子に関し出力O2 kを
求め、その全てのk に関してO2 kを(6)式に代入して
求められる。又、O3 j はI3 j を(7)式に代入して求め
られる。
いる。f'(x) はジグモイド関数の導関数である。又、I3
j は、入力データDi の各成分を(4)式のO1 kに代入
して、中間層の全ての素子に関しI2 k を求め、I2 k を
(5)に代入して中間層の全ての素子に関し出力O2 kを
求め、その全てのk に関してO2 kを(6)式に代入して
求められる。又、O3 j はI3 j を(7)式に代入して求め
られる。
【0041】次に、ステップ206において、全出力素
子について、学習データが演算されたか否かが判定さ
れ、判定結果がNOの場合には、ステップ208におい
て、素子番号jが1だけ増加され、ステップ204へ戻
り、次の出力素子に関する学習データが演算される。
子について、学習データが演算されたか否かが判定さ
れ、判定結果がNOの場合には、ステップ208におい
て、素子番号jが1だけ増加され、ステップ204へ戻
り、次の出力素子に関する学習データが演算される。
【0042】ステップ206で全出力素子に関する学習
データの演算が完了したと判定されると、ステップ21
0において、中間層の任意の第r番目の素子に関する学
習データY が次式で演算される。
データの演算が完了したと判定されると、ステップ21
0において、中間層の任意の第r番目の素子に関する学
習データY が次式で演算される。
【数12】 このような学習データの演算が、中間層の全素子に関し
て実行される。
て実行される。
【0043】次に、ステップ212において、出力層の
各結合係数が補正される。補正量は次式で求められる。
各結合係数が補正される。補正量は次式で求められる。
【数13】 Δω2 i, 3 j(t)=P・Y3 j・f(I2 i)+Q・Δω2 i, 3 j(t-1) (13) 但し、Δω2 i, 3 j(t) は、出力層の第j 番目の素子と中
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。よっ
て、結合係数は、
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。よっ
て、結合係数は、
【0044】
【数14】 W2 i, 3 j+Δω2 i, 3 j(t) →W2 i, 3 j (14) により、補正された結合係数が求められる。
【0045】次に、ステップ214へ移行して、中間層
の各素の結合係数が補正される。その結合係数の補正量
は出力層の場合と同様に、次式で求められる。
の各素の結合係数が補正される。その結合係数の補正量
は出力層の場合と同様に、次式で求められる。
【0046】
【数15】 Δω1 i, 2 j(t)=P・Y2 j・f(I1 i)+Q・Δω1 i, 2 j(t-1) (15) よって、結合係数は、
【数16】 W1 i, 2 j + Δω1 i, 2 j(t) →W1 i, 2 j (16) により、補正された結合係数が求められる。
【0047】次に、ステップ216において、学習対象
のn個の入力データ及び教師データに対して1回の学習
が完了したか否が判定される。全ての入力データに対す
る学習が終了していない場合には、ステップ218へ移
行して、次の入力データとその入力データに対応する教
師データを入力データ記憶領域31と教師データ記憶領
域32から読み込むためにデータ番号iが1だけ加算さ
れ、成分番号jは初期値の1に設定される。そして、ス
テップ202へ戻り、次の入力データ及び教師データを
用いて上記した学習が実行される。
のn個の入力データ及び教師データに対して1回の学習
が完了したか否が判定される。全ての入力データに対す
る学習が終了していない場合には、ステップ218へ移
行して、次の入力データとその入力データに対応する教
師データを入力データ記憶領域31と教師データ記憶領
域32から読み込むためにデータ番号iが1だけ加算さ
れ、成分番号jは初期値の1に設定される。そして、ス
テップ202へ戻り、次の入力データ及び教師データを
用いて上記した学習が実行される。
【0048】ステップ216でn個全部の入力データ及
び教師データに関して学習が完了したと判定されると、
学習回数が所定値に達したか否かが判定される。学習回
数が所定回数(例えば一万回)に達していない場合に
は、ステップ200に戻り、次の所定回数までの学習演
算が繰り返される。一方、学習回数が所定回数に達した
と判定された場合には、上記の学習演算は完了する。
び教師データに関して学習が完了したと判定されると、
学習回数が所定値に達したか否かが判定される。学習回
数が所定回数(例えば一万回)に達していない場合に
は、ステップ200に戻り、次の所定回数までの学習演
算が繰り返される。一方、学習回数が所定回数に達した
と判定された場合には、上記の学習演算は完了する。
【図1】本発明の具体的な実施例に係るニューラルネッ
トワークの構成を示した構成図。
トワークの構成を示した構成図。
【図2】同実施例に係るニューラルネットワークの演算
手順を示したフローチャート。
手順を示したフローチャート。
【図3】同実施例に係るニューラルネットワークの学習
手順を示したフローチャート。
手順を示したフローチャート。
【図4】本発明の学習装置の構成を示したブロック図。
【図5】ニューラルネットワークの学習に用いられる入
力データと教師データを有するデータベースのデータ構
成を示した構成図。
力データと教師データを有するデータベースのデータ構
成を示した構成図。
【図6】CPUによる入力データと教師データの追加の
処理手順を示したフローチャート。
処理手順を示したフローチャート。
【図7】更新学習回数と異質度の判定のためのしきい値
との関係を示した特性図。
との関係を示した特性図。
【図8】本発明の概念を示したブロック図。
10…ニューラルネットワーク LI …入力層 LM …中間層 Lo …出力層 1…CPU(学習手段、異質度演算手段、データ更新手
段) 2…ROM(学習手段、異質度演算手段、データ更新手
段) 3…RAM(データ記憶手段) ステップ200〜222…学習手段 ステップ300,302…異質度演算手段 ステップ304,306,310…データ更新手段
段) 2…ROM(学習手段、異質度演算手段、データ更新手
段) 3…RAM(データ記憶手段) ステップ200〜222…学習手段 ステップ300,302…異質度演算手段 ステップ304,306,310…データ更新手段
Claims (1)
- 【請求項1】 入力データと教師データとに基づいてニ
ューラルネットワークに所定の入出力特性を更新学習さ
せる学習装置において、 前記入力データと前記教師データの多数の組を記憶した
データ記憶手段と、 多数の入力データに対して、対応する教師データが出力
されるようにニューラルネットワークの結合係数を逐次
補正して、ニューラルネットワークに所定の入出力特性
を学習させる学習手段と、 前記学習手段により学習された前記ニューラルネットワ
ークの前記入出力特性を変更するために、新たな入力デ
ータ及び新たな教師データを前記データ記憶手段に追加
して、前記ニューラルネットワークを更新学習させると
き、前記新たな入力データを前記ニューラルネットワー
クに入力させて対応する出力データを求め、その出力デ
ータと前記新たな教師データとの差に基づいて前記新た
な教師データの異質度を演算する異質度演算手段と、 前記異質度演算手段により演算された前記異質度と更新
学習の回数に応じて変化するしきい値とを比較して、前
記異質度が前記しきい値より小さい場合には、前記新た
な入力データ及び前記新たな教師データを前記データ記
憶手段に記憶された学習のためのデータに追加し、前記
異質度が前記しきい値より大きい場合には、前記新たな
入力データ及び前記新たな教師データを前記データ記憶
手段に追加しないデータ更新手段と、 から成るニューラルネットワークの学習装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24477491A JPH0554014A (ja) | 1991-08-29 | 1991-08-29 | ニユーラルネツトワークの学習装置 |
EP92114059A EP0528399A3 (en) | 1991-08-19 | 1992-08-18 | Method and apparatus for learning of neural network |
US07/931,324 US5355434A (en) | 1991-08-19 | 1992-08-18 | Method and apparatus for performing learning in a neural network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24477491A JPH0554014A (ja) | 1991-08-29 | 1991-08-29 | ニユーラルネツトワークの学習装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0554014A true JPH0554014A (ja) | 1993-03-05 |
Family
ID=17123718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24477491A Pending JPH0554014A (ja) | 1991-08-19 | 1991-08-29 | ニユーラルネツトワークの学習装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0554014A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017095014A1 (ko) * | 2015-11-30 | 2017-06-08 | 임욱빈 | Dnn 학습을 이용한 세포이상 여부 진단시스템 및 그 진단관리 방법 |
JP2018124439A (ja) * | 2017-02-01 | 2018-08-09 | 株式会社デンソー | 能力評価システムおよび能力評価装置 |
JP2020071516A (ja) * | 2018-10-29 | 2020-05-07 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JPWO2020194500A1 (ja) * | 2019-03-26 | 2020-10-01 |
-
1991
- 1991-08-29 JP JP24477491A patent/JPH0554014A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017095014A1 (ko) * | 2015-11-30 | 2017-06-08 | 임욱빈 | Dnn 학습을 이용한 세포이상 여부 진단시스템 및 그 진단관리 방법 |
US10679751B2 (en) | 2015-11-30 | 2020-06-09 | Wook-Bin IM | Cell abnormality diagnosis system using DNN learning, and diagnosis management method of the same |
JP2018124439A (ja) * | 2017-02-01 | 2018-08-09 | 株式会社デンソー | 能力評価システムおよび能力評価装置 |
JP2020071516A (ja) * | 2018-10-29 | 2020-05-07 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US11710567B2 (en) | 2018-10-29 | 2023-07-25 | Fujifilm Corporation | Information processing apparatus, information processing method, and program |
JPWO2020194500A1 (ja) * | 2019-03-26 | 2020-10-01 | ||
WO2020194500A1 (ja) * | 2019-03-26 | 2020-10-01 | 日本電気株式会社 | 学習装置、学習方法、及び、記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2001236337A (ja) | ニューラルネットワークによる予測装置 | |
CN111582441B (zh) | 共享循环神经网络的高效值函数迭代强化学习方法 | |
Govindarajan et al. | A sparse collocation method for solving time-dependent HJB equations using multivariate B-splines | |
EP0384709B1 (en) | Learning Machine | |
US6658305B1 (en) | Method for automatic synthesis of multi-variable controllers | |
JPH0554014A (ja) | ニユーラルネツトワークの学習装置 | |
JP3214876B2 (ja) | ニューラルネットワークの構成方法およびニューラルネットワーク構築支援システム | |
JPH07200512A (ja) | 最適化問題解決装置 | |
JPH07168799A (ja) | ニューラルネットワークの学習装置 | |
Doyle et al. | Unifying robustness analysis and system ID | |
US20210012204A1 (en) | Diagnostic method, learning method, learning device, and storage medium storing program | |
JP3232597B2 (ja) | ニューラルネットワークの学習装置 | |
JPH0581230A (ja) | ニユーラルネツトワークの学習装置 | |
JPH05128284A (ja) | ニユーロプロセツサ | |
CN113485099A (zh) | 一种非线性离散时间系统的在线学习控制方法 | |
JP3597341B2 (ja) | 神経回路網モデルの大域的加速化学習法およびその装置 | |
US20040076944A1 (en) | Supervised learning in the presence of null data | |
Frey et al. | Advanced-Step Real-Time Iterations With Four Levels–New Error Bounds and Fast Implementation in acados | |
Raisi et al. | Value Summation: A novel scoring function for MPC-based model-based reinforcement learning | |
Kim et al. | Data-efficient active weighting algorithm for composite adaptive control systems | |
JP4267726B2 (ja) | 制御装置における動作信号と操作量との関係を決定する装置、制御装置、データ生成装置、入出力特性決定装置及び相関関係評価装置 | |
JPH08221378A (ja) | 学習機械 | |
US20240086678A1 (en) | Method and information processing apparatus for performing transfer learning while suppressing occurrence of catastrophic forgetting | |
JPH0877130A (ja) | 神経回路網モデルの逐次型加速化学習方法 | |
CN115619269A (zh) | 一种基于中立二型模糊集的绿色建筑经济性判定方法 |