JP3232597B2 - ニューラルネットワークの学習装置 - Google Patents
ニューラルネットワークの学習装置Info
- Publication number
- JP3232597B2 JP3232597B2 JP24477391A JP24477391A JP3232597B2 JP 3232597 B2 JP3232597 B2 JP 3232597B2 JP 24477391 A JP24477391 A JP 24477391A JP 24477391 A JP24477391 A JP 24477391A JP 3232597 B2 JP3232597 B2 JP 3232597B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- error
- neural network
- data
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Feedback Control In General (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、ニューラルネットワー
クの学習装置に関する。詳しくは、学習の進行状況に応
じて学習の継続か終了かを指令することにより、学習を
効果的に完了させるようにした装置に関する。
クの学習装置に関する。詳しくは、学習の進行状況に応
じて学習の継続か終了かを指令することにより、学習を
効果的に完了させるようにした装置に関する。
【０００２】
【従来の技術】ニューラルネットワークは、理論的な解
析が困難な因果関係を結合係数の学習効果により直接的
に実現する回路網として知られている。即ち、ニューラ
ルネットワークは、予め、離散的な複数の入力に対し
て、それぞれの入力に対して最適な出力が得られるよう
に、ニューラルネットワークの結合係数を学習してお
き、任意の入力に対して妥当な出力が直接的に得られる
ようにした回路網である。
析が困難な因果関係を結合係数の学習効果により直接的
に実現する回路網として知られている。即ち、ニューラ
ルネットワークは、予め、離散的な複数の入力に対し
て、それぞれの入力に対して最適な出力が得られるよう
に、ニューラルネットワークの結合係数を学習してお
き、任意の入力に対して妥当な出力が直接的に得られる
ようにした回路網である。
【０００３】このようなニューラルネットワークは多数
の分野で応用されており、工作機械の分野においても、
多くの設定条件から要求された加工に最適な加工条件を
演算するのに用いられている。
の分野で応用されており、工作機械の分野においても、
多くの設定条件から要求された加工に最適な加工条件を
演算するのに用いられている。
【０００４】
【発明が解決しようとする課題】このニューラルネット
ワークは多数の入力データとその入力データに対応する
出力の最適値、即ち、教師データを用いて学習される。
ある入力データと対応する教師データの１つの組に対し
て、出力データが教師データに近づく方向に全結合係数
を補正するという演算を、入力データと教師データの全
ての組に対して実行するのが１回の学習演算となる。
ワークは多数の入力データとその入力データに対応する
出力の最適値、即ち、教師データを用いて学習される。
ある入力データと対応する教師データの１つの組に対し
て、出力データが教師データに近づく方向に全結合係数
を補正するという演算を、入力データと教師データの全
ての組に対して実行するのが１回の学習演算となる。
【０００５】この学習演算を多数回繰り返し実行するこ
とで、全ての結合係数は全ての入力データに対して対応
する教師データが出力される方向に逐次補正されて、最
終的にある値に漸近する。結合係数がある値に漸近する
までの学習回数は、学習させる入出力特性にもよるが、
数十万回から数百万回にも及ぶ。従って、学習演算の打
切りを結合係数がある値に漸近したことにより判定する
と、学習に長時間必要となる。
とで、全ての結合係数は全ての入力データに対して対応
する教師データが出力される方向に逐次補正されて、最
終的にある値に漸近する。結合係数がある値に漸近する
までの学習回数は、学習させる入出力特性にもよるが、
数十万回から数百万回にも及ぶ。従って、学習演算の打
切りを結合係数がある値に漸近したことにより判定する
と、学習に長時間必要となる。
【０００６】加工条件を演算するためにニューラルネッ
トワークを用いている装置では、通常、ニューラルネッ
トワークを使用していく過程で、入力データとその入力
データに対応する最適な出力である教師データとを蓄積
しておき、ニューラルネットワークの出力が適性な出力
を示さなくなった場合に、適宜、ニューラルネットワー
クをその蓄積されたデータに基づいて学習させることが
行われている。
トワークを用いている装置では、通常、ニューラルネッ
トワークを使用していく過程で、入力データとその入力
データに対応する最適な出力である教師データとを蓄積
しておき、ニューラルネットワークの出力が適性な出力
を示さなくなった場合に、適宜、ニューラルネットワー
クをその蓄積されたデータに基づいて学習させることが
行われている。
【０００６】この場合には、学習を必要とする度に、数
十万回から数百万回にも及ぶ学習演算が実行され、学習
の完了に長時間を必要とする。従って、学習をしている
間、数値制御装置が学習演算に占有されて、他の処理が
できないという問題がある。又、ニューラルネットワー
クの学習が完了するまでは、そのニューラルネットワー
クを用いた加工条件の演算が開始できないという問題が
ある。このように、長時間に渡る学習演算は作業性の低
下の原因となっていた。
十万回から数百万回にも及ぶ学習演算が実行され、学習
の完了に長時間を必要とする。従って、学習をしている
間、数値制御装置が学習演算に占有されて、他の処理が
できないという問題がある。又、ニューラルネットワー
クの学習が完了するまでは、そのニューラルネットワー
クを用いた加工条件の演算が開始できないという問題が
ある。このように、長時間に渡る学習演算は作業性の低
下の原因となっていた。
【０００７】本発明は上記課題を解決するために成され
たものであり、その目的は、学習演算の切上げを効率良
く行うようにすることである。
たものであり、その目的は、学習演算の切上げを効率良
く行うようにすることである。
【０００８】
【課題を解決するための手段】本発明は、図７に示すよ
うに、入力データと教師データとに基づいてニューラル
ネットワークに学習させる学習装置において、入力デー
タと教師データの多数の組を記憶したデータ記憶手段Ｘ
１と、多数の入力データに対して、対応する教師データ
が出力されるようにニューラルネットワークの結合係数
を逐次補正して、ニューラルネットワークに所定の入出
力関係を学習させる学習手段Ｘ２と、学習の進行の程度
を表した学習誤差を演算する誤差演算手段Ｘ３と、学習
誤差が所定値より小さいか否を判定する誤差判定手段Ｘ
４と、学習回数が所定回数に達したか否かを判定する回
数判定手段Ｘ５と、学習誤差を表示する学習誤差表示手
段Ｘ６と、回数判定手段により所定回数の学習が完了し
たと判定された場合には、さらに、所定回数の学習を継
続するか否かを指令する継続有無指令手段Ｘ７と、誤差
判定手段により学習誤差が所定値より小さいと判定され
た場合には学習を終了させ、継続有無指令手段により継
続指令が付与された場合には、学習手段を起動してさら
に指定された所定回数の学習を継続し、継続有無指令手
段により非継続指令が付与された場合には学習を終了す
る学習制御手段Ｘ８とを設けたことである。
うに、入力データと教師データとに基づいてニューラル
ネットワークに学習させる学習装置において、入力デー
タと教師データの多数の組を記憶したデータ記憶手段Ｘ
１と、多数の入力データに対して、対応する教師データ
が出力されるようにニューラルネットワークの結合係数
を逐次補正して、ニューラルネットワークに所定の入出
力関係を学習させる学習手段Ｘ２と、学習の進行の程度
を表した学習誤差を演算する誤差演算手段Ｘ３と、学習
誤差が所定値より小さいか否を判定する誤差判定手段Ｘ
４と、学習回数が所定回数に達したか否かを判定する回
数判定手段Ｘ５と、学習誤差を表示する学習誤差表示手
段Ｘ６と、回数判定手段により所定回数の学習が完了し
たと判定された場合には、さらに、所定回数の学習を継
続するか否かを指令する継続有無指令手段Ｘ７と、誤差
判定手段により学習誤差が所定値より小さいと判定され
た場合には学習を終了させ、継続有無指令手段により継
続指令が付与された場合には、学習手段を起動してさら
に指定された所定回数の学習を継続し、継続有無指令手
段により非継続指令が付与された場合には学習を終了す
る学習制御手段Ｘ８とを設けたことである。
【０００９】
【作用】データ記憶手段に記憶されている入力データ及
び教師データに基づいて、学習手段により、結合係数の
補正による学習演算が実行される。この学習演算の進行
に伴って、学習の進行の程度を表した学習誤差が誤差演
算手段により演算され、誤差判定手段により学習誤差が
所定値よりも小さいか否かが判定される。学習誤差が所
定値より小さいならば、学習制御手段により学習終了と
なる。学習誤差が所定値よりも大きいならば、回数判定
手段により学習回数が所定値に達したか否かが判定され
る。学習誤差は学習誤差表示手段により表示される。作
業者はこの表示された学習誤差を判読して、学習を更に
継続するか許容される程度に学習誤差が零に収束して、
学習を打ち切っても良い場合には、継続有無指令手段に
より非継続の指令を付与し、継続学習が必要な場合には
継続指令を付与する。この結果、学習制御手段は継続指
令が付与された場合には、学習手段を起動して、さら
に、次の所定回数の学習演算を実行させる。
び教師データに基づいて、学習手段により、結合係数の
補正による学習演算が実行される。この学習演算の進行
に伴って、学習の進行の程度を表した学習誤差が誤差演
算手段により演算され、誤差判定手段により学習誤差が
所定値よりも小さいか否かが判定される。学習誤差が所
定値より小さいならば、学習制御手段により学習終了と
なる。学習誤差が所定値よりも大きいならば、回数判定
手段により学習回数が所定値に達したか否かが判定され
る。学習誤差は学習誤差表示手段により表示される。作
業者はこの表示された学習誤差を判読して、学習を更に
継続するか許容される程度に学習誤差が零に収束して、
学習を打ち切っても良い場合には、継続有無指令手段に
より非継続の指令を付与し、継続学習が必要な場合には
継続指令を付与する。この結果、学習制御手段は継続指
令が付与された場合には、学習手段を起動して、さら
に、次の所定回数の学習演算を実行させる。
【００１０】
【発明の効果】このように、学習誤差が所定値よりも大
きく、所定回数の学習演算が完了した時に、表示された
学習誤差の変動傾向を見て、学習を継続するか打ち切る
かの指令を与えることができる。従って、学習誤差の収
束が遅くなった時に、不必要に学習演算を繰り返すこと
がないので、効率の良い学習が達成される。
きく、所定回数の学習演算が完了した時に、表示された
学習誤差の変動傾向を見て、学習を継続するか打ち切る
かの指令を与えることができる。従って、学習誤差の収
束が遅くなった時に、不必要に学習演算を繰り返すこと
がないので、効率の良い学習が達成される。
【００１１】
【実施例】 1.学習装置の構成 本装置は、図４に示すように、ＣＰＵ１、ＲＯＭ２、Ｒ
ＡＭ３とから成るコンピュータシステムで構成されてい
る。ＲＯＭ２には入力データと教師データの蓄積を管理
する制御プログラムの記憶された制御プログラム領域２
１とニューラルネットワークの演算プログラムの記憶さ
れたニューラルネットワーク領域２２とニューラルネッ
トワークを学習させるためのプログラムの記憶された学
習プログラム領域２３が形成されている。又、ＲＡＭ３
には蓄積される入力データ及び教師データをそれぞれ記
憶する入力データ記憶領域３１及び教師データ領域３
２、ニューラルネットワークの結合係数を記憶する結合
係数領域３３とが形成されている。又、ＣＰＵ１には入
出力インタフェース５を介して学習を継続すべきか打ち
切るべきかの指令を与えるためのキーボード４と学習誤
差と学習回数との関係を表示するＣＲＴ６が接続されて
いる。
ＡＭ３とから成るコンピュータシステムで構成されてい
る。ＲＯＭ２には入力データと教師データの蓄積を管理
する制御プログラムの記憶された制御プログラム領域２
１とニューラルネットワークの演算プログラムの記憶さ
れたニューラルネットワーク領域２２とニューラルネッ
トワークを学習させるためのプログラムの記憶された学
習プログラム領域２３が形成されている。又、ＲＡＭ３
には蓄積される入力データ及び教師データをそれぞれ記
憶する入力データ記憶領域３１及び教師データ領域３
２、ニューラルネットワークの結合係数を記憶する結合
係数領域３３とが形成されている。又、ＣＰＵ１には入
出力インタフェース５を介して学習を継続すべきか打ち
切るべきかの指令を与えるためのキーボード４と学習誤
差と学習回数との関係を表示するＣＲＴ６が接続されて
いる。
【００１２】2.ニューラルネットワーク 本実施例のニューラルネットワーク１０は、図１に示す
ように、入力層ＬI と出力層ＬO と中間層ＬM の３層構
造に構成されている。入力層ＬI はｅ個の入力素子を有
し、出力層ＬO はｇ個の出力素子を有し、中間層ＬM は
ｆ個の出力素子を有している。多層構造のニューラルネ
ットワークは、一般的に、次の演算を行う装置として定
義される。
ように、入力層ＬI と出力層ＬO と中間層ＬM の３層構
造に構成されている。入力層ＬI はｅ個の入力素子を有
し、出力層ＬO はｇ個の出力素子を有し、中間層ＬM は
ｆ個の出力素子を有している。多層構造のニューラルネ
ットワークは、一般的に、次の演算を行う装置として定
義される。
【００１３】第i 層の第j 番目の素子の出力Oi j は、次
式で演算される。但し、i ≧2 である。
式で演算される。但し、i ≧2 である。
【数１】 Oi j =f(Ii j) （１）
【数２】 Ii j=ΣWi-1 k, i j・Oi-1 k +Vi j （２） k
【数３】 f(x)=1/｛1+exp(-x)｝ （３）
【００１４】但し、Vi j は第i 層の第j 番目の演算素子
のバイアス、Wi-1 k, i jは、第i-1 層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第 j番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層（第１層）の第j 番目の素子の入力値でもある。
のバイアス、Wi-1 k, i jは、第i-1 層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第 j番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層（第１層）の第j 番目の素子の入力値でもある。
【００１５】次に、図１に示す３層構造のニューラルネ
ットワーク１０の具体的な演算手順について図２を参照
して説明する。各素子の演算は、ＲＡＭ３の結合係数記
憶領域３３に記憶されている結合係数を参照しつつ、Ｒ
ＯＭ２のニューラルネットワーク領域２２に記憶された
プログラムを実行することによって行われる。ステップ
１００において、中間層（第２層）の第j 番目の素子
は、入力層（第１層）の各素子からの出力値O1 j （第１
層の入力データ）を入力して、（２）式を層番号と第１
層の素子数を用いて具体化した次式の積和演算を行な
う。
ットワーク１０の具体的な演算手順について図２を参照
して説明する。各素子の演算は、ＲＡＭ３の結合係数記
憶領域３３に記憶されている結合係数を参照しつつ、Ｒ
ＯＭ２のニューラルネットワーク領域２２に記憶された
プログラムを実行することによって行われる。ステップ
１００において、中間層（第２層）の第j 番目の素子
は、入力層（第１層）の各素子からの出力値O1 j （第１
層の入力データ）を入力して、（２）式を層番号と第１
層の素子数を用いて具体化した次式の積和演算を行な
う。
【００１６】
【数４】
【００１７】次に、ステップ１０２において、次式によ
り、（４）式の入力値の積和関数値のシグモイド関数に
より、中間層（第２層）の各素子の出力が演算される。
第２層の第j 番目の素子の出力値は次式で演算される。
り、（４）式の入力値の積和関数値のシグモイド関数に
より、中間層（第２層）の各素子の出力が演算される。
第２層の第j 番目の素子の出力値は次式で演算される。
【００１８】
【数５】 O2 j=f(I2 j )=1/｛1+exp(-I2 j) ｝ （５） この出力値 O2 j は出力層（第３層）の各素子の入力値
となる。次に、ステップ１０４において、出力層（第３
層）の各素子の入力値の積和演算が実行される。
となる。次に、ステップ１０４において、出力層（第３
層）の各素子の入力値の積和演算が実行される。
【００１９】
【数６】 次に、ステップ１０６において、（５）式と同様に、
シグモイド関数により、出力層の各素子の出力値O3 jが
演算される。
シグモイド関数により、出力層の各素子の出力値O3 jが
演算される。
【００２０】
【数７】 O3 j=f(I3 j)=1/｛1+exp(-I3 j)｝ （７）
【００２１】3.入力データと教師データの構造 ニューラルネットワークの更新学習に使用されるデータ
は、図５に示すようなデータベースに構成されている。
入力データは、Ｄ1,…，Ｄn であり、対応する教師デー
タは、Ｅ1,…，Ｅn である。このｎ個の入力データ及び
教師データは、ニューラルネットワークの初期学習又は
初期学習後のニューラルネットワークを現実に使用した
過程で蓄積されたデータである。この入力データは、次
のように定義される。ｅ個の入力素子のそれぞれに与え
るｅ個のデータを１組のデータとして考える。そして、
任意の第ｍ番目の１組の入力データをＤm で表し、その
組に属する第ｊ番目の入力素子に対する入力データをｄ
mjで表す。Ｄm はベクトルを表し、ｄmjはそのベクトル
の成分である。即ち、Ｄm は次式で定義される。
は、図５に示すようなデータベースに構成されている。
入力データは、Ｄ1,…，Ｄn であり、対応する教師デー
タは、Ｅ1,…，Ｅn である。このｎ個の入力データ及び
教師データは、ニューラルネットワークの初期学習又は
初期学習後のニューラルネットワークを現実に使用した
過程で蓄積されたデータである。この入力データは、次
のように定義される。ｅ個の入力素子のそれぞれに与え
るｅ個のデータを１組のデータとして考える。そして、
任意の第ｍ番目の１組の入力データをＤm で表し、その
組に属する第ｊ番目の入力素子に対する入力データをｄ
mjで表す。Ｄm はベクトルを表し、ｄmjはそのベクトル
の成分である。即ち、Ｄm は次式で定義される。
【００２２】
【数８】 Ｄm ＝（ｄm1, ｄm2, …，ｄme-1, ｄme） （８） 又、ｎ組の入力データはＤ1,Ｄ2,…，Ｄn-1,Ｄn で表さ
れる。以下、全ｎ組の入力データ群は、入力データ群Ｄ
と表記される。尚、入力データＤm に対して（４）式を
用いる場合には、（４）式のO1 k に、成分dmk が代入さ
れる。
れる。以下、全ｎ組の入力データ群は、入力データ群Ｄ
と表記される。尚、入力データＤm に対して（４）式を
用いる場合には、（４）式のO1 k に、成分dmk が代入さ
れる。
【００２３】同様に、Ｅ1,…, Ｅn は、次のように定義
される。出力層ＬO に関して、ｇ個の出力素子のそれぞ
れからの出力に対する教師データを１組のデータとして
考える。そして、任意の第ｍ番目の１組の教師データを
Ｅm で表し、その組に属する第ｊ番目の出力素子に対す
る教師データをｅmjで表す。Ｅm はベクトルを表し、ｅ
mjはそのベクトルの成分である。即ち、Ｅm は次式で定
義される。
される。出力層ＬO に関して、ｇ個の出力素子のそれぞ
れからの出力に対する教師データを１組のデータとして
考える。そして、任意の第ｍ番目の１組の教師データを
Ｅm で表し、その組に属する第ｊ番目の出力素子に対す
る教師データをｅmjで表す。Ｅm はベクトルを表し、ｅ
mjはそのベクトルの成分である。即ち、Ｅm は次式で定
義される。
【００２４】
【数９】 Ｅm ＝（ｅm1, ｅm2, …，ｅmg-1, ｅmg） （９） 又、ｎ組の教師データはＥ1,Ｅ2,…，Ｅn-1,Ｅn で表さ
れる。以下、全ｎ組の教師データ群は、教師データ群Ｅ
と表記される。
れる。以下、全ｎ組の教師データ群は、教師データ群Ｅ
と表記される。
【００２５】4.ニューラルネットワークの学習 このニューラルネットワークは、初期学習として、ＲＯ
Ｍ２の学習プログラム領域２３に記憶された図３に示す
手順のプログラムが実行されることにより学習される。
結合係数の学習は良く知られたバックプロパーゲーショ
ン法により実行される。この学習は、各種の事象に関す
る多数の入力データに対して、それぞれの出力が、それ
ぞれの最適な教師データとなるように、繰り返し実行さ
れる。これらの入力データ及び教師データは、それぞ
れ、入力データ記憶領域３１及び教師データ記憶領域３
２に記憶されている。
Ｍ２の学習プログラム領域２３に記憶された図３に示す
手順のプログラムが実行されることにより学習される。
結合係数の学習は良く知られたバックプロパーゲーショ
ン法により実行される。この学習は、各種の事象に関す
る多数の入力データに対して、それぞれの出力が、それ
ぞれの最適な教師データとなるように、繰り返し実行さ
れる。これらの入力データ及び教師データは、それぞ
れ、入力データ記憶領域３１及び教師データ記憶領域３
２に記憶されている。
【００２６】図３のステップ２００において、データ番
号ｉが初期値の１に設定され、出力素子の番号ｊ（教師
データの成分番号ｊ）が初期値の１に設定される。次
に、ステップ２０２へ移行して、第ｉ番目の入力データ
Ｄi と第ｉ番目の教師データＥi が入力データ記憶領域
３１と教師データ記憶領域３２から抽出される。次に、
ステップ２０４において、次式により出力層のその成分
に対応した素子の学習データY が演算される。
号ｉが初期値の１に設定され、出力素子の番号ｊ（教師
データの成分番号ｊ）が初期値の１に設定される。次
に、ステップ２０２へ移行して、第ｉ番目の入力データ
Ｄi と第ｉ番目の教師データＥi が入力データ記憶領域
３１と教師データ記憶領域３２から抽出される。次に、
ステップ２０４において、次式により出力層のその成分
に対応した素子の学習データY が演算される。
【００２７】
【数１０】 Y3 j=(ｅij- O3 j)・f'(I3 j) （１０） 但し、Y3 j，O3 j，I3 jでは、データ番号ｉは省略されて
いる。f'(x) はジグモイド関数の導関数である。又、I3
j は、入力データＤi の各成分を（４）式のO1 kに代入
して、中間層の全ての素子に関しI2 k を求め、I2 k を
（５）に代入して中間層の全ての素子に関し出力O2 kを
求め、その全てのk に関してO2 kを（６）式に代入して
求められる。又、O3 j はI3 j を（７）式に代入して求め
られる。
いる。f'(x) はジグモイド関数の導関数である。又、I3
j は、入力データＤi の各成分を（４）式のO1 kに代入
して、中間層の全ての素子に関しI2 k を求め、I2 k を
（５）に代入して中間層の全ての素子に関し出力O2 kを
求め、その全てのk に関してO2 kを（６）式に代入して
求められる。又、O3 j はI3 j を（７）式に代入して求め
られる。
【００２８】次に、ステップ２０６において、全出力素
子について、学習データが演算されたか否かが判定さ
れ、判定結果がNOの場合には、ステップ２０８におい
て、素子番号ｊが１だけ増加され、ステップ２０４へ戻
り、次の出力素子に関する学習データが演算される。
子について、学習データが演算されたか否かが判定さ
れ、判定結果がNOの場合には、ステップ２０８におい
て、素子番号ｊが１だけ増加され、ステップ２０４へ戻
り、次の出力素子に関する学習データが演算される。
【００２９】ステップ２０６で全出力素子に関する学習
データの演算が完了したと判定されると、ステップ２１
０において、中間層の任意の第ｒ番目の素子に関する学
習データY が次式で演算される。
データの演算が完了したと判定されると、ステップ２１
０において、中間層の任意の第ｒ番目の素子に関する学
習データY が次式で演算される。
【数１１】 このような学習データの演算が、中間層の全素子に関
して実行される。
して実行される。
【００３０】次に、ステップ２１２において、出力層の
各結合係数が補正される。補正量は次式で求められる。
各結合係数が補正される。補正量は次式で求められる。
【数１２】 Δω2 i, 3 j(t)=P・Y3 j・f(I2 i)+Q・Δω2 i, 3 j(t-1) （１２） 但し、Δω2 i, 3 j(t) は、出力層の第j 番目の素子と中
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。よっ
て、結合係数は、
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。よっ
て、結合係数は、
【００３１】
【数１３】 W2 i, 3 j+Δω2 i, 3 j(t) →W2 i, 3 j （１３） により、補正された結合係数が求められる。
【００３２】次に、ステップ２１４へ移行して、中間層
の各素の結合係数が補正される。その結合係数の補正量
は出力層の場合と同様に、次式で求められる。
の各素の結合係数が補正される。その結合係数の補正量
は出力層の場合と同様に、次式で求められる。
【００３３】
【数１４】 Δω1 i, 2 j(t)=P・Y2 j・f(I1 i)+Q・Δω1 i, 2 j(t-1) （１４） よって、結合係数は、
【数１５】 W1 i, 2 j + Δω1 i, 2 j(t) →W1 i, 2 j （１５） により、補正された結合係数が求められる。
【００３４】次に、ステップ２１６において、学習対象
のｎ個の入力データ及び教師データに対して１回の学習
が完了したか否が判定される。全ての入力データに対す
る学習が終了していない場合には、ステップ２１８へ移
行して、次の入力データとその入力データに対応する教
師データを入力データ記憶領域３１と教師データ記憶領
域３２から読み込むためにデータ番号ｉが１だけ加算さ
れ、成分番号ｊは初期値の１に設定される。そして、ス
テップ２０２へ戻り、次の入力データ及び教師データを
用いて上記した学習が実行される。
のｎ個の入力データ及び教師データに対して１回の学習
が完了したか否が判定される。全ての入力データに対す
る学習が終了していない場合には、ステップ２１８へ移
行して、次の入力データとその入力データに対応する教
師データを入力データ記憶領域３１と教師データ記憶領
域３２から読み込むためにデータ番号ｉが１だけ加算さ
れ、成分番号ｊは初期値の１に設定される。そして、ス
テップ２０２へ戻り、次の入力データ及び教師データを
用いて上記した学習が実行される。
【００３５】ステップ２１６でｎ個全部の入力データ及
び教師データに関して学習が完了したと判定されると、
ステップ２２０に移行して、学習誤差ΔＬが演算され
る。学習誤差ΔＬは次式で演算される。
び教師データに関して学習が完了したと判定されると、
ステップ２２０に移行して、学習誤差ΔＬが演算され
る。学習誤差ΔＬは次式で演算される。
【数１６】 ΔＬ＝( Ｗ1 ＋Ｗ2 ＋…＋Ｗn ) ／ｎ （１６）
【数１７】 Ｗi ＝（δi1 2 ＋δi2 2 ＋…＋δig 2 ）1/2 （１７）
【数１８】 δij＝Ｏij−ｅiJ （１８） 但し、Ｗi は入力データＤi に関する出力誤差の大き
さ、δijは入力データＤi に関する出力誤差の第ｊ成
分、即ち、出力層の第ｊ番目の素子の出力誤差である。
Ｏijは入力データＤi に関する出力の第ｊ成分、ｅiJは
その出力に関する教師データの第ｊ成分である。ｎは入
力データ又は教師データの数、ｇは出力層の素子数であ
る。よって、学習誤差ΔＬは、ｎ個の入力データに関す
る出力誤差の平均値を表している。
さ、δijは入力データＤi に関する出力誤差の第ｊ成
分、即ち、出力層の第ｊ番目の素子の出力誤差である。
Ｏijは入力データＤi に関する出力の第ｊ成分、ｅiJは
その出力に関する教師データの第ｊ成分である。ｎは入
力データ又は教師データの数、ｇは出力層の素子数であ
る。よって、学習誤差ΔＬは、ｎ個の入力データに関す
る出力誤差の平均値を表している。
【００３６】次に、ステップ２２２において、学習誤差
ΔＬが所定値より小さいか否かが判定される。学習誤差
ΔＬが所定値よりも小さいならば、所定の学習効果が得
られたのであるから、学習終了となる。学習誤差ΔＬが
所定値よりも大きいと判定された場合には、ステップ２
２４へ移行して、学習回数が所定値に達したか否かが判
定される。学習回数が所定回数（例えば一万回）に達し
ていない場合には、ステップ２０２に戻り、次の所定回
数までの学習演算が繰り返される。
ΔＬが所定値より小さいか否かが判定される。学習誤差
ΔＬが所定値よりも小さいならば、所定の学習効果が得
られたのであるから、学習終了となる。学習誤差ΔＬが
所定値よりも大きいと判定された場合には、ステップ２
２４へ移行して、学習回数が所定値に達したか否かが判
定される。学習回数が所定回数（例えば一万回）に達し
ていない場合には、ステップ２０２に戻り、次の所定回
数までの学習演算が繰り返される。
【００３７】一方、学習回数が所定回数に達したと判定
された場合には、ＣＲＴ６に図６に示すような学習回数
に対する学習誤差ΔＬの関係が表示される。作業者はこ
の表示の予測部分（塗られた部分）を見て、学習がかな
り収束しているか、未だ、学習する効果が残されている
か等の判断をする。そして、作業者は、時間を掛けて学
習を継続してもあまり学習効果は向上しないので学習を
打ち切っても良いと判定した場合には、キーボード４を
操作して非継続指令を与える。逆に、作業者は、さらに
時間を掛けても学習を継続した方がより学習効果が向上
すると判定した場合には、継続指令を与える。
された場合には、ＣＲＴ６に図６に示すような学習回数
に対する学習誤差ΔＬの関係が表示される。作業者はこ
の表示の予測部分（塗られた部分）を見て、学習がかな
り収束しているか、未だ、学習する効果が残されている
か等の判断をする。そして、作業者は、時間を掛けて学
習を継続してもあまり学習効果は向上しないので学習を
打ち切っても良いと判定した場合には、キーボード４を
操作して非継続指令を与える。逆に、作業者は、さらに
時間を掛けても学習を継続した方がより学習効果が向上
すると判定した場合には、継続指令を与える。
【００３８】ＣＰＵ１は、ステップ２２８において、キ
ーボード４から継続指令又は非継続指令を読み込み、次
のステップ２３０でその指令が継続指令か否かを判定す
る。継続指令であれば、ステップ２２４で判定される次
の学習回数を判定するための所定学習回数が更新され
て、ステップ２００に戻り、次の所定学習回数に向けて
上述した学習演算が繰り返される。
ーボード４から継続指令又は非継続指令を読み込み、次
のステップ２３０でその指令が継続指令か否かを判定す
る。継続指令であれば、ステップ２２４で判定される次
の学習回数を判定するための所定学習回数が更新され
て、ステップ２００に戻り、次の所定学習回数に向けて
上述した学習演算が繰り返される。
【００３９】このようにして、作業者は、学習効果の収
束傾向を途中で見ることができ、さらに、時間をかけて
学習させるべきか、時間をかけて学習させるまでもない
かを判定することが可能となる。よって、無用に長時間
学習が継続実行されることがないので、有効な学習が達
成される。
束傾向を途中で見ることができ、さらに、時間をかけて
学習させるべきか、時間をかけて学習させるまでもない
かを判定することが可能となる。よって、無用に長時間
学習が継続実行されることがないので、有効な学習が達
成される。
【図１】本発明の具体的な実施例に係るニューラルネッ
トワークの構成を示した構成図。
トワークの構成を示した構成図。
【図２】同実施例に係るニューラルネットワークの演算
手順を示したフローチャート。
手順を示したフローチャート。
【図３】同実施例に係るニューラルネットワークの学習
手順を示したフローチャート。
手順を示したフローチャート。
【図４】本発明の学習装置の構成を示したプログラム
図。
図。
【図５】ニューラルネットワークの学習に用いられる入
力データと教師データを有するデータベースのデータ構
成を示した構成図。
力データと教師データを有するデータベースのデータ構
成を示した構成図。
【図６】ＣＰＵにより表示される学習誤差と学習回数と
の関係を示した説明図。
の関係を示した説明図。
【図７】本発明の概念を示したブロック図。
１０…ニューラルネットワーク ＬＩ …入力層 ＬＭ…中間層 Ｌｏ …出力層
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−36659（ＪＰ，Ａ) 特開 平３−216778（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06N 1/00 - 7/00 G06G 7/60 G06F 9/44 G06F 17/10 - 17/13 G06F 3/00 601 - 680 G06F 3/14 ＪＩＣＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)
Claims (1)
- 【請求項１】 入力データと教師データとに基づいてニ
ューラルネットワークに学習させる学習装置において、 前記入力データと前記教師データの多数の組を記憶した
データ記憶手段と、 多数の入力データに対して、対応する教師データが出力
されるようにニューラルネットワークの結合係数を逐次
補正して、ニューラルネットワークに所定の入出力関係
を学習させる学習手段と、 学習の進行の程度を表した学習誤差を演算する誤差演算
手段と、 前記学習誤差が所定値より小さいか否を判定する誤差判
定手段と、 学習回数が所定回数に達したか否かを判定する回数判定
手段と、 前記学習誤差を表示する学習誤差表示手段と、 前記回数判定手段により所定回数の学習が完了したと判
定された場合には、さらに、所定回数の学習を継続する
か否かを指令する継続有無指令手段と、 前記誤差判定手段により前記学習誤差が所定値より小さ
いと判定された場合には学習を終了させ、前記継続有無
指令手段により継続指令が付与された場合には、前記学
習手段を起動してさらに指定された所定回数の学習を継
続し、前記継続有無指令手段により非継続指令が付与さ
れた場合には学習を終了する学習制御手段とを設けたこ
とを特徴とするニューラルネットワークの学習装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24477391A JP3232597B2 (ja) | 1991-08-29 | 1991-08-29 | ニューラルネットワークの学習装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24477391A JP3232597B2 (ja) | 1991-08-29 | 1991-08-29 | ニューラルネットワークの学習装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0554013A JPH0554013A (ja) | 1993-03-05 |
| JP3232597B2 true JP3232597B2 (ja) | 2001-11-26 |
Family
ID=17123703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24477391A Expired - Fee Related JP3232597B2 (ja) | 1991-08-29 | 1991-08-29 | ニューラルネットワークの学習装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3232597B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6400750B2 (ja) | 2017-01-26 | 2018-10-03 | ファナック株式会社 | 学習制御機能を備えた制御システム及び制御方法 |
-
1991
- 1991-08-29 JP JP24477391A patent/JP3232597B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0554013A (ja) | 1993-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3637412B2 (ja) | 時系列データ学習・予測装置 | |
| JP6947108B2 (ja) | データ予測装置、方法、及びプログラム | |
| EP0384709B1 (en) | Learning Machine | |
| JP3232597B2 (ja) | ニューラルネットワークの学習装置 | |
| US5596681A (en) | Method of determining an optimal number of neurons contained in hidden layers of a neural network | |
| JPH07121498A (ja) | ニューラルネットワーク構築方法 | |
| JPH0581228A (ja) | ニユーラルネツトワークの構成方法および学習／想起システム | |
| JPH0561849A (ja) | ニユーラルネツトワークの入出力特性検出装置 | |
| JPH0554014A (ja) | ニユーラルネツトワークの学習装置 | |
| Ye et al. | Estimate exponential memory decay in hidden Markov model and its applications | |
| JPH0581230A (ja) | ニユーラルネツトワークの学習装置 | |
| JPH05128284A (ja) | ニユーロプロセツサ | |
| JP2021012600A (ja) | 診断方法、学習方法、学習装置およびプログラム | |
| JPH0546585A (ja) | ニユーラルネツトワークの学習方法 | |
| JP3232595B2 (ja) | ニューラルネットワークの学習データ記憶装置 | |
| JP3412700B2 (ja) | 神経回路網型パターン学習方法およびパターン処理装置 | |
| JP2536146B2 (ja) | パタ―ン学習装置 | |
| JPH09101944A (ja) | ニューラルネットワーク回路 | |
| JP2000035955A (ja) | 階層型ニューラルネットワークの構成方法 | |
| JP2744321B2 (ja) | 適応型データ処理装置の解析処理方法 | |
| JPH0660050A (ja) | ニューラルネットワークの学習支援装置 | |
| CN115423102A (zh) | 基于张量数据计算推理的虚拟机优化方法、装置及设备 | |
| JP2763366B2 (ja) | 階層ネットワーク構成データ処理装置及びデータ処理システム | |
| JP3097212B2 (ja) | ファジィ推論状態の出力方法およびファジィ推論システム | |
| JP3137996B2 (ja) | メンバシップ関数を用いたニューラルネットワーク及びその学習方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070921 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080921 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090921 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |