JPH0535711A - ニユーラルネツトワークの学習データ記憶装置 - Google Patents
ニユーラルネツトワークの学習データ記憶装置Info
- Publication number
- JPH0535711A JPH0535711A JP3215938A JP21593891A JPH0535711A JP H0535711 A JPH0535711 A JP H0535711A JP 3215938 A JP3215938 A JP 3215938A JP 21593891 A JP21593891 A JP 21593891A JP H0535711 A JPH0535711 A JP H0535711A
- Authority
- JP
- Japan
- Prior art keywords
- data
- input data
- component
- components
- teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E50/00—Technologies for the production of fuel of non-fossil origin
- Y02E50/30—Fuel from waste, e.g. synthetic alcohol or diesel
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 ニューラルネットワークにおいて、過去の入
力データ及び教師データを増加させることなく、効率的
な更新学習を達成すること。 【構成】 学習に使用する過去の入力データ及び教師デ
ータを記憶した所定容量に制限されたデータベースにお
いて、任意の２つの入力データ間の類似度（例えば、相
互距離）が演算される。類似度の最も高い２つの入力デ
ータは、その２つの入力データに基づいて１つの合成入
力データに縮退される。その２つの入力データに対応す
る教師データも同様に１つの合成教師データに縮退され
る。この縮退にはデータの有効成分のみが考慮される。
このようにデータベースは更新される。この結果、蓄積
される入力データ及び教師データのデータ数を一定量に
制限した状態で、蓄積データの傾向を損なうことなく、
新規に更新されたデータベースに基づいてニューラルネ
ットワークを更新学習させることができる。
力データ及び教師データを増加させることなく、効率的
な更新学習を達成すること。 【構成】 学習に使用する過去の入力データ及び教師デ
ータを記憶した所定容量に制限されたデータベースにお
いて、任意の２つの入力データ間の類似度（例えば、相
互距離）が演算される。類似度の最も高い２つの入力デ
ータは、その２つの入力データに基づいて１つの合成入
力データに縮退される。その２つの入力データに対応す
る教師データも同様に１つの合成教師データに縮退され
る。この縮退にはデータの有効成分のみが考慮される。
このようにデータベースは更新される。この結果、蓄積
される入力データ及び教師データのデータ数を一定量に
制限した状態で、蓄積データの傾向を損なうことなく、
新規に更新されたデータベースに基づいてニューラルネ
ットワークを更新学習させることができる。
Description
【０００１】
【産業上の利用分野】本発明は、ニューラルネットワー
クの学習データ蓄積装置に関する。詳しくは、本装置
は、ニューラルネットワークを使用して行く中で、入力
データとその入力データに対応する教示データを所定容
量以内で効率良く蓄積する装置に関する。この所定容量
の蓄積データを用いて、ニューラルネットワークが、逐
次、学習される。
クの学習データ蓄積装置に関する。詳しくは、本装置
は、ニューラルネットワークを使用して行く中で、入力
データとその入力データに対応する教示データを所定容
量以内で効率良く蓄積する装置に関する。この所定容量
の蓄積データを用いて、ニューラルネットワークが、逐
次、学習される。
【０００２】
【従来の技術】ニューラルネットワークは、理論的な解
析が困難な因果関係を結合係数の学習効果により直接的
に実現する回路網として知られている。即ち、ニューラ
ルネットワークは、予め、離散的な複数の入力に対し
て、それぞれの入力に対して最適な出力が得られるよう
に、ニューラルネットワークの結合係数を学習してお
き、任意の入力に対して妥当な出力が直接的に得られる
ようにした回路網である。
析が困難な因果関係を結合係数の学習効果により直接的
に実現する回路網として知られている。即ち、ニューラ
ルネットワークは、予め、離散的な複数の入力に対し
て、それぞれの入力に対して最適な出力が得られるよう
に、ニューラルネットワークの結合係数を学習してお
き、任意の入力に対して妥当な出力が直接的に得られる
ようにした回路網である。
【０００３】
【発明が解決しようとする課題】しかし、ニューラルネ
ットワークを全ての考え得る事象に対応できるように学
習させておくことは困難である。むしろ、学習済のニュ
ーラルネットワークを実際に使用して新たな事象が発生
して適正な出力が得られない場合に、その事象を含む学
習を行うことが通常である。
ットワークを全ての考え得る事象に対応できるように学
習させておくことは困難である。むしろ、学習済のニュ
ーラルネットワークを実際に使用して新たな事象が発生
して適正な出力が得られない場合に、その事象を含む学
習を行うことが通常である。
【０００４】ところが、新たにニューラルネットワーク
の学習が必要となった場合には、学習すべき新たな入力
データとそれに対応した教師データだけを用いて学習さ
せることはできない。何故ならば、その新たな学習の結
果、既学習事項がニューラルネットワークから消去され
てしまうからである。従って、新たにニューラルネット
ワークを学習させる場合には、以前の学習に使用した全
ての入力データとその入力データに対応した全ての教師
データを含めて学習させることが必要である。
の学習が必要となった場合には、学習すべき新たな入力
データとそれに対応した教師データだけを用いて学習さ
せることはできない。何故ならば、その新たな学習の結
果、既学習事項がニューラルネットワークから消去され
てしまうからである。従って、新たにニューラルネット
ワークを学習させる場合には、以前の学習に使用した全
ての入力データとその入力データに対応した全ての教師
データを含めて学習させることが必要である。
【０００５】このような結果、過去の学習に使用した全
ての入力データと教師データを保存する必要があり、ニ
ューラルネットワークを長く使用するに伴い、記憶装置
の容量が膨大となるという問題がある。又、学習に使用
される入力データと教師データとが膨大となることか
ら、学習時間が長くなるという問題がある。又、ニュー
ラルネットワークを使用するに際して、入力データや教
師データの全ての成分が、常に、使用されているとは限
らない。例えば、工作機械の加工条件を所定の入力条件
から、ニューラルネットワークを用いて演算する場合に
は、円筒部加工、肩部加工、Ｒ部加工等の加工の種類に
よっては入力条件の項目や加工条件の項目（即ち、入力
データの成分や教師データの成分）のうち使用されてい
ない項目が存在し、その使用されていない項目は加工の
種類によって異なる。このような使用していない無効成
分と使用している有効成分とが混在する入力データや教
師データの場合には、その２つの入力データや２つの教
師データをどのように縮退させるかが問題である。
ての入力データと教師データを保存する必要があり、ニ
ューラルネットワークを長く使用するに伴い、記憶装置
の容量が膨大となるという問題がある。又、学習に使用
される入力データと教師データとが膨大となることか
ら、学習時間が長くなるという問題がある。又、ニュー
ラルネットワークを使用するに際して、入力データや教
師データの全ての成分が、常に、使用されているとは限
らない。例えば、工作機械の加工条件を所定の入力条件
から、ニューラルネットワークを用いて演算する場合に
は、円筒部加工、肩部加工、Ｒ部加工等の加工の種類に
よっては入力条件の項目や加工条件の項目（即ち、入力
データの成分や教師データの成分）のうち使用されてい
ない項目が存在し、その使用されていない項目は加工の
種類によって異なる。このような使用していない無効成
分と使用している有効成分とが混在する入力データや教
師データの場合には、その２つの入力データや２つの教
師データをどのように縮退させるかが問題である。
【０００６】本発明は上記課題を解決するために成され
たものであり、その目的は、記憶容量が少なくて済むニ
ューラルネットワークの効率的な学習を行うに適した入
力データ及び教師データを効率良く蓄積することであ
る。
たものであり、その目的は、記憶容量が少なくて済むニ
ューラルネットワークの効率的な学習を行うに適した入
力データ及び教師データを効率良く蓄積することであ
る。
【０００７】
【課題を解決するための手段】ニューラルネットワーク
へ入力する１つの入力データは入力素子数に等しい数の
成分を有しており、各成分が各入力素子に入力する。
又、１つの教師データは、１つの入力データをニューラ
ルネットワークに入力させた時の最適な出力データであ
る。従って、１つの教師データは入力データに対応し、
出力素子数に等しい数の成分を有している。このような
入力データと教師データの組が、ニューラルネットワー
クの使用の過程で多数得られる。この多数組のデータ
は、ニューラルネットワークの学習に用いられる。本発
明は、この学習に用いられる入力データと教師データの
組を記憶容量が制限された状態で効率良く蓄積する装置
である。本発明は、上記の装置であって、図８に示した
ように、入力データ及び教師データを所定数だけ記憶で
きるデータ記憶手段Ｘ１と、入力データ及び教師データ
の各成分が、使用されている有効成分か、使用されてい
ない無効成分かを判別できる判別データを記憶した判別
データ記憶手段Ｘ２と、入力データの中から任意に選択
された２つの入力データで構成される組の全てに対し
て、その２つの入力データが相互に類似している程度を
表す類似度を、判別データ記憶手段Ｘ２に記憶されてい
る判別データに基づいて判別された、２つの入力データ
の各成分のうち有効成分のみから演算する類似度演算手
段Ｘ３と、データベースの更新時に、類似度の最も高い
組の２つの入力データの各成分を１つの入力データの各
成分に縮退させるに際し、２つの入力データの各成分が
有効成分か無効成分かを判別データ記憶手段Ｘ２に記憶
された判別データに基づいて判別し、両データの成分が
共に有効成分の場合には両有効成分に基づく所定の演算
により縮退した入力データの有効成分を求め、両データ
の一方の成分が無効成分である場合には他方の有効成分
を縮退した入力データの有効成分とし、両データの成分
が共に無効成分である場合には、縮退した入力データの
成分を無効成分として縮退した入力データを生成し、そ
の縮退した入力データに関する判別データを判別データ
記憶手段Ｘ２に記憶する入力データ縮退手段Ｘ４と、縮
退される２つの入力データに対応する２つの教師データ
の各成分を１つの教師データの各成分に縮退させるに際
し、２つの教師データの各成分が有効成分か無効成分か
を判別データ記憶手段Ｘ２に記憶された判別データに基
づいて判別し、両データの成分が共に有効成分の場合に
は両有効成分に基づく所定の演算により縮退した教師デ
ータの有効成分を求め、両データの一方の成分が無効成
分である場合には他方の有効成分を縮退した教師データ
の有効成分とし、両データの成分が共に無効成分である
場合には、縮退した教師データの成分を無効成分として
縮退した教師データを生成し、その縮退した教師データ
に関する判別データを判別データ記憶手段Ｘ２に記憶す
る教師データ縮退手段Ｘ５とを備えたことを特徴とす
る。
へ入力する１つの入力データは入力素子数に等しい数の
成分を有しており、各成分が各入力素子に入力する。
又、１つの教師データは、１つの入力データをニューラ
ルネットワークに入力させた時の最適な出力データであ
る。従って、１つの教師データは入力データに対応し、
出力素子数に等しい数の成分を有している。このような
入力データと教師データの組が、ニューラルネットワー
クの使用の過程で多数得られる。この多数組のデータ
は、ニューラルネットワークの学習に用いられる。本発
明は、この学習に用いられる入力データと教師データの
組を記憶容量が制限された状態で効率良く蓄積する装置
である。本発明は、上記の装置であって、図８に示した
ように、入力データ及び教師データを所定数だけ記憶で
きるデータ記憶手段Ｘ１と、入力データ及び教師データ
の各成分が、使用されている有効成分か、使用されてい
ない無効成分かを判別できる判別データを記憶した判別
データ記憶手段Ｘ２と、入力データの中から任意に選択
された２つの入力データで構成される組の全てに対し
て、その２つの入力データが相互に類似している程度を
表す類似度を、判別データ記憶手段Ｘ２に記憶されてい
る判別データに基づいて判別された、２つの入力データ
の各成分のうち有効成分のみから演算する類似度演算手
段Ｘ３と、データベースの更新時に、類似度の最も高い
組の２つの入力データの各成分を１つの入力データの各
成分に縮退させるに際し、２つの入力データの各成分が
有効成分か無効成分かを判別データ記憶手段Ｘ２に記憶
された判別データに基づいて判別し、両データの成分が
共に有効成分の場合には両有効成分に基づく所定の演算
により縮退した入力データの有効成分を求め、両データ
の一方の成分が無効成分である場合には他方の有効成分
を縮退した入力データの有効成分とし、両データの成分
が共に無効成分である場合には、縮退した入力データの
成分を無効成分として縮退した入力データを生成し、そ
の縮退した入力データに関する判別データを判別データ
記憶手段Ｘ２に記憶する入力データ縮退手段Ｘ４と、縮
退される２つの入力データに対応する２つの教師データ
の各成分を１つの教師データの各成分に縮退させるに際
し、２つの教師データの各成分が有効成分か無効成分か
を判別データ記憶手段Ｘ２に記憶された判別データに基
づいて判別し、両データの成分が共に有効成分の場合に
は両有効成分に基づく所定の演算により縮退した教師デ
ータの有効成分を求め、両データの一方の成分が無効成
分である場合には他方の有効成分を縮退した教師データ
の有効成分とし、両データの成分が共に無効成分である
場合には、縮退した教師データの成分を無効成分として
縮退した教師データを生成し、その縮退した教師データ
に関する判別データを判別データ記憶手段Ｘ２に記憶す
る教師データ縮退手段Ｘ５とを備えたことを特徴とす
る。
【０００８】
【作用】入力データの中から任意に選択された２つの入
力データの組に関して、その２つの入力データが相互に
類似している程度を示す類似度が演算される。その類似
度は２つの入力データの各成分のうちで、使用されてい
る、即ち、データとして有意義な有効成分だけを用いて
演算される。その類似度の最も高い組において、２つの
入力データがその２つの入力データに基づいて１つの入
力データに縮退される。それと共に、その２つの入力デ
ータに対応する２つの教師データも、その２つの教師デ
ータに基づいて１つの教師データに縮退される。この縮
退演算は、各成分毎に実施される。２つの成分におい
て、両成分共に有効成分の場合には、所定の縮退演算に
より、縮退したデータの有効成分が求められる。一方の
成分が無効成分の場合には、他方の有効成分がそのまま
縮退したデータの有効成分とされる。両成分共に無効成
分の場合には、縮退したデータの対応する成分は無効成
分とされる。このような方法により、２つの入力データ
及び２つの教師データが、それぞれ、１つの入力データ
及び１つの教師データに縮退される。
力データの組に関して、その２つの入力データが相互に
類似している程度を示す類似度が演算される。その類似
度は２つの入力データの各成分のうちで、使用されてい
る、即ち、データとして有意義な有効成分だけを用いて
演算される。その類似度の最も高い組において、２つの
入力データがその２つの入力データに基づいて１つの入
力データに縮退される。それと共に、その２つの入力デ
ータに対応する２つの教師データも、その２つの教師デ
ータに基づいて１つの教師データに縮退される。この縮
退演算は、各成分毎に実施される。２つの成分におい
て、両成分共に有効成分の場合には、所定の縮退演算に
より、縮退したデータの有効成分が求められる。一方の
成分が無効成分の場合には、他方の有効成分がそのまま
縮退したデータの有効成分とされる。両成分共に無効成
分の場合には、縮退したデータの対応する成分は無効成
分とされる。このような方法により、２つの入力データ
及び２つの教師データが、それぞれ、１つの入力データ
及び１つの教師データに縮退される。
【０００９】
【発明の効果】このようなデータベースの記憶容量の制
御により、蓄積されるデータの量が所定量を越えること
がないようにすることが可能である。しかも、データベ
ースに蓄積されるデータは類似度が最も高い２つのデー
タが１つに縮退されることから、データベースは、デー
タの記憶量が一定とすれば、最も分散されたデータの集
合となる。よって、ニューラルネットワークの効果的な
学習が達成される。又、入力データ及び教師データにお
いて、使用されていない無効成分が存在し、どの成分が
無効成分であるかが各データ毎に異なるような場合に
も、蓄積すべき入力データ及び教師データの傾向、即
ち、学習傾向を損なうことなく、データの蓄積をするこ
とが可能となる。
御により、蓄積されるデータの量が所定量を越えること
がないようにすることが可能である。しかも、データベ
ースに蓄積されるデータは類似度が最も高い２つのデー
タが１つに縮退されることから、データベースは、デー
タの記憶量が一定とすれば、最も分散されたデータの集
合となる。よって、ニューラルネットワークの効果的な
学習が達成される。又、入力データ及び教師データにお
いて、使用されていない無効成分が存在し、どの成分が
無効成分であるかが各データ毎に異なるような場合に
も、蓄積すべき入力データ及び教師データの傾向、即
ち、学習傾向を損なうことなく、データの蓄積をするこ
とが可能となる。
【００１０】
1.学習データ記憶装置の構成 本装置は、図９に示すように、ＣＰＵ１、ＲＯＭ２、Ｒ
ＡＭ３とから成るコンピュータシステムで構成されてい
る。ＲＯＭ２にはデータベースの更新（データの縮退）
を行う制御プログラムの記憶された制御プログラム領域
２１とニューラルネットワークの演算プログラムの記憶
されたニューラルネットワーク領域２２とニューラルネ
ットワークを学習させるためのプログラムの記憶された
学習プログラム領域２３が形成されている。又、ＲＡＭ
３には蓄積される入力データ及び教師データをそれぞれ
記憶する入力データ記憶領域３１及び教師データ記憶領
域３２、入力データ及び教師データの各成分が有効成分
か無効成分かを判別できる判別データを記憶した判別デ
ータ記憶領域３３、ニューラルネットワークの係合係数
を記憶する係合係数記憶領域３４とが形成されている。
ＡＭ３とから成るコンピュータシステムで構成されてい
る。ＲＯＭ２にはデータベースの更新（データの縮退）
を行う制御プログラムの記憶された制御プログラム領域
２１とニューラルネットワークの演算プログラムの記憶
されたニューラルネットワーク領域２２とニューラルネ
ットワークを学習させるためのプログラムの記憶された
学習プログラム領域２３が形成されている。又、ＲＡＭ
３には蓄積される入力データ及び教師データをそれぞれ
記憶する入力データ記憶領域３１及び教師データ記憶領
域３２、入力データ及び教師データの各成分が有効成分
か無効成分かを判別できる判別データを記憶した判別デ
ータ記憶領域３３、ニューラルネットワークの係合係数
を記憶する係合係数記憶領域３４とが形成されている。
【００１１】2.ニューラルネットワーク 本実施例のニューラルネットワーク１０は、図１に示す
ように、入力層ＬI と出力層ＬO と中間層ＬM の３層構
造に構成されている。入力層ＬI はｅ個の入力素子を有
し、出力層ＬO はｇ個の出力素子を有し、中間層ＬM は
ｆ個の出力素子を有している。多層構造のニューラルネ
ットワークは、一般的に、次の演算を行う装置として定
義される。第i 層の第j 番目の素子の出力Oi j は、次式
で演算される。但し、i ≧2 である。
ように、入力層ＬI と出力層ＬO と中間層ＬM の３層構
造に構成されている。入力層ＬI はｅ個の入力素子を有
し、出力層ＬO はｇ個の出力素子を有し、中間層ＬM は
ｆ個の出力素子を有している。多層構造のニューラルネ
ットワークは、一般的に、次の演算を行う装置として定
義される。第i 層の第j 番目の素子の出力Oi j は、次式
で演算される。但し、i ≧2 である。
【００１２】
【数１】 Oi j =f(Ii j) （１）
【数２】
【数３】 f(x)=1/｛1+exp(-x)｝ （３）
【００１３】但し、Vi j は第i 層の第j 番目の演算素子
のバイアス、Wi-1 k, i jは、第i-1 層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第 j番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層（第１層）の第j 番目の素子の入力値でもある。
のバイアス、Wi-1 k, i jは、第i-1 層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第 j番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層（第１層）の第j 番目の素子の入力値でもある。
【００１４】次に、図１に示す３層構造のニューラルネ
ットワーク１０の具体的な演算手順について図２を参照
して説明する。各素子の演算は、ＲＡＭ３の結合係数記
憶領域３４に記憶されている結合係数を参照しつつ、Ｒ
ＯＭ２のニューラルネットワーク領域２２に記憶された
プログラムを実行することによって行われる。ステップ
１００において、中間層（第２層）の第j 番目の素子
は、入力層（第１層）の各素子からの出力値O1 j （第１
層の入力データ）を入力して、（２）式を層番号と第１
層の素子数を用いて具体化した次式の積和演算を行な
う。
ットワーク１０の具体的な演算手順について図２を参照
して説明する。各素子の演算は、ＲＡＭ３の結合係数記
憶領域３４に記憶されている結合係数を参照しつつ、Ｒ
ＯＭ２のニューラルネットワーク領域２２に記憶された
プログラムを実行することによって行われる。ステップ
１００において、中間層（第２層）の第j 番目の素子
は、入力層（第１層）の各素子からの出力値O1 j （第１
層の入力データ）を入力して、（２）式を層番号と第１
層の素子数を用いて具体化した次式の積和演算を行な
う。
【数４】
【００１５】次に、ステップ１０２において、次式によ
り、（４）式の入力値の積和関数値のシグモイド関数に
より、中間層（第２層）の各素子の出力が演算される。
第２層の第j 番目の素子の出力値は次式で演算される。
り、（４）式の入力値の積和関数値のシグモイド関数に
より、中間層（第２層）の各素子の出力が演算される。
第２層の第j 番目の素子の出力値は次式で演算される。
【００１６】
【数５】 O2 j=f(I2 j )=1/｛1+exp(-I2 j) ｝ （５） この出力値 O2 j は出力層（第３層）の各素子の入力値
となる。次に、ステップ１０４において、出力層（第３
層）の各素子の入力値の積和演算が実行される。
となる。次に、ステップ１０４において、出力層（第３
層）の各素子の入力値の積和演算が実行される。
【００１７】
【数６】 次に、ステップ１０６において、（５）式と同様に、
シグモイド関数により、出力層の各素子の出力値O3 jが
演算される。
シグモイド関数により、出力層の各素子の出力値O3 jが
演算される。
【００１８】
【数７】 O3 j=f(I3 j)=1/｛1+exp(-I3 j)｝ （７）
【００１９】3.ニューラルネットワークの学習 このニューラルネットワークは、初期学習として、ＲＯ
Ｍ２の学習プログラム領域２３に記憶された図３に示す
手順のプログラムが実行されることにより学習される。
結合係数の学習は良く知られたバックプロパーゲーショ
ン法により実行される。この学習は、各種の事象に関す
る多数の入力データに対して、それぞれの出力が、それ
ぞれの最適な教師データとなるように、繰り返し実行さ
れる。これらの入力データ及び教師データは、それぞ
れ、入力データ記憶領域３１及び教師データ記憶領域３
２に記憶されている。
Ｍ２の学習プログラム領域２３に記憶された図３に示す
手順のプログラムが実行されることにより学習される。
結合係数の学習は良く知られたバックプロパーゲーショ
ン法により実行される。この学習は、各種の事象に関す
る多数の入力データに対して、それぞれの出力が、それ
ぞれの最適な教師データとなるように、繰り返し実行さ
れる。これらの入力データ及び教師データは、それぞ
れ、入力データ記憶領域３１及び教師データ記憶領域３
２に記憶されている。
【００２０】図３のステップ２００において、次式によ
り出力層の各素子の学習信号が演算される。
り出力層の各素子の学習信号が演算される。
【数８】 Y3 j=(Tj-δj)・f'(I3 j) （８） 但し、Tj は任意の出力δjに対する教師データであ
り、外部から付与される。又、f'(x) はジグモイド関数
の導関数である。
り、外部から付与される。又、f'(x) はジグモイド関数
の導関数である。
【００２１】次に、ステップ２０２において、中間層の
学習データY が次式で演算される。
学習データY が次式で演算される。
【数９】
【００２２】次に、ステップ２０４において、
出力層の各結合係数が補正される。補正量は次式で求め
られる。
出力層の各結合係数が補正される。補正量は次式で求め
られる。
【数１０】 Δω2 i, 3 j(t)=P・Y3 j・f(I2 i)+Q・Δω2 i, 3 j(t-1) （１０） 但し、Δω2 i, 3 j(t) は、出力層の第j 番目の素子と中
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。よっ
て、結合係数は、
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。よっ
て、結合係数は、
【００２３】
【数１１】 W2 i, 3 j+Δω2 i, 3 j(t) →W2 i, 3 j （１１） により、補正された結合係数が求められる。次に、ス
テップ２０６へ移行して、中間層の各素の結合係数が補
正される。その結合係数の補正量は出力層の場合と同様
に、次式で求められる。
テップ２０６へ移行して、中間層の各素の結合係数が補
正される。その結合係数の補正量は出力層の場合と同様
に、次式で求められる。
【００２４】
【数１２】 Δω1 i, 2 j(t)=P・Y2 j・f(I1 i)+Q・Δω1 i, 2 j(t-1) （１２） よって、結合係数は、
【数１３】 W1 i, 2 j + Δω1 i, 2 j(t) →W1 i, 2 j （１３） により、補正された結合係数が求められる。
【００２５】次に、ステップ２０８において、学習対象
の全ての入力データに対して１回の学習が完了したか否
が判定される。全ての入力データに対する学習が終了し
ていない場合には、ステップ２１０へ移行して、次の入
力データとその入力データに対応する教師データが学習
対象データとして設定される。そして、ステップ２００
に戻り、次の入力データに関する学習が実行される。こ
のようにして、全入力データに関して１回の学習が完了
すると、ステップ２０８の判定結果がYES となり、ステ
ップ２１２へ移行する。
の全ての入力データに対して１回の学習が完了したか否
が判定される。全ての入力データに対する学習が終了し
ていない場合には、ステップ２１０へ移行して、次の入
力データとその入力データに対応する教師データが学習
対象データとして設定される。そして、ステップ２００
に戻り、次の入力データに関する学習が実行される。こ
のようにして、全入力データに関して１回の学習が完了
すると、ステップ２０８の判定結果がYES となり、ステ
ップ２１２へ移行する。
【００２６】ステップ２１２では、結合係数の補正量Δ
ωが所定の値以下になったか否かの判定により、結合係
数が収束したか否かが判定される。結合係数が収束して
いなければ、ステップ２１４に移行して、全入力データ
に関する第２回目の学習を実行するために、最初の入力
データとそれに対応する教師データとが学習対象データ
として設定される。そして、ステップ２００に戻り、上
記した学習演算が繰り返し実行される。このようにし
て、ステップ２１２において、結合係数の補正量Δωが
所定の値以下となり、結合係数が収束するまで、上記の
学習演算が繰り返し実行される。この結果、初期の広範
囲の事象に関して初期学習されたニューラルネットワー
クが完成される。
ωが所定の値以下になったか否かの判定により、結合係
数が収束したか否かが判定される。結合係数が収束して
いなければ、ステップ２１４に移行して、全入力データ
に関する第２回目の学習を実行するために、最初の入力
データとそれに対応する教師データとが学習対象データ
として設定される。そして、ステップ２００に戻り、上
記した学習演算が繰り返し実行される。このようにし
て、ステップ２１２において、結合係数の補正量Δωが
所定の値以下となり、結合係数が収束するまで、上記の
学習演算が繰り返し実行される。この結果、初期の広範
囲の事象に関して初期学習されたニューラルネットワー
クが完成される。
【００２７】4.データベースの更新 ニューラルネットワークの更新学習に使用されるデータ
は、図５に示すようなデータベースに構成されている。
入力データは、Ｄ1,…，Ｄn であり、対応する教師デー
タは、Ｅ1,…，Ｅn である。このｎ個の入力データ及び
教師データは、ニューラルネットワークの初期学習又は
初期学習後のニューラルネットワークを現実に使用した
過程で蓄積されたデータである。この入力データは、次
のように定義される。ｅ個の入力素子のそれぞれに与え
るｅ個のデータを１組のデータとして考える。そして、
任意の第ｍ番目の１組の入力データをＤm で表し、その
組に属する第ｊ番目の入力素子に対する入力データをｄ
mjで表す。Ｄm はベクトルを表し、ｄmjはそのベクトル
の成分である。即ち、Ｄm は次式で定義される。
は、図５に示すようなデータベースに構成されている。
入力データは、Ｄ1,…，Ｄn であり、対応する教師デー
タは、Ｅ1,…，Ｅn である。このｎ個の入力データ及び
教師データは、ニューラルネットワークの初期学習又は
初期学習後のニューラルネットワークを現実に使用した
過程で蓄積されたデータである。この入力データは、次
のように定義される。ｅ個の入力素子のそれぞれに与え
るｅ個のデータを１組のデータとして考える。そして、
任意の第ｍ番目の１組の入力データをＤm で表し、その
組に属する第ｊ番目の入力素子に対する入力データをｄ
mjで表す。Ｄm はベクトルを表し、ｄmjはそのベクトル
の成分である。即ち、Ｄm は次式で定義される。
【００２８】
【数１４】 Ｄm ＝（ｄm1, ｄm2, …，ｄme-1, ｄme） （１４） 又、ｎ組の入力データはＤ1,Ｄ2,…，Ｄn-1,Ｄn で表さ
れる。以下、全ｎ組の入力データ群は、入力データ群Ｄ
と表記される。
れる。以下、全ｎ組の入力データ群は、入力データ群Ｄ
と表記される。
【００２９】同様に、Ｅ1,…, Ｅn は、次のように定義
される。出力層ＬO に関して、ｇ個の出力素子のそれぞ
れからの出力に対する教師データを１組のデータとして
考える。そして、任意の第ｍ番目の１組の教師データを
Ｅm で表し、その組に属する第ｊ番目の出力素子に対す
る教師データをｅmjで表す。Ｅm はベクトルを表し、ｅ
mjはそのベクトルの成分である。即ち、Ｅm は次式で定
義される。
される。出力層ＬO に関して、ｇ個の出力素子のそれぞ
れからの出力に対する教師データを１組のデータとして
考える。そして、任意の第ｍ番目の１組の教師データを
Ｅm で表し、その組に属する第ｊ番目の出力素子に対す
る教師データをｅmjで表す。Ｅm はベクトルを表し、ｅ
mjはそのベクトルの成分である。即ち、Ｅm は次式で定
義される。
【００３０】
【数１５】 Ｅm ＝（ｅm1, ｅm2, …，ｅmg-1, ｅmg） （１５） 又、ｎ組の教師データはＥ1,Ｅ2,…，Ｅn-1,Ｅn で表さ
れる。以下、全ｎ組の教師データ群は、教師データ群Ｅ
と表記される。又、それぞれのデータに対して、カウン
ト値Ｃm が与えられている。このカウント値Ｃm は、後
述するように、データの縮退回数を示す。その初期値は
１である。
れる。以下、全ｎ組の教師データ群は、教師データ群Ｅ
と表記される。又、それぞれのデータに対して、カウン
ト値Ｃm が与えられている。このカウント値Ｃm は、後
述するように、データの縮退回数を示す。その初期値は
１である。
【００３１】次に、データベースの更新手順について説
明する。図４はＲＯＭ２の制御プログラム領域２１に記
憶されたデータベースの更新プログラムを示したフロー
チャートである。このデータベースの更新は、ｎ個の入
力データ群Ｄとｎ個の教師データ群Ｅを記憶したデータ
ベースに、全体としてｎ個のデータ容量を増加させるこ
となく、新しく追加される入力データＤn+1 とその入力
データに対応した教師データＥn+1 を学習データとして
加えることである。
明する。図４はＲＯＭ２の制御プログラム領域２１に記
憶されたデータベースの更新プログラムを示したフロー
チャートである。このデータベースの更新は、ｎ個の入
力データ群Ｄとｎ個の教師データ群Ｅを記憶したデータ
ベースに、全体としてｎ個のデータ容量を増加させるこ
となく、新しく追加される入力データＤn+1 とその入力
データに対応した教師データＥn+1 を学習データとして
加えることである。
【００３２】ステップ３００において、図６の(a) に示
すように、データベースに記憶された入力データ群（Ｄ
1,…，Ｄn ）に、新規入力データＤn+1 を加えて、入力
データ群（Ｄ1,…，Ｄn+1 ）を考える。同様に、新規教
師データＥn+1 を加えた教師データ群（Ｅ1,…，
Ｅn+1 ）が導入される。又、新規データに対するカウン
タ値（縮退回数）Ｃn+1 は１である。次に、ステップ３
０２において、入力データ群（Ｄ1,…，Ｄn+1 ）の中か
ら任意の２つのデータから成る入力データ組（Ｄ
p,Ｄq ）を生成する。次に、ステップ３０４において、
入力データＤp と入力データＤq の類似度Ｚpqを計算す
る。類似度Ｚpqは、本実施例では、Ｄp ベクトルとＤq
ベクトル間の変位ベクトル（Ｄp −Ｄq ）の大きさで求
めている。
すように、データベースに記憶された入力データ群（Ｄ
1,…，Ｄn ）に、新規入力データＤn+1 を加えて、入力
データ群（Ｄ1,…，Ｄn+1 ）を考える。同様に、新規教
師データＥn+1 を加えた教師データ群（Ｅ1,…，
Ｅn+1 ）が導入される。又、新規データに対するカウン
タ値（縮退回数）Ｃn+1 は１である。次に、ステップ３
０２において、入力データ群（Ｄ1,…，Ｄn+1 ）の中か
ら任意の２つのデータから成る入力データ組（Ｄ
p,Ｄq ）を生成する。次に、ステップ３０４において、
入力データＤp と入力データＤq の類似度Ｚpqを計算す
る。類似度Ｚpqは、本実施例では、Ｄp ベクトルとＤq
ベクトル間の変位ベクトル（Ｄp −Ｄq ）の大きさで求
めている。
【００３３】よって、類似度Ｚpqは次式で定義される。
【数１６】 Ｚpq＝｜Ｄp −Ｄq ｜ （１６） ＝（Σ（ｄpi−ｄqi）2 ）1/2 但し、入力データＤp と入力データＤq の各成分の
内、２成分が共に有効成分である成分のみが抽出され
て、（１６）式の和演算が実行される。各入力データに
は入力データの種類を示すデータ（Ｐ，Ｓ，Ｒ，ＰＳ，
ＰＲ，ＳＲ，ＰＳＲ）が付与されており、各種類毎に入
力データの各成分が有効成分か無効成分かを示す図７に
示すデータが与えられている。この種類を示すデータと
有効、無効を示すデータは、判別データとして、判別デ
ータ記憶領域３３に記憶されている。各入力データに付
与されたデータの種類を示すデータに基づいて、図７に
示すデータを参照して、有効成分が決定され、その有効
成分についてのみ、（１６）式の演算が実行される。
尚、本実施例では、上記の入力データの種類を示すデー
タ（Ｐ，Ｓ，Ｒ，ＰＳ，ＰＲ，ＳＲ，ＰＳＲ）は、それ
ぞれ、円筒研削データ、肩部付研削データ、アール付研
削データ、円筒研削データと肩部付研削データとが縮退
したデータ、円筒研削データとアール付研削データとが
縮退したデータ、肩部付研削データとアール付研削デー
タとが縮退したデータ、３種のデータが縮退したデータ
を示している。図１０には、入力データの種類毎に使用
されるデータ項目が示されている。この次に、ステップ
３０６において、全ての２つの入力データの組合わせに
関して類似度が演算されたか否かが判定される。全組に
関して類似度が演算されていない場合には、ステップ３
０８において、選択される入力データのインデックスp,
q を変化させて、ステップ３０２へ戻る。ステップ３０
２からは、同様な処理が繰り返し実行されて、類似度が
演算される。このようにして、図６の(b) に示すよう
に、任意の２つの入力データから成る全てのデータ組の
類似度Ｚpqが演算される。
内、２成分が共に有効成分である成分のみが抽出され
て、（１６）式の和演算が実行される。各入力データに
は入力データの種類を示すデータ（Ｐ，Ｓ，Ｒ，ＰＳ，
ＰＲ，ＳＲ，ＰＳＲ）が付与されており、各種類毎に入
力データの各成分が有効成分か無効成分かを示す図７に
示すデータが与えられている。この種類を示すデータと
有効、無効を示すデータは、判別データとして、判別デ
ータ記憶領域３３に記憶されている。各入力データに付
与されたデータの種類を示すデータに基づいて、図７に
示すデータを参照して、有効成分が決定され、その有効
成分についてのみ、（１６）式の演算が実行される。
尚、本実施例では、上記の入力データの種類を示すデー
タ（Ｐ，Ｓ，Ｒ，ＰＳ，ＰＲ，ＳＲ，ＰＳＲ）は、それ
ぞれ、円筒研削データ、肩部付研削データ、アール付研
削データ、円筒研削データと肩部付研削データとが縮退
したデータ、円筒研削データとアール付研削データとが
縮退したデータ、肩部付研削データとアール付研削デー
タとが縮退したデータ、３種のデータが縮退したデータ
を示している。図１０には、入力データの種類毎に使用
されるデータ項目が示されている。この次に、ステップ
３０６において、全ての２つの入力データの組合わせに
関して類似度が演算されたか否かが判定される。全組に
関して類似度が演算されていない場合には、ステップ３
０８において、選択される入力データのインデックスp,
q を変化させて、ステップ３０２へ戻る。ステップ３０
２からは、同様な処理が繰り返し実行されて、類似度が
演算される。このようにして、図６の(b) に示すよう
に、任意の２つの入力データから成る全てのデータ組の
類似度Ｚpqが演算される。
【００３４】次に、ステップ３１０において、全データ
組の中から、類似度Ｚpqが最小値Ｚabをとるデータ組
（Ｄa , Ｄb ）が決定される。次に、ステップ３１２に
おいて、入力データＤa , Ｄb とその入力データに対応
する教師データＥa , Ｅb に関して、カウンタ値Ｃa ，
Ｃb を加重係数として加重平均された合成入力データＤ
h と加重平均された合成教師データＥh が演算される。
組の中から、類似度Ｚpqが最小値Ｚabをとるデータ組
（Ｄa , Ｄb ）が決定される。次に、ステップ３１２に
おいて、入力データＤa , Ｄb とその入力データに対応
する教師データＥa , Ｅb に関して、カウンタ値Ｃa ，
Ｃb を加重係数として加重平均された合成入力データＤ
h と加重平均された合成教師データＥh が演算される。
【００３５】即ち、合成（縮退）入力データＤh と合成
（縮退）教師データＥh は、次式で演算される。
（縮退）教師データＥh は、次式で演算される。
【数１７】 Ｄh ＝（Ｃa ・Ｄa ＋Ｃb ・Ｄb ）／（Ｃa ＋Ｃb ） （１７）
【数１８】 Ｅh ＝（Ｃa ・Ｅa ＋Ｃb ・Ｅb ）／（Ｃa ＋Ｃb ） （１８） 成分で表示すれば、
【数１９】 ｄhi＝（Ｃa ・ｄai＋Ｃb ・ｄbi）／（Ｃa ＋Ｃb ） （１９）
【数２０】 ｅhi＝（Ｃa ・ｅai＋Ｃb ・ｅbi）／（Ｃa ＋Ｃb ） （２０） となる。但し、（１９）は、両成分（ｄai，ｄbi）が共
に有効成分である場合の演算式であり、（２０）式は、
両成分（ｅai，ｅbi）が共に有効成分である場合の演算
式である。両成分のうち１成分が無効成分である場合に
は、他方の有効成分がそのまま合成データの有効成分と
なる。両成分が共に無効成分の場合には、そのデータは
使用していないのであるから、合成データのその成分の
値は任意でよい。但し、その成分は無効成分として管理
される。種類Ｓのデータと種類Ｐのデータに関する上記
の縮退演算の様子が図１２に示されている。尚、教師デ
ータに関しても、入力データと同様な構成のデータの種
類を示すデータと図７に示すものと同様な各成分が有効
成分か無効成分かを示すデータが、判別データとして、
ＲＡＭ３の判別データ記憶領域３３に記憶されている。
上記の教師データに関する（２０）式等の演算は、この
判別データを参照して実行される。教師データのデータ
項目の種類と、データの種類毎にどのデータ項目が使用
されているかが図１１に示されている。上記のデータの
合成（縮退）演算において、同一種類の２つのデータが
縮退される場合には、縮退により生成されたデータの種
類は、その２つのデータの種類と同一とされる。又、異
なる種類の２つのデータが縮退される場合には、縮退に
より生成されたデータの種類は、その２種類のデータの
縮退によって生じたデータの種類となる。この縮退した
データの種類を示すデータは、判別データ記憶領域３３
に記憶され、このデータが後の縮退演算で抽出される時
に参照される。
に有効成分である場合の演算式であり、（２０）式は、
両成分（ｅai，ｅbi）が共に有効成分である場合の演算
式である。両成分のうち１成分が無効成分である場合に
は、他方の有効成分がそのまま合成データの有効成分と
なる。両成分が共に無効成分の場合には、そのデータは
使用していないのであるから、合成データのその成分の
値は任意でよい。但し、その成分は無効成分として管理
される。種類Ｓのデータと種類Ｐのデータに関する上記
の縮退演算の様子が図１２に示されている。尚、教師デ
ータに関しても、入力データと同様な構成のデータの種
類を示すデータと図７に示すものと同様な各成分が有効
成分か無効成分かを示すデータが、判別データとして、
ＲＡＭ３の判別データ記憶領域３３に記憶されている。
上記の教師データに関する（２０）式等の演算は、この
判別データを参照して実行される。教師データのデータ
項目の種類と、データの種類毎にどのデータ項目が使用
されているかが図１１に示されている。上記のデータの
合成（縮退）演算において、同一種類の２つのデータが
縮退される場合には、縮退により生成されたデータの種
類は、その２つのデータの種類と同一とされる。又、異
なる種類の２つのデータが縮退される場合には、縮退に
より生成されたデータの種類は、その２種類のデータの
縮退によって生じたデータの種類となる。この縮退した
データの種類を示すデータは、判別データ記憶領域３３
に記憶され、このデータが後の縮退演算で抽出される時
に参照される。
【００３６】次に、ステップ３１４において、カウンタ
値Ｃa とＣb が加算されて、合成入力データ及び合成教
師データＤh,Ｅh に対する合成カウンタ値Ｃh が求めら
れる。次に、ステップ３１６において、図 6の(c) に示
すように、入力データ群（Ｄ1,…，Ｄn,Ｄn+1 ）におい
て、入力データ（Ｄa,Ｄb ）が削除され、加重平均によ
り合成された合成入力データＤh が追加される。同様
に、教師データ群（Ｅ1,…，Ｅn,Ｅn+1 ）において、教
師データ（Ｅa,Ｅb ）が削除され、加重平均により合成
された合成教師データＥh が追加される。又、その合成
入力データ及び合成教師データＤh,Ｅh に対応するカウ
ンタ値は合成カウンタ値Ｃh とされる。
値Ｃa とＣb が加算されて、合成入力データ及び合成教
師データＤh,Ｅh に対する合成カウンタ値Ｃh が求めら
れる。次に、ステップ３１６において、図 6の(c) に示
すように、入力データ群（Ｄ1,…，Ｄn,Ｄn+1 ）におい
て、入力データ（Ｄa,Ｄb ）が削除され、加重平均によ
り合成された合成入力データＤh が追加される。同様
に、教師データ群（Ｅ1,…，Ｅn,Ｅn+1 ）において、教
師データ（Ｅa,Ｅb ）が削除され、加重平均により合成
された合成教師データＥh が追加される。又、その合成
入力データ及び合成教師データＤh,Ｅh に対応するカウ
ンタ値は合成カウンタ値Ｃh とされる。
【００３７】このようなデータベースの更新の結果、入
力データ数と教師データ数はｎ個であり、新しい入力デ
ータＤn+1 と新しい教師データＥn+1 が加わっても、デ
ータベースの大きさは変化しない。即ち、２つの入力デ
ータ（Ｄa,Ｄb ）は合成入力データＤhに縮退し、２つ
の教師データ（Ｅa,Ｅb ）は合成教師データＥh に縮退
したことになる。そして、カウタン値Ｃh は、それぞれ
の入力データＤa とＤb の現在までの縮退回数の和とな
る。例えば、２つの入力データが初めて縮退する場合に
は、合成入力データの縮退回数Ｃh は２となる。又、縮
退回数Ｃa が２の入力データと縮退回数Ｃb が３の入力
データが縮退すれば、合成入力データの縮退回数Ｃh は
５となる。
力データ数と教師データ数はｎ個であり、新しい入力デ
ータＤn+1 と新しい教師データＥn+1 が加わっても、デ
ータベースの大きさは変化しない。即ち、２つの入力デ
ータ（Ｄa,Ｄb ）は合成入力データＤhに縮退し、２つ
の教師データ（Ｅa,Ｅb ）は合成教師データＥh に縮退
したことになる。そして、カウタン値Ｃh は、それぞれ
の入力データＤa とＤb の現在までの縮退回数の和とな
る。例えば、２つの入力データが初めて縮退する場合に
は、合成入力データの縮退回数Ｃh は２となる。又、縮
退回数Ｃa が２の入力データと縮退回数Ｃb が３の入力
データが縮退すれば、合成入力データの縮退回数Ｃh は
５となる。
【００３８】このようにして、ニューラルネットワーク
の使用の過程において、入力データ及び教師データが新
規に何回発生しても、データベースに蓄積される入力デ
ータと教師データはｎ組を越えることがない。このデー
タベースに蓄積されたｎ組の入力データ群Ｄと教師デー
タ群Ｅとを用いて、上述した、図３のフローチャートに
従って、ニューラルネットワークの更新学習が実行され
る。
の使用の過程において、入力データ及び教師データが新
規に何回発生しても、データベースに蓄積される入力デ
ータと教師データはｎ組を越えることがない。このデー
タベースに蓄積されたｎ組の入力データ群Ｄと教師デー
タ群Ｅとを用いて、上述した、図３のフローチャートに
従って、ニューラルネットワークの更新学習が実行され
る。
【００３９】このように、ｎ個の入力データ及び教師デ
ータに１つの入力データ及び教師データが付け加えられ
る場合には、入力データにおいて最も類似度の高い２つ
の入力データの組と、その入力データの組に対応した教
師データの組が消去されて、１つの合成入力データ及び
合成教師データに縮退される。したがって、更新された
データベースのｎ個の入力データは、現段階で最も離散
的な入力データの集合となり、入力データ及び教師デー
タの数をｎ個に固定した状態で、ニューラルネットワー
クの幅広い入力事象に対する効果的な学習が可能とな
る。
ータに１つの入力データ及び教師データが付け加えられ
る場合には、入力データにおいて最も類似度の高い２つ
の入力データの組と、その入力データの組に対応した教
師データの組が消去されて、１つの合成入力データ及び
合成教師データに縮退される。したがって、更新された
データベースのｎ個の入力データは、現段階で最も離散
的な入力データの集合となり、入力データ及び教師デー
タの数をｎ個に固定した状態で、ニューラルネットワー
クの幅広い入力事象に対する効果的な学習が可能とな
る。
【００４０】又、合成入力データ及び合成教師データ
は、２つのデータを、それぞれのデータに関する縮退回
数で重み付けて加重平均して求めているので、縮退回数
の大きい入力データの成分が合成データの成分に大きく
反映される。即ち、ある入力データの現在の縮退回数
（カウント値）は、現段階までにおいて縮退されてしま
い、結局、その入力データに姿を代えてしまった入力デ
ータの数を表している。従って、縮退回数で重み付けて
加重平均をとることは、過去の縮退された入力データの
特性が全くデータベースから削除されるのではなく、頂
点に立つ合成入力データに反映されていることを意味し
ている。更に換言すれば、上記のように縮退処理による
ｎ組の入力データと教師データとを用いてニューラルネ
ットワークを学習させことは、新規に発生する入力デー
タ及び教師データを全て蓄積した入力データと教師デー
タで、ニューラルネットワークを学習させるのと、ほぼ
等価となる。又、データの類似度は、各成分の有効成分
だけを用いて行われているので、データ毎に使用されて
いる成分が異なっていても、正確な類似度が演算され
る。又、２つのデータの２成分から、縮退したデータの
１成分を演算する場合には、一方が無効成分の場合に
は、その無効成分の値を反映することなく、有効成分の
値のみを反映するようにしているので、生成されたデー
タは２つのデータをより正確に反映したものとなる。
は、２つのデータを、それぞれのデータに関する縮退回
数で重み付けて加重平均して求めているので、縮退回数
の大きい入力データの成分が合成データの成分に大きく
反映される。即ち、ある入力データの現在の縮退回数
（カウント値）は、現段階までにおいて縮退されてしま
い、結局、その入力データに姿を代えてしまった入力デ
ータの数を表している。従って、縮退回数で重み付けて
加重平均をとることは、過去の縮退された入力データの
特性が全くデータベースから削除されるのではなく、頂
点に立つ合成入力データに反映されていることを意味し
ている。更に換言すれば、上記のように縮退処理による
ｎ組の入力データと教師データとを用いてニューラルネ
ットワークを学習させことは、新規に発生する入力デー
タ及び教師データを全て蓄積した入力データと教師デー
タで、ニューラルネットワークを学習させるのと、ほぼ
等価となる。又、データの類似度は、各成分の有効成分
だけを用いて行われているので、データ毎に使用されて
いる成分が異なっていても、正確な類似度が演算され
る。又、２つのデータの２成分から、縮退したデータの
１成分を演算する場合には、一方が無効成分の場合に
は、その無効成分の値を反映することなく、有効成分の
値のみを反映するようにしているので、生成されたデー
タは２つのデータをより正確に反映したものとなる。
【００４１】尚、上記実施例においては、類似度Ｚpqを
入力データＤp と入力データＤq 間の距離で定義した
が、他に、クラスタリング手法で用いられている各種の
類似度を用いても良い。又、上記実施例では、縮退回数
を導入し、縮退回数を用いた加重平均により合成入力デ
ータ及び合成教師データを生成しているが、縮退回数を
導入せずに、相加平均により合成入力データ及び合成教
師データを生成するようにしても良い。又、上記の実施
例では、ｎ個のデータ組を記憶できる容量のデータベー
スから１組のデータを記憶できる空き領域を作成させる
ようにしている。しかし、更新学習に新規に使用される
入力データ及び教師データの組数が複数の場合には、入
力データ間の類似度の高い組から順に、必要な組数だけ
入力データ及び教師データを縮退させるようにしてもよ
い。又、上記実施例では、各入力データ、各教師データ
毎にデータの種類を示すデータを付加し、その種類毎に
有効成分と無効成分とを判別できるデータとを設けてい
る。しかし、各入力データ、各教師データの各成分の値
により、有効成分か無効成分かを区別するようにしても
良い。例えば、有効成分の値と混同を生じないような無
効成分に特定された値（４ビットデータであれば、「１
１１１」等の有効成分の値では使用されていない値）を
用いて判別しても良い。
入力データＤp と入力データＤq 間の距離で定義した
が、他に、クラスタリング手法で用いられている各種の
類似度を用いても良い。又、上記実施例では、縮退回数
を導入し、縮退回数を用いた加重平均により合成入力デ
ータ及び合成教師データを生成しているが、縮退回数を
導入せずに、相加平均により合成入力データ及び合成教
師データを生成するようにしても良い。又、上記の実施
例では、ｎ個のデータ組を記憶できる容量のデータベー
スから１組のデータを記憶できる空き領域を作成させる
ようにしている。しかし、更新学習に新規に使用される
入力データ及び教師データの組数が複数の場合には、入
力データ間の類似度の高い組から順に、必要な組数だけ
入力データ及び教師データを縮退させるようにしてもよ
い。又、上記実施例では、各入力データ、各教師データ
毎にデータの種類を示すデータを付加し、その種類毎に
有効成分と無効成分とを判別できるデータとを設けてい
る。しかし、各入力データ、各教師データの各成分の値
により、有効成分か無効成分かを区別するようにしても
良い。例えば、有効成分の値と混同を生じないような無
効成分に特定された値（４ビットデータであれば、「１
１１１」等の有効成分の値では使用されていない値）を
用いて判別しても良い。
【図１】本発明の具体的な実施例に係るニューラルネッ
トワークの構成を示した構成図。
トワークの構成を示した構成図。
【図２】同実施例に係るニューラルネットワークの演算
手順を示したフローチャート。
手順を示したフローチャート。
【図３】同実施例に係るニューラルネットワークの学習
手順を示したフローチャート。
手順を示したフローチャート。
【図４】同実施例に係るニューラルネットワークの更新
学習に用いられる入力データ及び教師データを有するデ
ータベースの更新手順を示したフローチャート。
学習に用いられる入力データ及び教師データを有するデ
ータベースの更新手順を示したフローチャート。
【図５】同実施例に係るニューラルネットワークの更新
学習に用いられるデータベースをデータ構成を示した構
成図。
学習に用いられるデータベースをデータ構成を示した構
成図。
【図６】同実施例に係るニューラルネットワークの更新
学習に用いられるデータベースの更新手順の概念を示し
た説明図。
学習に用いられるデータベースの更新手順の概念を示し
た説明図。
【図７】入力データの各成分が有効成分か無効成分かを
示す判別データを示した説明図。
示す判別データを示した説明図。
【図８】本発明の概念を示したブロック図。
【図９】実施例装置の構成を示したプログラム図。
【図１０】入力データのデータ項目を示した説明図。
【図１１】教師データのデータ項目を示した説明図。
【図１２】縮退演算によるデータの成分の変化を示した
説明図。
説明図。
１０…ニューラルネットワーク ＬI …入力層 ＬM …中間層 Ｌo …出力層
───────────────────────────────────────────────────── フロントページの続き (72)発明者 服部 志保 愛知県刈谷市朝日町１丁目１番地 豊田工 機株式会社内
Claims (1)
- 【特許請求の範囲】 【請求項１】 ニューラルネットワークの入力層の素子
数に対応した数の成分を有する入力データと、その入力
データに対応しニューラルネットワークの出力層の素子
数に対応した数の成分を有する教師データとを、ニュー
ラルネットワークの使用に際して、順次、蓄積する装置
であって、蓄積データの追加に際して、ある蓄積データ
を消滅させて、蓄積データの数が所定数を越えないよう
に、前記入力データ及び前記教師データを蓄積するニュ
ーラルネットワークの学習データ記憶装置において、 前記入力データ及び前記教師データを所定数だけ記憶で
きるデータ記憶手段と、 前記入力データ及び前記教師データの各成分が、使用さ
れている有効成分か、使用されていない無効成分かを判
別できる判別データを記憶した判別データ記憶手段と、 前記入力データの中から任意に選択された２つの入力デ
ータで構成される組の全てに対して、その２つの入力デ
ータが相互に類似している程度を表す類似度を、前記判
別データ記憶手段に記憶されている前記判別データに基
づいて判別された、前記２つの入力データの各成分のう
ち有効成分のみから演算する類似度演算手段と、 前記データベースの更新時に、前記類似度の最も高い組
の２つの入力データの各成分を１つの入力データの各成
分に縮退させるに際し、２つの入力データの各成分が有
効成分か無効成分かを前記判別データ記憶手段に記憶さ
れた前記判別データに基づいて判別し、両データの成分
が共に有効成分の場合には両有効成分に基づく所定の演
算により縮退した入力データの有効成分を求め、両デー
タの一方の成分が無効成分である場合には他方の有効成
分を縮退した入力データの有効成分とし、両データの成
分が共に無効成分である場合には、縮退した入力データ
の成分を無効成分として縮退した入力データを生成し、
その縮退した入力データに関する前記判別データを前記
判別データ記憶手段に記憶する入力データ縮退手段と、 縮退される前記２つの入力データに対応する２つの教師
データの各成分を１つの教師データの各成分に縮退させ
るに際し、２つの教師データの各成分が有効成分か無効
成分かを前記判別データ記憶手段に記憶された前記判別
データに基づいて判別し、両データの成分が共に有効成
分の場合には両有効成分に基づく所定の演算により縮退
した教師データの有効成分を求め、両データの一方の成
分が無効成分である場合には他方の有効成分を縮退した
教師データの有効成分とし、両データの成分が共に無効
成分である場合には、縮退した教師データの成分を無効
成分として縮退した教師データを生成し、その縮退した
教師データに関する前記判別データを前記判別データ記
憶手段に記憶する教師データ縮退手段と、を有すること
を特徴とする学習データ記憶装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21593891A JP3232595B2 (ja) | 1991-07-31 | 1991-07-31 | ニューラルネットワークの学習データ記憶装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21593891A JP3232595B2 (ja) | 1991-07-31 | 1991-07-31 | ニューラルネットワークの学習データ記憶装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0535711A true JPH0535711A (ja) | 1993-02-12 |
| JP3232595B2 JP3232595B2 (ja) | 2001-11-26 |
Family
ID=16680749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21593891A Expired - Fee Related JP3232595B2 (ja) | 1991-07-31 | 1991-07-31 | ニューラルネットワークの学習データ記憶装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3232595B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018005739A (ja) * | 2016-07-06 | 2018-01-11 | 株式会社デンソー | ニューラルネットワークの強化学習方法及び強化学習装置 |
| JP2018151876A (ja) * | 2017-03-13 | 2018-09-27 | 株式会社日立製作所 | 機械学習に使用される経験を格納する経験データベースを更新する方法 |
-
1991
- 1991-07-31 JP JP21593891A patent/JP3232595B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018005739A (ja) * | 2016-07-06 | 2018-01-11 | 株式会社デンソー | ニューラルネットワークの強化学習方法及び強化学習装置 |
| JP2018151876A (ja) * | 2017-03-13 | 2018-09-27 | 株式会社日立製作所 | 機械学習に使用される経験を格納する経験データベースを更新する方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3232595B2 (ja) | 2001-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kang | An investigation of the use of feedforward neural networks for forecasting | |
| Castillo et al. | Some applications of functional networks in statistics and engineering | |
| Lee et al. | A fuzzy cognitive map‐based bi‐directional inference mechanism: an application to stock investment analysis | |
| Rashno et al. | Effective pixel classification of mars images based on ant colony optimization feature selection and extreme learning machine | |
| Pearl et al. | A statistical semantics for causation | |
| Arteaga et al. | Universal approximation by radial basis function networks of Delsarte translates | |
| Lee et al. | Maximum causal tsallis entropy imitation learning | |
| Semmouri et al. | Discounted Markov decision processes with fuzzy costs | |
| Rakotonirainy | A machine learning approach for automated strip packing algorithm selection. | |
| Huang | Normalization Techniques in Deep Learning | |
| JPH0535711A (ja) | ニユーラルネツトワークの学習データ記憶装置 | |
| Aldave et al. | Systematic ensemble learning for regression | |
| JPH0561849A (ja) | ニユーラルネツトワークの入出力特性検出装置 | |
| Starke et al. | Dynamical system approaches to combinatorial optimization | |
| Srivastava et al. | Retrieving the missing data from incomplete soft set, incomplete fuzzy soft set and incomplete intuitionistic fuzzy soft set | |
| JP2606952B2 (ja) | 鉄鋼製品の製造可否判定装置 | |
| Yen et al. | Simplification of fuzzy rule based systems using orthogonal transformation | |
| Robinson et al. | Application of Jacobian & Sor Iteration process in Intuitionistic Fuzzy MAGDM Problems | |
| Kosmatopoulos et al. | The Boltzmann g-RHONN: a learning machine for estimating unknown probability distributions | |
| JPH0581230A (ja) | ニユーラルネツトワークの学習装置 | |
| JP3236635B2 (ja) | ニューラルネットワークの学習方法 | |
| Srivastava et al. | Retrieving the missing data from different incomplete soft sets | |
| JP2877413B2 (ja) | 余剰ニューロン決定処理方式 | |
| Brown et al. | Effects of finite sample size and correlated/noisy input features on neural network pattern classification | |
| Zhang et al. | Evolutionary Extreme Learning Machine Weighted Fuzzy-Rough Nearest-Neighbour Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070921 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080921 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090921 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |