JPH064692A - ニューラルネットワークの学習方式 - Google Patents
ニューラルネットワークの学習方式Info
- Publication number
- JPH064692A JPH064692A JP4165023A JP16502392A JPH064692A JP H064692 A JPH064692 A JP H064692A JP 4165023 A JP4165023 A JP 4165023A JP 16502392 A JP16502392 A JP 16502392A JP H064692 A JPH064692 A JP H064692A
- Authority
- JP
- Japan
- Prior art keywords
- error
- neural network
- learning
- output
- sample data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【目的】 本発明の目的は、過剰学習を回避して分類精
度を向上させ、ニューラルネットワークの出力値の二乗
誤差と結合荷重の初期設定値からのずれの割合を結合荷
重毎に設定することなく、学習することができるニュー
ラルネットワークの学習方式を提供することである。 【構成】 本発明は、第１の出力誤差１５を算出する第
１の誤差算出手段１１と、第２の誤差算出手段１２と、
第１の誤差１５及び第２の誤差１６を加え合わせる比率
を決定する誤差比率算出手段１３と、第１の出力誤差１
５と第２の出力誤差１６を決定された比率で加え合わせ
た和が減少するように結合荷重及びバイアス値を調整す
る結合荷重調整手段１４とを含む学習手段１０を有す
る。
度を向上させ、ニューラルネットワークの出力値の二乗
誤差と結合荷重の初期設定値からのずれの割合を結合荷
重毎に設定することなく、学習することができるニュー
ラルネットワークの学習方式を提供することである。 【構成】 本発明は、第１の出力誤差１５を算出する第
１の誤差算出手段１１と、第２の誤差算出手段１２と、
第１の誤差１５及び第２の誤差１６を加え合わせる比率
を決定する誤差比率算出手段１３と、第１の出力誤差１
５と第２の出力誤差１６を決定された比率で加え合わせ
た和が減少するように結合荷重及びバイアス値を調整す
る結合荷重調整手段１４とを含む学習手段１０を有す
る。
Description
【０００１】
【産業上の利用分野】本発明は、データの分類処理を行
うニューラルネットワークの学習方式に係り、特に、既
知である概略の分類規則と学習サンプルデータからの学
習を併用して、分類精度の高いニューラルネットワーク
を構成することが可能なニューラルネットワークの学習
方式に関する。
うニューラルネットワークの学習方式に係り、特に、既
知である概略の分類規則と学習サンプルデータからの学
習を併用して、分類精度の高いニューラルネットワーク
を構成することが可能なニューラルネットワークの学習
方式に関する。
【０００２】
【従来の技術】従来より、データの分類処理を目的に多
層構造型ニューラルネットワークが用いられている。図
４は多層構造型ニューラルネットワークの構成を示す。
同図において、ニューラルネットワークは分類対象デー
タの特徴量ｘ1 〜ｘ4 を入力する入力層１０１、分類結
果Ｏ31，Ｏ32を出力する出力層１０２、さらに、入力層
１０１と出力層１０２の間には、１層乃至それ以上の層
により構成される中間層１０３により構成される。各層
のユニットの入力は、その前段の層の各々のユニットの
出力に結合されている。各々のユニットの出力は以下の
式に従って決定される。
層構造型ニューラルネットワークが用いられている。図
４は多層構造型ニューラルネットワークの構成を示す。
同図において、ニューラルネットワークは分類対象デー
タの特徴量ｘ1 〜ｘ4 を入力する入力層１０１、分類結
果Ｏ31，Ｏ32を出力する出力層１０２、さらに、入力層
１０１と出力層１０２の間には、１層乃至それ以上の層
により構成される中間層１０３により構成される。各層
のユニットの入力は、その前段の層の各々のユニットの
出力に結合されている。各々のユニットの出力は以下の
式に従って決定される。
【数１】 ここで、ｏkjはｋ層（ｋ≧１、ｋ＝１が入力層）のｊ番
目のユニットの出力値、ｗkij はｋ−１層のｉ番目のユ
ニットからｋ層のｊ番目のユニットへの結合荷重、Ｎ
(k-1) はｋ−１層のユニットの総数である。但し、ｗ
koj はｋ層のｊ番目のユニットにバイアスを与えるため
の結合荷重で、ｋ−１層の出力値ｏ(k-1)0は常に１とす
る。また、入力層（ｋ＝１）の各ユニットは入力された
特徴量ｘj をそのまま出力する。
目のユニットの出力値、ｗkij はｋ−１層のｉ番目のユ
ニットからｋ層のｊ番目のユニットへの結合荷重、Ｎ
(k-1) はｋ−１層のユニットの総数である。但し、ｗ
koj はｋ層のｊ番目のユニットにバイアスを与えるため
の結合荷重で、ｋ−１層の出力値ｏ(k-1)0は常に１とす
る。また、入力層（ｋ＝１）の各ユニットは入力された
特徴量ｘj をそのまま出力する。
【０００３】このようなニューラルネットワークにデー
タの分類を行わせるためには、入力層ユニットに分類対
象データの特徴量を与えた時に、そのデータの属する分
類カテゴリに対応する出力層ユニットのみが高い値を出
力し、他の出力層ユニットが低い値を出力するように、
上記の各ユニット間の結合荷重及びバイアス値を設定す
る必要がある。
タの分類を行わせるためには、入力層ユニットに分類対
象データの特徴量を与えた時に、そのデータの属する分
類カテゴリに対応する出力層ユニットのみが高い値を出
力し、他の出力層ユニットが低い値を出力するように、
上記の各ユニット間の結合荷重及びバイアス値を設定す
る必要がある。
【０００４】このために、従来の第１の方法として、結
合荷重及びバイアス値をランダムな値に初期設定してお
き、分類結果が既知である学習サンプルデータの特徴量
を入力したときの実際の出力値と，学習サンプルデータ
の正しい分類を与える出力値（以下、教師信号と呼ぶ）
の誤差が減少するように結合荷重及びバイアス値を微少
量ずつ繰り返し調整する逆誤差伝搬学習方式が知られて
いる。
合荷重及びバイアス値をランダムな値に初期設定してお
き、分類結果が既知である学習サンプルデータの特徴量
を入力したときの実際の出力値と，学習サンプルデータ
の正しい分類を与える出力値（以下、教師信号と呼ぶ）
の誤差が減少するように結合荷重及びバイアス値を微少
量ずつ繰り返し調整する逆誤差伝搬学習方式が知られて
いる。
【０００５】図５は従来の第１の方法を説明するための
図を示す。同図において、学習前のニューラルネットワ
ーク２０１−１に対して学習手段２０３を用いて学習
し、学習後のニューラルネットワーク２０１−２を得
る。学習手段２０３は、ニューラルネットワークに学習
サンプルデータ２０２の特徴量を入力したときの実際の
出力値と教師信号との誤差を算出する誤差算出手段２０
３−１と、その誤差が減少するように逆誤差伝搬学習方
式を用いて結合荷重及びバイアス値を微少量ずつ調整す
る結合荷重調整手段２０３−２を有する。
図を示す。同図において、学習前のニューラルネットワ
ーク２０１−１に対して学習手段２０３を用いて学習
し、学習後のニューラルネットワーク２０１−２を得
る。学習手段２０３は、ニューラルネットワークに学習
サンプルデータ２０２の特徴量を入力したときの実際の
出力値と教師信号との誤差を算出する誤差算出手段２０
３−１と、その誤差が減少するように逆誤差伝搬学習方
式を用いて結合荷重及びバイアス値を微少量ずつ調整す
る結合荷重調整手段２０３−２を有する。
【０００６】図５における学習手段２０３の動作につい
て説明する。誤差算出手段２０３−１はニューラルネッ
トワークの入力層１０１に学習サンプルデータ２０２の
特徴量を入力した時のニューラルネットワークの出力値
と教師信号の二乗誤差
て説明する。誤差算出手段２０３−１はニューラルネッ
トワークの入力層１０１に学習サンプルデータ２０２の
特徴量を入力した時のニューラルネットワークの出力値
と教師信号の二乗誤差
【数２】 を算出する。ここで、Ｋは出力層１０２の層番号、すな
わちニューラルネットワークの全層数である。また、ｙ
j は出力層１０２のｊ番目のユニットに対する当該学習
サンプルの教師信号である。
わちニューラルネットワークの全層数である。また、ｙ
j は出力層１０２のｊ番目のユニットに対する当該学習
サンプルの教師信号である。
【０００７】次に、結合荷重調整手段２０３−２は算出
された誤差が減少するように、ニューラルネットワーク
の結合荷重及びバイアス値ｗkij を，以下の式に従って
微少量調整する。 δkij D ＝−ηｄkj D ｏ(k-1)i (5) ここで、δkij D は結合荷重乃至バイアス値ｗkij の調
整量、ηは一回の繰り返しの調整量の大きさを決めるパ
ラメータである。
された誤差が減少するように、ニューラルネットワーク
の結合荷重及びバイアス値ｗkij を，以下の式に従って
微少量調整する。 δkij D ＝−ηｄkj D ｏ(k-1)i (5) ここで、δkij D は結合荷重乃至バイアス値ｗkij の調
整量、ηは一回の繰り返しの調整量の大きさを決めるパ
ラメータである。
【０００８】調整量ｄkj D はｋ層が出力層（ｋ＝Ｋ）の
時、以下の式で算出される。
時、以下の式で算出される。
【数３】 ここで、ｅj D は式(4) に従って誤差算出手段２０３−
１で算出された出力誤差である。ｋ層が中間層の時は、
調整量ｄkj D は以下の式で与えられる。
１で算出された出力誤差である。ｋ層が中間層の時は、
調整量ｄkj D は以下の式で与えられる。
【数４】 以上の誤差算出手段２０３−１による誤差算出と結合荷
重調整手段２０３−２による結合荷重及びバイアス値の
調整を学習サンプルを繰り返し与えて実行し、二乗誤差
ＥD が一定値以下になったとき学習を終了する。
重調整手段２０３−２による結合荷重及びバイアス値の
調整を学習サンプルを繰り返し与えて実行し、二乗誤差
ＥD が一定値以下になったとき学習を終了する。
【０００９】次に、従来の第２の方法について説明す
る。第２の方法（特願平３−１８０）「ニューラルネッ
トワークの学習方式」は、概ね正しいと考えられるデー
タ分類記憶が既知である時に、この分類規則と等価な分
類機能を有するように、ニューラルネットワークの結合
荷重及びバイアス値を初期設定し、その後学習サンプル
データを用いて教師信号に対する出力誤差と結合荷重の
初期設定値からのずれの和が減少するように結合荷重及
びバイアス値を調整する方式である。
る。第２の方法（特願平３−１８０）「ニューラルネッ
トワークの学習方式」は、概ね正しいと考えられるデー
タ分類記憶が既知である時に、この分類規則と等価な分
類機能を有するように、ニューラルネットワークの結合
荷重及びバイアス値を初期設定し、その後学習サンプル
データを用いて教師信号に対する出力誤差と結合荷重の
初期設定値からのずれの和が減少するように結合荷重及
びバイアス値を調整する方式である。
【００１０】図６は従来の第２の方法を説明するための
図を示す。同図において、既知の事例データ分類規則３
０１は、論理演算変換手段３０２により論理演算式に変
換され、結合荷重設定手段３０３に送出される。結合荷
重設定手段３０３は、得られた論理演算式と等価な動作
を行うようにニューラルネットワークの構造及び結合荷
重を設定する。学習手段２０３は、結合荷重設定手段３
０３から得られるニューラルネットワークに対して学習
サンプルデータの特徴量を入力したときの出力値と、教
師信号との誤差に結合荷重の初期設定値からのずれを加
えた和が減少するように結合荷重及びバイアス値を微少
量ずつ繰り返し調整する。
図を示す。同図において、既知の事例データ分類規則３
０１は、論理演算変換手段３０２により論理演算式に変
換され、結合荷重設定手段３０３に送出される。結合荷
重設定手段３０３は、得られた論理演算式と等価な動作
を行うようにニューラルネットワークの構造及び結合荷
重を設定する。学習手段２０３は、結合荷重設定手段３
０３から得られるニューラルネットワークに対して学習
サンプルデータの特徴量を入力したときの出力値と、教
師信号との誤差に結合荷重の初期設定値からのずれを加
えた和が減少するように結合荷重及びバイアス値を微少
量ずつ繰り返し調整する。
【００１１】次に、上記の第２の方法の各手段の動作に
ついて説明する。今、既知であるデータ分類記憶３０１
として以下の規則が与えられたとする。 ＩＦ （ｘ1 ＞ａ1 ）ａｎｄ（ｘ2 ＞ａ2 ）ＴＨＥＮ ｙ (8) ＩＦ （ｘ3 ＞ａ3 ）ａｎｄ（ｘ4 ＜ａ4 ）ＴＨＥＮ ｙ (9) 最初の式は「分類対象データの特徴量ｘ1 が定数がａ1
より大きく、かつｘ2がａ2 より大きければ分類対象デ
ータはカテゴリｙに属する」ことを意味しており、二番
目の式は「特徴量ｘ3 がａ3 より大きく、かつｘ4 がａ
4 より小さければ分類対象データはカテゴリｙに属す
る」ことを意味している。これらの式から論理演算変換
手段３０２は、「（ｘ1 がａ1 より大きく、かつｘ2 が
ａ2 より大きい、または、（ｘ3 がａ3 より大きく、か
つｘ4 がａ4 より小さい）ならば、ｙが真」を意味する
以下の論理演算式を生成する。但し、「＊」は論理積、
「＋」は論理和、「¬」は論理否定を表す。 ｙ＝（ｘ1 ＞ａ1 ）＊（ｘ2 ＞ａ2 ）＋（ｘ3 ＞ａ3 ）＊¬（ｘ4 ＞ａ4 ） (10) 次に、結合荷重設定手段３０３の動作について説明す
る。
ついて説明する。今、既知であるデータ分類記憶３０１
として以下の規則が与えられたとする。 ＩＦ （ｘ1 ＞ａ1 ）ａｎｄ（ｘ2 ＞ａ2 ）ＴＨＥＮ ｙ (8) ＩＦ （ｘ3 ＞ａ3 ）ａｎｄ（ｘ4 ＜ａ4 ）ＴＨＥＮ ｙ (9) 最初の式は「分類対象データの特徴量ｘ1 が定数がａ1
より大きく、かつｘ2がａ2 より大きければ分類対象デ
ータはカテゴリｙに属する」ことを意味しており、二番
目の式は「特徴量ｘ3 がａ3 より大きく、かつｘ4 がａ
4 より小さければ分類対象データはカテゴリｙに属す
る」ことを意味している。これらの式から論理演算変換
手段３０２は、「（ｘ1 がａ1 より大きく、かつｘ2 が
ａ2 より大きい、または、（ｘ3 がａ3 より大きく、か
つｘ4 がａ4 より小さい）ならば、ｙが真」を意味する
以下の論理演算式を生成する。但し、「＊」は論理積、
「＋」は論理和、「¬」は論理否定を表す。 ｙ＝（ｘ1 ＞ａ1 ）＊（ｘ2 ＞ａ2 ）＋（ｘ3 ＞ａ3 ）＊¬（ｘ4 ＞ａ4 ） (10) 次に、結合荷重設定手段３０３の動作について説明す
る。
【００１２】図７は、従来の第２の方法の結合荷重設定
手段の動作を示す。同図において、結合荷重設定手段３
０３は、論理演算変換手段３０２から与えられる論理演
算式４０１に従って、ニューラルネットワーク４０２の
結合構成及び結合荷重を決定する。ニューラルネットワ
ーク４０２の結合構成は、同図のニューラルネットワー
ク４０２の各ユニットに示すように、論理演算式４０１
の右辺に現れる変数毎に、１つの入力層ユニットを変数
と定数の比較項毎に、一つの第１の中間層ユニットを乗
法項毎に一つの第２中間層ユニットを割り当て、出力層
で全乗法項の加法を実現する様に行う。
手段の動作を示す。同図において、結合荷重設定手段３
０３は、論理演算変換手段３０２から与えられる論理演
算式４０１に従って、ニューラルネットワーク４０２の
結合構成及び結合荷重を決定する。ニューラルネットワ
ーク４０２の結合構成は、同図のニューラルネットワー
ク４０２の各ユニットに示すように、論理演算式４０１
の右辺に現れる変数毎に、１つの入力層ユニットを変数
と定数の比較項毎に、一つの第１の中間層ユニットを乗
法項毎に一つの第２中間層ユニットを割り当て、出力層
で全乗法項の加法を実現する様に行う。
【００１３】結合荷重ｗの決定方法は、特願平２−１８
５５７０号「ニューラルネットワークの学習方式」に詳
細に記載されている。以下に結合荷重を決定するための
計算式を示す。 １．加法ユニット（出力層） ｎ−入力加法ユニットを考える。入力信号Ｉi （１≦ｉ
≦ｎ）が−１≦Ｉi ≦−ｄの場合「偽」、ｄ≦Ｉi ≦１
の場合「真」とする。出力信号ｏが、−１≦ｏ≦−ｄ’
の場合「偽」、ｄ’≦ｏ≦１の場合「真」とする。以上
の条件で、加法機能を実現するには、結合荷重ｗi （１
≦ｉ≦ｎ）とバイアスｗ0 を以下のように設定する。
５５７０号「ニューラルネットワークの学習方式」に詳
細に記載されている。以下に結合荷重を決定するための
計算式を示す。 １．加法ユニット（出力層） ｎ−入力加法ユニットを考える。入力信号Ｉi （１≦ｉ
≦ｎ）が−１≦Ｉi ≦−ｄの場合「偽」、ｄ≦Ｉi ≦１
の場合「真」とする。出力信号ｏが、−１≦ｏ≦−ｄ’
の場合「偽」、ｄ’≦ｏ≦１の場合「真」とする。以上
の条件で、加法機能を実現するには、結合荷重ｗi （１
≦ｉ≦ｎ）とバイアスｗ0 を以下のように設定する。
【数５】 但し、入力が否定項（ｙ＝ａ＋¬ｂのｂ）である場合
は、ｗi ＝−ｗとする。また、ｄは、ｄ＞（ｎ−１）／
（ｎ＋１）という条件を満たす必要がある。
は、ｗi ＝−ｗとする。また、ｄは、ｄ＞（ｎ−１）／
（ｎ＋１）という条件を満たす必要がある。
【００１４】２．乗法ユニット（第２中間層） ｎ，ｄ，ｄ’を加法の場合と同様に定義する。乗法機能
を実現するには、結合荷重ｗi （１≦ｉ≦ｎ）とバイア
スｗ0 を以下のように設定する。
を実現するには、結合荷重ｗi （１≦ｉ≦ｎ）とバイア
スｗ0 を以下のように設定する。
【数６】 但し、入力が否定項（ｙ＝ａ＊¬ｂのｂ）である場合
は、ｗi ＝−ｗとする。また、ｄは、ｄ＞（ｎ−１）／
（ｎ＋１）という条件を満たす必要がある。
は、ｗi ＝−ｗとする。また、ｄは、ｄ＞（ｎ−１）／
（ｎ＋１）という条件を満たす必要がある。
【００１５】３．比較ユニット（第１中間層） 入力Ｉが定数Ａより大きい時に、「真」を出力するユニ
ットの結合荷重ｗ1 とバイアスｗ0 の関係は以下のよう
に設定する。 ｗ0 ＝−ｗ1 Ａ (15) なお、ユニット及びユニット間の結合として論理式に対
応しない余分のものがあってもよく、これらの結合は上
で決定した結合荷重よりも絶対値の十分小さいランダム
な値に設定される。
ットの結合荷重ｗ1 とバイアスｗ0 の関係は以下のよう
に設定する。 ｗ0 ＝−ｗ1 Ａ (15) なお、ユニット及びユニット間の結合として論理式に対
応しない余分のものがあってもよく、これらの結合は上
で決定した結合荷重よりも絶対値の十分小さいランダム
な値に設定される。
【００１６】次に、従来の第２の方法の学習手段２０３
の動作について説明する。図６において、荷重散差分算
出手段２０３−３は、結合荷重の初期設定値との差分を
算出する。その他の誤差算出手段２０３−１及び結合荷
重調整手段２０３−２については、従来の第１の方法と
同様である。
の動作について説明する。図６において、荷重散差分算
出手段２０３−３は、結合荷重の初期設定値との差分を
算出する。その他の誤差算出手段２０３−１及び結合荷
重調整手段２０３−２については、従来の第１の方法と
同様である。
【００１７】学習手段２０３は、前段の結合荷重設定手
段３０３によって初期設定されたニューラルネットワー
クについて、以下の式で示されるニューラルネットワー
クに対して、学習サンプルデータの特徴量を入力したと
きの出力値と教師信号との誤差に結合荷重の初期設定値
からのずれを加えた和である評価関数ＥDWを減少させる
ように結合荷重の値を変化させる。
段３０３によって初期設定されたニューラルネットワー
クについて、以下の式で示されるニューラルネットワー
クに対して、学習サンプルデータの特徴量を入力したと
きの出力値と教師信号との誤差に結合荷重の初期設定値
からのずれを加えた和である評価関数ＥDWを減少させる
ように結合荷重の値を変化させる。
【数７】 ここで、式(16)、(17)の右辺第一項ＥD は、(3）式に示
した学習サンプルデータの特徴量を入力した時のニュー
ラルネットワークの出力値と教師信号との二乗誤差であ
る。また、式(16)の第二項ＥW 及び式(17)の第二項は結
合荷重の初期設定値からのずれを表す項である。即ち、
学習手段２０３はニューラルネットワークの出力値の二
乗誤差と結合荷重の初期設定値からのずれの和が減少す
るように結合荷重を調整する。式(17)の第二項におい
て、Ｗkij は結合荷重ｗkij の初期設定値である。式(1
7)におけるｆ（ｘ，ｙ）の形式は、ｘとｙの差が増加す
ると増加する関数で、例えば、（ｘ−ｙ）2 である。ε
kij は評価関数ＥDWに対する各結合荷重の差分の寄与の
大きさを決めるパラメータである。
した学習サンプルデータの特徴量を入力した時のニュー
ラルネットワークの出力値と教師信号との二乗誤差であ
る。また、式(16)の第二項ＥW 及び式(17)の第二項は結
合荷重の初期設定値からのずれを表す項である。即ち、
学習手段２０３はニューラルネットワークの出力値の二
乗誤差と結合荷重の初期設定値からのずれの和が減少す
るように結合荷重を調整する。式(17)の第二項におい
て、Ｗkij は結合荷重ｗkij の初期設定値である。式(1
7)におけるｆ（ｘ，ｙ）の形式は、ｘとｙの差が増加す
ると増加する関数で、例えば、（ｘ−ｙ）2 である。ε
kij は評価関数ＥDWに対する各結合荷重の差分の寄与の
大きさを決めるパラメータである。
【００１８】上記の評価関数ＥDWを減少させるための結
合荷重ｗkij の変化量δkij DWは以下の式で与えられ
る。
合荷重ｗkij の変化量δkij DWは以下の式で与えられ
る。
【数８】 ここで、δkij D は、式(5) で算出される通常の逆誤差
伝搬学習における結合荷重の調整量である。式(18)、(1
9)及び(20)により、例えば、 ｆ（ｘ，ｙ）＝（ｘ−ｙ）2 としたときは、変化量δkij DWは、 δkij DW＝δkij D −２ηεkij ｗkij （ｗkij −Ｗkij ） (21) となる。
伝搬学習における結合荷重の調整量である。式(18)、(1
9)及び(20)により、例えば、 ｆ（ｘ，ｙ）＝（ｘ−ｙ）2 としたときは、変化量δkij DWは、 δkij DW＝δkij D −２ηεkij ｗkij （ｗkij −Ｗkij ） (21) となる。
【００１９】学習手段２０３は、上記の動作原理に従っ
て動作する。以下ｆ（ｘ，ｙ）＝（ｘ−ｙ）2 とした場
合、すなわち、(21)式に従って結合荷重の調整を行う場
合について説明する。
て動作する。以下ｆ（ｘ，ｙ）＝（ｘ−ｙ）2 とした場
合、すなわち、(21)式に従って結合荷重の調整を行う場
合について説明する。
【００２０】誤差算出手段２０３−１は、ニューラルネ
ットワークの入力層に学習サンプルデータの特徴量を入
力した時のニューラルネットワークの出力値と教師信号
の誤差を通常の逆誤差伝搬学習の場合と同様に式(3) 及
び式(4) に従って算出する。
ットワークの入力層に学習サンプルデータの特徴量を入
力した時のニューラルネットワークの出力値と教師信号
の誤差を通常の逆誤差伝搬学習の場合と同様に式(3) 及
び式(4) に従って算出する。
【００２１】また、荷重差分算出手段２０３−３は、結
合荷重の初期設定値Ｗkij を記憶しておき、現在の結合
荷重の値ｗkij を用いて式(21)の右辺第二項、即ち、 −２ηεkij ｗkij （ｗkij −Ｗkij ） を算出する。
合荷重の初期設定値Ｗkij を記憶しておき、現在の結合
荷重の値ｗkij を用いて式(21)の右辺第二項、即ち、 −２ηεkij ｗkij （ｗkij −Ｗkij ） を算出する。
【００２２】結合荷重調整手段２０３−２は、誤差算出
手段２０３−１で算出された出力誤差値を用いて、従来
の逆誤差伝搬法と同様に、式(21)式右辺第一項δkij D
を算出し、荷重差分算出手段２０３−３で算出された右
辺第二項と加え合わせて、結合荷重調整量δkij DWを算
出して結合荷重の調整を行う。
手段２０３−１で算出された出力誤差値を用いて、従来
の逆誤差伝搬法と同様に、式(21)式右辺第一項δkij D
を算出し、荷重差分算出手段２０３−３で算出された右
辺第二項と加え合わせて、結合荷重調整量δkij DWを算
出して結合荷重の調整を行う。
【００２３】以上の誤差算出手段２０３−１による誤差
算出、荷重差分算出手段２０３−３による結合荷重の初
期設定値からのずれの算出及び、結合荷重調整手段２０
３−２による結合荷重の調整を、学習サンプルを繰り返
し与えて実行し、評価関数Ｅ DWが一定値以下になったと
き学習を終了する。
算出、荷重差分算出手段２０３−３による結合荷重の初
期設定値からのずれの算出及び、結合荷重調整手段２０
３−２による結合荷重の調整を、学習サンプルを繰り返
し与えて実行し、評価関数Ｅ DWが一定値以下になったと
き学習を終了する。
【００２４】
【発明が解決しようとする課題】しかしながら、上記従
来の第１の方法は、逆誤差伝搬学習方式により、学習サ
ンプルデータに対するニューラルネットワークの実際の
出力値と教師信号の誤差が減少するように学習を行って
いる。このため、学習サンプルデータに対しては、学習
を繰り返すことによって、正しい分類結果を与えるニュ
ーラルネットワークを得ることができるが、学習サンプ
ルデータ以外の未知データを入力した時に正しい分類結
果が得られる保証はない。特に学習サンプルデータに偏
りがある場合や、学習サンプルデータの個数が十分でな
い場合には、ニューラルネットワークの分類機能が学習
サンプルデータのみの分類に特化される過剰学習が生じ
易く、この問題は顕著となる。
来の第１の方法は、逆誤差伝搬学習方式により、学習サ
ンプルデータに対するニューラルネットワークの実際の
出力値と教師信号の誤差が減少するように学習を行って
いる。このため、学習サンプルデータに対しては、学習
を繰り返すことによって、正しい分類結果を与えるニュ
ーラルネットワークを得ることができるが、学習サンプ
ルデータ以外の未知データを入力した時に正しい分類結
果が得られる保証はない。特に学習サンプルデータに偏
りがある場合や、学習サンプルデータの個数が十分でな
い場合には、ニューラルネットワークの分類機能が学習
サンプルデータのみの分類に特化される過剰学習が生じ
易く、この問題は顕著となる。
【００２５】また、従来の第２の方法は、既知である概
ね正しいと考えられる分類規則と等価な分類機能を有す
るようにニューラルネットワークの結合荷重を初期設定
しておき、これに対してさらに学習サンプルデータに対
する出力誤差と結合荷重の初期設定値からのずれの和が
減少するように学習を行っている。このため、初期に与
えた分類機能を極力保ったまま、学習サンプルに対する
誤差が減少するように学習が行われるので、従来の第１
の方法における過剰学習を回避して分類精度の向上を図
ることが可能となる。
ね正しいと考えられる分類規則と等価な分類機能を有す
るようにニューラルネットワークの結合荷重を初期設定
しておき、これに対してさらに学習サンプルデータに対
する出力誤差と結合荷重の初期設定値からのずれの和が
減少するように学習を行っている。このため、初期に与
えた分類機能を極力保ったまま、学習サンプルに対する
誤差が減少するように学習が行われるので、従来の第１
の方法における過剰学習を回避して分類精度の向上を図
ることが可能となる。
【００２６】しかし、学習の評価関数として式(17)に示
すようにニューラルネットワークの出力値の二乗誤差と
結合荷重の初期設定値からのずれという性質の異なる量
を加え合わせているため、両者を加え合わせる割合であ
るパラメータεkij の値を決定する根拠を与えることが
難しく、仮に既知の分類規則や学習サンプルデータの信
頼性を示す確信度が与えられていても、これを学習に反
映することができず、試行錯誤的にパラメータεkij の
値を変えて学習を繰り返す必要がある。さらに、パラメ
ータεkij はニューラルネットワークの結合毎に値を設
定する必要があり、その設定は非常に繁雑になるという
問題がある。
すようにニューラルネットワークの出力値の二乗誤差と
結合荷重の初期設定値からのずれという性質の異なる量
を加え合わせているため、両者を加え合わせる割合であ
るパラメータεkij の値を決定する根拠を与えることが
難しく、仮に既知の分類規則や学習サンプルデータの信
頼性を示す確信度が与えられていても、これを学習に反
映することができず、試行錯誤的にパラメータεkij の
値を変えて学習を繰り返す必要がある。さらに、パラメ
ータεkij はニューラルネットワークの結合毎に値を設
定する必要があり、その設定は非常に繁雑になるという
問題がある。
【００２７】本発明は、上記の点に鑑みなされたもの
で、過剰学習を回避して分類精度を向上させ、ニューラ
ルネットワークの出力値の二乗誤差と結合荷重の初期設
定値からのずれの割合を結合荷重毎に設定することな
く、学習することができるニューラルネットワークの学
習方式を提供することを目的とする。
で、過剰学習を回避して分類精度を向上させ、ニューラ
ルネットワークの出力値の二乗誤差と結合荷重の初期設
定値からのずれの割合を結合荷重毎に設定することな
く、学習することができるニューラルネットワークの学
習方式を提供することを目的とする。
【００２８】
【課題を解決するための手段】本発明は、分類対象デー
タの特徴量によって分類対象データ２４の分類を行う既
知の分類規則を論理演算式に変換する論理演算変換手段
と、論理演算式と等価の分類機能を有するように多層構
造型ニューラルネットワークの構造及び結合荷重及びバ
イアス値を初期設定する結合荷重設定手段と、ニューラ
ルネットワークを分類結果が既知となっている学習サン
プルデータを用いて学習させる学習手段とを有するニュ
ーラルネットワークの学習方式において、学習手段１０
が、学習サンプルデータの特徴量に対するニューラルネ
ットワークの現在の出力値２１と学習サンプルデータの
既知である分類結果を正しく与えるための出力値２２か
ら第１の出力誤差１５を算出する第１の誤差算出手段１
１と、学習サンプルデータ２４の特徴量に対する前記ニ
ューラルネットワークの現在の出力値２１とニューラル
ネットワークの初期設定時の出力値２３から第２の出力
誤差１６を算出する第２の誤差算出手段１２と、学習サ
ンプルデータ２４の特徴量に応じて第１の誤差算出手段
１１と第２の誤差算出手段１２によって算出された第１
の出力誤差１５及び第２の出力誤差１６を加え合わせる
比率を決定する誤差比率算出手段１３と、第１の出力誤
差１５と第２の出力誤差１６を誤差比率算出手段１３で
決定された比率で加え合わせた和が減少するようにニュ
ーラルネットワークの結合荷重及びバイアス値を調整す
る結合荷重調整手段１４とを含む。
タの特徴量によって分類対象データ２４の分類を行う既
知の分類規則を論理演算式に変換する論理演算変換手段
と、論理演算式と等価の分類機能を有するように多層構
造型ニューラルネットワークの構造及び結合荷重及びバ
イアス値を初期設定する結合荷重設定手段と、ニューラ
ルネットワークを分類結果が既知となっている学習サン
プルデータを用いて学習させる学習手段とを有するニュ
ーラルネットワークの学習方式において、学習手段１０
が、学習サンプルデータの特徴量に対するニューラルネ
ットワークの現在の出力値２１と学習サンプルデータの
既知である分類結果を正しく与えるための出力値２２か
ら第１の出力誤差１５を算出する第１の誤差算出手段１
１と、学習サンプルデータ２４の特徴量に対する前記ニ
ューラルネットワークの現在の出力値２１とニューラル
ネットワークの初期設定時の出力値２３から第２の出力
誤差１６を算出する第２の誤差算出手段１２と、学習サ
ンプルデータ２４の特徴量に応じて第１の誤差算出手段
１１と第２の誤差算出手段１２によって算出された第１
の出力誤差１５及び第２の出力誤差１６を加え合わせる
比率を決定する誤差比率算出手段１３と、第１の出力誤
差１５と第２の出力誤差１６を誤差比率算出手段１３で
決定された比率で加え合わせた和が減少するようにニュ
ーラルネットワークの結合荷重及びバイアス値を調整す
る結合荷重調整手段１４とを含む。
【００２９】
【作用】本発明のニューラルネットワークの学習方式
は、予め与えられた概ね正確であると考えられる分類規
則と等価の分類機能を有するように、初期設定されたニ
ューラルネットワークを学習サンプルデータを用いて調
整する際に、教師信号（学習サンプルデータの既知であ
る分類結果を正しく与える出力値２４）に対する第１の
誤差１５とニューラルネットワークの初期出力値２３に
対する第２の誤差１６を、学習サンプルデータ２４の入
力の特徴量に応じて決定された比率で加え合わせた和が
減少するようにニューラルネットワークの結合荷重を調
整する。これにより、初期に与えた分類機能を保ったま
ま、学習サンプルデータ２４に対しても誤差が減少する
ように、学習を行うことができるため、過剰学習が回避
され、さらに、ニューラルネットワークの出力値の二乗
誤差と結合荷重の初期設定値からのずれの割合を結合荷
重毎に設定する必要がない。
は、予め与えられた概ね正確であると考えられる分類規
則と等価の分類機能を有するように、初期設定されたニ
ューラルネットワークを学習サンプルデータを用いて調
整する際に、教師信号（学習サンプルデータの既知であ
る分類結果を正しく与える出力値２４）に対する第１の
誤差１５とニューラルネットワークの初期出力値２３に
対する第２の誤差１６を、学習サンプルデータ２４の入
力の特徴量に応じて決定された比率で加え合わせた和が
減少するようにニューラルネットワークの結合荷重を調
整する。これにより、初期に与えた分類機能を保ったま
ま、学習サンプルデータ２４に対しても誤差が減少する
ように、学習を行うことができるため、過剰学習が回避
され、さらに、ニューラルネットワークの出力値の二乗
誤差と結合荷重の初期設定値からのずれの割合を結合荷
重毎に設定する必要がない。
【００３０】
【実施例】以下、本発明の実施例を図面を用いて説明す
る。
る。
【００３１】図２は本発明の一実施例の構成を示す。同
図中、図６と同一構成部分には同質符号を付す。学習手
段２０３は、学習サンプルデータ２０２に対するニュー
ラルネットワークの出力値と分類結果が既知となった学
習サンプルデータの第１の誤差を算出する第１の誤差算
出手段２０３−１、学習サンプルデータ２０２に対する
ニューラルネットワークの出力値と初期設定されたニュ
ーラルネットワークの出力値との第２の誤差を算出する
第２の誤差算出手段２０３−４、第１の誤差と第２の誤
差を加え合わせる比率を学習サンプルデータ２０２の入
力特徴量に応じて決定する誤差比率算出手段２０３−５
及び、決定された比率に従って、第１の誤差と第２の誤
差を加え合わせた和が減少するようにニューラルネット
ワークの結合荷重及びバイアス値を微少量ずつ調整する
結合荷重調整手段２０３−２から構成される。学習手段
２０３以外は図６の構成と同様であるので、その説明は
省略する。
図中、図６と同一構成部分には同質符号を付す。学習手
段２０３は、学習サンプルデータ２０２に対するニュー
ラルネットワークの出力値と分類結果が既知となった学
習サンプルデータの第１の誤差を算出する第１の誤差算
出手段２０３−１、学習サンプルデータ２０２に対する
ニューラルネットワークの出力値と初期設定されたニュ
ーラルネットワークの出力値との第２の誤差を算出する
第２の誤差算出手段２０３−４、第１の誤差と第２の誤
差を加え合わせる比率を学習サンプルデータ２０２の入
力特徴量に応じて決定する誤差比率算出手段２０３−５
及び、決定された比率に従って、第１の誤差と第２の誤
差を加え合わせた和が減少するようにニューラルネット
ワークの結合荷重及びバイアス値を微少量ずつ調整する
結合荷重調整手段２０３−２から構成される。学習手段
２０３以外は図６の構成と同様であるので、その説明は
省略する。
【００３２】はじめに、学習手段２０３の動作原理につ
いて説明する。学習手段２０３は、結合荷重設定手段３
０３によって、初期設定されたニューラルネットワーク
については、以下の式で示される評価関数ＥDRを減少さ
せるように結合荷重の値を変化させる。
いて説明する。学習手段２０３は、結合荷重設定手段３
０３によって、初期設定されたニューラルネットワーク
については、以下の式で示される評価関数ＥDRを減少さ
せるように結合荷重の値を変化させる。
【数９】 式(22)において、ｅj D は式(4) に示した学習サンプル
データの特徴量を入力した時のニューラルネットワーク
の出力値ｏKjと教師信号ｙj の誤差である。
データの特徴量を入力した時のニューラルネットワーク
の出力値ｏKjと教師信号ｙj の誤差である。
【００３３】また、ｅj R は出力値ｏKjと、学習サンプ
ルデータ２０２の特徴量を結合荷重設定手段３０３によ
って初期設定されたニューラルネットワークに入力した
ときの出力値ＯKjとの誤差である。
ルデータ２０２の特徴量を結合荷重設定手段３０３によ
って初期設定されたニューラルネットワークに入力した
ときの出力値ＯKjとの誤差である。
【００３４】γj （ｘ）は、出力層のｊ番目のユニット
における、評価関数ＥDRに対する(ｅj D )2と（ｅj R )
2 の寄与の比率を決める学習サンプルデータ２０２の
特徴量ｘの関数で、０≦γj （ｘ）≦１である。ｘは学
習サンプルデータの特徴量ｘ 1 ，ｘ2 ，…，ｘn をまと
めてベクトルとして表したものである。
における、評価関数ＥDRに対する(ｅj D )2と（ｅj R )
2 の寄与の比率を決める学習サンプルデータ２０２の
特徴量ｘの関数で、０≦γj （ｘ）≦１である。ｘは学
習サンプルデータの特徴量ｘ 1 ，ｘ2 ，…，ｘn をまと
めてベクトルとして表したものである。
【００３５】γj （ｘ）は、以下に述べるニューラルネ
ットワークの学習において、初期に与えた既知の事例デ
ータ分類規則３０１と学習サンプルデータ２０２のいず
れに重きをおいて学習を進めるかを決定する比率であ
る。例えば、分類規則３０１がかなり信頼できる場合に
は式(22)において、（ｅj R )2の寄与が大きくなるよう
に比率γj （ｘ）を０．８乃至、０．９といった大きめ
の値に設定する。さらに、比率γj （ｘ）は、学習サン
プルデータの特徴量ｘの関数であるので、特徴量ｘに応
じて値を変えることが可能である。即ち、特徴量ｘがあ
る領域内に存在する場合には、分類規則が信頼できるの
で比率γj （ｘ）を大きくし、それ以外では学習サンプ
ルデータ２０２に重きをおいて、比率γj （ｘ）を小さ
く設定するといったことが可能である。
ットワークの学習において、初期に与えた既知の事例デ
ータ分類規則３０１と学習サンプルデータ２０２のいず
れに重きをおいて学習を進めるかを決定する比率であ
る。例えば、分類規則３０１がかなり信頼できる場合に
は式(22)において、（ｅj R )2の寄与が大きくなるよう
に比率γj （ｘ）を０．８乃至、０．９といった大きめ
の値に設定する。さらに、比率γj （ｘ）は、学習サン
プルデータの特徴量ｘの関数であるので、特徴量ｘに応
じて値を変えることが可能である。即ち、特徴量ｘがあ
る領域内に存在する場合には、分類規則が信頼できるの
で比率γj （ｘ）を大きくし、それ以外では学習サンプ
ルデータ２０２に重きをおいて、比率γj （ｘ）を小さ
く設定するといったことが可能である。
【００３６】次に、上の評価関数ＥDRを減少させるため
の学習の方法、即ち、結合荷重ｗki j の変化量の算出方
法について述べる。
の学習の方法、即ち、結合荷重ｗki j の変化量の算出方
法について述べる。
【００３７】結合荷重ｗkij の変化量δkij DRは以下の
式で算出される。
式で算出される。
【数１０】 式(2) から∂ａkj／∂ｗkij は以下のようになる。
【数１１】 また、
【数１２】 と、定義する。
【００３８】調整量ｄkj DRは、ｋ層が出力層（ｋ＝Ｋ）
の時、以下の式で算出される。 ｄkj DR＝［｛１−γj (x) ｝ｅj D ＋γj (x) ｅj R ］(1−ｏKj)(１＋ｏKj） (28) ここで、ｅj D は式(4) に示した、学習サンプルデータ
の特徴量を入力した時のニューラルネットワークの出力
値ｏKjと教師信号ｙj の誤差、ｅj R は式(23)に従って
算出した、初期設定されたニューラルネットワークの出
力値ＯKjと現在のニューラルネットワークの出力値ｏKj
との誤差である。
の時、以下の式で算出される。 ｄkj DR＝［｛１−γj (x) ｝ｅj D ＋γj (x) ｅj R ］(1−ｏKj)(１＋ｏKj） (28) ここで、ｅj D は式(4) に示した、学習サンプルデータ
の特徴量を入力した時のニューラルネットワークの出力
値ｏKjと教師信号ｙj の誤差、ｅj R は式(23)に従って
算出した、初期設定されたニューラルネットワークの出
力値ＯKjと現在のニューラルネットワークの出力値ｏKj
との誤差である。
【００３９】ｋ層が中間層の時は、調整量ｄkj DRは以下
の式で与えられる。
の式で与えられる。
【数１３】 学習手段２０３は上記の動作原理に従って動作する。
【００４０】図３は本発明の一実施例の動作を示すフロ
ーチャートである。
ーチャートである。
【００４１】ステップ１：既知であるデータ分類規則３
０１は、論理演算変換手段３０２によって、論理演算式
に変換され、結合荷重設定手段３０３に送られる。
０１は、論理演算変換手段３０２によって、論理演算式
に変換され、結合荷重設定手段３０３に送られる。
【００４２】ステップ２：結合荷重設定手段３０３は論
理演算式に従ってニューラルネットワークの構造及び結
合荷重を設定する。以上の動作は従来の第２の方法と同
様である。
理演算式に従ってニューラルネットワークの構造及び結
合荷重を設定する。以上の動作は従来の第２の方法と同
様である。
【００４３】ステップ３：学習手段２０３は、得られた
ニューラルネットワークに学習サンプルデータ２０２の
特徴量を入力し、以下に詳細に述べる動作によって、学
習を行う。 （ステップ３１）学習手段２０３の第１の誤差算出手段
２０３−１は、ニューラルネットワークの入力層に学習
サンプルデータ２０２の特徴量を入力したときのニュー
ラルネットワークの出力値と教師信号の誤差ｅj D ＝ｏ
Kj−ｙj を、通常の逆誤差伝搬学習の場合と同様に算出
する。 （ステップ３２）一方、第２の誤差算出手段２０３−４
は、初期設定されたニューラルネットワークの出力値Ｏ
Kjを予め記憶しておき、現在のニューラルネットワーク
の出力値ｏKjを用いて式(23)に従って両者の誤差ｅj R
＝ｏKj−ＯKjを算出する。 （ステップ３３）誤差比率算出手段２０３−５は、学習
サンプルデータ２０２の特徴量ｘから、比率γj （ｘ）
を算出する。 （ステップ３４）結合荷重調整手段２０３−２は、第１
の誤差算出手段２０３−１で算出された誤差ｅj D 、第
２の誤差算出手段２０３−４で算出された誤差ｅj R 及
び、誤差比率算出手段２０３で算出されたサンプルデー
タ特徴量γj （ｘ）を用いて式（28) に従って、出力層
のｄkj DRを算出する。さらに、式(29)に従って、中間層
のｄkj DRを算出する。これによって求められたｄkj DRか
ら式(25)〜式(27)に従って結合荷重変化量δkij DRを算
出して結合荷重の調整を行う。
ニューラルネットワークに学習サンプルデータ２０２の
特徴量を入力し、以下に詳細に述べる動作によって、学
習を行う。 （ステップ３１）学習手段２０３の第１の誤差算出手段
２０３−１は、ニューラルネットワークの入力層に学習
サンプルデータ２０２の特徴量を入力したときのニュー
ラルネットワークの出力値と教師信号の誤差ｅj D ＝ｏ
Kj−ｙj を、通常の逆誤差伝搬学習の場合と同様に算出
する。 （ステップ３２）一方、第２の誤差算出手段２０３−４
は、初期設定されたニューラルネットワークの出力値Ｏ
Kjを予め記憶しておき、現在のニューラルネットワーク
の出力値ｏKjを用いて式(23)に従って両者の誤差ｅj R
＝ｏKj−ＯKjを算出する。 （ステップ３３）誤差比率算出手段２０３−５は、学習
サンプルデータ２０２の特徴量ｘから、比率γj （ｘ）
を算出する。 （ステップ３４）結合荷重調整手段２０３−２は、第１
の誤差算出手段２０３−１で算出された誤差ｅj D 、第
２の誤差算出手段２０３−４で算出された誤差ｅj R 及
び、誤差比率算出手段２０３で算出されたサンプルデー
タ特徴量γj （ｘ）を用いて式（28) に従って、出力層
のｄkj DRを算出する。さらに、式(29)に従って、中間層
のｄkj DRを算出する。これによって求められたｄkj DRか
ら式(25)〜式(27)に従って結合荷重変化量δkij DRを算
出して結合荷重の調整を行う。
【００４４】ステップ４：評価関数ＥDRが一定値以下に
なるまでニューラルネットワークの結合荷重の調整を繰
り返す。
なるまでニューラルネットワークの結合荷重の調整を繰
り返す。
【００４５】以上の第１の誤差算出手段２０３−１及び
第２の誤差算出手段２０３−４による誤差算出、誤差比
率算出手段２０３−５による誤差比率算出及び、結合荷
重調整手段２０３−２による結合荷重の調整を、学習サ
ンプルを繰り返し与えて実行し、評価関数ＥDRが一定値
以下になったとき学習を終了する。
第２の誤差算出手段２０３−４による誤差算出、誤差比
率算出手段２０３−５による誤差比率算出及び、結合荷
重調整手段２０３−２による結合荷重の調整を、学習サ
ンプルを繰り返し与えて実行し、評価関数ＥDRが一定値
以下になったとき学習を終了する。
【００４６】なお、上記の方法において、比率γ
j （ｘ）は、０≦γj （ｘ）≦１であるようなｘの任意
の関数とすることができる。これをどのような関数にす
るかは、分類規則と学習サンプルデータのどちらを信頼
して学習するかに応じて事前に決定すればよい。例え
ば、分類記憶に予めその規則の信頼度が付与されている
ような確信度付き規則の場合は、それを用いて比率γ
（ｘ）を決定してもよい。また、学習サンプルデータの
入力特徴量ベクトルの分布密度を用いて、学習サンプル
データの分布密度が高い範囲では学習サンプルデータを
信頼するようにし、そうでない範囲では分類規則を信頼
するように比率γ（ｘ）を決定するという方法を取るこ
ともできる。
j （ｘ）は、０≦γj （ｘ）≦１であるようなｘの任意
の関数とすることができる。これをどのような関数にす
るかは、分類規則と学習サンプルデータのどちらを信頼
して学習するかに応じて事前に決定すればよい。例え
ば、分類記憶に予めその規則の信頼度が付与されている
ような確信度付き規則の場合は、それを用いて比率γ
（ｘ）を決定してもよい。また、学習サンプルデータの
入力特徴量ベクトルの分布密度を用いて、学習サンプル
データの分布密度が高い範囲では学習サンプルデータを
信頼するようにし、そうでない範囲では分類規則を信頼
するように比率γ（ｘ）を決定するという方法を取るこ
ともできる。
【００４７】
【発明の効果】上述のように、本発明のニューラルネッ
トワークの学習方法によれば、予め得られた概ね正確で
あると考えられる分類規則と等価の分類機能を有するよ
うに初期設定されたニューラルネットワークを、学習サ
ンプルデータを用いて調整する際に、学習サンプルデー
タに対する出力誤差と既知の分類規則に基づいて初期設
定されたニューラルネットワークの出力値に対する出力
誤差を、加え合わせた値が減少するように結合荷重を調
整するように構成したため、初期に与えた分類機能を極
力保ったまま、学習サンプルに対しても誤差が減少する
ように学習を行うことが可能となり、従来の第１の方法
における過剰学習を回避して分類精度を向上することが
可能となる。
トワークの学習方法によれば、予め得られた概ね正確で
あると考えられる分類規則と等価の分類機能を有するよ
うに初期設定されたニューラルネットワークを、学習サ
ンプルデータを用いて調整する際に、学習サンプルデー
タに対する出力誤差と既知の分類規則に基づいて初期設
定されたニューラルネットワークの出力値に対する出力
誤差を、加え合わせた値が減少するように結合荷重を調
整するように構成したため、初期に与えた分類機能を極
力保ったまま、学習サンプルに対しても誤差が減少する
ように学習を行うことが可能となり、従来の第１の方法
における過剰学習を回避して分類精度を向上することが
可能となる。
【００４８】また、学習サンプルデータに対する出力誤
差と、初期設定されたニューラルネットワークの出力値
に対する出力誤差を加え合わせる際の比率を学習サンプ
ルデータと分類規則の信頼度に応じて設定できるように
構成したため、従来の第２の方法のように、ニューラル
ネットワークの出力値の二乗誤差と結合荷重の初期設定
値からのずれの割合を結合荷重毎に設定する必要がなく
なる。
差と、初期設定されたニューラルネットワークの出力値
に対する出力誤差を加え合わせる際の比率を学習サンプ
ルデータと分類規則の信頼度に応じて設定できるように
構成したため、従来の第２の方法のように、ニューラル
ネットワークの出力値の二乗誤差と結合荷重の初期設定
値からのずれの割合を結合荷重毎に設定する必要がなく
なる。
【００４９】また、比率の設定も分類規則の確信度ある
いは学習サンプルデータの分布密度などから容易に行う
ことが可能となる。
いは学習サンプルデータの分布密度などから容易に行う
ことが可能となる。
【図１】本発明の原理構成図である。
【図２】本発明の一実施例の構成図である。
【図３】本発明の一実施例の動作を表すフローチャート
である。
である。
【図４】多層構造型ニューラルネットワークの構成図で
ある。
ある。
【図５】従来の第１の方法を説明するための図である。
【図６】従来の第２の方法を説明するための図である。
【図７】従来の第２の方法の結合荷重設定手段の動作を
示す図である。
示す図である。
１０ 学習手段 １１ 第１の誤差算出手段 １２ 第２の誤差算出手段 １３ 誤差比率算出手段 １４ 結合荷重調整手段 １５ 第１の誤差 １６ 第２の誤差 ２１ 現ニューラルネットワークの出力値 ２２ 教師データ ２３ ニューラルネットワークの初期設定値 ２４ 学習サンプルデータ １０１ 入力層 １０２ 出力層 １０３ 中間層 ２０１−１ 学習前のニューラルネットワーク ２０１−２ 学習後のニューラルネットワーク ２０２ 学習サンプルデータ ２０３ 学習手段 ２０３−１ 第１誤差算出手段 ２０３−２ 結合荷重調整手段 ２０３−４ 第２誤差算出手段 ２０３−５ 誤差比率算出手段 ３０１ 既知の事例データ分類規則 ３０２ 論理演算変換手段 ３０３ 結合荷重設定手段 ４０１ 論理演算式 ４０２ ニューラルネットワーク
Claims (1)
- 【請求項１】 分類対象データの特徴量によって該分類
対象データの分類を行う既知の分類規則を論理演算式に
変換する論理演算変換手段と、該論理演算式と等価の分
類機能を有するように多層構造型ニューラルネットワー
クの構造及び結合荷重及びバイアス値を初期設定する結
合荷重設定手段と、該ニューラルネットワークを分類結
果が既知となっている学習サンプルデータを用いて学習
させる学習手段とを有するニューラルネットワークの学
習方式において、 前記学習手段が、 前記学習サンプルデータの特徴量に対する前記ニューラ
ルネットワークの現在の出力値と前記学習サンプルデー
タの既知である分類結果を正しく与える出力値から第１
の出力誤差を算出する第１の誤差算出手段と、 該学習サンプルデータの特徴量に対する前記ニューラル
ネットワークの現在の出力値と前記ニューラルネットワ
ークの初期設定時の出力値から第２の出力誤差を算出す
る第２の誤差算出手段と、 該学習サンプルデータの特徴量に応じて該第１の誤差算
出手段と該第２の誤差算出手段によって算出された該第
１の出力誤差及び該第２の出力誤差を加え合わせる比率
を決定する誤差比率算出手段と、 該第１の出力誤差と該第２の出力誤差を該誤差比率算出
手段で決定された比率で加え合わせた和が減少するよう
に前記ニューラルネットワークの結合荷重及びバイアス
値を調整する結合荷重調整手段とを含むことを特徴とす
るニューラルネットワークの学習方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4165023A JPH064692A (ja) | 1992-06-23 | 1992-06-23 | ニューラルネットワークの学習方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4165023A JPH064692A (ja) | 1992-06-23 | 1992-06-23 | ニューラルネットワークの学習方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH064692A true JPH064692A (ja) | 1994-01-14 |
Family
ID=15804380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4165023A Pending JPH064692A (ja) | 1992-06-23 | 1992-06-23 | ニューラルネットワークの学習方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH064692A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6411503B1 (en) | 1996-10-11 | 2002-06-25 | Fujitsu Limited | Portable type information apparatus |
| US6560100B1 (en) | 1996-10-24 | 2003-05-06 | Fujitsu Limited | Portable computer equipped with add-on battery |
| JP2020181240A (ja) * | 2019-04-23 | 2020-11-05 | 株式会社東芝 | データ生成装置、データ生成方法およびプログラム |
-
1992
- 1992-06-23 JP JP4165023A patent/JPH064692A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6411503B1 (en) | 1996-10-11 | 2002-06-25 | Fujitsu Limited | Portable type information apparatus |
| US6560100B1 (en) | 1996-10-24 | 2003-05-06 | Fujitsu Limited | Portable computer equipped with add-on battery |
| US6563702B1 (en) | 1996-10-24 | 2003-05-13 | Fujitsu Limited | Portable computer equipped with add-on battery |
| US6674637B2 (en) | 1996-10-24 | 2004-01-06 | Fujitsu Limited | Portable computer equipped with add-on battery |
| JP2020181240A (ja) * | 2019-04-23 | 2020-11-05 | 株式会社東芝 | データ生成装置、データ生成方法およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0591921B1 (en) | Learning and recognition machine | |
| JPH08227408A (ja) | ニューラルネットワーク | |
| US5845051A (en) | Learning method for multilayer perceptron neural network with N-bit data representation | |
| US5129038A (en) | Neural network with selective error reduction to increase learning speed | |
| JPH064692A (ja) | ニューラルネットワークの学習方式 | |
| JPH0451384A (ja) | ニューラルネットワークの構築方法 | |
| Mordukhovich et al. | Stability of discrete approximations and necessary optimality conditions for delay-differential inclusions | |
| US5490236A (en) | Method of assigning initial values of connection parameters to a multilayered neural network | |
| JPH04230570A (ja) | ニュ−ラルネットワ−クの学習方式 | |
| JP2779119B2 (ja) | 学習認識装置 | |
| JPH07319844A (ja) | ニューラルネットワークの学習装置及びニューラルネットワークの学習方法 | |
| CN105740950B (zh) | 基于滑齿法的神经网络的模板匹配方法 | |
| JPH04230569A (ja) | ニュ−ラルネットワ−クの学習方式 | |
| JPH04127239A (ja) | ファジィ推論パラメータの自動調節方法および学習状態の表示方法 | |
| US5542005A (en) | Recognition unit and recognition apparatus | |
| JPH0644207A (ja) | ニューラルネットワーク及びその構成方法 | |
| JPH06161979A (ja) | ニューラルネットワークの学習方式 | |
| JP3262340B2 (ja) | 情報処理装置 | |
| JPH0785277A (ja) | データ分類方式 | |
| JPH05314088A (ja) | ニューラルネットワークの学習方式 | |
| JPH05101209A (ja) | 階層型ニユーラルネツトワークの学習方法 | |
| JPH05307535A (ja) | 学習型波形認識処理装置 | |
| JP2722016B2 (ja) | ケーブル構造物の形状決定方法 | |
| JPH0784977A (ja) | 多層構造型ニューラルネットワークの構成方法 | |
| JPH04264664A (ja) | 神経回路網型パターン処理装置 |